【基于Python的分布式爬虫探析7800字】.doc
文本预览下载声明
基于Python的分布式爬虫研究
摘要
在这个互联网飞速发展的时代下，随着互联网服务规模的不断增长以及当代爆发式的信息规模，与之相关的数据服务也随其增长，只靠单机的集中式处理的能力是很难满足当代庞大的数据源采集需求。国内外互联网的使用人数在当代的互联网发展下只多不少，互联网的数据也是随其在不断扩大，单纯靠以前的收集方式很难去高效的完成数据采集，那么数据的采集技术必然要随其发展，所以在这样的需求下便产生了分布式的网络数据采集技术，基于分布式的网络爬虫是由多个可以并行爬取所需内容的爬虫组成，这样的系统兼备了良好的可扩展性,这些爬虫在数据检索上的优秀表现也受到了人们的喜爱。在这样的这样的互联网发展
显示全部