基于多线程的网络爬虫的设计与实现 - 副本.doc

本 科 毕 业 论 文 题 目 基于多线程的网络爬虫的设计与实现 学 院 信息科学与技术学院 　 专 业 软件工程 　 学生姓名 　 学 号 年级 2009 指导教师 职称 讲师 2013年 4月23日 基于多线程的网络爬虫的设计与实现 专 业：软件工程 学 号： 学 生： 指导教师： 摘要：网络爬虫（Web Crawler），又叫网络蜘蛛（Web Spider），是搜索引擎的重要组成部分。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战，作为搜索引擎不可或缺的一部分网络爬虫，一直是个热门的研究课题，它的效能，直接决定了搜索引擎的未来。 本课题所研究的网络爬虫采用广度优先搜索算法，并基于Java语言进行网络编程。实现网络爬虫关键技术是对URL进行分析和去重。为使网络爬虫具备更高效的抓取能力，因而使用了多线程技术。同时为了避免无限制的等待，应该对网络爬虫连接网络及读取时间最大值进行设定。 本课题的目标是研究并实现一个实现简单的可在后台自动运行的爬虫程序。系统可以进行面向主题的抓取。从行为上来看，它更近似于主题网络爬虫。 关键词：网络爬虫；广度优先；Java； 多线程； Design and implementation of a web crawler based on multithreading Specialty: Software Engineering Student Number: Student: Supervisor: ABSTRACT：Web Crawler, also called Web Spider, is an important part of search engine. With the rapid development of Internet, the World Wide Web becomes the carrier of a large amount of information. And How to effectively extract and use this information to become a great challenge. The quality of a search engine is mostly depended on the quality of a Web Crawler that as an indispensable part of web crawler search engine. So Web Crawler is a hot research topic those years. The project which was studied in this paper using the breadth-first search algorithm, and based on the Java language for network programming. Implementation of the key technology of web crawler is to analyze and to URL. In order to make the web crawler has more efficient grasping ability, so the use of multi-threading technology. At the same time in order to avoid waiting without limit, should be on the web crawler connecting network and read the time of maximum value. The goal of this project is to research and realize an implementation can be run automatically in the background simple crawler program. System can be a subject oriented grab. From the point of view, it is more similar to the t