FTP爬虫搜索引擎.doc

摘要 搜索引擎（Search Engine）是一个对互联网上的信息资源进行搜集整理的应用软件系统。它主要包括信息搜集、索引建立和信息检索三个部分。搜索引擎有很多类型，常见的有FTP搜索引擎和WEB搜索引擎。一般WEB搜索引擎较少处理FTP服务器上的数据。就信息规模而言，FTP服务器的信息量比WEB服务器小很多。因此FTP搜索引擎硬件投入和维护的费用也远远低于大型通用搜索引擎。 本文针对在FTP服务器的搜索速度和效率问题，对现有FTP搜索引擎技术进行了分析和研究，重点详细介绍了爬虫模块和索引模块的设计与实现。 文章首先分析了FTP搜索引擎研究的背景和意义。然后在第3章节和第4章节中详细描述了关键的爬虫技术和索引技术，包括：如何进行网段扫描，获取数据以及建立索引数据库等。最后本文还分析了在爬虫和索引实现时遇到的困难并提出了相应的解决方案。 【关键词】 FTP 搜索引擎 网络爬虫 索引 Abstract Search Engine (SE) is an application system for information collecting and classifying on the Internet. SE consists of 3 modules: information collecting, index building and information retrieving module. There are several kinds of SE, the WEB SE and FTP SE are favorite tools among them for end users. Usually, most WEB SEs do not work well on FTP sites. As far as the information scale on servers, the FTP servers are extraordinary small than the web servers. Thus the cost of investment and maintenance on hardware is far less than the WEB search engines. Aiming at the issues on searching efficiency and searching rate of FTP search engines, the thesis analyzes the existing technologies, and then describes the implementation of spider module and index module in detail. The thesis analyzes the background and significance of FTP search engines at first. Then, the key techniques on spider and index are detailed discussed in the 3rd and 4th chapter. It includes how to scan the appointed network-zone, how to extract the file information from the binary data-stream, as well as how to build the index database. Besides analyzes the difficulties while scanning and index-building, the thesis presents some feasible solutions at last. 【Key Words】 FTP Search Engine Web Spider Index  目录前言 1 1 FTP搜索引擎爬虫模块介绍 2 1.1 设计思路 2 1.2 设计步骤 2 1.2.1 扫描站点 2 1.2.2 获取数据 2 1.2.3 数据分类 2 1.2.4 生成源文件 3 1.2.5 生成站点列表 3 1.2.6 建立索引文件 3 2 FTP搜索引擎概要设计 4 2.1 工作原理 4 2.2 工作流程图 5 3 FTP搜索引爬虫模块擎详细设计 6 3.1 设计目的 6 3.2 功能模块设计 6 3.2.1 网段扫描 6 3.2.2 获取数据 8 3.2.3 关于编码问题的解决 16 3.2.4 服务器兼容 17 3.