（毕业论文）搜索引擎的研究与实现.docx

搜索引擎的研究与实现摘 要网络中的资源非常丰富，但是如何有效地找到自己需要的信息却是一件困难的事情。网络搜索引擎应运而生。本文首先详细介绍了网络搜索引擎的系统结构，然后从网页信息抓取、网页内容分析、网页索引建立、用户检索与结果排序等方面进行详细的说明。为了更加深刻的理解这种技术，本人还亲自实现了一个自己的搜索引擎，能够实现网页内容的抓取和搜索功能，也能够自己添加内容并显示在搜索结果中。网络搜索引擎根据初始配置，自动从网络上抓取信息并处理，将提取到的信息结构化，然后建立索引。然后通过web服务器接收用户请求，在索引库中找到相关结果并排序，最终通过页面的形式呈现给用户。本人在介绍搜索引擎的章节中除了详细的阐述技术核心外还结合了搜索引擎的实现代码来说明，图文并茂、易于理解。关键词：搜索引擎；网络；LuceneResearch and implementation of search engineAbstractThe resources in the internet are abundant, but it is a difficult job to search some useful information. So a search engine is the best method to solve this problem. This article fist introduces the system structure of search engine based on the internet in detail, then gives a minute explanation form Spider search, engine and web server. In order to understand the technology more deeply, I have programmed a web search engine by myself.The news search engine is explained and searched according to hyperlink from a appointed web page, then indexes every searched information and adds it to the index database. Then after receiving the customers requests from the web server, it soon searches the right pages form the index engine。In the chapter of introducing search engine, it is not only elaborate the core technology, but also combine with the modern code,pictures included, easy to understand.Key words: search engine; network; Lucene目录摘 要iAbstractii1 引言12 搜索引擎研究22.1 搜索引擎发展历史22.1.1 分类目录时代22.1.2 文本检索时代22.1.3 整合分析时代22.1.4 用户中心时代22.2 搜索引擎的结构22.2.1 Web 搜索引擎体系结构22.2.2 网络机器人32.2.3 网页分析器42.2.4 网页索引器52.2.5 网页搜索器52.3 现代搜索引擎的主要技术62.3.1 倒排索引技术62.3.2 分布式技术62.4 小结73 开发平台和技术83.1 Java编程语言83.2 MyEclipse93.3 Tomcat93.4 Lucene103.4.1 什么是Lucene103.4.2 索引和搜索103.4.3 lucene能做什么103.4.4 lucene的工作方式113.5 Spring113.6 Struts2123.7 Mybatis124 搜索引擎的总体设计134.1 系统概述134.2 系统需求134.3 系统结构：134.4 小结145 网络机器人的实现155.1 什么是网络机器人155.2 网络机器人结构分析155.2.1 如何解析HTML165.2.2 工作流程175.3 网络机器人的实现175.3.1 实现说明175.3.2 HTML页面结构175.3.3 代码分析185.4 内容处理185.4.1 正文提取195.5 小结226 网页索引程序的实现236.1 索引程序简介236.2 准备工作236.2.1 分词236.2.2 特征值抽取24