垂直搜索引擎技术进展.pdf

2011 年 第 20 卷 第 9 期 计 算 机 系 统 应 用 ① 基于Nutch 的垂直搜索引擎系统 1 2 李耀芳 ，张 涛 1(天津城市建设学院 电子与信息工程系，天津 300384) 2(南开大学 信息技术科学学院，天津 300071) 摘 要：由于通用搜索引擎搜索精度不高，而国内各大物流港口搜索有效性较低，设计基于Nutch 的港口物流垂 直搜索引擎系统，实现了各个港口物流信息的快捷查询和共享。系统采用了基于向量空间模型的主题相关度判 别算法并对该算法进行改进，加入元数据判别机制和重要标签所包含关键词的加权处理。加入“隧道处理”机制， 以处理主题网页分离的问题，并且修改了检索结果排序的源代码，使其更适应垂直搜索引擎的要求。 关键词：Nutch 垂直搜索；向量空间模型；索引检索 Vertical Search Engine System Based on Nutch 1 2 LI Yao-Fang , ZHANG Tao 1(Electronic Information Engineering, Tianjin Institute of Urban Construction, Tianjin 300384, China) 2(College of Information Technical Science, Nankai University, Tianjin 300071, China) Abstract: Due to the low accuracy in current general search engines, and the poor search effectiveness of lower logistics in major domestic ports, the paper designs a port logistics Nutch-based vertical search engine system which achieves fast query and logistics information sharing. The system uses a theme based on vector space model identification algorithm and the relevance of the algorithm is improved by adding identification mechanism and the importance of metadata tags that contain the keywords of the weighting. Adding “tunnel handling” mechanism to deal with separation issues topic page, and modify the source code to sort search results to make it more responsive to the requirements of vertical search engines. Key words: Nutch; vertical search; vector space model; index retrieval 随着因特网的迅猛发展，网络信息资源成几何级 的准确度和效率，使信息的定位和查找更加的精确， 数增长，想要快速、准确地查找所需的信息越来越难， 减少了不相关信息的干扰，并提高了系统对于互联网 搜索引擎整合了互联网上众多的网页资源，能方便用 复杂环境的处理能力。 户查找所需要的信息。但是目前通用搜索引擎在使用 中面临着许多问题[1] ，而与物流信息相关的垂直搜索 1 基于Nutch 的垂直搜索引擎的实现 引擎的检索主题相关度不高、信息更新不及时、信息 1.1 系统体系结构 量小，并且没有专门针对国内港口物流信息的搜索引