基于特定领域对象级垂直搜索中的对象抽取问题的研究-计算机系统结构专业论文.docx

I I 摘要 摘 要 随着信息时代的到来，互联网上如雨后春笋一般出现了各种信息站点，给人们 提供了大量的有用信息。但是出现了一个新的挑战，就是如何能让人快速定位到 自己所需的信息，搜索引擎正是在这一背景下酝酿而生，用户可以通过它快速查 找信息。搜索引擎由最开始的半机械半人工的目录式搜索发展到现在主流的全文 搜索引擎和垂直搜索引擎，但就目前最成熟的全文搜索技术，在单个领域上的网 页收集能力，还是有一定的欠缺，导致查准率和查全率达不到理想的目标。虽然 垂直搜索技术在单个领域上的信息收集能力有所增强，但是依然像全文搜索一样， 提供基于网页级的搜索服务，需要用户进行再次过滤。因此就出现了对象级垂直 搜索这一新的搜索模式，它是提供基于特定领域的对象级搜索，提交给用户的查 询结果是搜索系统经过一系列的抽取集成所形成的对象实体。 但是目前现有的对象级搜索引擎在对象信息抽取模块，都属于半自动化模式， 前期需要大量人力对部分网页进行标注，从而获取对象抽取的先验知识。因此本 文针对这种情况，研究并改进了 RoadRunner 全自动抽取算法，设计实现了对象级 垂直搜索引擎中的自动信息抽取模块。 本文主要在以下两个方面进行了改进： （1）改进了简单树匹配算法，提高了判断相似的准确率。原始的简单树匹配 算法对网页 DOM 树结构中所有标签节点进行统一处理，并没有考虑到迭代标签的 特殊性，改进后对迭代标签进行了一定的处理后再进行匹配比较。 （2）改进了 RoadRunner 算法的属性标注模块，利用不同包装器之间抽取对象 的关联进行交叉标注，提高了抽取数据的属性标注率。RoadRunner 算法本身采用 的属性标注技术是基于网页信息中属性值和属性名成对出现，而大部分网页中存 在部分属性名缺失的情况。 最后本文利用上述改进的算法实现了对象信息抽取系统，并在图书领域进行了 抽取测试。 关键词：对象级搜索引擎，Web 信息抽取，RoadRunner 算法，属性标注 II II ABSTRACT ABSTRACT With the development of information technology, various kinds of websites are available on the Internet and provide different kinds of information. However, how to find the exact information we need is a new challenge. Search engines such as Google came up in this background, helping users to locate information they need quickly. Search engine was developed from original catalogic search which ran part-artificially to current mainstream full text search engine and vertical search engine. Currently, the most mature full text search engine has its own drawbacks which cannot achieve ideal effect of recalling ratio and precision ratio in some specific domains.Vertical search engine makes up for some drawbacks in the specific domains, which can collect more related information. But it only provides users with webpage links as the result, just like what the full-text search does. Hence, a new search technology called object level vertical searching has been created. This search technology can search on the specific domain based on the objects. The query results are objects which are relatively few rather than a series of webpage link