google的工作原理分析分词与索引库.pptx

大纲目录1. 检索库2. 检索库的分类3. 分词深圳市多来咪科技有限公司-培训教材Google每天的工作Google每天都在做什么呢？简单的说，首先Google 尽可能多的从互联网上面抓取页面，然后在用户搜索的时候把最相关的结果反馈给用户。那么在这个过程之中会有几个问题。深圳市多来咪科技有限公司-培训教材1. 检索库首先，用户输入关键词以后，Google 如何在很短的时间里面从众多的网页中反馈出相关的结果呢？大家都知道，搜索一个词的时候，Google的反应时间正常情况只有零点零几秒。在数以亿计的网页中，如何快速的找出相关内容呢？ 。深圳市多来咪科技有限公司-培训教材1. 检索库其实办法就是建立索引库（index). 这个就类似于我们查字典时候的检索表，或者是图书馆的书目检索。Google的蜘蛛在抓取网页之后，就把这些页面放到对应的索引库里面。在用户搜索的时候，只需要到相应的检索库里面搜索相应的信息，而不是从所有的页面当中。深圳市多来咪科技有限公司-培训教材1. 检索库深圳市多来咪科技有限公司-培训教材2. Google索引库的分类方法字典或者图书馆的分类都是按照字母来分的。Google的索引库是如何处理的呢？互联网上的页面呈爆炸式的增长，如果只是按照26个字母分类，每个检索库里面的页面数量还是有几亿个，而且数量会不断递增。这样检索的效率会越来越低。因此，搜索引擎索引库的分类基本都是用词语来分类的。Google， 百度 都是如此。深圳市多来咪科技有限公司-培训教材2. Google索引库的分类方法这样处理的好处是：其一，用户搜索时就是用词语来搜索的。我们这样分类正好可以返回相应结果。其次，因为每种语言的词语的数量都是相对固定的。我们知道英语大概有一百多万个单词100亿 ÷ 1百万 = 1 万，这样把抓取到的页面放到不同的检索库里面，每个索引库里面的页面数量平均只有1万，Google反应速度也就随之变快了。深圳市多来咪科技有限公司-培训教材2. Google索引库的分类方法深圳市多来咪科技有限公司-培训教材3. 分词Google的蜘蛛抓取页面以后，如何把页面放到对应的检索库里面呢？ 因为检索库是按照词语分类，所以只需要把页面里面的词语分开，然后放到检索库当中。所说的把词语分开也就是分词了。英文页面的分词比较简单，因为英语的每个单词之间是用空格分开的，不过还是要处理一些单复数，缩写，变体，等等。深圳市多来咪科技有限公司-培训教材3. 分词按照这个原理只要某个词语在一个页面出现一次，就会被放到相应检索库当中，索引的时候就有可能索引到。（用google搜索一个词，下边显示的About ... Results就是相应的索引量。 通过这个可以在一定程度判断词语的流行度）因此，为了网页排名方便，索引中还需存有大量附加信息，诸如每个词出现的位置、次数等等。深圳市多来咪科技有限公司-培训教材流程深圳市多来咪科技有限公司-培训教材流程深圳市多来咪科技有限公司-培训教材流程深圳市多来咪科技有限公司-培训教材流程深圳市多来咪科技有限公司-培训教材3. 分词Learn more: /intl/zh-CN/appengine/articles/index_building.html/intl/zh-CN/appengine/articles/index_building.html .hk/ggblog/googlechinablog/2006/05/blog-post_3044.html.hk/ggblog/googlechinablog/2006/05/blog-post_3044.html以上内容只是对之前的看到的一些资料的总结和概括，不正确的欢迎指正。深圳市多来咪科技有限公司-培训教材谢谢！日期：2011-11.22深圳市多来咪科技有限公司-培训教材