浅谈网络信息检索与搜索引擎.docx

浅谈网络信息检索与搜索引擎指导老师：李素科 博士学生：蔡 宾: 1101210576 陈愉镔: 1101210599 何 晶: 1101210667 蓝启嵩: 1101210717 李博尊: 11012107222012年3月17日目录一、概述11.1 什么是信息检索11.2 信息检索的历史1二、 信息检索的类型22.1 搜索引擎(Search Engine, SE)22.2 问答系统(Question Answering, QA)32.3 信息提取(Information Extraction, IE)42.4 信息过滤(Information Filtering)4三、 信息检索的信息类型53.1 自由文本 Text (Documents)53.2 结构化文本 XML and structured documents53.3 图像与图形 Images Graph63.4 音乐与声音 Music Audio (sound effects, songs, etc.)73.5 图像 Video8四、国内主要搜索引擎—百度94.1百度简介94.2工作机制94.3百度搜索优化14五、国际上主要搜素引擎—Google155.1 Google简介155.2发展应用165.3 工作流程165.4 Google的爬虫家族185.5 Google抓取策略195.6 爬虫规则21五、搜索引擎实现技术225.1 搜索引擎的组成225.2 流行搜索引擎的框架235.3 Lucene 的工作原理25一、概述1.1 什么是信息检索维基百科上给信息检索下的定义是：是指搜寻资讯的/wiki/%E7%A7%91%E5%AD%B8科学，如在/wiki/%E6%96%87%E4%BB%B6文件中搜寻资讯、搜寻/wiki/%E6%96%87文件本身、搜寻描述文件的/wiki/Metadatametadata或是在数据库中进行搜寻，无论是在相关的独立数据库或是/wiki/%E8%B6%85%E6%96%87%E6%9C%AC超文本的/wiki/%E7%B6%B2%E8%B7%AF网络数据库（如万维网）。资讯检索也是指依照使用者的资讯需求提供查询的方法以及查询的过程。然而这里会出现一个使人混乱的情况，就是资料检索、文件检索、资讯检索、文字检索之间常令人混淆，上述的每一个词汇都有各自的发展理论、实践和技术。目前，/wiki/%E6%96%87%E6%9C%AC%E4%BF%A1%E6%81%AF%E6%A3%80%E7%B4%A2文本信息检索是发展最成熟的信息检索技术之一。资讯检索像是刚开始存在的、跨学科的，其建立于/wiki/%E9%9B%BB%E8%85%A6%E7%A7%91%E5%AD%B8计算机科学、/wiki/%E6%95%B8%E5%AD%B8数学、/wiki/%E5%9B%BE%E4%B9%A6%E9%A6%86%E5%AD%A6图书馆学、/wiki/%E8%B3%87%E8%A8%8A%E7%A7%91%E5%AD%B8资讯科学、/wiki/%E8%AA%8D%E7%9F%A5%E5%BF%83%E7%90%86%E5%AD%B8认知心理学、/wiki/%E8%AA%9E%E8%A8%80%E5%AD%B8语言学、/wiki/%E7%B5%B1%E8%A8%88%E5%AD%B8统计学、/wiki/%E7%89%A9%E7%90%86%E5%AD%B8物理学等。/w/index.php?title=%E8%87%AA%E5%8B%95action=editredlink=1自动化的资讯检索系统被用来减少/wiki/%E8%B3%87%E8%A8%8A%E8%B6%85%E8%BC%89资讯超载（Information overload），很多大学和/wiki/%E5%85%AC%E5%85%B1%E5%9C%96%E6%9B%B8%E9%A4%A8公共图书馆使用资讯检索系统提供检索/w/index.php?title=%E6%9B%B8%E7%9B%AEaction=editredlink=1书目、/wiki/%E6%9C%9F%E5%88%8A期刊和其他的/wiki/%E6%96%87%E4%BB%B6文件，资讯检索系统通常与物件和检索需求有关，检索需求会被使用者用正式的陈述来描述其资讯需求放置于资讯检索系统当中，而物件是一个实体被储存于/wiki/%E8%B3%87%E6%96%99%E5%BA%AB数据库当中，一个/wiki/%E6%96%87%E4%BB%B6文件就是一个资料物件，通常/wiki/%E6%96%87%E4%BB%B6文件本身不会被直接储存于数据库中，但是会在系统中使用/w/index.php?title=%E6%96%87%