第05章-信息检索评价.pdf

信息检索 信息检索 第05章 息检索评价 第05章 息检索评价 软件学院教研室陈鄞 软件学院教研室陈鄞 PDF 文件使用 pdfFactory Pro 试用版本创建 本章内容 本章内容 5.1 引言 5.2 性能评价指标 5.3 国外信息检索评测 5.4 国内信息检索评测 PDF 文件使用 pdfFactory Pro 试用版本创建 5.1 引言 5.1 引言 评价 – 评估某个系统的性能、某种产品的质量、某项技术的价值，或者 是某项政策的效果等等 息检索评价 – 对信息检索系统的性能 （主要是其满足用户信息需求的能力）进 行评估的活动 从信息检索系统诞生以来，对检索系统的评价就一直是推动其研究、 开发与应用的一种主要力量 PDF 文件使用 pdfFactory Pro 试用版本创建 评价内容 评价内容 功能评价 – 可通过测试系统来判定是否支持某项功能，因此相对来 较容易 性能评价 – 时间指标 – 空间指标 – 对按照相关度进行排序的检索结果进行准确度的评价 PDF 文件使用 pdfFactory Pro 试用版本创建 评价IR系统的困难 评价IR系统的困难 相关性不是二值评价，而是一个连续的量 即使进行二值评价，很多时候也很难 从人的立场上看，相关性是： – 主观的，依赖于特定用户的判断 – 情景相关的，依赖于用户的需求 – 认知的，依赖于人的认知和行为能力 – 时变的，随着时间而变化 PDF 文件使用 pdfFactory Pro 试用版本创建 在评价和比较检索系统的检索性能时，需要以下条件： – 一个文档集合C。系统将从该集合中按照用户查询检出相关文档 – 一组用户查询{q , q , , q }。每个用户查询q 描述了用户的 息需 1 2 n i 求 – 对应每个用户查询的标准相关文档集{R , R , , R }。该集合可由 1 2 n 人工方