信息检索系统的评价.ppt

提问1试解释信息检索系统的内涵。2什么是”评价”？意义评价（Evaluation）：发现和收集关于某种活动的数据，从中判断该项活动的质量及达到预期目标程度的行为。简单地说，评价就是对系统的价值和效率进行测评。信息检索系统评价：根据给定的指标体系，采用一定的方法和程序，对信息检索系统的功能、特性和运营状况进行评测，或对有关假设、预期效益、性能值进行验证，以确定系统达到了何种水平、投入成本是否值得、是否可以改进和如何改进，乃至系统是否应生存下去。0102第十一章信息检索系统评价

11.1评价研究概述第十一章信息检索系统评价

11.1评价研究概述一、意义信息检索系统的评价研究，一直是信息检索领域的一项重要研究内容。多年来人们进行了大量的评价试验和多角度的探索。原因在于，检索系统评价工作在为研究者验证检索系统效益、比较各种检索技术的优劣、改进现有检索系统、开发新的应用领域等方面，都具有不可替代的作用。第十一章信息检索系统评价

11.1评价研究概述一、意义主要意义：了解已有检索系统的功能，找出缺陷并改进；比较各种检索系统的优劣；提高提高效率和效益；有助于新的检索系统的设计；丰富信息检索的理论。?宏观评价：着眼于检索系统的宏观方面，如情报源类型、系统结构、收录范围、利用率等。?个别评价：仅对系统的某一性能、功能进行评价。?性能评价(performanceevaluation)：面向用户的评价，测定检索系统的质量或服务效果。也称为检索效果评价(effectivenessevaluation)。?评价类型：评价范围与类型信息检索系统是一个有众多功能模块组成的集合体。评价可以从不同角度、基于不同目的和方法来进行。?评价范围：各种类型的检索系统及组成要素。第十一章信息检索系统评价

11.1评价研究概述第十一章信息检索系统评价

11.1评价研究概述二、评价范围与类型评价类型：?效益评价（benefitsevaluation）：测定系统或用户获得的的经济效益和社会效益。(有直接的、潜在的；难以直接计量)?费用/效果评价（costeffectivenessevaluation）：考察系统达到的性能与费用消耗之间的关系。（用户、系统两方面）?费用/效益评价（costbenefitsevaluation）：考察系统的服务效益与费用消耗间的关系。（计量难度较大）(详见P207的解释)要评价一个检索系统，必须有一套科学的评价标准。建立检索系统评价指标体系应遵循的原则：01020304评价指标体系各指标应定义单一、明确，具有可操作性。评价指标最好能够量化或计量。指标要完善、细致、全面。下面给出传统检索系统评价指标体系模型：（供参考）第十一章信息检索系统评价

11.2评价指标第十一章信息检索系统评价

2评价指标逐一评价这些指标，可以判定检索系统的优劣。其中，比较重要的是检索性能指标。010211.2评价指标问题:什么是查全率、查准率?第十一章信息检索系统评价2评价指标主要性能指标及分析查全率和查准率查全率(Recallratio，R)：衡量一次检索中与提问相关的文献有多少篇被检出。（衡量检出相关文献的能力）?查准率(Precisionratio，P)：衡量被检出的文献中有多少篇与提问相关。（衡量检索的精确度）主要性能指标及分析第十一章信息检索系统评价2评价指标查全率和查准率第十一章信息检索系统评价2评价指标主要性能指标及分析例：设某检索系统的数据库中共有相关文献20篇。针对某一个提问，检出文献总数为30篇，其中相关文献数为15篇。求查全率R、查准率P。第十一章信息检索系统评价

11.2评价指标二、主要性能指标及分析为便于分析，我们给出数学语言描述：设某文献库所存储的文献总量为L。对某一给定提问，a—表示被检出的与提问相关的文献数；（前例a=15）b—表示被检出的与提问无关的文献数；（误检，前例b=15）c—表示与提问相关，但未被检出的文献数（漏检，前例c=5）显然，Ｑ＝１－Ｒ，Ｅ＝１－p第十一章信息检索系统评价

11.2评价指标二、主要性能指标及分析1．查全率和查准率下面讨论与查全率、查准率有关的几个问题。（１）查全率和查准率的相互