语言测试的效度与信度【荐】.ppt

一、信度(Reliability) Lyle F．Bachman把信度定义为“测试结果的一致性”。 换句话说，有信度的试题应在任何时间、地点下通过测试 都能够得到一致的结果。试题的信度可以通过比较两套试 题结果或试题内容来获得，如果它们的结果接近或一致， 那么说明试题是有信度保证的。评估测试结果的一致性可 依据许多方法加以衡量。例如，在传统真实分数测试理论 (classical true score measurement theory)模式中有三种衡量 信度的方法，每一种方法针对不同的误差源(sources of er- ror)：试卷内容一致性评估方法(internal consistency)主要 关注来自于试题内容和评分过程中的偏差问题；稳定性 (stability)评估方法指出同一试题在相隔一段时间之后给 同一组测试对象测试的结果的一致性问题；对等性(equtv- alence)评估方法提供两套试题结果之间一致性程度的信度 系数。但是测试结果的可靠性还要受到诸多其他因素的影 响，测试成绩的高低虽然很大程度上取决于受试者语言水 平的高低，但是同时不可忽视的是测试成绩又受到测试方 法、受试者个性特征，诸如认知风格、知识范围、情感因 素、性别、民族以及诸多不可预见因素的影响。　 　　 二、效度(Validity) Henning(1987)把效度作了如下定义： “效度是指任 何试题或试题的组成部分作为达到测试目的的合理性。试 题在最大程度上达到其测试的目的即是有效的。在用于描 述试题时，有效的(valid)一词必须与介词for连用。那 样，任何一个测试应针对某些目的来说是有效的，并不一 定适用其他目的。”语言测试设计和使用不仅关注信度问 题，而且把效度问题--即我们对测试成绩的解释和使用 是有效的看成是不可或缺的重要指标。达到测试的效度可以有许多不同的途径和方法。这些途径和方法虽然名称迥 异，但实际上都是衡量效度的不同方法。近年来，随着语 言学家和测试者对语言测试学的关注和理解，他们愈来愈 澄清了对效度的名称和定义的认识，并对几种主要的衡量 效度种类划分达成一致的认识。 三、信度在测试各阶段的考虑  2．信度在实施阶段的考虑 实施阶段的任务是制定具体的、可操作的考试大纲， 详细说明试题包括的内容。换言之，在此阶段必须制作出 完整的试卷。图1所示，Bachrnan的语言模式把测试方法 作为影响测试成绩的三大类因素之一。因此，对试卷中每 个部分所采用的测试方法必须做出严格的要求。否则，不 恰当的测试方法将导致考生成绩的极大差异，使测试成绩 失去信度。 例如，多项选择方法(multiple-choice)的最明显的 优越性就是它的评分具有很高的信度，属于客观测试方法。 但是，某些语言领域的技能如写作、口语表达能力若采用 多项选择方法测试则很难测试出受试者的真实语言能力， 测试信度有所降低。综合填空方法(Gloze-test)则较适合 测试阅读能力。不难看出，正确的测试方法能够可信、有 效地诱导出反映某种语言能力的行为。某些测试方法只适 用于测试特定的语言能力，而无法用于其他语言能力。基 于我们对测试方法对成绩的影响的了解还十分粗浅，我们 无法推荐究竟用何种测试方法去测试具体的语言能力。 Lyle F．Bachman(1990)在选定测试方法方面提出了 很好的建议。“(1)测试任何一种语言能力时，至少采用两 种或更多的测试方法。(2)如果一份试题可能重复使用时， 尽量有目的地变换测试方法。”此举，一方面加深对测试方 法的理解，一方面降低由于测试方法选择不当而导致的测 试结果不一致的误差源，从而提高试题的信度。在实施阶 段，保证试题的信度还可以从其他方面人手。比如，尽可 能增大试题量或严格限制考生自由选择的范围来提高信度。 由于上述做法能够提高测试信度，因此在实施阶段的作用 应得到极大的重视。 3．信度在考后阶段的考虑 从考后阶段的主要任务来看，提高信度应把 重点放在培训阅卷员上，同时必须提供详细准确的标准答 案。由于任何考试的评分方法不可能全部使用多项选择， 对错一目了然。因此，主观题的评分必须首先规定正确答 案。另外，说明若遇到部分正确的答案时应如何打分。标 准答案规定愈清楚、细致，就愈可提高评分信度，也就更 有助于提高整个测试成绩的信度。培训阅卷员也是一条保 证评分信度的有效途径。在评阅主观题时，阅卷员必须经 过严格的岗前培训，统一批改试卷，然后将各评卷员评阅 过的卷子进行比较，也可由有经验的专家对其评阅进行分 析审核，那些严重偏离标准答案的阅卷员或停用，或对其 所评试卷进行再次审核。阅卷员的评分差异性是影响考后 阶段测试信度的较大的误差源，应千方百计降低或杜绝， 从而提高信度