大学英语四级考试信度与效度研究综述.pptx

;目录; 1.文献检索范围; 2.基本趋势;参考人数逐年增加： 大学英语四级考试开始于1987年9月，考试发展的15年里（至2001年），参考人数逐年递增，由1987年的10万人，增长至2001年的448万人，其中2000年至2001年的增幅最为明显，因此2000-2003年研究的热度较高。; 3.研究方法;图3. 过去15年中大学英语四级考试信度与效度研究方法情况; 4. 研究内容; Richard认为在测试中效度是“指一个测验能测出预定要测量的事物的程度,或能够引起预报作用的程度”（转引自李炯英 2002，05）。Messick(1989)将考试效度的概念扩展到了包括考试使用、社会后果等在内的以构念效度为核心的整体效度观。这种效度观认为,效度并不是对考试本身的评价，而是对测试结果的解释和使用的评价，效度研究是收集不同方面的证据支持对测试结果的解释或使用的合理性 (转引自金艳 2006.06)。 Baehman(1990:289)认为效度是关于测试分数解释和使用方式充分性和适当性的一个整体概念，是语言测试开发、解释和使用中应考虑的最重要的因素,主要用于测试分数或结果的解释和使用(转引自穆惠峰 2011,04)。 在国内的研究中，杨惠中(2003,25)认为效度是指考试能准确反映学生实际运用语言的能力。李筱菊称,“语言测试的效度，亦指有效性，指测试所考的，是否就是所要考的，或者说,在多大程度上,是考了目的所要考的”(转引自江澜,冯晓媛2003:85)。李清华（2006）指出语言测试界对考试效度的传统定义是“考试是否或多大程度上测试了设计者想要测试的内容”，测试内容和形式是这种效度观所关注的核心。 ; 关于信度的含义：徐强认为（2000)信度是指同一考生在不同的考试条件下(如不同的考场、不同的考官等)参加同一项考试后所得到的分数是一致的（转引自蔡基刚.2005.04)。杨惠中(2003:25)认为“信度是指对学生的语言水平提供可靠的度量。李筱菊（2001）称测试信度是指测试结果是否可靠可信。 ;（2）影响因素： 在关于效度和效度影响因素的研究中，研究内容多样化并取得了很大的进展，对后续的探索具有很好的借鉴意义。 首先，不少学者探讨了影响英语技能测试（口语、阅读、写作）的因素。庞继贤（2005.07??认为口语考试的效度和信度受到多方面因素的影响。例如：口试形式、任务内容、评分标准和考官素质等。蔡基刚(2005.04)在《大学英语四、六级计算机口语测试效度、信度和可操作性研究》中指出施考的条件、试卷的内容和难易度、阅卷评分是否一致等会影响口语考试的信度与效度。辜向东（2009.01）的《大学英语四级考试快速阅读部分内容效度研究》结果表明快速阅读部分在选材、词汇范围、话题范围、阅读速度要求、考查技能、题目题型分布方面影响内容效度。Hughes(2003)相信如果阅卷员能够得到较好的培训,写作测试的评阅信度系数有可能达到0.60以上（引自张森2010.05）。 ; 此外，不少学者试求基于新热点角度进行探讨。Alderson认为语料库的应用可以提高考试的内容效度，因为测试材料选自真实语言文本,具有自然语言特征。也就是说，语料库作为一种手段，可以用来提高考试内容效度(转引自邹申2008.11)。薛梅（2006.06)在《基于效度验证的新四级考试效度》的探讨中认为试卷内容、反应过程、试卷的内部结构以及测试的后果与其他外部变量之间的关系这四方面会新四级考试的效度有较大影响。金艳（2010，03）在《大学英语四级网考效度初探》中认为影响网考效度的因素产生于测试任务的呈现方式和考生答题方式，而且这些因素可能对不同的考生会产生不同的影响，包括考生对考试的态度和评价、考生的心理过程、认知策略、答题策略以及考试成绩。 ;4.2 实践层面; 张森、于朋（2010）对大学英语四级考试作文网上评阅信度保障进行了研究。结果显示网上阅卷系统能明显提高评阅信度,培训实验有助于阅卷员掌握评分尺度。本研究最后对改进网上阅卷员培训及保障网上阅卷评阅信度提出了建议。 目前的网上阅卷系统在保障随机发卷的基础上已能够保证较高的评阅信度,但在阅卷员培训和阅卷组长如何更好地凭借阅卷系统实施有效监控方面仍有进一步提升的空间以达到更高的评阅信度。①阅卷组长组织阅卷组成员进行面对面的讨论,确保阅卷员之间对每一份试卷的评分尺度把握一致。②阅卷组长除了参照相关系数、平均分、平均用时及图表等数据和使用抽查等方法进行有效监控外,还应考虑评卷系统所提供的标准方差、综合指数等数据,不应片面追求较高的相关系数而伤害评阅信度。 ; 辜向东、李志芳、张书奎（2009）对大学英语四级考试快速阅