运用概化理论多侧面模型分析CEPT口语考试的评分员信度

摘要

口语测试作为一种体现考生真实交际水平的测试手段是任何其他测试所不能达到的,因此,任何一个科学和理想的语言测试必须要包括口语测试。但由于口语考试自身的特点和评分的主观性,使得口语考试的评分工作面临着很多困难和挑战。这其中就包括了很多由测量误差所引起的评分信度不高的因素。
　　 概化理论作为一种现代测量理论,对口语评分信度的测量提出了全新的测量方法。首先在可观测的全域之上,明确测量目标、测量侧面及其相互关系。并在此基础上设计出交叉设计、嵌套设计和混合设计。其次,运用实验设计和方差分析的方法对实验数据进行分析,估计出各种变异来源对分数总变异所做的贡献,这也就是概化研究的过程。在决策研究阶段,通过修改不同的测量侧面、样本容量和测量结构等以达到试验设计人员想要的目的。
　　 本文正是运用概化理论对湖南大学英语分级考试中口语考试部分评分员信度问题所做出的研究。通过分析,本研究得出以下结论:
　　 1)本次口语考试评分员的整体信度很高。但也显示出了较显著的严厉度的差异。其中,3号评分员的严厉度水平是最低的。5号和6号评分员显示出了高度的评分一致性。并且,整个口语试题的难度适中,区分度也较理想。
　　 2)通过对不同测量条件下试题侧面的决策研究,估计出当试题侧面达到6个时,G系数达到了更高的信度水平。
　　 3)在决策研究中,分别估计出了评分员从1到10个范围内信度指标的变化情况。研究得出了在不同试题侧面条件下,多少个评分员就可以达到比较高的信度值。
　　 4)通过对不同测量侧面的调整和估计,研究得出了最优化的设计方案。即,当试题侧面为6,评分员侧面为4时,即可达到仞始设计时的高信度水平。
　　 本文的研究首先体现在首次对湖南大学英语分级考试口语部分的整体评估和评分员信度分析,因此具有十分重要的意义,并为其进一步发展和完善提供了实证依据。研究结果指出了口语测试部分现存的问题并提出了修改建议,并显示出了不同评分员的内部一致性水平差异,对甄选合格的评分员提供了参考。另外,本研究中采用概化理论来检测大规模口语考试中评分员信度的检测方法,不仅对英语分级考试提供了检测方法的参考,还对其他同类主观评分具有重要的参考价值。
　　 在最后,作者还提了本研究的局限和不足以及在此领域有待进一步研究的问题。