基于多层面Rasch模型和有声思维证据的写作分项式评分标准的效验研究

摘要

写作测试是语言能力测试中的重要组成部分，在国内外众多英语水平测试中，写作能力测试项目均占有较高的比重。然而，由于写作测试涉及的主观因素较多，写作任务、施测环境、评分过程等都会对测试结果产生影响，导致测试信度较低，测试的公平性受到威胁。其中，评分过程是影响测试效度的最重要因素之一，评分标准的优劣和评分员的客观性逐渐受到研究者的关注。如何提高评分效度成为语言能力测试的关键所在(Chen Jianlin2016)，而衡量评分效度的重要参数之一就是评分标准的效度(Shaw2007)。评分标准是评分员对考生写作能力评判的主要依据，一份效度高的评分标准能够有效地区分不同考生的写作能力，每个评分维度和各分数段的合理设置，使得评分员能够高效准确地运用评分标准，对考生的写作文本做出客观合理的评判，好的评分标准使用起来毫不费力且评分员信度较高，由评分标准的不准确性导致的评分误差较小。 近些年，国内外关于写作测试和写作评分的效度研究虽有很多，但从评分结果的角度对写作评分标准的效度研究却极少。针对写作评分标准的效验研究也只集中于两个方面：一是对不同类型的评分标准及其评分结果差异的探讨，二是对评分员和评分标准的交互作用研究。另外，以往研究中效度证据收集的方式比较单一，将对分数的定量分析证据与对评分员的定性分析证据结合起来的研究较少。 由于分项式评分标准能够为写作教学提供更详细具体的诊断性信息，更为准确地评价受试各方面的能力，因此，本研究综合定量研究与定性研究相结合的方法，采用多层面Rasch模型分析法和有声思维法收集证据，并融合现代效度理论，效验一份英语写作分项式评分量表，分析该分项式评分量表本身以及评分员在使用时出现的具体问题，找寻改进其准确性及客观性的方法，以期能为英语写作评分标准的效验做出探索性的尝试，为保障英语写作测试的效度奠定基础。 本研究在一次课堂写作测试中收集55份英语写作文本（5份用于写作评分员培训，50份用于实际数据分析），以真实写作评分环境下的5位评分员为主要研究对象，在正式评分之前首先对评分员进行了培训，以帮助他们熟悉评分标准和评分的注意事项，并进行试评；待评分员充分掌握评分标准后，开始对50份写作文本正式评分。在评分过程中，所有评分员使用同一份分项式评分标准进行独立评分，该评分标准包含四个维度，即词汇，内容，句法，连贯与衔接，每个维度的分值满分为10分。为获得有关评分过程的实证证据，评分员在评分的同时被要求做有声思维报告，以便准确了解评分员对评分标准的理解、使用和评价以及评分过程中出现的问题；评分结果则运用多层面Rasch模型进行分析和研究。综合定性和定量研究，得出以下结论： 1）该评分标准可以有效地区分不同考生的能力。考生的写作能力位于中等偏上，50位考生的写作能力大约被分为5个等级； 2）评分标准的四个维度设置基本合理，但部分维度的描述语出现重合、歧义、干扰、多余等问题； 3）评分标准的分数段设置不够合理。部分分数段未被评分员使用或使用过于频繁；各分数段的起始难度不呈单调递增；各分数段间的阈值间隔存在过大过小等问题； 4）五位评分员在评分过程中表现出的评分差异较大，严厉度不一，除一位评分员外，评分员之间的评分信度较高，除一位评分员外，评分员自身的一致性较好，但是在评分过程中偶尔会出现趋中现象； 本研究根据数据分析的结果，直观地反映了评分标准自身的问题以及评分过程中出现的主观误差，有助于对如何改进该分项式评分标准提出具体有效的建议；评分员行为的分析结果将为评分员的培训提供有针对性的指导和建议；评分标准各个维度的设置以及评分员评分时的不同侧重，有助于指导英语写作教学的改革。本研究丰富了现代效度理论，为英语写作评分标准的效验框架提供依据，为其他行为测试的评分和未来相关的研究提供参考。

目录

第一个书签之前