影响英语写作评分的因素研究——以“外研社杯”全国英语写作大赛评分为例

摘要

写作评分方法主要考虑四个主要因素：写作任务，评分量表，评分员和作者。和之前大多针对大规模标准化语言考试不同，本研究以高水准写作竞赛中的评分方法为研究对象，希望通过比较分析上述因素间的互动和这些互动对最终评分结果的影响，建立一个适合写作竞赛的评分方法。
　　研究数据来源于2013年“外研社杯”第一届全国英语写作大赛。相较于其它大规模标准化考试，大赛对参赛选手来说竞争更大挑战更大。选手通过初赛和复赛后，方能统一参加北京决赛参与最终评奖。决赛评分要求中外评委运用不同的评分量表给两项写作任务评分，决赛评分结果为本次研究的最终数据。
　　数据分析将按研究问题分三步依次进行。第一步将从选手能力，评分员严厉度，量表功能和偏差反应四个方面来考察单项量表和整体量表的评分质量，文体影响将通过比较两个写作任务的评分结果来呈现。第二步将着重研究单项量表中各单项标准分的区分度。最后第三步将综合考虑各评分因素并逐步调整和整合，最后形成一个综合评分方法。
　　数据分析工具为 MFRM模型下的统计软件 Facets。数据分析显示，评分员在运用整体量表中更容易使用某一特定跨幅内的分数，而且评分员严厉度在任务一里呈现巨大差异。单项量表在两项任务中都能呈现更好的严厉度一致性。选手的写作能力与最终得分始终具有极强对应性，整体量表能够可靠地将选手能力区分为更多层面。对于两项写作任务，整体量表量表功能表现更佳，但低分区间内的区分度较低。在语言、结构和内容这三项单项标准中，语言对于大多数选手过于简单，结构为难度最高的单项标准，内容在不同文体写作中显示出不同难度，在第一篇记叙文中难度适中，而在议论文中难度过低。由于议论文中只有结构标准高于选手平均水平，评分不能有效区分选手表现。考虑到以上评分方法的不足，通过先后合并两个评分量表，加入外籍评分员，整合两个写作任务，最终形成了一个综合评分方法，其评分质量在选手拟合度和评分员严厉度上都有完善。

目录

封面

致谢

英文摘要

中文摘要

目录

Chapter 1 Introduction

1.1 Rationale of the study

1.2 Research questions

1.3 Overview of the Thesis

Chapter 2 Literature Review

2.1 Nature of writing ability

2.2 Writing assessment

2.2.1 Designing writing tasks

2.2.2 Large-scale writing assessment

2.3 Rating approach

2.3.1 Rating scale

2.3.2 Rater effect

2.4 Statistical model:MFRM to investigate rating outcomes

2.4.1 Introduction to Many-Facet Rasch Model (MFRM)

2.4.2 Application of MFRM in writing assessment

Chapter 3 Methodology

3.1 Introduction

3.2 Context of the study

3.3 Data collection

3.4 Data analysis

Chapter 4 Results and Discussion

4.1 Rating Quality of analytic and holistic approach

4.1.1 Contestant ability estimates

4.1.2 Rater severity and self-consistency

4.1.3 Scale functioning

4.1.4 Bias interaction

4.1.5 Genre effect

4.2 Analytic rating criteria

4.2.1 Contestant ability estimates

4.2.2 Analytic criteria difficulty

4.2.3 Rater-criterion bias interaction

4.2.4 Genre effect

4.3 The integrated rating approach

4.3.1 To combine the analytic and the holistic scale

4.3.2 To add the foreign raters

4.3.3 To integrate the two writing tasks

Chapter 5 Conclusion

5.1 Major findings

5.2 Limitations

参考文献