多侧面Rasch模式在英语写作测试中的应用——基于大连理工大学的实证研究

摘要

现在影响英语学习者测试表现的因素越来越受到关注，其中一个原因就是想探知和消除那些影响对英语学习者英语水平正确评估的因素。一些研究者把与要测试的英语能力有关的因素和与之无关的因素区分开来。那么探究哪些测试因素会造成学习者的表现的真正差异就具有相当的重要性。而作为直接测试和主观测试的写作测试中影响测试结果的因素也很多，因而找出影响写作测试结果的因素也尤为重要。本文在多侧面Rasch理论的理论框架指导下，通过使用两种基于此理论的分析软件对对写作测试信度产生影响的各因素进行分析，并通过分析指出多侧面模式可以作为一种分析并提高测试信度的有效工具。 本文对大连理工大学100名非英语专业大二学生的一次写作测试评分进行了分析，通过分析发现，实施的写作分析能够有效的将学生客观的分成不同能力水平，同时，多侧面模式中提出的各侧面包括评分员，学生，评分量表，写作测试和交互作用对测试信度的分析也显示了作用。通过分析表明，一些评分员在评分过程中出现了集中评分效应，对5大评分量表的使用信度较低，同时个别评分员有评分偏差现象。多侧面理论对上述产生问题的学生提供了相对公平的参照分数同时对于评分员培训和评分量表的使用等提出了合理建议。通过分析表明，多侧面理论能够发现每次测试的实施能否达到预期的表明并提高学生能力的要求同时能够对于测试结果的信度提高提出建议，因此多侧面理论可以被视为有效的测试工具。

目录

文摘

英文文摘

声明

1 Introduction

1.1 Background and significance of the study

1.1.1 Classical Test Theory (CTT)

1.1.2 Generalizability Theory (GT)

1.1.3 Item Response Theory (IRT)

1.2 Research questions of the study

1.3 Thesis structure

2 Literature Review

2.1 Brief introduction of MFRM

2.2 Application of MFRM on educational field

2.2.1 The use of MFRM on performance assessment

2.2.2 The Use of MFRM in Bias Studies

2.3 Research purpose

3. Methodology

3.1 Participants

3.2 Writing task

3.3 Rating scale

3.4 Instrument

4 Data analysis and findings

4.1 Participants

4.2 Tasks

4.3 Items

4.4 Rating scales

4.5 Raters

4.6 Bias analysis

4.6.1 Rater vs. Participant

4.6.2 Rater vs. Item

4.6.3 Rater vs. Task

4.6.4 Other Interactions

5 Conclusions

5.1 A summary of major findings

5.2 Implications

6 Suggestions for Further Research

Bibliography

Appendix A Rating scales

Publications during MA Study

Acknowledgement