PRETCO口试评分标准效度验证

摘要

本研究基于多层面Rasch模型，通过分析评分结果对PRETCO口试评分标准的效度进行了验证，结果发现：PRETCO口试评分标准能够有效区分考生的能力；评分员评分的内部一致性总体较好；虽然评分员之间的严厉度有明显差别，但是这些差异并不影响总体的评分质量；评分员使用了评分标准中所有分数段；各个分数段的评分总体分布较为合理；因此，PRETCO口试评分标准的整体效度较高。但是，研究同样发现一些问题：“朗读”任务评分标准中两个分数段与考生能力出现了负增长；“陈述”任务评分标准一个分数段的使用频次过低，个别分数段阈值差距较小，评分员对这些分数段难以把握，容易产生混淆。基于此，本研究尝试为完善PRETCO口试评分标准以及评分员的培训提供一些启示与建议。