总评法与分项法的测试交互性——外语课堂写作测评方法成效对比研究

摘要

总评法与分项法是直接写作测试中最常见的评分方法。两种方法各有长短。在教学、研究中究竟选择哪种方法一直是一个有争议的问题。解决选择难题的一个合理办法就是参照Bachman和Palmer1996年提出的“测试有用性”质量系统(Weigle，2002)。测试有用性包括六种质量指标：信度、构建效度、真实性、交互性、后效以及实用性等。选择哪种评分方法不在于优化每一种指标，而在于根据特定测试语境，在六种质量指标之间取得适当的平衡。这六种质量指标有的被广泛研究或应用于测试效度评估中，有的则不然。其中，以交互性的相关研究或应用最为鲜见。因此，关于写作测试中评分法的测试交互性，我们只能推测：在考生知悉具体作文评分方法的条件下，他们与测试任务之间的交互作用可能会受到所选评分方法的影响。要回答这个问题，必须在实证中寻求答案。此外，长期以来，在写作教学、测试实证研究中普遍使用统计显著性检验，来分析数据、解释结果。而显著性表示的是研究本身的质量而不是研究结果教育成效的意义。更可取的检验方法是统计显著性加上效果量计算(Robinson和Wainer,2001)。 基于上述考虑，本文旨在选取与以前不同的角度——测试交互性——来比较总评法与分项法在外语(母语为汉语)环境使用中的成效情况，采用教学干预、测量工具等手段来进行研究。参与研究的被试均为一所综合性大学的二年级学生；实验组(n=32)接受分项法作文评分，而控制组(n=25)接受总评法评分。研究问题从测试交互性的四个组成部分来着手：学生作文在语言知识方面的表现(包括“结构”、“词汇”和“语法”)、学生作文在话题知识方面的表现(即“内容”)、学生对“情感投入问卷”的应答情况，以及学生对“修改问卷”的应答情况等。 基于教学的研究采用准实验设计，即非等值前测-后测控制组实验设计，来比较总评法、分项法的成效及相应效果量。同时，在准实验设计中嵌入了重复测量设计，来检查组内前测、后测变化情况。整个测试设计是建立在教学设计的基础之上，也是教学设计的核心。测试工具包括两套评分法、五个写作问题、“情感投入问卷”以及.“修改问卷。”前两种工具旨在探究学生在实验课前和实验课期间作文中的相关表现，而后两种工具意在研析学生在写作中情感、修改策略的变化情况。 与测试交互性的组成成份相适应，所收集的数据包括学生的作文成绩和对两种问卷的应答数值。其中，对学生的作文实施了双人评分。数据分析分为两个部分：组间分析与组内分析，以前者为主。组间分析包括三个步骤：差异显著性检验、效果量计算以及统计检定力分析。组间分析结果显示，除了在“词汇”、“语言知识(总体)”方面与控制组没有实质差别以外，实验组在其他方面都有明显的积极变化。具体结果如下：●语言知识：组间均分差为.67分(t=1.984，p＞.05)，效果量为.60，统计检定力为.834◆结构：组间均分差为.85分(t=2.105，p＜.05)，效果量为.64，统计检定力为.850；◆词汇：组间均分差为.45分(t=1.385，p＞.05)，效果量为.42，统计检定力为.752；◆语法：组间均分差为.70分(t=2.097，p＜.05)，效果量为.63，统计检定力为.846； ●话题知识：组间均分差为.83分(t=2.402，p＜.05)，效果量为.73，统计检定力为.881； ●情感反应：组间均分差为9.01标准分(t=2.358，p＜.05)，效果量为.71，统计检定力为.874； ●修改策略能力：组间均分差为7.74标准分(t=2.319，p＜.05)，效果量为.70，统计检定力为.871。此外，组内分析显示两组在各方面都有不同程度的提高。 研究结果表明，在当前测试环境下，使用分项法比使用总评法对测试交互性，即学生与写作任务之间的交互作用，会产生更积极的影响，更能促进外语写作发展。上述结果对于直接写作测试中评分方法的研究及实践都有着重要的意义。它不仅证明了交互性作为测试质量指标的重要性，还有助于我们全面了解分项法、总评法的测试有用性，有助于我们合理解决写作教学实践中面临的评分法选择难题。

目录

文摘

英文文摘

论文说明：LIST OF TABLES、LIST OF FIGURES

上海交通大学学位论文原创性声明及版权使用授权书

ACKNOWLEDGEMENTS

CHAPTER ONE INTRODUCTION

CHAPTER TWO REVIEW OF RELATED LITERATURE

CHAPTER THREE METHODOLOGY

CHAPTER FOUR RESULTS

CHAPTER FIVE DISCUSSION AND CONCLUSION

APPENDICES

REFERENCES

PUBLICATIONS