国际大规模数学测评研究——基于对TIMSS和PISA数学测评的分析

摘要

二十世纪中后期，随着对人力在社会经济发展中作用的认识和注重，各国或地区日益关注本国或本地区教育对于人力的培养，关注教育过程及教育体系的质量和效果。国际大规模测评得以形成并发展。同时数学作为现代科技发展中必备的基础性和工具性学科，数学成为现代经济发展中人才的基本素养之一。鉴于各国在数学课程上存在的极大相似性，国际大规模数学测评得到各国日益重视，并在国际大规模测评中独树一帜。
　　以国际教育评估协会(IEA)开发的TIMSS数学测评和经济合作发展组织(OECD)负责的PISA数学测评为代表的国际大规模数学测评发展至今，已成为反馈、比较不同国家、地域或文化间数学教育质量及效果，并有助教育管理、政策制定或调整的国际平台。将国际大规模数学测评本身作为研究对象是非常让人感兴趣的事。
　　2012年数学是PISA测评的主测领域。同年，上海继2009年参加PISA测评后，再次参加该测评，并在数学测评结果显示上位列所有参加测评国家和地区的第一位。但让我们更为感兴趣的是，在上海参加测试群体中，既参加2012年PISA数学测评，又参加上海初中毕业统一学业考试数学测评（简称上海中考数学测评）的全部1953名初三学生，他们在相隔不到两个月参加的大规模数学测评上所得成绩相关系数为0.71。国际大规模数学测评与上海中考数学测评在同一群体上的成绩差异及影响因素引起我们极大的注意和思考。
　　本论文基于上述，解析国际大规模数学测评内在的系统构建，并以国际大规模数学测评内在的系统构建为视角，透视上海中考数学测评结果差异的缘由以及深入分析测评系统构建的必备性。这也形成了本论文的研究目标。
　　论文首先将国际大规模数学测评内在的系统构建及特点纳入研究视野。为了便于研究的展开，先基于梅斯雷弗（Mislevy）对于测评基于证据推断的本质理解，将以证据为中心的测评系统设计结合美国国家研究协会（NRC）所提出的“测评三角”，将“认知”“观察”和“解释”作为大规模数学测评比较分析的三个维度。再以TIMSS数学测评和PISA数学测评为例，先利用历史研究法，纵向分别就两个测评系统在各个分析维度上的发展脉络进行梳理分析；然后通过横向的比较研究，通过剖析两个测评在系统构建上的相似性和差异性，凸显国际大规模数学测评内在的系统结构特征及存在的内在联系性。
　　其次，我们进一步展开定量分析。首先以参加PISA2012数学测评和上海中考数学测评初三1953名考生的相关数据（包括数学成绩以及相关非认知结果等），探寻国际大规模数学测评与上海中考数学测评在内在系统结构上的差异对上海中考数学成绩的影响。随后利用国际大规模数学测评在学习结果影响分析模型构建上的工作，结合PISA2012数学测评在学习机会——内容、教学实践和教学质量以及数学学习动机和信念上的数据，在学生个体和学校层面，利用多层线性模型（HLM），分析在上海中考数学测评和国际大规模数学测评成绩上影响因素的差异。量化结果显示，不同大规模数学测评结果在学习结果影响因素上存在着差异。这也提示上海中考数学测评需建立自己学习结果影响分析模型或质量评价分析系统。
　　通过上述研究，我们发现：
　　（1）不同的国际大规模数学测评的发展历程存在相似性。该相似性不仅表现在研究和政策驱动上的融合，表现在目标分析框架、学习结果影响分析模型的建立和测评技术方法的运用上，还表现在发展阶段——先目标分析框架，内容维度量尺建立，量尺分层描述，到认知过程维度量尺建立，整个过程的一致性上。
　　（2）大规模数学测评构建的基础是系统内在的一致性。测评系统的三要素，“认知”——测评目标分析框架，“观察”——测评蓝图、题型的使用和编码系统设计，“解释”——量尺的形成、统计模型的使用、基准或精熟度层次的划分，在测评中各司其职，相互依存，相互制约，甚至相互修正，形成整个大规模数学测评内在一致性，保证了测评结果可靠性和有效性。同时基于大规模数学测评内在一致性，国际大规模数学测评还体现出测评系统的综合——技术方法的综合运用，连续性——不同年份测评结果可比性得以确立。
　　（3）测评目标框架对测评目的的凸显作用。对于课程的不同认识，对于测评目的，是应体现已知什么和能做什么（TIMSS数学测评为例），还是应体现应知什么和怎么做（PISA数学测评为例）。TIMSS数学测评以纯粹知识体系或线索为中心表现学习结果及水平，而PISA数学测评以能力线索为中心，以问题解决为平台表现学习结果及水平。不同的国际大规模数学测评展开了不同的测评目标框架设计，并据此相应在系统要素观察——题型题量分布，以及解释——量尺构建上形成差异性。
　　（4）大规模数学测评目标框架中不同维度内的变化会影响测评结果。针对国际大规模数学在测评目标框架上内容和认知过程两维的设计，以PISA数学测评为例，其与上海中考数学测评在内容和过程维度上试题题量分布的差异，分别对上海中考数学成绩差异达到37％左右的解释率（其中内容维度上的差异对上海中考数学成绩差异解释率达36.7%，而过程维度上的差异对上海中考数学成绩差异解释率达37.3%）。同时过程差异指标的提升一个单位，对中考测评成绩的影响要比内容差异指标的单位提升影响更大。测评目标框架作为测评系统“认知”要素的具体体现，同时鉴于其对其它要素的统摄性，上述案例显示在大规模数学测评系统内在构建上的差异，甚至具体到相同维度上试题分布的差异都会影响测评结果。
　　（5）不同大规模数学成绩的因素影响存在差异性。对于同一群体，在不同测评上所得成绩的影响因素有相同之处，但也有存在不同之处，甚至显著性程度也不一样。同时在不同层次上，对同一群体，同一因素的影响显著性也存在不同。对于不同的数学测评结果，在不同因素之间存在中介效应。特别是数学自我效能和数学工作伦理，前者对PISA和上海中考数学测评成绩在学生和学校层面都有显著性影响，而后者仅仅对上海中考数学测评成绩有显著性影响。同时后者对于上海中考数学测评显示出显著的中介效应。显示出上海中考数学测评学习结果影响因素存在独特性，需要我们建立自己的学习结果影响分析模型和质量评价分析系统。
　　鉴于上述，我们通过分析上海中考数学测评系统要素上的现有表现，指出其内在一致性存在不足，以及结果解释几乎缺失。这会极大影响上海中考数学结果的有效性和可靠性，影响对初中数学学业水平的界定及对教学的反馈。论文最后针对上海中考数学测评系统，在大系统观的确立和测评目标框架的统摄性上，以及在上海中考数学测评基础建设上，如核心能力标准的制定，数学问题解决测评框架的建立，数学测评目标框架内容和过程上相关内容选择等方面进行分析和建议，以助于提升上海中考数学测评系统内在的一致性建设以及结果的解释，对中考数学的改革在实施层面提供依据和参考。

目录

封面

中文摘要

英文摘要

目录

第1章 绪论

1.1 研究的缘起、目的和意义

1.2 相关概念分析

1.3 研究路径、研究方法和假设

第2章 相关文献综述

2.1国际大规模数学测评现状简述

2.2 TIMSS和PISA数学测评研究

第3章 教育评价测量理论及测评系统设计

3.1教育评价测量理论

3.2 测评系统设计及框架

3.3 测评系统比较分析维度确定

第4章 TIMSS和PISA数学测评的历史演进

4.1 TIMSS数学测评的历史演进

4.2 PISA数学测评的历史演进

4.3 TIMSS和PISA数学测评历史演进总结和分析

第5章 基于分析维度的TIMSS和PISA数学测评比较

5.1测评认知维度比较分析

5.2测评观察维度比较分析

5.3测评解释维度比较分析

5.4 TIMSS与PISA数学测评异同点总结和分析

第6章 自省和借鉴：上海中考数学测评系统设计分析

6.1上海中考数学测评情况概述

6.2上海中考数学测评结果解释量化分析

第7章 结论和建议

7.1 结论： 系统构建数学测评，客观反映教学质量和效能

7.2建议：筑建上海中考数学测评系统，增强测评结果解释力

参考文献

附录1 PISA数学测评试题纳入中考数学测评框架所示表

附录2 中考数学测评试题纳入PISA数学测评框架所示表

附录3 中考数学测评与PISA数学测评相关性

攻读学位期间取得的研究成果

后记

声明