基于知识加工机制的教师教学能力表现性评价方法

摘要

本发明涉及一种基于知识加工机制的教师教学能力表现性评价方法，属于教学信息化领域。该方为：S1：在调查和访谈若干人的基础上构建获得阶段的评价指标体系、构建加工阶段的评价指标体系和构建基于激活阶段的评价指标体系；S2：采用指标赋权法对指标体系进行赋权，同时基于Q矩阵理论构建用于学生认知诊断的理论框架；S3：编制脚本，用多面Rasch模型Facets计算软件运行脚本，对评分者、指标体系和样本进行修订，通过理想掌握模式进行学生的认知判断；S4：利用指标体系对教师的教学能力进行评价，并用计算机软件spss进行处理，同时通过学生的认知进行诊断，采用flexCDMs对学生的认知进行分析。

说明书

技术领域

本发明属于教学信息化领域，涉及基于知识加工机制的教师教学能力表现性评价方法。

背景技术

未来教师评价的发展趋势是促进教师成长的评价，是由专业评估人员在真实的教学情境中和特定教学任务或解决实际教学问题的过程中，对教师在教学中教学表现以及对学生学习的理解做出全方面、科学判断的过程。

在评价领域内，国外包括美国edTPA评价系统、加州教师表现性评价PACT、美国教学专业标准国家委员(NBPTS)评价标准、州际新教师评价与支持联合体INTASC。

美国教师表现性评价(edTPA)系统是美国教师教育院校协会(AACTE)和斯坦福大学等450多个机构的共同努力下，总结25年来教师教学能力评价研究成果，现场测试了12000名教师，联合开发的全美第一套统一的、高效的教师教学能力评价系统。目前，美国35个州和哥伦比亚特区的机构正在不同层次地使用edTPA，同时美国的国家教育委员会、专业标准委员会也将edTPA作为教师资格认证的一个强制性条件来考查教师的教学能力，此评价系统为美国选拔出高质量的教师，引领教育在全球的领先地位奠定了良好的基础。

但是国内对于教师表现性评价的研究还面临以下问题：

(1)对于教师的表现性评价理论与实践的研究不深入，不能系统、全面、科学地对教师进行评价，导致评价结果主观性成分大。许多研究或者只是一种经验的推广，没有上升到理论和技术层次；或者是理论阐述，联系实际不够，提出的措施可操作性和实践性不强，缺乏对实际教学的导向作用。同时，我国教师资格考试中虽然也有教师教学能力的评价标准，但是缺乏不同层次的评分水平界定以及科学的权重分值研究，使得评分者在评分过程中难以把握每一条评价标准达到的程度和水平；

(2)教师评价制度及内容仍待完善。我国教师评价更多关注结果，是为管理服务的、具有奖惩性的终结性评价，教育行政部门对教师资格的审查与认定具有明显的非专业性质，它直接影响教师专业化水平的提高；

(3)在我国教师教学能力评价中，反馈是最为薄弱的环节。即使从形式上要求有反馈或是进行了评价反馈，但由于没有专业人员对反馈信息进行科学的分析、综合与处理,要么没有及时反馈，要么反馈信息简单笼统，影响了评价反馈应有的作用，也失去了通过评价促进教师教学反思和专业成长的意义。

发明内容

有鉴于此，本发明的目的在于提供一种基于知识加工机制的教师教学能力表现性评价方法。

为达到上述目的，本发明提供如下技术方案：

基于知识加工机制的教师教学能力表现性评价方法，该方法包括以下步骤：

S1：在调查和访谈若干人的基础上构建获得阶段的评价指标体系、构建加工阶段的评价指标体系和构建基于激活阶段的评价指标体系；

S2：采用指标赋权法对指标体系进行赋权，同时基于Q矩阵理论构建用于学生认知诊断的理论框架；

S3：编制脚本，用多面Rasch模型Facets计算软件运行脚本，对评分者、指标体系和样本进行修订，同时依次构建邻接矩阵A、可达矩阵R和完全事件矩阵Q，并得到缩减事件矩阵Qr，通过理想掌握模式进行学生的认知判断；

S4：利用指标体系对教师的教学能力进行评价，并用计算机软件spss进行处理，同时通过学生的认知进行诊断，采用flexCDMs对学生的认知进行分析。

可选的，所述构建获得阶段的评价指标体系为：

构建测评模型Y＝αA+βB+γC；

Y表示获得阶段教师教学表现，A表示内容性加工，B表示结构性加工，C表示联系定位加工，α、β、γ是分别是“内容性加工”、“结构性加工”和“联系定位加工”三个指标的权重，且α+β+γ＝1；

同样A＝ε

a1表示同时使用陈述性定义和程序性定义，a2表示使用方法论知识精细复述，a3表示例规例分层加工，b1表示宏观-微观-符号建立联系，b2表示采用不同模型表征知识，b3表示促进知识前后纵横联系，c1表示初级联系定位，c2表示高级联系定位；

Y＝ε

ε

利用矩阵对偶法计算出各指标对应的权重，通过运算和标准化，获得指标权重；

获得阶段的教师教学表现测评模型，用数学线性表示。

可选的，所述构建获得阶段的评价指标体系中，还包括：

S11：评价人员的确定；

邀请评价人员参与到教学课堂或教学实录的评价中来，评价人员在评价过程中不干预评价对象的课堂教学；采用肯德尔系数对评价人员做一致性检验；

S12：评价对象的确定；

选择教师进行表现性评价；

S13：知识获得阶段的教师教学表现性评价指标体系应用；

获得教师在一级指标和二级指标的得分，一级指标包括内容性加工、结构性加工和联系新定位加工；

二级指标包括同时使用陈述性定义与程序性定义，运用方法论知识精细复述，例规例分层加工，宏观-微观-符号建立联系，采用不同知识表征，促进知识前后、纵横联系，初级联系定位和高级联系定位；

S14：知识获得阶段的教师教学表现性评价指标体系应用的结果分析；

根据评价人员教师的打分结果，取评价人员的平均分为教师的实际得分，并根据权重系数换算成最终得分。

可选的，所述构建加工阶段的评价指标体系为：

根据一级指标得分和二级指标得分所占权重形成衡量教师知识加工加工表现总得分的公式，然后对被评价教师进行评分；

评价的标准划分为4级：不合格、合格、良和优。

可选的，所述构建基于激活阶段的评价指标体系为：

由评委对教师的教学视频进行评分，采用的工具是多面Rasch模型分析工具Winsteps软件Facets软件；对教师评分结束后，对评分数据进行回收和分析，评分数据包括量表的单维性、拟合度、性别差异、教师教学能力和评委严厉度。

可选的，所述S2为：

①构建邻接矩阵A矩阵；

邻接矩阵是反映认知属性间直接关系的矩阵，其生成取决于两两属性之间是否存在直接逻辑关系；若存在直接关系，则用“1”表示，反之用“0”表示；

②构建可达矩阵R矩阵；

可达矩阵是反映认知属性间包括直接关系在内的间接关系和自身关系的矩阵，其生成取决于两两属性之间是否存在直接、间接或自身关系；若存在，则用“1”表示，反之则用“0”表示；

③构建缩减事件矩阵Qr

根据R矩阵，应用扩张算法，得到反映属性与可能的项目类型集合之间的关系的完全事件矩阵Q；完全事件矩阵Q中共含有26-1＝63个可能项目集，根据属性层级结构删除不符合属性之间逻辑关系的项目和考查了0个属性的一列，这得到缩减事件矩阵Qr，即认知诊断测验的编制框架，然后据此开发认知诊断测验；

④构建理想掌握模式

将缩减事件矩阵Qr进行行列转置，得到转置矩阵Qr’，其中行代表被试，列代表被试掌握的属性；矩阵Qr反映被试对于不同属性的所有符合属性层级关系的掌握模式，为理想掌握模式，在转置矩阵Qr’的基础上添加一行全零矩阵，得理想属性掌握模式。

可选的，所述S3为：

将学生的作答数据在excel中进行0-1编码，正确的编码为1，错误的编码为0，并保存为CSV文件；

在认知诊断分析平台上上传编码后的学生的作答数据以及相应的Q矩阵，选择合适的认知诊断模型，得到学生的属性掌握模式以及属性掌握概率。

可选的，所述权重的计算方法为：

请评价人员将本指标体系的各个维度指标排序，最重要的指标排最前面，最不重要的排最后；排在最前面的得n分，排第二位的得n-1分，以此类推，排最后的得1分；

邀请评价人员对指标进行排序；

对原始数据进行对数加权平均处理；

归一化处理后得指标的权重分配。

可选的，所述权重的计算方法为：

评价指标体系确定后，考虑每个指标对评价目标的贡献率；对每个指标进行权重系数的分配，进而表示出各指标在指标体系中的相对重要性；把同一级指标群集视为一个整体，每个指标的权重都小于1，指标体系的权重数之和为1；先将权重值分配到一级指标，然后再随着一级指标的分解而将权重值逐级地分解下去；一个指标体系的权重值为1，其后每一级指标的权重值之和则均为1，但下一级指标随着指标级别的降低，在总权重值中所表现出的贡献值就越来越小。

可选的，所述多面Rasch模型为：

在该公式中，P

Rasch模型将原始分转变为logits分，并将被试和项目放在同一量尺上进行比较。

本发明的有益效果在于：

(1)在理论方面，本技术方案的基础是脑科学、认知诊断法、信息加工理论等理论，以知识加工机制的研究成果来确定制定操作规则，可以为后续技术方案理论提供了理论依据。

(2)在技术方面，采用了权重分析法、多面Rasch模型分析方法、认知诊断法。通过构建Q矩阵、R矩阵等认知诊断矩阵并在认知诊断分析平台(flexCDMs)对多达近千人以上的被试进行了测试，并通过编制脚本利用Conquest、Facets软件等处理模型，能够准确的评价教师的教学能力以及学生的认知情况。

(3)在评价方面，本技术方案基于客观的、可观察证据的评价模型用于提高课堂分析评价的信度和效度，既全面科学，有利于研究者完整认识教师的教学能力；又具有可操作性，有利于提高评价在教师教学能力和教师专业发展中的地位。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明技术流程图；

图2为评委、被试以及项目之间的Rasch模型比；

图3评价指标的等级概率曲线图；

图4为评价对象的最终得分条形图；

图5为整体质量检测图；

图6为教师-评委-量表-评分等级总层面图；

图7为等级概率曲线图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本评价技术的流程图如图1所示，主要包括4个步骤，4个步骤环环相扣。

本发明采用了认知诊断法、权重分析法、数理统计分析法以及多面Rasch分析方法，以下介绍技术方案中如何对这四种方法进行使用。

一、认知诊断法

1.量化原理

要实现对人的内部心理加工过程的测量、诊断、评估并不是易事，因为人们无法观察到个体头脑中的思考过程，而只能得到他们对于测验项目的解答结果。通过科学家的努力诞生了新一代测验理论，认知诊断则是新一代测验理论的核心。认知诊断开发出具有认知诊断功能的心理计量模型(简称为认知诊断模型)，并将认知诊断法研究成果直接纳入计量模型中，从而实现对被试内部心理加工过程的测量，进而提供认知诊断信息。认知诊断模型是一种测量模型，用于实现认知诊断功能的数学模型。当前常用的认知诊断模型主要是基于项目反应理论框架并融入认知变量的测量模型，如规则空间模型、DINO模型、AHM模型等。

2.数据处理过程

(1)在构建出属性层级模型的基础上计算矩阵：构建邻接矩阵A→构建可达矩阵R→构建完全事件矩阵Q→得到缩减事件矩阵Qr(即典型项目考核模式)→得到理想掌握模式。

①构建邻接矩阵(Adjacency Matrix，A矩阵)

邻接矩阵是反映认知属性间直接关系的矩阵，其生成取决于两两属性之间是否存在直接逻辑关系。若存在直接关系，则用“1”表示，反之用“0”表示。如表1所示。

表1邻接矩阵

②构建可达矩阵(Reachability Matrix，R矩阵)

可达矩阵是反映认知属性间包括直接关系在内的间接关系和自身关系的矩阵，其生成取决于两两属性之间是否存在直接、间接或自身关系。若存在，则用“1”表示，反之则用“0”表示。如表2所示。

表2可达矩阵

③构建缩减事件矩阵Qr

根据R矩阵，应用扩张算法，可得到反映属性与可能的项目类型集合之间的关系的完全事件矩阵Q。完全事件矩阵Q中共含有26-1＝63个可能项目集(减1是删除了矩阵全为0的一行，因为每个项目都会至少考查一个属性)。但由于属性之间存在直接或间接的逻辑关系，因此需要根据属性层级结构删除不符合属性之间逻辑关系的项目和考查了0个属性的一列，这样就可得到缩减事件矩阵Qr，即认知诊断测验的编制框架，然后据此开发认知诊断测验。如表3所示。

表3缩减事件矩阵Qr

④构建理想掌握模式

将缩减事件矩阵Qr进行行列转置，可得到转置矩阵Qr’(行代表被试，列代表被试掌握的属性)。该矩阵在理论上反映了被试对于不同属性的所有符合属性层级关系的掌握模式，称为理想掌握模式，也称为知识状态(knowledge states)。在转置矩阵Qr’的基础上添加一行全零矩阵，可得如表4所示的理想属性掌握模式。

表4理想掌握模式

(2)将学生的作答数据在excel中进行0-1编码，正确的编码为1，错误的编码为0，并保存为CSV文件。

(3)在认知诊断分析平台上上传编码后的学生的作答数据以及相应的Q矩阵，选择合适的认知诊断模型，即可得到学生的属性掌握模式以及属性掌握概率。如表5所示。

表5属性掌握模型

二、权重方法(方法1)

1、量化原理

使用对数加权法来确定指标体系的权重。通过邀请一组评价人员对指标体系各个维度中的指标按其重要程度和作用大小打分或排序，同时需考虑人们对各个指标的重要程度划分不是等距的，评分或排序越靠前，受关注度越高，评分或排序越靠后，受关注度已大大降低，甚至可忽略不计。这样的思维规律与对数曲线非常相近，因此将各个指标得分进行对数处理，最后，再对各个指标总得分做归一化处理，得出指标权重。

2、数据处理过程

具体操作是：请评价人员将本指标体系的各个维度指标排序，最重要的指标排最前面，中等重要的指标排中间……最不重要的排最后。排在最前面的得n分，排第二位的得n-1分，以此类推，排最后的得1分。考虑到参与两轮访谈的评价人员已经对本指标体系较为熟悉，因此评价人员由两轮访谈的10位评价人员构成。问卷共发放10份，回收10份，回收率100％，经检查，所有问卷均有效。

邀请评价人员对三个指标进行排序，最重要的指标排最前面(3分)，第二重要的指标排中间(2分)，第三重要的排最后(1分)。一级指标最终重要程度调查统计如表6所示。

表6一级指标重要性程度调查分析

由表6知，对于A指标，认为其最重要的为1人，认为其第二重要的为3人，认为其第三重要的为6人。采用3级分制打分，认为最重要打3分，第二重要打2分，最不重要打1分。以3为底对各级指标得分取对数。

log

据此对原始数据进行对数加权平均处理：

A指标：(1×1+0.6309×3+0×16)÷10＝0.289

同理，可得B指标与C指标的权重：

B指标：(1×8+0.6309×2+0×0)÷10＝0.926

C指标：(1×1+0.6309×5+0×4)÷10＝0.416

归一化处理后得一级指标的权重分配如表7：ω＝[0.177；0.568；0.255]

表7一级指标权重分配

每个一级指标下都包含了二级指标但指标所含个数不一，下面分别对每个一级指标下的二级指标的重要程度调查统计分析，如表8～表10所示：

表8 A指标下各二级指标的重要性程度统计分析

表9 B指标下各二级指标的重要性程度统计分析

表10 C指标下各二级指标的重要性程度统计分析

由表8可知，A指标下的二级指标中：对于A1指标，认为其最重要的为0人，认为其第二重要的为6人，认为其第三重要的为4人。对于A2指标，认为其最重要的有0人，认为其第二重要的有4人，认为其最不重要的有6人。对于A3指标，认为其第一重要的有10人，认为其第二重要的为0人。同样采用3级分制打分，以3为底对各级指标得分取对数。

log

据此对原始数据进行对数加权平均处理：

A1指标：(1×0+0.6309×6+0×4)÷10＝0.379

A2指标：(1×1+0.6309×4+0×6)÷10＝0.252

A3指标：(1×10+0.6309×0×0)÷10＝2

归一化处理后得一级指标的权重分配如表11：ω＝[0.232；0.155；0.613]

表11 A指标下各二级指标权重分配

由表9和表10知，B指标下的二级指标中：对于B1指标，认为其最重要的为9人，认为其第二重要的为1人。对于B2指标，认为其最重要的有9人，认为其第二重要的有1人。采用2级分制打分，以2为底对各级指标得分取对数。

log

据此对原始数据进行对数加权平均处理：

B1指标：(1×9+0×1)÷10×0.9

B2指标：(1×1+0×9)÷10＝0.1

同理可得，C指标下各二级维度的权重：

C1指标：(1×9+0×1)÷10＝0.9

C2指标：(1×1+0×9)÷10＝0.1

归一化处理后得B指标下各二级指标的权重分配v＝[0.9；0.1]；C指标下各二级指标的权重分配ω＝[0.9；0.1]，如表12所示：

表12 B、C指标下各二级维度权重分配

根据以上所得各个指标的权重值，将其整合，最终用表13呈现。各二级指标已结合评价人员调查结果做同层次权重计算，再结合其对应的上级指标相对权重做二级指标相对权重分析，得最终二级指标权重数值。

表13二级指标权重数值表

由于已分析出指标体系的一、二级指标权重，各个水平可通过前两级权重进行加权处理获得；此外测评的水平有28个，已经超过20个，且在水平划分上已有高低层次之分，因此，不必再确定各个水平的权重。

三、权重分析法(方法2)

本发明还采用了另外一种权重分析法，具体方法如下：评价指标体系确定后，还需要考虑每个指标对评价目标的贡献率。据此，需要进一步对每个指标进行权重系数的分配，进而表示出各指标在指标体系中的相对重要性。权重可以采用小数、分数和百分数来表示，常用的是小数。一般把同一级指标群集视为一个整体，每个指标的权重都小于1，指标体系的权重数之和为1。可以先将权重值分配到一级指标，然后再随着一级指标的分解而将权重值逐级地分解下去。这种加权分配形式，即一个指标体系的权重值为1，其后每一级指标的权重值之和则均为1，但下一级指标随着指标级别的降低，在总权重值中所表现出的贡献值就越来越小。

以四个指标的比较举例，说明矩阵对偶法的权重计算具体步骤：

首先，编制问卷、列出矩阵图。矩阵图的目的是确定同一级指标比较的先后顺序(见表1)。表中加圈的数字是比较的前项，不加圈的数字是比较的后项，该表中的比较顺序：(1)乙和甲(2)丙和乙；(3)丁和丙；(4)丙和甲；(5)丙和甲；(6)丁和甲。需要注意的是在使用矩阵对偶法进行比较时，两两比较的前后顺序不能随意改变。

其次是计分。将评价指标体系中的两个指标逐一两两比并记分，两两指标比较的总分和为4分，按重要性程度记分：①甲比乙极其重要，则甲记4分，乙记0分；②二者同样重要，则各记2分；③甲比乙重要一些，则甲记3分，乙记1分，详见表14。

最后，计算权重系数。把每个指标的分值相加求和除以总分数，计算出各指标的权重系数，再将所有评价人员对每个指标的权重分别求和，计算出平均值得到最后的权重数值，如表15所示。

表14两两指标比较顺序表

表15两两比较法计分方法统计表

将评价人员、教师填写的各项指标的相对重要排序调查按照表16进行数据处理，然后进行权重分析。首先列好矩阵，将所有指标重要程度排序录入：

表16指标评价体系一级指标矩阵对偶法比较顺序

以一位评价人员填的化学知识获得阶段一级指标的相对重要性问卷为例，乙比甲同明显不重要；丙比乙同等重要；丙比甲同等重要。根据矩阵对偶法记分表，将该评价人员对以上各项指标比较后的结果转化为分数，完成如下教师化学知识获得阶段表现性评价一级指标权数结果统计(如表17所示)：

表17指标评价体系一级指标矩阵对偶法评分表

根据研究步骤，得出各一级指标的权重系数(见表18)：

表18化学知识获得阶段的教师教学表现一级指标权重

(1)内容性加工二级指标权重分析

首先计算一级指标内容性加工下面的3个二级指标，为方便列出矩阵图，先对指标进行编码，A1同时使用陈述性定义和程序性定义；A2运用方法论知识精细复述；A3例规例分层加工。

以一位教师填答的结果为例计算出化学知识获得阶段的教师教学表现性评价指标的二级指标的权重，如表19所示。

表19内容性加工二级指标权重

以此类推，首先将评价人员、教师对化学知识获得阶段的教师教学表现评价中的二级指标相对重要性比较的结果，都利用矩阵对偶法进行赋值；然后将每个指标的权重数值分别求和，再取其平均值，最后得出3个二级指标的相对权重，见表20。

表20内容性加工二级指标权重

(2)结构性加工二级指标权重分析

参照对内容性加工指标权重的计算过程，求得结构性加工的二级指标权重的分布情况如表21：

表21结构性加工二级指标权重

(3)联系定位加工二级指标权重分析

参照对内容性加工指标权重的计算过程，求得联系定位加工的二级指标权重的分布情况如表22：

表22联系定位加工二级指标权重

四、数理统计分析方法

数理统计法指运用统计分析工具，利用建立的数学模型对收集的数据资料进行统计分析从而形成定量结论的一种科学方法，在教育研究中应用广泛，是一种较为客观精确的数据处理方法。本研究运用SPSS 23.0作为分析工具，在利用量表评分后对回收的数据进行数理统计，分析性别因素、课型因素，并在实测后依据数理统计的结果进行分析。

对男性与女性教师成绩进行独立样本T检验，可以得知男性教师与女性教师的表现性评价相近，t值为-1.258，sig值为0.232＞0.05,可确定不同性别的教师在激活阶段的表现性评价不存在显著差异，如表23所示。

表23激活阶段男女性别教师的差异性研究

对不同课型分数进行独立样本T检验，可以得知不同课型的得分具有一定差异，t为2.877，sig值＝0.016＜0.05,可确定组织不同的课型在激活阶段的表现性评价具有显著差异，如表24所示。

表24激活阶段不同课型教师的差异性研究

五、多面Rasch模型

在对指标体系赋权以后，还有采用多面Rasch模型软件对指标体系进行反复修订。

1、测试的理论基础

测试基于Rasch模型进行，该模型是由丹麦数学家基于项目反应理论提出的潜在特征模型。Facets软件可以进行多面Rasch模型分析，其计算公式为：

在该公式中，P

2、数据处理过程

Rasch模型可以将原始分转变为logits分，并将被试和项目放在同一量尺上进行比较。在图2中呈现了评委、被试以及项目之间的比较。左边起第一列为logits值，从图2中可以看出，logits的范围为-2到+2。第二列为评委的测量值，logits值在0以上的，代表该评委评分较为严厉；logits值在0以下的，代表评委评分较为宽松，而logits值为0的代表宽严适中。从图2中可以看出，3位评委中，评委D的logits大于0，说明其评分最为严厉。而评委Y和评委M的logits在0以下，这2名评委则评分相对较为轻松，但是3位评委的logits值都在0上下，较为接近理想值。第三列为被试的测量值，每个“*”代表1个被试，从图2中可以看出，大多数被试的logits值大多数分布在-1到+1之间，Logits越大，被试教学情境创设的越好，反之，logits越小，被试的教学情境创设越不足。可以看出30个样本的难度范围广，呈现出中间多，两端少的分布情况，没有出现扎堆的现象。最后一列代表原始的分值，可以看出评分范围为1-4之间。

除了对评分者、样本质量以及量表进行分析以外，还需要对评分等级进行分析。图3为评价指标的等级概率曲线图，可以反映评分标准的合理性。该图的纵坐标表示的是获得某一分数的概率，横坐标表示的是被试的能力与量表难度的差。横坐标的值越大，被试得到高分的可能性越大。4条评分曲线分别代表用相应的数字1,2,3,4表示。由图3可以看出4条评分等级曲线的情况。在两条曲线交叉的地方，是两条曲线的门槛，被试得到这两个分数的概率是一样大的。一般而言，每条曲线都应有较为明显的峰，说明被试在这个能力范围之内最有可能得到该分数，且每条曲线也应当扁平，代表该分数跨越了一定的能力区域。从图3中可以看出，4条曲线都有明显的峰，且曲线适当的扁平，其3个“门槛”之间有一定的距离，由此可见分数等级是合理的。

依据本技术方案所涉及的研究方法，即权重分析法以及多面Rasch模型分析方法等方法，同时结合本评价指标的3个阶段，即激活阶段、获得阶段、加工阶段，共设计了三个案例：

(一)利用权重分析法对“化学教师知识获得阶段表现”进行评价的案例

1.构建测评模型

在构建测评模型时，首先要明确测评模型中各变量的符号及其含义，具体见表25所示。

表25测评模型变量的符号及含义

基于权重分析构建测评模型的已有研究，构建化学知识获得阶段的教师教学表现理论模型假设：假设化学知识获得阶段的教师教学表现的测评误差为0；假设化学知识获得阶段的教师教学表现可以用“内容性加工”、“结构性加工”和“联系定位加工”三个指标线性表示。

从而得到化学知识获得阶段的教师教学表现的理论模型：Y＝αA+βB+γC

α、β、γ是分别是“内容性加工”、“结构性加工”和“联系定位加工”三个指标的权重，且α+β+γ＝1。

同样A＝ε

Y＝ε

ε

根据化学知识获得阶段的教师教学表现的理论假设，利用矩阵对偶法计算出各指标对应的权重，通过运算和标准化，获得指标权重结果如表26所示。

表26各级指标的权重值

因此化学知识获得阶段的教师教学表现测评模型，以数学线性表示，即为：

Y＝0.44A+0.26B+0.30C。其中：

A＝0.43a1+0.25a2+0.32a3；

B＝0.10b1+0.07b2+0.09b3；

C＝0.12c1+0.18c2；

所以Y＝0.19a1+0.11a2+0.14a3+0.10b1+0.07b2+0.09b3+0.12c1+0.18c2。

2.化学知识获得阶段的教师教学表现评价指标体系的应用

为进一步展示化学知识获得阶段的教师教学表现评价指标体系的运用，方便评价人员对指标的使用。以《原电池》一课为例，假设有3名独立观察者对该课进行化学课堂真实教学与教学实录观察，并使用所建构的“化学知识获得阶段的教师教学表现评价指标体系”进行评分，测评化学教师的教学表现。

(1)评价人员的确定

假设研究邀请3名评价人员参与到3节化学真实教学课堂或教学实录的评价中来。研究者首先对评价人员进行了评价指标体系的评价培训，并要求3名评价人员在评价过程中不干预评价对象的课堂教学，科学地进行记录并严格保持其独立性，提高评价人员评价的信效度。由于表现性评价为评价人员的主观评价，三位评价人员也会存在评分差异，需进行评分者信度检验。评分者信度一致性检验合格后，方可进行评价。研究中可以采用肯德尔系数做一致性检验：

先让甲、乙、丙三位评价人员运用该指标体系对教师A和教师B的教学表现进行评价。假设得到分数如表27和表28。

表27教师A教学表现性评价得分表

表28教师B教学表现性评价得分表

将A和B两位被评价教师的8个二级指标评价分数的数据输入SPSS 23.0软件后，得到的肯德尔和谐系数W的值和与计算得出的相应值如表29和表30所示。

表29评价人员肯德尔和谐系数表

表30评价人员肯德尔和谐系数对应

查表发现，当K＝3,N＝8时，

(2)评价对象的确定

为准确运用本评价指标测评中学化学教师在化学知识获得阶段的教学表现，可根据具体情况选择评价对象。例如，本研究以选择3名高中化学教师进行表现性评价为例，其中新入职教师、熟手型教师和评价人员型教师各1名，研究选择的新入职教师均为入职1年的教师，熟手型教师为入职10年的教师，评价人员型教师市级特级教师，教学和教研经验丰富。

(3)化学知识获得阶段的教师教学表现性评价指标体系应用的实施

假设三位评价人员甲、乙、丙独立地对高中新入职教师A教师、熟手型教师B教师与评价人员型教师C教师，依据《原电池》课堂真实教学或教学录像，对3位教师进行教学表现性评价。经整理汇总后，表31～表33为3位教师在各个一级指标的得分。

表31甲的评价对象教学表现性评价得分表

表32乙的评价对象教学表现性评价得分表

表33丙的评价对象教学表现性评价得分表

(4)化学知识获得阶段的教师教学表现性评价指标体系应用的结果分析

根据甲、乙、丙三位评价人员对3位中学教师的打分结果，取甲乙丙三人的平均分为3位教师各自的实际得分(满分40分)，用S

表34评价对象的实际得分(满分40分)

表35评价对象的最终得分(满分5分)

整体而言，评价人员型教师A教师的得分最高，熟手型教师B教师的得分次之，新入职教师A教师的得分相对较低.这是由于新入职教师的职业生涯刚刚开始，提升空间很大，还需要在教学技能、知识加工方面进行锤炼，提升自己的专业知识和专业能力，不断提高教学理论、教育科研水平，向评价人员型教师看齐。

(二)利用权重分析法对“化学教师知识加工阶段表现”进行评价的案例

在确定了指标体系各个指标的权重，可以根据每一个指标所占权重形成一个衡量“化学教师知识加工阶段表现”的公式：

A＝0.177B1+0.568B2+0.255B3

＝0.041C1+0.027C2+0.109C3+0.511C4+0.057C5+0.229C6+0.026C7 公式①

以上公式当中，字母所代表的含义如下：

A为化学教师知识加工加工表现总得分；

B1-B3为各个一级指标得分；

C1-C7为各个二级指标得分。

根据以上公式，对被评价教师进行评分。此次评分只是对本研究所建构的带有指标权重的指标体系进行案例运用。假设此次评价指标体系的运用将对30名教师的课堂教学进行评价，教师们所上课的内容一致，均为人教版高一化学必修1中内容——《氯气》《芳香烃》《卤代烃》。

此次评价的评分标准根据以上划分的4级水平而制定，评分等级由1-4分别赋分为1-4分。被评价教师得分越高，则对应是知识加工加工表现就越优越，反之亦然。分值——等级匹配表如表36所示：

表36分值——等级匹配表

通过对30名教师的课堂教学进行评分后，运用公式①得到了每一位上课教师的最终得分，教师每一个指标的得分均为层级分，满分为4分，可将其百分制化，满分为100分，如表37所示，表中T代表上课教师，序号代表教师人数。具体算法举例：对T1教师：A＝0.041×3+0.027×4+0.109×4+0.511×3+0.057×4+0.229×4+0.026×3＝3.42，然后将其百分制化：3.42/4×100＝85.6，即为最终分，将之与分值等级匹配表相对比，可得该教师的表现等级。

表3730位教师各指标得分及最终得分表

从以上对30位教师的评价来看，多数教师均能达到良甚至优的水平，说明以上教师在知识的加工阶段表现方面良好，在课堂上能够帮助学生将知识更好地加工。

(三)运用多面Rasch模型对“化学教师知识激活阶段”进行评价的案例

由8位评委对优质课比赛中39位化学教师的教学视频进行评分。评委均为中学化学教师教学能力表现性评价课题组成员，其中在职二级教师3名，在校研究生5名。采用的工具是多面Rasch模型分析工具—Winsteps 4.3.2软件和Facets3.81.1软件。8位评委对39位教师评分结束后，对数据进行回收、分析，主要包括量表的单维性、拟合度、性别差异，教师教学能力及评委严厉度等方面。

(1)单维性检验

单维性检验是运用Rasch模型进行测量分析的前提，单维性指量表的所有指标测量了被试的同一种潜在特质，即量表从不同的角度考察教师的教学能力。本文采用残差主成分法检验量表的单维性，见表38。

表38单维性检验

如果去除多面Rasch模型可解释部分后，残差仍有若干共同的潜在特质并且未解释变异的特征值大于2，说明量表考察了除教学能力以外的特质，即量表不是单维的。由表37可知，五个维度中未解释的变异均小于2，则量表具有单维性。因此，15个二级评价指标从不同的角度测量了教师的教学能力，可以用Rasch模型来分析。

(2)整体质量检验

整体质量检验见图5。MNSQ的可接受范围为0.5-1.5，ZSTD的可接受范围为-2—+2，理想值均为1。从图5可知，量表及教师的MNSQ和ZSTD值均十分接近理想值，与模型拟合较好。信度(Person Reliability)的最低值为0.7，教师整体信度(0.90＞0.70)、量表整体信度(0.98＞0.70)均较高。项目分离度(Item Separation)的最低值为2，量表分离度(7.10＞2)显示量表能够区分不同教学能力水平的教师。

(3)总体分析

各层面的总体分布见图6。左侧第一列为Rasch量尺，以Logit为单位，将量表的平均难度设定为Rasch量尺的零点。第二列至第五列分别为教师面、评委面、量表面和评分等级面。

从教师面来看，教师的教学能力相差2.51个Logit单位，教学能力最高值为1.86，最低为-0.65。教师教学能力平均值为0.39，高于平均难度值0。从评委面来看，评委评分的宽严度相差3.05个Logit单位，8名评委中最严格的是5号评委，最宽松的是3号评委。从量表面来看，量表难度相差2.27个Logit单位，难度最高的是指标13，难度最低的是指标6。从评分等级面来看，各分值与临近分值间的界限清楚，且相邻评分等级区间的宽度分布比较均匀，不存在等级倒置现象。

1.对量表的质量分析

量表的质量分析见表39。平均观测值是15个量表的平均得分，第二列为量表难度，以难度降序排列。

表39对量表的质量分析

注：RMSE:0.11；Adj S.D:0.78；分离比7.10；分离信度0.98；x

由表39可知，在15个指标中，“指标13”最难，“指标6”最容易。拟合检验显示各个项目的infit和outfit统计量都在0.5－1.5之间，拟合较好。项目测量的分离比7.10，大于最低值2，x

2.对评委的质量分析

由于每位评委都有自己独特的风格，对评分标准的认识不同，就会出现评分者效应，可以通过评委的宽严度、一致性、分离度等方面体现出来。评委的质量分析见表40。

表40对评委的质量分析

注：RMSE:0.54；Adj S.D:0.79；分离比2.97；分离信度0.90；x

由表40可知，9位评委的宽严度平均值为0.00，是评分的理想状态，表明评委从整体上评分合理。分离比(8.58)超过了可接受的最低数值2.0，表明评委能够依据教师的表现区分不同教学能力的教师。分离信度(Reliability)表示评委之间宽严度的差异，用0－1表示：0代表无法区分，1代表可以完全区分。在本研究中，分离信度(0.90)的卡方检验结果显示评委之间的评估行为是存在差异的(x

3.对评分等级的分析

评分等级的概率曲线能够反映量表评分标准的合理性，见图7。

图7中每条曲线对应一个评分等级，横坐标表示教师教学能力与量表难度的差异，纵坐标是获得某一评分等级的概率。相邻两个评分等级的交点为量表的阈值(Thresholds)，从左到右四个交点分别对应的四个阈值为：-3.23、-1.52、1.54、3.22。四个阈值将整个Rasch能力量尺划分为五个能力区间，每个能力区间对应一条概率曲线的峰值，能力值在此区间内的教师最容易得相应分值。结果表明，量表不存在低分梯难度高于高分梯难度的现象，即能力越高的教师越有可能得到更高的分数，能把不同教学能力的教师区分开来。所以，总体上看量表采用五点计分是可行的。

4.性别功能差异检验

性别功能差异检验可检测量表对男女教师的难度差异，用于检测量表对不同群体的公平性。DIF MEASURE表示某个群组在该指标上的难度，DIF S.E表示标准误。DIFMEASURE越大，说明该群组在该指标上的难度越大。DIF CONTRAST是不同群组在该指标上的难度差异，Welch T和Prob表示难度差异的显著程度，0.01＜P＜0.05表示差异性显著，P＜0.01表示差异性极显著。性别功能差异检验见表41。

表41性别功能差异检验

注：DIF难度差异值(DIF CONTRAST)＜0.5logits，T值绝对值＜2，P＞0.05，无显著性差异。

由表41可知，指标3(基于对学生的了解来指导教和学)的DIF CONTRAST＝－0.50Logits(t＝－2.30，P＝0.0220＜0.05)，说明指标3在男教师和女教师中存在显著性差异，存在因性别导致的不公平。由DIF MEASURE值可知，指标3中对女教师的难度要求(-0.56)低于对男教师的难度要求(-0.06)，即在该指标上，倾向于对女教师有利。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。