基于辅助中介变量分析的教学课程过程性评价方法

摘要

本发明公开了一种基于辅助中介变量分析的教学课程过程性评价方法，包括以下步骤：构建课程学习与学生学习产出因果模型图；选择过程性评价方式，寻找不受混杂因子影响的辅助中介变量；通过因果模型图引入辅助中介变量，构建基于前门调整法的因果模型图，计算真实因果效应；比较所有辅助中介变量单个或组合的计算结果，指导过程性评价持续改进。本发明引用do算子以及后门标准、前门标准，构建基于前门调整法的因果模型图来进行“项目式学习”过程考核设计与课程质量评价，在工程教育具有全员覆盖性，无法实施随机对照试验的前提下，采用基于观测数据的自然实验方法，去除数据关联中的混杂影响，推断出项目式学习对学生学习成果的真实因果效应。

说明书

技术领域

本发明涉及一种基于辅助中介变量分析的教学课程过程性评价方法。

背景技术

现如今很多课程老师为了提高课堂效果，获得更高的课程目标达成度，采用“项目式学习”(project-based learning，简称PBL)教学方法，以学生为中心，以真实项目或案例为主题，让学生自主学习或小组讨论，从而在学习过程中获得自我能力的提升。但是PBL教学方法在实际的应用中效果却并不理想，因为其中很多同学无法达到自主学习的状态，在教学中的作业任务并未自主完成而是借用其他同学的作业去交差，小组讨论中也并没有发挥积极作用，但是其在最后的考试中反而取得了不错的成绩，所以最后的成绩所反映出来的效果不能真正的表达学生的实际能力。也就是说，有着很多难以控制与观测的混杂因子在同时影响着学生的项目式学习过程与最后的考试成绩。

由此可见，在面临难以控制与观测的混杂因子时，需要解决两个问题：(1)是否有清晰易懂的推理模型能够为提出的诸多问题提供明确的答案，设计项目式学习的教学与考核，以改进混杂因子对学习和成果两方面的影响；(2)是否有适应性强的计算公式能够根据所掌握的数据回答因果问题，评价项目教学法对于学生学习成果的真实因果效应。

现常用的因果模型通常由朱迪亚·珀尔等人于2000年左右提出基本概念，至今已经发展成为一门横跨统计学与计算机学科的重大任务，其重点在于关于干预的建模与推理。Bernhard将其称作新一代信息革命的燃料，其主要概念是将事物或者事件用节点进行表示，再用带箭头的线段来表示其因果关系。图1是为了严格处理因果关系问题所针对数据集所提出的一种结构因果模型概念(SCM)的图形化因果模型关联集。其给出的图形定义为，如变量X是变量C的子变量，即有箭头从C指向X，则称C为X的直接因果原因。其箭头代表的则是C到X的概率或者说是贡献值，表示有C与无C时X出现的差值。如图1，真正的因果效应X→Y与由叉接合X←C→Y诱导的X和Y之间的伪相关混合在一起，这里的C就叫混杂因子，若C作为不可观测的混杂因子，影响X到Y的因果效应时，因果效应就无法通过条件期望计算，这时需要采用随机试验计算因果效应或者是采用传统统计学进行回归分析。但在工程教育领域中，随机试验去进行课程目标达成度分析的方法无法使用，工程教育具有全员覆盖性，随机试验不现实，同样用回归分析的方法去计算因果效应的方法也显得过于繁琐，不便于在教育领域的推广与应用。

发明内容

为了解决上述技术问题，本发明提供一种算法简单、精准度高的基于辅助中介变量分析的教学课程过程性评价方法。

本发明解决上述技术问题的技术方案是：一种基于辅助中介变量分析的教学课程过程性评价方法，包括以下步骤：

步骤一：构建课程学习与学生学习产出因果模型图；

步骤二：选择过程性评价方式，寻找不受混杂因子影响的辅助中介变量；

步骤三：通过因果模型图引入辅助中介变量，构建基于前门调整法的因果模型图，计算真实因果效应；

步骤四：比较所有辅助中介变量单个或组合的计算结果，指导过程性评价持续改进。

上述基于辅助中介变量分析的教学课程过程性评价方法，所述步骤一中，构建课程学习与学生学习产出因果模型图的过程为：

(1-1)给出图形定义：如变量X是变量C的子变量，即有箭头从C指向X，则称C为X的直接因果原因，其箭头代表的则是C到X的贡献值，表示有C与无C时X出现的差值；

(1-2)定义变量C、X、Y，变量C分别有箭头指向变量X和变量Y，变量X有箭头指向变量Y；

真正的因果效应X→Y与由叉接合X←C→Y诱导的X和Y之间的伪相关混合在一起，因果模型图中的C为混杂因子；X为项目式学习；Y为考试成绩，即课程目标达成情况。

上述基于辅助中介变量分析的教学课程过程性评价方法，所述步骤二中，将“学生作业抄袭”、“学生在小组讨论中划水”、“学生考前刷真题”、“作弊”因素归类为“惰性”，作为项目式学习对于考试成绩因果效应中的混杂因子；

对于项目式学习与课程目标达成情况的中介变量，选用“成果展示”；“成果展示”指的是学生在完成自己以项目为基础的作业后，在课堂上进行展示并由其他学生进行投票打分；以“成果展示”作为项目式学习到课程目标达成情况的中介变量，是因为现在老师意识到现以面向成果导向的工程教育专业认证注重的是以解决实际问题为目标的学生能力，而不是传统的以考察学生知识点掌握能力为终极目标的分数教育，所以要求学生需要在课堂上展示自己所完成的以项目为基础的作业作为过程性评价。

上述基于辅助中介变量分析的教学课程过程性评价方法，所述步骤二中，过程性评价包括记录教学实施产生的相关数据：课堂观察、课堂展示、随堂测验、课程论文(报告)、档案袋成长记录、个别交流、态度调查。

上述基于辅助中介变量分析的教学课程过程性评价方法，所述步骤三中，当混杂因子C可测量，这时使用后门调整法计算X对Y的因果效应P(Y|do(X))；

后门路径定义为所有X和Y之间以指向X的箭头为开始的路径，如果可以阻断所有的后门路径，也就意味着完成了去混杂；控制C即可阻断后门路径，后门调整就是通过对去混变量集C的控制阻断从X到Y的所有后门路径；对于数学公式，此时，do(X)等同于see(X)，P(Y|do(X)，C)＝P(Y|X，C)，表达的意思是，在控制了一个去混因子集之后，留下的相关性就是真正的因果效应；

由do算子运算推导出后门调整公式：

P(Y|do(X))＝Σ

＝Σ

＝Σ

此公式计算的是变量X对于变量Y的因果效应，其中变量C为变量X对变量Y因果效应中的混杂因子；通过公式，在C可观测的情况下，直接通过数学计算得到X到Y的因果效应。

上述基于辅助中介变量分析的教学课程过程性评价方法，所述步骤三中，当C不可测量的情况下，此类情况已无法通过后门路径去简化计算，在这种情况下选用前门调整法，在C不可测量的情况下去除混杂，从而计算X到Y的因果效应；

前门标准定义为：如果一个变量集合M满足以下条件：M切断了所有X到Y的有向路径；X到M没有后门路径；所有M到Y的后门路径都被X阻断，则称变量集合M满足有序变量(X，Y)的前门准则；也就是说当计算因果效应时发现X对Y的因果效应被一组变量C混杂，又被另一组变量M介导，且变量M不受到变量C的影响，即可利用前门调整法从观测数据中估计X对Y的因果效应。

上述基于辅助中介变量分析的教学课程过程性评价方法，所述步骤三中，前门标准定义为：如果一个变量集合M满足以下条件：M切断了所有X到Y的有向路径；X到M没有后门路径；所有M到Y的后门路径都被X阻断，则称变量集合M满足有序变量(X，Y)的前门准则；也就是说当计算因果效应时发现X对Y的因果效应被一组变量C混杂，又被另一组变量M介导，且变量M不受到变量C的影响，即可利用前门调整法从观测数据中估计X对Y的因果效应。

上述基于辅助中介变量分析的教学课程过程性评价方法，所述步骤三中，基于前门调整法的因果模型图中包含混杂因子C、项目式学习X、课程目标达成情况Y和成果展示M，其中C分别有箭头指向X、Y、M，X有箭头指向M，M有箭头指向Y；

因为未采取任何措施，惰性同样影响着学生的成果展示成绩，即混杂因子C影响了中介变量，所以C有指向M的箭头，这导致了混杂因子无法在引入中介变量后得到控制和去除；所以如果要使用前门调整法，就要屏蔽混杂因子对于成果展示的影响，取消掉C到M的箭头，在大纲中明确要求学生每人至少参加一次以项目为基础的成果展示，将不参加成果展示则不能参与期末考试作为硬性要求，因为成果展示每个人只有一次，做到严格管理成果展示这一环节且精确评分，即可阻断惰性这一混杂因子对于过程评价即“成果展示”的影响，消除了因果模型图中C指向M的箭头。

上述基于辅助中介变量分析的教学课程过程性评价方法，所述步骤三中，基于前门调整法的因果模型图中，X到Y的因果效应P(Y|do(X))使用前门调整公式所表达：

P(Y＝y|do(X＝x))＝∑

此公式计算的是变量X对于变量Y的因果效应，其中变量M是变量X对变量Y因果效应的中介变量，do表示do算子，P(M＝m|X＝x)表示在X＝x的条件下，M取值m的概率；P(X＝x′)表示X取值x′时的概率；P(Y＝y|M＝m，X＝x′)表示在X取值为x′、M取值为m的条件下，Y取值y的概率；m、x′、y、x均为参数。

本发明的有益效果在于：本发明引用了因果推断方法当中的do算子以及后门标准、前门标准的概念，将之迁移到教育领域，构建基于前门调整法的因果模型图来进行“项目式学习”过程考核设计与课程质量评价，在工程教育具有全员覆盖性，无法实施随机对照试验的前提下，采用基于观测数据的自然实验方法，有效去除数据关联中的混杂影响，从而推断出项目式学习对学生学习成果的真实因果效应。

附图说明

图1为因果模型图。

图2为本发明的流程图。

图3为课程学习与学生学习产出因果模型图。

图4为某校信息安全课程因果模型图。

图5为改进后的课程因果模型图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图2所示，一种基于辅助中介变量分析的教学课程过程性评价方法，包括以下步骤：

步骤一：构建课程学习与学生学习产出因果模型图。过程为：

(1-1)给出图形定义：如变量X是变量C的子变量，即有箭头从C指向X，则称C为X的直接因果原因，其箭头代表的则是C到X的贡献值，表示有C与无C时X出现的差值；

(1-2)如图3所示，定义变量C、X、Y，变量C分别有箭头指向变量X和变量Y，变量X有箭头指向变量Y；

真正的因果效应X→Y与由叉接合X←C→Y诱导的X和Y之间的伪相关混合在一起，因果模型图中的C为混杂因子；X为项目式学习；Y为考试成绩，即课程目标达成情况。

步骤二：选择过程性评价方式，寻找不受混杂因子影响的辅助中介变量。

因为混杂原因无法真实地找到项目教学法对于学生学习效果的因果效应，所以本发明的目的即是去除影响两个变量间的混杂因子。由于现如今的评价方式大多使用考试成绩作为反映学生能力的具体体现，将考试成绩作为课程目标达成情况的考察标准，但是考试成绩是可以由多种途径去提高的，例如老师考前划重点，学生考前刷真题等，这类因素可以使一些实际能力未能达标的同学在考试成绩的数值下反映出达标。

若想要知道项目式学习本身对学生学习效果的因果效应，所以主要研究的就是P(考试成绩|do(项目式学习))，现在教育常规评价的是P(考试成绩|项目式学习)，这种条件概率公式表示学习产出达成的概率(P)是以观察到学生参加了实验为条件的。注意P(考试成绩|项目式学习)与P(考试成绩|do(项目式学习))完全不同，观察到(seeing)和进行干预(doing)有本质的区别。

因此本发明使用因果推断的方法去计算课程目标达成度，即是计算项目式学习对于考试成绩的因果效应，需要去排除影响项目式学习与考试成绩间因果效应的混杂因子。现将“学生作业抄袭”、“学生在小组讨论中划水”、“学生考前刷真题”、“作弊”因素归类为“惰性”，作为项目式学习对于考试成绩因果效应中的混杂因子；然而“惰性”大多为学生自身主观的消极因素，无法去观测，也就代表混杂因子无法使用后门调整法去除，而由朱迪亚·珀尔的前门调整法可知，在面临无解的混杂因子时，应立即着手寻找不受混杂因子影响的中介变量，从而去使用前门调整法从观测数据中估计X对Y的影响。

对于项目式学习与课程目标达成情况的中介变量，选用“成果展示”；“成果展示”指的是学生在完成自己以项目为基础的作业后，在课堂上进行展示并由其他学生进行投票打分；以“成果展示”作为项目式学习到课程目标达成情况的中介变量，是因为现在老师意识到现以面向成果导向的工程教育专业认证注重的是以解决实际问题为目标的学生能力，而不是传统的以考察学生知识点掌握能力为终极目标的分数教育，所以要求学生需要在课堂上展示自己所完成的以项目为基础的作业作为过程性评价。

过程性评价包括记录教学实施产生的相关数据：课堂观察、课堂展示、随堂测验、课程论文(报告)、档案袋成长记录、个别交流、态度调查。课堂展示体现了学生中心的理念，凸显自由探索、凸显个性，能从不同视角对学生各方面素养进行评价。

步骤三：通过因果模型图引入辅助中介变量，构建基于前门调整法的因果模型图，计算真实因果效应。

因果学可以将认知能力分为三种层级：观察能力(seeing)、行动能力(doing)和想象能力(imagining)，其中第二层级的行动能力代表着实施“干预”。“干预”就是控制一个变量，以影响其他变量，是判定因果关系的一个重要操作，如果控制一个变量，导致了其他变量的概率分布，则可以说明前者是后者的因。通过干预可以确定多个变量间因果关系的存在性，这也是现如今很多科学方法常用的手段，例如控制变量法以及随机对照实验等。然而在很多情境下，实施干预去确定因果关系这个措施的成本以及风险都难以估计，就如前文所言，在具有全员覆盖性的教育领域，实施干预的举措就难以完成。这就使得在这些情境下，需要通过一些举措观测现有的数据去预测干预的效果。

这里需要调用“do算子”来表达所预测实施了干预的结果，do算子的引用是因果理论与传统统计学最为显著的区别。“do”代表了行动，可以表达因果关系第二层级的一个经典问题：“如果我们实施了某种行动，这将会带来何种结果？”，缺乏do算子的条件概率仅仅反映了因果关系第一层级的观察所得到的结果。其中do(X)对于因果图来说就是删除指向X的所有箭头。

例如图1，当混杂因子C可测量，这时可以使用后门调整法计算X对Y的因果效应P(Y|do(X))。

后门路径可以定义为所有X和Y之间以指向X的箭头为开始的路径，如果可以阻断所有的后门路径，也就意味着完成了去混杂。控制C即可阻断后门路径，后门调整就是通过对去混变量集C的控制阻断从X到Y的所有后门路径；对于数学公式，此时，do(X)等同于see(X)，P(Y|do(X)，C)＝P(Y|X，C)，表达的意思是，在控制了一个充分的去混因子集C之后，留下的相关性，就是真正的因果效应。

由do算子运算可以推导出后门调整公式：

P(Y|do(X))＝Σ

＝Σ

＝Σ

此公式计算的是变量X对于变量Y的因果效应，其中变量C为变量X对变量Y因果效应中的混杂因子。通过公式，可以在C可观测的情况下，直接通过数学计算得到X到Y的因果效应。

当C不可测量的情况下，此类情况已无法通过后门路径去简化计算，在这种情况下可以选用前门调整法，在C不可测量的情况下去除混杂，从而计算X到Y的因果效应。

前门标准定义为：如果一个变量集合M满足以下条件：M切断了所有X到Y的有向路径；X到M没有后门路径；所有M到Y的后门路径都被X阻断，则称变量集合M满足有序变量(X，Y)的前门准则；也就是说当计算因果效应时发现X对Y的因果效应被一组变量C混杂，又被另一组变量M介导，且变量M不受到变量C的影响，即可利用前门调整法从观测数据中估计X对Y的因果效应。

如图4所示，基于前门调整法的因果模型图中包含混杂因子C、项目式学习X、课程目标达成情况Y和成果展示M，其中C分别有箭头指向X、Y、M，X有箭头指向M，M有箭头指向Y；

因为未采取任何措施，惰性同样影响着学生的成果展示成绩，即混杂因子C影响了中介变量，所以C有指向M的箭头，这导致了混杂因子无法在引入中介变量后得到控制和去除；所以如果要使用前门调整法，就要屏蔽混杂因子对于成果展示的影响，取消掉C到M的箭头，在大纲中明确要求学生每人至少参加一次以项目为基础的成果展示，将不参加成果展示则不能参与期末考试作为硬性要求；因为因为项目式学习作业次数多，且难以每次严格管理，而成果展示每个人只有一次，做到严格管理成果展示这一环节且精确评分，即可阻断惰性这一混杂因子对于过程评价即“成果展示”的影响，消除了因果模型图中C指向M的箭头。如图5所示，这一举措满足了中介变量“屏蔽”了混杂因子的影响的状态，因此适合使用前门标准来分析项目式学习对于考试成绩的因果效应。

对于这样的因果模型，可以发现在公式中的任何地方都看不到C(“惰性因子”)的存在，这使得这种方法在未采集到任何数据的时候就成功地排除了混杂因子C。其次，因果推断引擎作为一种问题处理机器，以“假设”为基础，接收“问题”输入，产生一种输出“被估量”。被估量可视作一种针对问题中的目标量的计算方法。前门调整和后门调整公式就是两个被估量。公式左边代表提出了问题“X对Y的影响是什么”，而公式右边是被估量，即是回答左边提出问题的一种方法，此被估量以条件概率的形式表示，并不包含关于do算子的有关数据，也就是说与关于实际干预的数据无关，只包含了观测到的数据，这意味着它不需要依赖随机对照实验，可以直接根据数据估计出来。

基于前门调整法的因果模型图中，X到Y的因果效应P(Y|do(X))使用前门调整公式所表达：

P(Y＝y|do(X＝x))＝∑

此公式计算的是变量X对于变量Y的因果效应，其中变量M是变量X对变量Y因果效应的中介变量，do表示do算子，P(M＝m|X＝x)表示在X＝x的条件下，M取值m的概率；P(X＝x′)表示X取值x′时的概率；P(Y＝y|M＝m，X＝x′)表示在X取值为x′、M取值为m的条件下，Y取值y的概率；m、x′、y、x均为参数。

步骤四：比较所有辅助中介变量单个或组合的计算结果，指导过程性评价持续改进。

基于前门调整法的基于前门调整法的过程性评价模式有两方面的作用，一方面在面临无解的混杂因子时，教师运用因果图，着手寻找不受混杂因子影响的辅助中介变量，也就是过程性评价，在减少混杂因子影响的同时，能形成使用“前门调整公式”的条件；另一方面，运用“前门调整公式”作为教学方法对学生学习成果因果效应的被估量，利用课程观测数据来估计真实的因果效应。

实施例

选用了某校2019级通信工程班信息安全课程101人成绩为例，成绩包括项目式学习的作业成绩，学生以项目为基础的成果展示的成绩以及考试成绩。对于X：“0”，“1”分别代表着学生项目式学习平时成绩不合格和平时成绩合格；对于M：“0”，“1”，“2”分别代表着学生在成果展示的成绩中取得“不及格”，“及格”与“优秀”；对于Y：“0”，“1”，“2”分别代表着学生在期末考试中取得“不及格”，“及格”与“优秀”。

对于此课程的课程目标达成度分析，本发明采用将P(Y≥1|do(X＝1))的值大于70％视为课程目标达成度合格的方法。

将101位同学的各项成绩进行分类，在平时成绩合格和不合格的情况下成果展示成绩取得“不及格”“及格”与“优秀”人数如表1所示：(单位：人)

表1各平时成绩级别下的成果展示成绩人数

由表可以计算，在项目式学习平时成绩不合格的同学中，成果展示环节成绩不及格的概率为P(M＝0|X＝0)＝57.69％，成绩及格的概率为P(M＝1|X＝0)＝38.46％，成绩优秀的概率为P(M＝2|X＝0)＝3.85％；在项目式学习平时成绩合格的同学中，成果展示环节成绩不及格的概率为P(M＝0|X＝1)＝13.33％，成绩及格的概率为P(M＝1|X＝1)＝57.33％，成绩优秀的概率为P(M＝2|X＝1)＝29.33％。

对已有数据进行进一步处理，得到在项目式学习平时成绩两个不同成绩级别以及成果展示环节三个不同成绩级别的条件下，考试成绩取得“不及格”“及格”与“优秀”人数如表2所示：(单位：人)

表2平时成绩和成果展示各成绩级别下的不同考试成绩级别人数

将表中数据代入后门调整公式可知，如果学生按照要求分别取得成果展示成绩为“不及格”“及格”与“优秀”，那么他们在这种条件下，可能取得不同的考试成绩级别的概率如表3所示：

表3实验假设后各成果展示成绩级别下的考试成绩级别百分比

最后由前门调整公式可知，如果学生按照要求参加项目式学习并且平时成绩合格的话，那么学生在考试中取得成绩的概率分布如表4所示：

表4实验假设后项目式学习不同成绩级别下的考试成绩级别百分比

在这里数据中P(Y|do(X＝0))可以表达为“如果学生未能按照要求完成项目式学习任务的话，那么其在考试成绩中所能取得某种成绩的概率为……”，同理，P(Y|do(X＝1))可以表达为“如果学生按照要求完成项目式学习任务的话，那么其在考试成绩中所能取得某种成绩的概率为……”

从数据中可以看出，学生如果按照要求完成项目式学习任务的话，那么在期末考试中及格的概率为P(Y＝1|do(X＝1))＝64.92％，其在期末考试中获得优秀的概率为P(Y＝2|do(X＝1))＝18.81％。所以P(Y≥1|do(X＝1))＝83.73％。

现如今的国内课程目标达成度分析普遍使用平均分算分法，15％分位法等，类似的方法太过于考虑数据而忽略了数据生成过程中的混杂因素。

表5去除与未去除混杂的课程目标达成度情况

如表5，对比不使用因果推断仅用条件概率算出的课程目标达成度情况P(Y＝1|X＝1)＝65.33％，P(Y＝2|X＝1)＝25.33％，所得出的P(Y≥1|X＝1)＝90.66％，有着明显的区别，若按条件概率所得到的课程目标达成度计算，混杂原因会使得课程目标达成度的值普遍较高，这可能让一些实际并未合格的课程在未去除混杂的情况下也在条件概率的数据下显示合格，这明显不符合工程教育专业认证的目的，因此去除混杂计算课程目标达成度的因果推断方法更符合工程教育专业认证的要求。

由上文数据可得，P(Y≥1|do(X＝1))＝83.73％＞70％，所以可以知道本课程课程目标达成度合格。去除混杂后的数据直接反映了学生参加课程教学对于期末考试的成绩的因果效应，而去除“惰性”混杂后的考试成绩可以反映出学生自身的学习成果产出，也就说明了此数据更能反应学生的课程目标达成度情况。

本发明中变量X实际上本质为项目式学习这种教学方法，而度量一种教学方法主要是观察学生自身的改变，通常可以选用参与度来度量教学方法。参与度的高低需要数值来进行区分，故此本发明选取平时成绩的合格与否，赋值“1”，“0”作为参与度高或低的区分。实际上可以依据课程的教学情况，对于参与度有着更多的档次分层。

对于中介变量M，本发明选用以项目为基础的成果展示，在项目式学习中起到两大关键作用，首先是对干预有着预测的作用，即在不进行随机试验的情况下也可以模拟随机试验的效果，第二，在教学大纲中加入成果展示这一环节，对于学生在学习中的投入有着积极的促进作用。而在不同的课程中可以根据实际的教学情况有着不同的选取方式，例如在需要进行实验的课程中选取实验作为中介变量M，但为了保证混杂因子对中介变量无影响，就需要对实验的环境与评价方式进行一些设计，比如采用人工智能评价的方法去评测结果。

在本发明中，变量Y是采用学生的期末考试数据，但实际上项目式学习这种教学方式本身就产生了多元化的过程和考核结果，在不同课程的课程目标达成情况分析中，可以选取不同的考核数据，或是多次的考核结果数据，因为在本发明图3中，变量Y的选取并不影响变量X是变量Y的因，变量Y是变量X的果，同理，在图5中，变量Y既是变量X的果，也是变量M的果，变量间的因果关系都不会因为Y的构成而发生变化。