决策系统的公平性修复方法、系统、设备及存储介质

摘要

本发明属于机器学习领域，公开了一种决策系统的公平性修复方法、系统、设备及存储介质，包括获取决策系统的机器学习模型以及若干决策样本，根据各决策样本下决策系统的机器学习模型的激活路径统计，将决策样本分为特殊激活样本和正常决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后，得到优化机器学习模型；采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。可以检测和修复潜在的评分决策机器学习系统的公平性问题。经过修复的决策系统公平性表现有了明显提高，不再表现出对敏感属性的明显歧视性。

说明书

技术领域

本发明属于机器学习领域，涉及一种决策系统的公平性修复方法、系统、设备及存储介质。

背景技术

随着人力成本的升高，如今越来越多的决策系统依赖于自动化的评分与决策，并大量采用机器学习模型作为其实现手段。由于机器学习模型需要用到历史数据进行训练，可能包括以前的歧视和社会偏见的模式。在这些数据上训练的机器学习模型很可能继承敏感属性的偏见，如年龄、性别、肤色和地区。例如，一项研究发现美国的犯罪预测系统COMPAS存在强烈的不公平性，该系统被用来评估刑事被告成为惯犯的可能性。该系统显示出对有色人种的强烈偏见，即使他们不是惯犯，也倾向于把他们预测为惯犯。因此，基于机器学习模型的决策系统中隐藏的偏见可能会导致严重的公平性问题，这引起了人们对其在现实世界中应用的担忧，特别是在涉及重要决策的情况下。

针对这一问题，目前提出了通过优化决策系统的机器学习模型来修复其公平性。现有的优化方法集中在机器学习模型的内处理，分为添加公平性约束和使用多端神经网络进行对抗性训练。其中，添加公平性约束能够有效增加公平性，但导致机器学习模型的预测性能下降较为严重，从而很难应用到实际场景中。使用多端神经网络进行对抗性训练能够取得较好公平性改进的同时维持较高的预测性能，但这类方法效率较低，且需要对网络结构进行较大改动，在许多场景下无法实现。因此，现有的决策系统的公平性修复方法无法很好地完成，在不重构其机器学习模型的前提下，高效修复其公平性问题的同时，维持较高的决策性能。

发明内容

本发明的目的在于克服上述现有技术中的缺点，提供一种决策系统的公平性修复方法、系统、设备及存储介质。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，一种决策系统的公平性修复方法，包括以下步骤：

获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值；

根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径；

根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；

遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后，得到优化机器学习模型；

采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。

本发明决策系统的公平性修复方法进一步的改进在于：

所述将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值的具体方法为：

将若干决策样本依次输入所述机器学习模型，得到各决策样本对应的机器学习模型中各神经元的激活值，将所有决策样本对应的机器学习模型中各神经元的激活值进行平均，得到机器学习模型中各神经元的平均激活值。

所述获取当前决策样本下的各神经元的相对激活值的具体方法为：

获取当前决策样本下的机器学习模型中各神经元的激活值，以当前决策样本下机器学习模型中各神经元的激活值减去机器学习模型中各神经元的平均激活值的差的绝对值，作为当前决策样本下的各神经元的相对激活值。

所述根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例的具体方法为：

A1：获取当前决策样本的输出神经元，以输出神经元作为目标神经元；

A2：获取目标神经元上一层的所有神经元，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值；

A3：通过下式，得到当前决策样本下目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例：目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例＝目标神经元上一层的各神经元对目标神经元的贡献值/目标神经元上一层的各神经元对目标神经元的贡献值之和；

A4：以当前目标神经元上一层的各神经元中，对当前目标神经元的贡献值不为0的神经元替代当前目标神经元，重复执行A2～A3，至当前目标神经元不存在上一层神经元，得到当前决策样本下的机器学习模型各层突触的贡献值比例。

所述根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值的具体方法为：

通过下式，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值：目标神经元上一层的各神经元对目标神经元的贡献值＝(目标神经元上一层的各神经元的相对激活值×目标神经元上一层的各神经元与目标神经元之间突触的权重)/目标神经元的相对激活值。

所述获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的具体方法为：

通过下式，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的集合

其中，n为神经元，L为神经元层数编号，γ为第一预设阈值，

所述第一预设阈值为0.8，所述第二预设阈值为决策样本数量×预设比例。

本发明第二方面，一种决策系统的公平性修复系统，包括：

获取模块，用于获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值；

激活路径确定模块，用于根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径；

样本分类模块，用于根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；

优化模块，用于遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后得到优化机器学习模型；

修复模块，用于采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。

本发明第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的决策系统的公平性修复方法的步骤。

本发明第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的决策系统的公平性修复方法的步骤。

与现有技术相比，本发明具有以下有益效果：

本发明决策系统的公平性修复方法，通过获取机器学习模型中各神经元的平均激活值，以及各决策样本下的各神经元的相对激活值，进而根据各决策样本下的各神经元的相对激活值，得到各决策样本下的机器学习模型各层突触的贡献值比例，然后根据各决策样本下的机器学习模型各层突触的贡献值比例，得到各决策样本的激活路径；经过统计各决策样本的激活路径，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；实现决策样本的分类，进而针对不同类型的决策样本，采用不同的训练方式，以实现决策系统的机器学习模型的优化，继而采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。可以有效检测和修复潜在的决策系统的公平性问题，经过修复的决策系统公平性表现有了明显提高，不再表现出对敏感属性的明显歧视性。并且，充分满足了维持决策系统高决策性能，维持机器学习模型大体结构等实际应用限制。

附图说明

图1为本发明的决策系统的公平性修复方法流程框图；

图2为本发明的一实施例中激活路径确定流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明一实施例中，提供一种决策系统的公平性修复方法，实现高效修复决策系统的公平性问题的同时，维持决策系统较高的决策性能，具体的，该决策系统的公平性修复方法包括以下步骤。

S1：获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值。

其中，所述将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值的具体方法为：将若干决策样本依次输入所述机器学习模型，得到各决策样本对应的机器学习模型中各神经元的激活值，将所有决策样本对应的机器学习模型中各神经元的激活值进行平均，得到机器学习模型中各神经元的平均激活值。

具体的，决策样本数据一般是存在偏差的历史社会统计数据，如信用决策系统，决策样本就是一个借贷者的年龄、住址及年收入，犯罪决策系统，决策样本就是一个罪犯的入狱年份，入狱时长，种族及性别等。将原始数据集中的若干决策依次输入机器学习模型中，并在列表中记录每个神经元的激活值。本实施例中，以2隐层深度神经网络的机器学习模型为例进行说明，但不以此为限。进而，通过将每个神经元对应的列表进行平均运算，即可得到每个神经元的平均激活值。

S2：根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径。

其中，所述获取当前决策样本下的各神经元的相对激活值的具体方法为：获取当前决策样本下的机器学习模型中各神经元的激活值，以当前决策样本下机器学习模型中各神经元的激活值减去机器学习模型中各神经元的平均激活值的差的绝对值，作为当前决策样本下的各神经元的相对激活值。

其中，所述根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例的具体方法为：

A1：获取当前决策样本的输出神经元，以输出神经元作为目标神经元。

A2：获取目标神经元上一层的所有神经元，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值。

A3：通过下式，得到当前决策样本下目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例：目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例＝目标神经元上一层的各神经元对目标神经元的贡献值/目标神经元上一层的各神经元对目标神经元的贡献值之和。

A4：以当前目标神经元上一层的各神经元中，对当前目标神经元的贡献值不为0的神经元替代当前目标神经元，重复执行A2～A3，至当前目标神经元不存在上一层神经元，得到当前决策样本下的机器学习模型各层突触的贡献值比例。

其中，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值的具体方法为：通过下式，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值：目标神经元上一层的各神经元对目标神经元的贡献值＝(目标神经元上一层的各神经元的相对激活值×目标神经元上一层的各神经元与目标神经元之间突触的权重)/目标神经元的相对激活值。

具体的，设某神经元n有k个突触(s

在本实施例中，新建一个空集O，添加最后一层神经元即输出神经元到O中；迭代进行一下步骤：从O中抽取一个神经元o；计算o的所有前置神经元的贡献值；将o的所有前置神经元添加到O中，将o移出O。

其中，第一预设阈值为0.8，但不以此为限，可以从一开始的若干决策样本中选取部分进行预实验，并采用同间隔的方式从0～1中提取若干初始第一预设阈值，根据预实验结果确定最优的初始第一预设阈值，作为最终的第一预设阈值。

其中，所述获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的具体方法为：

通过下式，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的集合

其中，n为神经元，L为神经元层数编号，γ为第一预设阈值，

S3：根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本。

具体的，给定若干决策样本，若干决策样本中有效激活路径为P的决策样本的数量称为P的路径统计值。

具体的，本实施例中，最大路径统计值为10382，取θ＝10

S4：遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后，得到优化机器学习模型。

其中，Dropout是Google提出的一种正则化技术，用以在人工神经网络中对抗过拟合。Dropout有效的原因，是它能够避免在训练数据上产生复杂的相互适应。Dropout这个术语代指在神经网络中丢弃部分神经元(包括隐藏神经元和可见神经元)。在训练阶段，dropout使得每次只有部分网络结构得到更新，因而是一种高效的神经网络模型平均化的方法。

S5：采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。最终，采用优化后的机器学习模型替代决策系统的机器学习模型，以实现决策系统的公平性修复。

本发明决策系统的公平性修复方法，通过获取机器学习模型中各神经元的平均激活值，以及各决策样本下的各神经元的相对激活值，进而根据各决策样本下的各神经元的相对激活值，得到各决策样本下的机器学习模型各层突触的贡献值比例，然后根据各决策样本下的机器学习模型各层突触的贡献值比例，得到各决策样本的激活路径；经过统计各决策样本的激活路径，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；实现决策样本的分类，进而针对不同类型的决策样本，采用不同的训练方式，以实现决策系统的机器学习模型的优化，继而采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。可以有效检测和修复潜在的决策系统的公平性问题，经过修复的决策系统公平性表现有了明显提高，不再表现出对敏感属性的明显歧视性。并且，充分满足了维持决策系统高决策性能，维持机器学习模型大体结构等实际应用限制。

该决策系统的公平性修复方法更加贴近真实场景需求，具体体现在两方面：一，克服了现有的添加公平性约束型方法导致机器学习模型预测性能下降较为严重，从而很难应用到实际场景中的缺陷；二，克服了现有使用多端神经网络进行对抗性训练效率较低且需要对机器学习模型进行较大改动的缺陷，仅需进行Dropout训练方式进行训练即可高效地修复公平性问题。

参见图2，本发明再一个实施例中，以一个简化的2隐层神经网络的神经网络模型为例，来演示S2的具体执行过程。

训练好的原始神经网络权重如图2中的(a)所示，输入一个2维向量，输出结果为2维向量。首先从神经网络的输出中获取到每个神经元的平均激活值，在本例中为简便起见均设置为0，如图2中的(b)所示。设当前决策样本为(1,2)，接下来逐层计算各神经元的激活值，并与相对激活值作差，具体的，第一隐藏层的神经元分别为[1×3+2×1-0,1×2+2×(-2)-0,1×0+2×1-0]，即[5,2,2]，此后神经元依此类推，结果如图2中的(c)所示。从输出神经元开始迭代计算贡献值：由于最终分类至

下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未纰漏的细节，请参照本发明方法实施例。

本发明再一实施例中，提供一种决策系统的公平性修复系统，能够用于实现上述的决策系统的公平性修复方法，具体的，该决策系统的公平性修复系统包括获取模块、激活路径确定模块、样本分类模块、优化模块以及修复模块。

其中，获取模块用于获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值；激活路径确定模块用于根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径；样本分类模块用于根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；优化模块用于遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后得到优化机器学习模型；修复模块用于采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。

本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于决策系统的公平性修复方法的操作。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关决策系统的公平性修复方法的相应步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。