一种条件双对抗学习推理模型的构建方法

摘要

本发明公开了一种条件双对抗学习推理模型的构建方法，包括：在推理机部分，通过推理网络输出隐变量样本；在生成器部分，建立与标签信息有关的线性组合高斯分布，样本通过生成网络输出信号样本；在对抗部分，引入两个判别器对推理机和生成器的隐变量与数据样本进行双向对抗训练；建立新的目标函数，通过双向对抗训练使目标函数收敛；整个模型用训练数据进行训练，确定各部分网络参数，再将测试数据输入推理机获取特征，经分类器识别给出结果。本发明提供的条件双对抗学习推理模型的构建方法，能通过控制先验分布强化不同类别特征间的差异，提高计算效率，改善特征模式识别性能，提高模式识别准确率。

说明书

技术领域

本发明涉及对抗学习推理模型技术领域，特别是涉及一种条件双对抗学习推理模型的构建方法。

背景技术

Vincent等在2017年提出Adversarially Learned Inference(ALI)模型，该模型通过对抗机制共同学习了生成网络(generation network)与推理网络(inferencenetwork)。生成网络将随机隐变量样本映射到数据空间，对应样本为

发明内容

本发明的目的是提供一种条件双对抗学习推理模型的构建方法，能通过控制先验分布强化不同类别特征间的差异，提高计算效率，改善特征模式识别性能，提高模式识别准确率。

为实现上述目的，本发明提供了如下方案：

一种条件双对抗学习推理模型的构建方法，该方法包括以下步骤：

S1，在推理机部分，样本x服从分布q(x)，通过推理网络G

S2，在生成器部分，首先，建立与标签信息有关的线性组合高斯分布，以约束K种特征，其次，样本z通过生成网络G

S3，在对抗部分，引入两个判别器对推理机和生成器的隐变量与数据样本进行双向对抗训练，确定样本来自哪个分布；

S4，建立新的目标函数，通过双向对抗训练使目标函数收敛，实现对推理机隐变量施加专属分布，生成器输出与推理机输入近似，并服从相同分布；

S5，在分类器部分，输入为推理机的输出，即提取的特征，整个模型用训练数据进行训练，确定各部分网络参数，再将测试数据输入推理机获取特征，经分类器识别给出结果。

可选的，所述步骤S2中，建立与标签信息有关的线性组合高斯分布，以约束K种特征，具体包括：

设有随机变量z＝[z

式中，N(z|μ

则第k个分量的联合概率密度函数表示为(3)：

设d＝2，为约束K类样本，根据式(4)计算角度变量θ，式中lable表示样本类别，对应的K维类别向量为y，其中第lable+1个元素为1，其余为0；设向量

可选的，所述步骤S3中，在对抗部分，引入两个判别器对推理机和生成器的隐变量与数据样本进行双向对抗训练，确定样本来自哪个分布，具体包括：

第一个判别器的输入为复合向量，由隐变量样本

第二个判别器的输入为数据样本，并以推理机的输入x为真，生成器的输出

可选的，所述步骤S4中，建立新的目标函数，具体为：

式中，E表示期望，q(x)与p(z)分别表示x与z服从的概率分布情况，D(*)是判别器的输出结果，用于判断判别器输入为*的概率；目标函数一方面希望当把真实数据放入判别器后，输出的概率值与目标函数值最大，另一方面希望找到最优的生成函数G(*)，使得目标函数值最小；在两个对抗过程中，二者进行对抗学习；最后，使用交替随机梯度下降法来进行训练，直到收敛。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的条件双对抗学习推理模型的构建方法，1)对提取的不同类别样本特征施加专属分布，并通过控制分布强化特征间差异；2)构建新的约束机制，使生成器输出能重构推理机输入，并服从相同分布；3)建立新的目标函数，提高训练的收敛速度；与现有技术Adversariallylearnedinference相比，本申请提出的模型运算稳定，能够赋予提取的特征显式的意义，并可以通过控制先验分布强化不同类别特征间的差异，提高了计算速率与状态识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明条件双对抗学习推理模型的构建方法流程图；

图2是线性组合高斯分布(K＝10)的结构示意图；

图3是MNIST数据集部分样本；

图4(a)至图4(d)是MNIST部分数据结果图(循环训练10000次)。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种条件双对抗学习推理模型的构建方法，为强化不同类别特征间的差异，提高计算效率，改善特征模式识别性能，提高模式识别准确率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的条件双对抗学习推理模型的构建方法，包括以下步骤：

S1，在推理机部分，样本x服从分布q(x)，通过推理网络G

S2，在生成器部分，首先，建立与标签信息有关的线性组合高斯分布，以约束K种特征，其次，样本z通过生成网络G

S3，在对抗部分，引入两个判别器对推理机和生成器的隐变量与数据样本进行双向对抗训练，确定样本来自哪个分布；

S4，建立新的目标函数，通过双向对抗训练使目标函数收敛，实现对推理机隐变量施加专属分布，生成器输出与推理机输入近似，并服从相同分布；

S5，在分类器部分，输入为推理机的输出，即提取的特征，整个模型用训练数据进行训练，确定各部分网络参数，再将测试数据输入推理机获取特征，经分类器识别给出结果。

其中，所述步骤S2中，建立与标签信息有关的高斯混合分布，以约束K种特征，具体包括：

如图2所示，为线性组合高斯分布(K＝10)的结构示意图，所述步骤S2中，建立与标签信息有关的线性组合高斯分布，以约束K种特征，具体包括：

设有随机变量z＝[z

式中，N(z|μ

则第k个分量的联合概率密度函数表示为(3)：

设d＝2，为约束K类样本，根据式(4)计算角度变量θ，式中lable表示样本类别，对应的K维类别向量为y，其中第lable+1个元素为1，其余为0；设向量

其中，所述步骤S3中，在对抗部分，引入两个判别器对推理机和生成器的隐变量与数据样本进行双向对抗训练，确定样本来自哪个分布，具体包括：

第一个判别器的输入为复合向量，由隐变量样本

第二个判别器的输入为数据样本，并以推理机的输入x为真，生成器的输出

其中，所述步骤S4中，建立新的目标函数，具体为：

式(6)中E表示期望，q(x)与p(z)分别表示x与z服从的概率分布情况,D(*)是判别器的输出结果，用于判断判别器输入为*(*表示对应的任意输入)的概率；目标函数一方面希望当把真实数据放入判别器后，输出的概率值与目标函数值最大，另一方面希望找到最优的生成函数G(*)，使得目标函数值最小；在两个对抗过程中，二者进行对抗学习；最后，使用交替随机梯度下降法来进行训练，直到收敛。算法过程的数学表达如表1所示。

表1条件双对抗学习推理算法

本发明利用MNIST数据集进行验证，MNIST数据集是机器学习领域中非常经典的一个数据集，来自美国国家标准与技术研究所(National Institute of Standards andTechnology,NIST)，由60000个训练样本和10000个测试样本组成，每个样本都是一张28×28像素手写数字图片。训练集(training set)由来自250个不同人手写的数字构成，其中50％是高中学生，50％来自人口普查局(the Census Bureau)的工作人员。一共4个文件，包括训练集、训练集标签、测试集、测试集标签。测试集(test set)也是同样比例的手写数字数据。与现有技术Adversarially learned inference相比，本申请提出的模型强化了不同类别特征间的差异，提高了计算速率与特征模式识别性能。

本次验证旨在观察BiALI相比于ALI在计算效率、样本重构以及特征提取方面的优势，图3给出了用于训练的部分样本，测试结果如图4(a)至图4(b)。图4MNIST部分数据结果图(循环训练10000次)：图4(a)、图4(c)通过ALI重构的数字与提取的特征，图4(b)、图4(d)通过BiALI重构的数字与提取的特征考虑到样本选择的随机性，整体运算过程重复5次，运行平均时间如表2所示。

表2计算效率对比

由图4及表2可知，条件双对抗学习推断模型相比与对抗学习推断模型在同等条件同循环训练次数下，运行效率更高，对样本的重构效果更好，提取的特征聚类效果更明显。此外，研究中发现，ALI模型在处理MNIST时，容易发生不稳定情况，因为无法达到纳什平衡，出现运算崩溃现象，从而无法得出准确以及理想的结果；BiALI运行相对更为稳定，没有出现运算崩溃的现象。由此可知，本发明构建的模型能够通过控制先验分布强化不同类别特征间的差异，提高计算效率，改善特征的模式识别性能。

本发明提供的条件双对抗学习推理模型的构建方法，对提取的不同类别样本特征施加专属分布，强化特征间差异；构建新的约束机制，使生成器输出能重构推理机输入，并服从相同分布；建立新的目标函数，提高训练的收敛速度。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。