基于误分类感知正则化训练的图像分类方法

摘要

本发明公开了一种基于误分类感知正则化训练的图像分类方法，包括训练阶段和分类阶段，其中训练阶段包括：1、建立基于神经网络的图像分类模型；采用训练集对所述图像分类模型进行训练；2、构造训练集中每个训练样本的对抗样本，得到对抗样本集；3、采用对抗样本对训练后的图像分类模型进行误分类感知正则化训练，4、重复依次执行步骤S2，S3 echo次，echo为预先设置的正则化训练次数，得到最终训练好的图像分类模型；分类阶段包括：5、将待分类的图像输入最终训练好的图像分类模型，其输出即为待分类图像中目标的类别标签。该方法对正确分类样本和错误分类的样本采用不同的训练方式，提高了分类模型的可验证鲁棒性。

说明书

技术领域

本发明属于图像分类技术领域，具体涉及一种提高可验证鲁棒性的图像分类方法。

背景技术

机器视觉通常需要先判断图像中目标的类别，之后再对不同类别的图像进行分别处理。随着深度学习的发展，目前通常采用基于神经网络的模型对图像进行分类。尽管神经网络在图像分类、语音识别以及计算机辅助疾病诊断等各种任务上取得了广泛的成功，但其存在型缺乏鲁棒性的缺点。例如，视觉上难以察觉的对抗图像(对抗样本)很容易误导训练有素的网络，而且这些对抗样本不仅在数字空间中有效，而且在物理世界中也存在，从而影响到了基于神经网络的分类模型的可靠性。

考虑到对抗鲁棒性在神经网络中的重要性，目前已经有一系列防御方法。例如，对抗训练可以被视为一种数据增强技术，可以在对抗样本上训练神经网络，对已知的最强对抗攻击(如C&W攻击)都有效，但它不能给鲁棒性提供有力的保证——无法证明可以抵御其他可以使模型判别错误的攻击。为了解决这种缺乏鲁棒性保证的问题，可验证鲁棒性防御的最新工作可以达到在特定区域内没有任何攻击会改变网络预测的目的。文献：Balunovic,Mislav,and Martin Vechev."Adversarial training and provabledefenses:Bridging the gap."International Conference on LearningRepresentations.2019，结合了对抗训练和可验证防御方法来训练神经网络，能使模型具有很高的可验证鲁棒性和准确性。其中分类模型准确度定义如下：

其中n为样本总数，

其中

可验证鲁棒性是定义在样本被正确分类的前提下。上述文献在训练过程中，正确分类的样本和错误分类的样本都以相同的方式去训练；但是在测试过程中，仅在正确分类样本的基础上计算模型的可验证鲁棒性，没有考虑错误分类的样本对模型可验证鲁棒性的影响。

发明内容

发明目的：本发明旨在提供一种能够提高可验证鲁棒性的图像分类方法，该方法对正确分类样本和错误分类的样本采用不同的训练方式，提高了分类模型的可验证鲁棒性。

技术方案：本发明采用如下技术方案：

基于误分类感知正则化训练的图像分类方法，包括训练阶段和分类阶段，所述训练阶段包括：

S1、建立基于神经网络的图像分类模型，所述图像分类模型用于对输入图像中的目标进行分类，获得目标类别标签；

采用训练集对所述图像分类模型进行训练；

S2、构造训练集中每个训练样本的对抗样本，得到对抗样本集；

S3、采用对抗样本对训练后的图像分类模型进行误分类感知正则化训练，

S4、重复依次执行步骤S2，S3 echo次，echo为预先设置的正则化训练次数，得到最终训练好的图像分类模型；

所述分类阶段包括：

S5、将待分类图像输入最终训练好的图像分类模型，其输出即为图像中目标的类别标签。

步骤S1中采用随机梯度下降算法进行图像分类模型的训练，为了提高模型的拟合能力，初始学习率为0.03，m次迭代后学习率更新为0.015，m为预设的训练次数阈值。

所述步骤S2中采用PGD攻击构造训练样本{x,y}的对抗样本{x′,y}，其中x为类别标签为y的训练样本图像，x′为x对应的对抗样本图像；具体包括：

S21、对x进行扰动，得到初始对抗样本x′

S22、进行第t次迭代：

其中Clip

S23、如果t

所述步骤S3具体包括：

S31、分别将训练样本图像x和对抗样本图像x′作为图像分类模型的输入，计算误分类感知正则化训练损失函数

其中

KL(h

S32、更新图像分类模型的参数：

其中η为模型参数更新步长，

所述图像分类模型可以是：四层卷积网络，其中前3层是卷积层，第4层为由250个隐藏单元组成的第一全连接层；3个卷积层的过滤器大小分别为32、32、128，内核大小为3、3、4，跨度为1、2、2；3个卷积层和第一全连接层之后都有一个ReLU激活层；最后一层是具有10个输出神经元的第二全连接层。

所述图像分类模型还可以是：三层卷积网络，其中前2层卷积层，第3层是全连接层；2个卷积层的内核大小分别为5和4，跨度为2；卷积层和全连接层之后都有一个ReLU激活函数层。

优选地，所述最大扰动范围∈的值为

优选地，误分类感知正则项权重λ为6。

有益效果：本发明公开的基于误分类感知正则化训练的图像分类方法，先采正确分类的训练样本对图像分类模型进行训练，之后构造对抗样本，利用对抗样本对图像分类模型进行误分类感知正则化训练，更新模型参数。通过正确分类样本和错误分类样本的不同训练方式，提高了图像分类模型的可验证鲁棒性，提高模型的可靠性。

附图说明

图1为本发明公开的基于误分类感知正则化训练的图像分类方法的流程图；

图2为不同误分类感知正则项权重对准确率和可验证鲁棒性的影响曲线图；

图3为不同最大扰动范围对可验证鲁棒性的影响曲线图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

实施例1：

如图1所示，本发明公开了一种基于误分类感知正则化训练的图像分类方法，包括训练阶段和分类阶段，所述训练阶段包括：

S1、建立基于神经网络的图像分类模型，所述图像分类模型用于对输入图像中的目标进行分类，获得目标类别标签；

本实施例中，图像分类模型为4层卷积网络，前3层是卷积层，其过滤器大小分别为32、32、128，内核大小为3、3、4，跨度为1、2、2。卷积层之后是由250个隐藏单元组成的全连接层。每层之后都有一个ReLU激活层；最后一层是具有10个输出神经元的全连接层。

采用训练集对所述图像分类模型进行训练；本实施例中采用CIFAR-10作为训练集，采用动量为0.9的SGD(Stochastic gradient descent，随机梯度下降算法)进行图像分类模型的训练，训练的初始阶段，模型的拟合能力较差，将学习率设置为0.03，m次迭代后将学习率减半，更新为0.015，会使得模型在收敛时，在最优值附近一个更小的区域内摆动。m为预设的训练次数阈值，本实施例中m＝60。

S2、构造训练集中每个训练样本的对抗样本，得到对抗样本集；

所述步骤S2中采用PGD攻击构造训练样本{x,y}的对抗样本{x′,y}，其中x为类别标签为y的训练样本图像，x′为x对应的对抗样本图像；具体包括：

S21、对x进行扰动，得到初始对抗样本x′

S22、进行第t次迭代：

其中Clip

S23、如果t

S3、采用对抗样本对训练后的图像分类模型进行误分类感知正则化训练(MAAR)，具体包括：

S31、分别将训练样本图像x和对抗样本图像x′作为图像分类模型的输入，计算误分类感知正则化训练损失函数

其中

KL(h

S32、更新图像分类模型的参数：

其中η为模型参数更新步长，

S4、重复依次执行步骤S2，S3 echo次，echo为预先设置的正则化训练次数，得到最终训练好的图像分类模型；

所述分类阶段包括：

S5、将待分类图像输入最终训练好的图像分类模型，其输出即为图像中目标的类别标签。

误分类感知正则项权重λ的取值会影响到分类模型的准确度和可验证鲁棒性，本实施例探究了不同λ对分类结果的影响，如图2所示，图中实现为分类准确度随λ变化的曲线，虚线为可验证鲁棒性随λ变化的曲线。从图中可以看出，λ＝6时为最佳的误分类感知正则项权重值。

实施例2：

本实施例探究了构造对抗样本时不同的最大扰动范围∈对可验证鲁棒性的影响。本实施例与实施例1的区别在于最大扰动范围的值不同。本实施例设置最大扰动范围

实施例3：

本实施例与实施例1的区别在于图像分类模型的结构和训练集不同，本实施例采用如下的图像分类模型：图像分类模型为三层卷积网络：该卷积网络具有2个卷积层，内核大小分别为5和4，跨度为2，然后跟1个全连接层。每个层后面都有一个ReLU激活函数层。本实施例采用手写数字数据集MNIST来训练模型，得到手写数字图像的分类模型。并与现有方法进行了对比，结果如表1所示：

表1

表1中，方法[1]-[6]的相关文献如下：

[1]Balunovic,Mislav,and Martin Vechev."Adversarial training andprovable defenses:Bridging the gap."International Conference on LearningRepresentations.2019.

[2]Zhang,H.；Chen,H.；Xiao,C.；Gowal,S.；Stanforth,R.；Li,B.；Boning,D.；andHsieh,C.-J.2019a.Towards stable andefficient training of verifiably robustneural networks.arXivpreprint arXiv:1906.06316.

[3]Eric Wong,Frank Schmidt,Jan Hendrik Metzen,and J.ZicoKolter.Scaling provable adversarial defenses.In Advances in NeuralInformation Processing Systems 31.2018.

[4]Kai Y.Xiao,Vincent Tjeng,Nur Muhammad(Mahi)Shafiullah,andAleksander Madry.Training for faster adversarial robustness verification viainducing reLU stability.In International Conference on LearningRepresentations,2019.

[5]Matthew Mirman,Gagandeep Singh,and Martin Vechev.A provabledefense for deep residual networks.arXiv preprint arXiv:1903.12519,2019.

[6]Krishnamurthy Dvijotham,Sven Gowal,Robert Stanforth,ReljaArandjelovic,Brendan O’Donoghue,Jonathan Uesato,and Pushmeet Kohli.Trainingverified learners with learned ver-ifiers.arXiv preprint arXiv:1805.10265,2018a.