一种基于支持向量机的深度学习模型鲁棒边界评估方法、装置和应用

摘要

本发明公开了一种基于支持向量机的深度学习模型鲁棒边界评估方法、装置和应用，包括为用于分类任务的深度学习模型的每个分类类别分配一个支持向量机；将样本数据分别输入至深度学习模型和每个支持向量机，得到样本数据在深度学习模型和每个支持向量机的特征空间分布；针对每个支持向量机，以样本数据在支持向量机的特征空间分布与在深度学习模型的特征空间分布的散度指标作为损失函数优化支持向量机的参数；优化结束后，每个支持向量机的决策边界即为深度学习模型对与支持向量机对应的分类类别的决策边界，依据该决策边界实现对深度学习模型鲁棒边界评估，进而实现训练阶段深度学习模型的安全性评估与提升。

说明书

技术领域

本发明属于深度学习攻防领域，具体涉及一种支持向量机(SVM)的深度学习模型鲁棒边界评估方法、装置和应用。

背景技术

人工智能技术中的深度学习技术凭借在计算机视觉、自然语言处理等领域的良好表现而广泛应用于人机交互、无人驾驶等任务。在其逐步替代人类进行自主决策的过程中，由于深度学习自身存在黑盒模型解释性差、容易受到对抗攻击等问题，已经给网络安全和信息安全带来风险，会给社会安全带来意想不到的危害。

深度学习模型缺乏可解释性，对研究人员来说是个黑盒，难以通过数学推导的方式进行建模。为了实现对深度学习模型的可解释性，Robnik-Sikonja等(详见文献Robnik-

针对序列数据中的依赖关系解释问题，Guo等提出了LEMNA，利用可解释模型来近似循环神经网络的局部决策边界。Hinton等提出了一种知识蒸馏方法，通过训练单一的相对较小的网络来模拟原始复杂网络或协同网络模型的预测概率。Frosst等扩展了Hinton的知识蒸馏方法，提出利用决策树来模拟复杂深度神经网络模型的决策，提升了蒸馏知识的可解释性。

然而，蒸馏模型只是对原始复杂模型的一种全局近似，所做出的解释不一定能反映待解释模型的真实行为。现有的深度学习模型攻防研究已经提出了大量对抗攻击与防御方法，但目前尚无法直接从模型的内部运行过程来分析攻防的有效性。

与此同时，已有一系列深度学习模型的可解释技术帮助理解深度学习的黑盒模型，其研究目的在于解释模型自动学习到的样本关键特征与分类边界等，但他们并不针对模型的对抗攻防做解释。

发明内容

鉴于上述，本发明的目的是提供一种支持向量机的深度学习模型鲁棒边界评估方法、装置和应用。通过利用支持向量机对深度学习模型的决策边界进行逼近，来研究深度学习模型的决策边界并分析分类效果，实现训练阶段深度学习模型的安全性评估与提升。

为实现上述发明目的，本发明提供以下技术方案：

第一方面，一种支持向量机的深度学习模型鲁棒边界评估方法，包括以下步骤：

为用于分类任务的深度学习模型的每个分类类别分配一个支持向量机；

将样本数据分别输入至深度学习模型和每个支持向量机，得到样本数据在深度学习模型和每个支持向量机的特征空间分布；

针对每个支持向量机，以样本数据在支持向量机的特征空间分布与在深度学习模型的特征空间分布的散度指标作为损失函数优化支持向量机的参数；

优化结束后，每个支持向量机的决策边界即为深度学习模型对与支持向量机对应的分类类别的决策边界，依据该决策边界实现对深度学习模型鲁棒边界评估。

优选地，在对支持向量机的参数优化时，损失函数为：

其中，

依据该损失函数优化支持向量机的参数时，当损失函数值小于设定阈值时，优化结束。

优选地，在优化支持向量机的参数时，对每一个样本数据采用定向重采样方式确定搜索方向，当特征分布接近时，即损失函数值变小，则继续按照上一次重采样方向移动，反之则向反方向移动。

优选地，所述深度学习模型用于图像分类，信号分类，所述样本数据为图像数据和信号数据。

第二方面，一种基于支持向量机的深度学习模型鲁棒边界评估装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现上述支持向量机的深度学习模型鲁棒边界评估方法。

第三方面，一种用户分类任务的深度学习模型的选择方法，包括以下步骤：

针对候选的每个深度学习模型，利用上述支持向量机的深度学习模型鲁棒边界评估方法确定每个深度学习模型的决策边界；

根据决策边界判定深度学习模型对每个目标类的分类情况，以筛选深度学习模型。

第四方面，一种用户分类任务的深度学习模型的选择装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现上述用户分类任务的深度学习模型的选择方法。

第五方面，一种用户分类任务的深度学习模型的防御方法，包括以下步骤：

对于深度学习模型，利用上述支持向量机的深度学习模型鲁棒边界评估方法确定深度学习模型针对每个目标类的决策边界；

根据每个目标类的决策边界，确定容易被攻击的目标类；

在容易被攻击的目标类对应的样本数据中添加扰动，得到增强样本数据，并利用增强样本数据对深度学习模型进行参数优化，以实现深度学习模型对容易被攻击的目标类的防御。

第六方面，一种用户分类任务的深度学习模型的防御装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，计算机处理器执行计算机程序时实现上述用户分类任务的深度学习模型的防御方法。

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的基于支持向量机的深度学习模型鲁棒边界评估方法和装置，为深度学习模型的每个分类类别分配一个支持向量机，依据特征空间分布状态将支持向量机来逼近深度学习模型，并将支持向量机的决策边界作为深度学习模型的决策边界，依此来评估深度学习模型的安全性，同时，获得的决策边界可以作为深度学习模型选择和防御的依据，实现对深度学习模型的筛选和防御。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1和图2是本发明实施例提供的基于支持向量机的深度学习模型鲁棒边界评估方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了克服目前深度学习模型可解释方法不能评估鲁棒边界，无法验证其有效性的问题，本发明提供了一种基于支持向量机的深度学习模型鲁棒边界评估方法，旨在通过利用利用支持向量机对深度学习模型的决策边界进行逼近，来研究深度学习模型的决策边界并分析分类效果。该深度学习模型可以是用于图像分类任务的深度学习模型，如人脸分类任务的深度学习模型，也可以是信号分类任务的深度学习模型，如调制信号分类任务的深度学习模型，针对用于图像分类任务和信号分类任务的深度学习模型，提供的基于支持向量机的深度学习模型鲁棒边界评估方法，旨在通过支持向量机的逼近实现深度学习模型在图像分类和信号分类时，针对每一类的决策边界，该决策边界能够评估对应的目标类的分类效果以及安全性，该分类效果可以用来指导作为模型选择和防御的依据。

实施例提供的基于支持向量机的深度学习模型鲁棒边界评估方法技术构思为：基于支持向量机的深度模型鲁棒边界评估方法，适用于多种深度学习模型，达到提高训练阶段深度模型的鲁棒性的效果。利用样本点随机采样构成数据集，训练多个二分类SVM分类器逼近模型的决策边界，基于KL散度评估SVM等价模型与深度模型的逼近程度，反馈其等价效果并增量采样数据迭代训练SVM，实现等价效果。

图1和图2是本发明实施例提供的基于支持向量机的深度学习模型鲁棒边界评估方法的流程图。如图1和图2所示，深度学习模型鲁棒边界评估方法包括以下步骤：

步骤1，为用于分类任务的深度学习模型的每个分类类别分配一个支持向量机。

实施例中，与深度学习模型不同，支持向量机(SVM)等简单的机器学习算法基于公式推导，可以用数学方法来计算边界。由此，利用SVM易于推导决策边界的优点，选择SVM作为逼近深度学习模型的基础分类器，用于拟合深度学习模型的分类任务。对于包含m类样本的数据集，即深度学习模型用于实现M类分类任务，则需要为深度学习模型配置并训练m个SVM分类器，每个分类器实现判别目标类和非目标类样本的二分类任务。

针对SVM，其决策边界的推导过程为：将类标定义为-1和+1，而所需要在n维空间中寻找的超平面，则被定义为：w

将训练样本的坐标带入可以得到三种结果：f(x)＝0,则该点处于决策平面上；f(x)>0,属于y＝1类；f(x)<0，属于y＝-1类。而对于每个训练样例，可以通过计算如下定义的“函数间隔”，来判断是否分类正确(数值为负则说明错误)，以及通过数值大小看出测试点与决策平面的距离：

真正表征SVM决策边界距离宽窄的，是上式中值最小的那个，也就是说，距离边界最近的点，其到边界的距离，决定了距离的大小。距离边界最近的点到平面的几何距离计算如下：

为了最优化分类结果，要使几何距离最大化：

这就是SVM线性可分集的决策边界。

在训练前首先将训练样本数据进行归一化以达到更好的收敛效果，核函数选择RBF核函数，二分类任务gamma选择为0.5。惩罚系数C代表对误差的宽容度，选择为0.00001到10000之间，数字越大越容易过评估。

步骤2，利用支持向量机对深度学习模型进行决策边界逼近，以确定并评估深度学习模型的鲁棒边界。

步骤2的具体过程为：

步骤2-1，将样本数据分别输入至深度学习模型和每个支持向量机，得到样本数据在深度学习模型和每个支持向量机的特征空间分布。

针对每一个目标类的样本数据，该样本数据可以为图像数据，如目标类为动物任务的猫，该样本数据还可以信号数据，如目标类为调制信号的中的某一类型。对这些样本数据进行重采样，得到尺寸改为32×32的训练样本，并将这些训练样本输入训练好的深度学习模型(DNN)中，该参数确定的深度学习模型对于该目标类的训练样本存在固定的特征空间分布D

同样，将重采样后的训练样本输入至SVM分类器中，得到SVM分类器的特征空间分布D

步骤2-2，针对每个支持向量机，以样本数据在支持向量机的特征空间分布与在深度学习模型的特征空间分布的散度指标作为损失函数优化支持向量机的参数；

记D

其中，log(·)表示对数函数，∫表示积分符号，x表示F

对于其中一个分类器

其中，α

为了评估目标DNN对应的第j类数据的特征分布，j∈[0,m-1]，需要让SVM分类器的输出特征分布逼近DNN的输出特征分布，具体优化目标定义为：

其中，

当

在优化的过程中，采用在特征空间中的散度计算衡量分布接近情况，并反馈到重采样优化搜索方向，最后实现SVM决策边界对DNN决策边界的逼近。散度指标值变小，两个分布越接近，继续按照上一次重采样的方向移动，反之亦然。重复上述步骤，直到训练m个SVM分类器对所有类的样本都实现决策边界的逼近，由m个SVM组成的集合就是该目标DNN的等价模型。

步骤2-3，优化结束后，每个支持向量机的决策边界即为深度学习模型对与支持向量机对应的分类类别的决策边界，依据该决策边界实现对深度学习模型鲁棒边界评估。

当损失函数值小于设定阈值时，则优化结束，同时会获得SVM的决策边界，该决策边界即为深度学习模型对应分类的决策边界，由于SVM的决策边界清晰可见，通过该拟合逼近方法也实现了对深度学习模型的目标类的决策边界的可视化，便于分析深度学习模型对目标类的分类效果和安全性。

利用上述深度学习模型鲁棒边界评估方法进行实验，实验结果如表1所示，从表1可得，通过上述方法得到的决策边界，能够分清楚地分辨良性样本和对抗样本，即能够准确地分析解释深度学习模型的分类机理。

表1实验结果

上述深度学习模型鲁棒边界评估方法，能够适用于多种深度学习模型，利用SVM线性逼近模型的决策边界，评估深度模型的鲁棒边界并分析分类效果，计算训练样本的安全边界并提出可验证鲁棒性，实现训练阶段深度学习模型的安全性评估与提升。在真实图像上的实验结果表明，该算法具有良好的适用性和精度，能够有效地评估深度模型的决策边界并分析分类效果，实现了深度模型的鲁棒边界的等价。

实施例还提供了一种基于支持向量机的深度学习模型鲁棒边界评估装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现上述基于支持向量机的深度学习模型鲁棒边界评估方法。

实际应用中，计算机存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现基于支持向量机的深度学习模型鲁棒边界评估方法步骤。

上述实施例提供的基于支持向量机的深度学习模型鲁棒边界评估方法和装置，通过为深度学习模型的每个分类类别分配一个支持向量机，依据特征空间分布状态将支持向量机来逼近深度学习模型，并将支持向量机的决策边界作为深度学习模型的决策边界，即从内部机理出发，对模型的决策边界进行分析，在鲁棒边界内的样本不会影响模型的正常判断，而边界外的则会严重威胁模型的安全性。确定模型的鲁棒边界，使模型在应用过程中更加安全可靠。

实施例还提供了上述深度学习模型鲁棒边界评估方法和装置获得的决策边界的应用，即利用深度学习模型的决策边界进行模型的筛选和模型的防御。

其中一种应用提供了一种用户分类任务的深度学习模型的选择方法，包括以下步骤：

针对候选的每个深度学习模型，利用权利要求1～4任一项所述的基于支持向量机的深度学习模型鲁棒边界评估方法确定每个深度学习模型的决策边界；

根据决策边界判定深度学习模型对每个目标类的分类情况，以筛选深度学习模型。

其中另一种应用提供了一种用户分类任务的深度学习模型的选择装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现权利要求上述用户分类任务的深度学习模型的选择方法。

上述实施例提供的一种用户分类任务的深度学习模型的选择方法和装置，通过根据深度学习模型的决策边界来判断模型对目标类的分类效果，可以根据该分类效果选择满足分类要求的深度学习模型用于目标类的分类任务，以提升分类任务的准确性。

其中一种应用提供了一种用户分类任务的深度学习模型的防御方法，包括以下步骤：

对于深度学习模型，利用上述基于支持向量机的深度学习模型鲁棒边界评估方法确定深度学习模型针对每个目标类的决策边界；

根据每个目标类的决策边界，确定容易被攻击的目标类；

在容易被攻击的目标类对应的样本数据中添加扰动，得到增强样本数据，并利用增强样本数据对深度学习模型进行参数优化，以实现深度学习模型对容易被攻击的目标类的防御。

其中另一种应用提供了一种用户分类任务的深度学习模型的防御装置，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机处理器执行计算机程序时实现上述用户分类任务的深度学习模型的防御方法。

上述实施例提供的一种用户分类任务的深度学习模型的防御方法和装置，通过根据深度学习模型的决策边界确定容易被攻击的目标类，针对这一目标类可以通过增加扰动的方式强化深度学习模型学习，以使再优化的深度学习模型能够实现对扰动的识别，达到防御攻击的目的。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。