对抗样本

摘要： 将对抗样本引入训练过程可以提高深度学习模型的鲁棒性,而且能为模型提供可解释的梯度,但这一防御策略往往需要较多的计算资源和时间成本.为提升训练模型效率和鲁棒性,同时降低训练成本,提出一种基于随机扰动的对抗训练方法:首先利用基于FGSM(Fast Gradi-ent Sign Method)的随机扰动方法生成对抗样本;其次,所提出算法的优越性;最后,利用周期性学习率和Adam(Adaptive Moment Estimation)相结合方法更新学习率.实验结果表明,通过引入周期性学习率机制,整个对抗训练过程的稳定性和拟合效果有了显著提升,所提出的训练方法能降低训练成本和提高模型的性能.

摘要： 针对基于深度强化学习(deep reinforcement learning, DRL)的激光导航系统的安全性进行研究,首次提出了对抗地图的概念,并在此基础上提出了一种物理对抗攻击方法.该方法使用对抗样本生成算法计算激光测距传感器上的对抗扰动,然后修改原始地图实现这些扰动,得到对抗地图.对抗地图可以在某个特定区域诱导智能体偏离最优路径,最终使机器人导航失败.在物理仿真实验中,对比了智能体在多个原始地图和对抗地图的导航结果,证明了对抗地图攻击方法的有效性,指出了目前DRL技术应用在导航系统上存在的安全隐患.

摘要： 为了攻击最先进的对抗防御方法,提出一种基于高维特征的图像对抗攻击算法——FB-PGD(feature based projected gradient descent)。该算法通过迭代的方式给待攻击图像添加扰动,使待攻击图像的特征与目标图像的特征相似,从而生成对抗样本。实验部分,在多种数据集和防御模型上,与现存的攻击算法对比,证实了FB-PGD算法不仅在以往的防御方法上攻击性能优异,同时在最先进的两个防御方法上,攻击成功率较常见的攻击方法提升超过20%。因此,FB-PGD算法可以成为检验防御方法的新基准。

摘要： 随着深度学习技术的成熟,智能语音识别软件获得了广泛的应用,存在于智能软件内部的各种深度神经网络发挥了关键性的作用.然而,最近的研究表明:含有微小扰动的对抗样本会对深度神经网络的安全性和鲁棒性构成极大威胁.研究人员通常将生成的对抗样本作为测试用例输入到智能语音识别软件中,观察对抗样本是否会让软件产生错误判断,从而采取防御方法来提高智能软件安全性和鲁棒性.在对抗样本的生成中,黑盒智能语音软件在生活中较为常见,具有实际的研究价值,而现有的生成方法却存在一定的局限性.为此,针对黑盒智能语音软件,提出了一种基于萤火虫算法和梯度评估方法的目标对抗样本生成方法,即萤火虫-梯度对抗样本生成方法.针对设定的目标文本,在原始的音频样本中不断加入干扰,根据当前对抗样本的文本内容与目标文本之间的编辑距离,选择使用萤火虫算法或梯度评估方法来优化对抗样本,最终生成目标对抗样本.为了验证方法的效果,在常用的语音识别软件上,使用公共语音数据集、谷歌命令数据集和LibriSpeech数据集这3种不同类型的语音数据集进行了实验评估,并寻找志愿者进行对抗样本的质量评估.实验表明,提出的方法能有效提高目标对抗样本生成的成功率,例如针对DeepSpeech语音识别软件,在公共语音数据集上生成对抗样本的成功率相比对比方法提升了13%.

摘要： 深度神经网络在多种模式识别任务上都取得了巨大突破,但相关研究表明深度神经网络存在脆弱性,容易被精心设计的对抗样本攻击.本文以分类任务为着手点,研究对抗样本的迁移性,提出基于噪声初始化、Adam-Nesterov方法和准双曲动量方法的对抗样本生成方法.本文提出一种对抗噪声的初始化方法,通过像素偏移方法来预先增强干净样本的攻击性能.同时,本文使用Adam-Nesterov方法和准双曲动量方法来改进现有方法中的Nesterov方法和动量方法,实现更高的黑盒攻击成功率.在不需要额外运行时间和运算资源的情况下,本文方法可以和其他的攻击方法组合,并显著提高了对抗样本的黑盒攻击成功率.实验表明,本文的最强攻击组合为ANI-TI-DIQHM*(其中*代表噪声初始化),其对经典防御方法的平均黑盒攻击成功率达到88.68%,对较为先进的防御方法的平均黑盒攻击成功率达到82.77%,均超过现有最高水平.

摘要： 随着深度学习理论的发展,深度神经网络取得了一系列突破性进展,相继在多个领域得到了应用。其中,尤其以图像领域中的应用(如图像分类)最为普及与深入。然而,研究表明深度神经网络存在着诸多安全隐患,尤其是来自对抗样本的威胁,严重影响了图像分类的应用效果。因此,图像对抗样本的研究近年来越来越受到重视,研究者们从不同的角度对其进行了研究,相关研究成果也层出不穷,呈井喷之态。首先介绍了图像对抗样本的相关概念和术语,回顾并梳理了图像对抗样本攻击和防御方法的相关研究成果。特别是,根据攻击者的能力以及防御方法的基本思路对其进行了分类,并给出了不同类别的特点及存在的联系。接着,对图像对抗攻击在物理世界中的情况进行了简要阐述。最后,总结了图像对抗样本领域仍面临的挑战,并对未来的研究方向进行了展望。

摘要： 目前在空间域上关于对抗样本的研究成果已经相当成熟,但是在频域上的相关工作却是十分缺乏。从频域的角度对对抗样本进行深入的研究,发现对抗样本在DCT域上表现出了高度可识别的伪影,并利用这些伪影信息训练了一个基于频域的对抗样本检测器CNN-DCT,结果表明,对于常见的对抗样本在数据集CIFAR-10和SVHN上都能达到98%的检测准确率。此外,针对对抗样本在频域上存在的伪影,也提出一种通用的改进算法IAA-DCT来解决。简而言之,本文不仅填充了对抗样本在频域上工作的缺少,也改进了对抗攻击算法在频域上存在伪影的弊端。

摘要： 压缩感知是研究数据采样压缩与重构的信号处理新理论,近年来研究人员将深度学习运用到图像压缩感知算法中,显著提高了图像重构质量.然而,图像信息常与隐私关联,高质量的重构图像在方便人们观赏的同时,带来了隐私保护的问题.本文基于深度学习理论,提出一种对抗的图像压缩感知方法.该方法将压缩理论和对抗样本技术统一于同一个压缩感知算法,通过设计损失函数,联合重构误差和分类误差来训练压缩感知深度神经网络,使得压缩感知重构样本同时也是一个对抗样本.因此,重构图像在保证重构质量的同时,也能对抗图像分类算法,降低其识别率,达到保护图像隐私的效果.在Cifar-10和MNIST图像集上进行的实验结果表明,和已有的压缩感知方法相比,我们提出的对抗压缩感知方法以损失仅10%的图像重构质量为代价,使得图像分类精度下降了74%,获得了很好的对抗性能.

摘要： 作为新兴技术手段,人工智能技术被广泛应用于图像分类、人脸识别、目标检测等领域,并取得了较好的性能。但是,对抗样本等新型攻击手段的存在使得人工智能应用易被欺骗,进而可能造成重大的人身和财产损失,并大大影响人工智能产业的持续健康发展。本文简述了人工智能的攻击和防御技术,在此基础上,研究了人工智能安全评估技术,并阐述了人工智能技术在不同领域的应用实例以及存在的安全风险。最后,通过上述内容对人工智能存在的安全问题进行了总结分析,并针对不同的问题给出了相应的评估建议。

摘要： 卷积神经网络是目前人工智能领域在图像识别与处理相关应用中的关键技术之一,广泛的应用使对其鲁棒性研究的重要性不断凸显。以往对于卷积神经网络鲁棒性的研究较为笼统,且多集中在对抗鲁棒性方面。这难以更深入地研究神经网络鲁棒性的发生机制,已经不适应人工智能的发展。引入神经科学的相关研究,提出了视觉鲁棒性的概念,通过研究神经网络模型与人类视觉系统的相似性,揭示了神经网络鲁棒性的内在缺陷。回顾了近年来神经网络鲁棒性的研究现状,并分析了神经网络模型缺乏鲁棒性的原因。神经网络缺乏鲁棒性体现在其对于微小扰动的敏感性,其原因在于神经网络会更倾向于学习人类难以感知的高频信息用于计算和推理。而这部分高频信息很容易被扰动所破坏,最终导致模型出现判断错误。传统鲁棒性的研究大多关注模型的数学性质,无法突破神经网络的天然局限性。视觉鲁棒性在传统鲁棒性的概念上进行拓展。传统鲁棒性概念衡量模型对于失真变形的图像样本的辨识能力,失真样本与原始干净样本在鲁棒模型上都能保持正确的输出。视觉鲁棒性衡量模型与人类判别能力的一致性。这需要将神经科学和心理学的研究方法、成果与人工智能相结合。回顾了神经科学在视觉领域的发展,讨论了认知心理学的研究方法在神经网络鲁棒性研究上的应用。人类视觉系统在学习和抽象能力上具有优势,神经网络模型在计算和记忆速度方面强于人类。人脑的生理结构与神经网络模型的逻辑结构的差异是导致神经网络鲁棒性问题的关键因素。视觉鲁棒性的研究需要对人类的视觉系统有更深刻的理解。揭示人类视觉系统与神经网络模型在认知机制上的差异,并对算法进行有效的改进,这是神经网络鲁棒性乃至人工智能算法的主要发展趋势。

摘要： 本发明提出一种基于生成对抗网络的对抗攻击样本的生成办法，包括：S1.采集训练样本图像；S2.预处理和分类定义；S3.构建训练框架，训练框架包括生成器、判别器及目标攻击网络；S4.基于预处理和分类定义后的训练样本图像，生成随机噪声及生成随机条件向量；S5.将随机噪声及随机条件向量作为训练框架中生成器的输入，对训练框架的生成器和判别器进行训练，保存训练后的训练框架参数；S6.训练完成，生成对抗攻击样本。本发明提出的方法具有较强的数据学习能力，鲁棒性较高，克服了现有方法基于最优化方程和简单像素空间的矩阵度量，对数据分布缺乏学习能力的弊端，提高了对抗攻击样本的生成质量和效率。

摘要： 本说明书实施例提供一种利用对抗生成网络生成对抗样本的方法，其中对抗生成网络包括：预先训练好的、用于针对业务对象执行N分类任务的分类器，用于生成对应于各类别真实样本的模拟样本的生成器，以及对应于N个类别的N个判别器，其中第i个判别器用于判别输入其中的样本是否属于第i个类别下的真实样本。在该方法中，可以实现对生成器和判别器的训练，进而利用其中训练好的生成器生成具有指定真实类别，但会被上述分类器预测为其他类别的对抗样本，同时，可以实现高效、快捷地生成大批量的优质对抗样本。

摘要： 本发明公开了一种基于显著性对抗训练的对抗样本防御方法，包括：利用投影梯度下降法生成对抗样本；利用可解释性方法获取模型对于对抗样本的显著图；将显著图划分为预设数量的小块样本，并计算每个小块样本的平均显著值，每个小块样本根据对应位置的平均显著值进行JPEG压缩；将显著性压缩后的对抗样本作为训练数据进行对抗训练。在测试时，将显著性压缩后的样本输入模型进行识别。该方法提升模型的对抗鲁棒性，提升模型对于对抗样本的识别准确率。

摘要： 本发明公开了一种基于生成式对抗网络的恶意代码对抗样本自动生成方法，属于机器学习和网络安全技术领域。本发明首先选定训练用PE文件进行特征提取，得到初始特征映射向量，利用生成式对抗网络GAN对初始特征映射向量进行训练，得到对抗特征向量及对抗特征库，再使用进化算法对恶意PE文件进行对抗修改，最后经过筛选和恶意验证得到恶意代码对抗样本文件。本发明可以快速自动的生成含有恶意功能且能使分类器误分类的恶意对抗样本，且能够实现人工调整训练参数、调控系统训练方式，有效提升了生成对抗样本的真实性、高效性以及模型对抗评估的准确性。

摘要： 本发明公开了一种基于生成对抗网络的黑盒恶意软件检测对抗样本生成方法及装置，方法包括下述步骤：根据PE文件结构特性设计基于集成策略的恶意软件对抗性扰动方法，该扰动方法添加扰动的方式为:修改DOS头、节区末尾填充、文件末尾填充；构建基于生成对抗网络的黑盒恶意软件对抗样本生成模型；在模型攻击过程中，输入恶意软件到黑盒恶意软件对抗样本生成模型，利用训练过的生成器模型G在很短的时间内生成对抗性样本。本发明添加对抗性扰动到恶意软件的非功能区域，从而实现了保留恶意功能和样本的真实性，这样不仅可以省去检验恶意软件样本在沙箱中的动态分析方法以确保二进制文件的功能不受损害的高成本过程，还可以高效的生成恶意软件对抗样本。

摘要： 本发明提供人脸对抗样本防御方法、人脸对抗样本防御装置以及存储介质。人脸对抗样本防御方法包括：特征字典构建步骤，获取样本图像，对样本图像进行对齐，对样本图像按照多个关键点分割成多个图片块，对多个图片块分别提取特征来生成特征向量，将样本图像的关于各关键点的特征向量保存为各关键点的特征字典；测试样本特征提取步骤，关于测试样本获取测试图像，对测试图像进行对齐，对测试图像按照多个关键点分割成多个图片块，对多个图片块分别提取特征来生成特征向量；及对抗样本检测步骤，关于测试样本，计算测试图像的关于各关键点的特征向量与相应关键点的特征字典中的特征向量的距离，通过比较该距离与阈值来判断测试样本是否为对抗样本。

摘要： 本发明涉及一种对抗样本的生成方法包括：步骤1、对原始振动信号样本进行预处理，得到预处理后的样本xt；步骤2、将样本xt输入到目标网络f中，计算损失函数；t的初始值为0；步骤3、计算更新后的样本xt+1；步骤4、对更新后的样本xt+1进行度量，得到该样本xt+1的度量结果；步骤5、判断步骤4中度量结果是否大于预设的度量阈值，如是，则将xt+1作为xt的对抗样本，结束；如否，则将t值加1后更新t值，并转至步骤2。还公开了一种对抗样本的防御方法。本发明的优点在于：本发明中构建的对抗样本能够以较高的成功率欺骗目标网络，并保证构建的振动信号对抗样本质量，此外对机械故障诊断系统的鲁棒性研究有着推动作用。

摘要： 本发明公开了一种基于生成对抗网络的黑盒恶意软件检测对抗样本生成方法及装置，方法包括下述步骤：根据PE文件结构特性设计基于集成策略的恶意软件对抗性扰动方法，该扰动方法添加扰动的方式为:修改DOS头、节区末尾填充、文件末尾填充；构建基于生成对抗网络的黑盒恶意软件对抗样本生成模型；在模型攻击过程中，输入恶意软件到黑盒恶意软件对抗样本生成模型，利用训练过的生成器模型G在很短的时间内生成对抗性样本。本发明添加对抗性扰动到恶意软件的非功能区域，从而实现了保留恶意功能和样本的真实性，这样不仅可以省去检验恶意软件样本在沙箱中的动态分析方法以确保二进制文件的功能不受损害的高成本过程，还可以高效的生成恶意软件对抗样本。

摘要： 本发明提供一种针对深度神经网络对抗样本的对抗噪声去除方法，属于图像处理领域。其包括:利用干净图像样本进行端到端训练，获得条件变分自编码器与分类器；将待去噪的对抗图像输入至所述条件变分自编码器和分类器，获得所述对抗图像的去噪样本与类别。本发明通过去除对抗图像样本中的噪声，可以提升模型针对对抗图像样本的鲁棒性，经过去除对抗噪声的图像样本特征明显，可以正确分类，同样提高了后续任务的可靠性与安全性。

摘要： 本发明涉及一种基于生成式对抗网络的图片对抗样本生成方法，其采用以下步骤：对收集到的图片进行预处理；随机初始化生成器G和鉴别器D