基于文本扩展的对抗样本生成方法、装置、介质和设备

摘要

本发明的实施方式提供了一种基于文本扩展的对抗样本生成方法、装置、介质和设备。该方法包括：分析原始文本的句法结构，获取其中可被修饰的目标成分；根据原始文本的句法结构确定修饰目标成分的修饰语类型；以所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语；在所述目标成分的位置之后插入所述修饰语，以生成所述对抗样本。本发明通过插入修饰语的方式对原始文本进行扩展来生成对抗样本，极大地丰富了对抗样本的语句表达形式，并且保证了文本的句法结构正确性以及文本本身的可读性。

说明书

技术领域

本发明的实施方式涉及自然语言处理领域，更具体地，本发明的实施方式涉及一种基于文本扩展的对抗样本生成方法、装置、介质和设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

在对抗环境中，深度神经网络模型会被输入一些基于正常样本恶意构造的对抗样本(例如，图片或者语音信息)，在对抗样本的攻击下，深度神经网络模型会做出错误的预测。因此，采用对抗样本对深度神经网络进行攻击可以检测出深度神经网络模型潜在的漏洞，继而用于评估和提升深度神经网络模型的安全性。

最早的对抗样本概念是在图像领域中提出的，图像样本是连续数据，所以在生成对抗样本时不易被人察觉。

图像领域中生成对抗样本最常用的方法是快速梯度符号法，但在文本领域使用此方法最大的问题就是生成的对抗样本是语义不通，会被划分为无效样本。

现有技术中一般通过删除或者替换样本中最重要的单词来生成对抗样本，令其被分类器分类错误，并尽量保证生成的对抗样本符合原有的语法习惯。

但是，这样生成的抗性样本与原始文本比较近似，只是产生了很小的词汇变化，这可能无法揭示模型的所有鲁棒性问题。

发明内容

在本上下文中，本发明的实施方式期望提供一种能够生成更加丰富多样的文本类对抗样本的方法、装置、介质和设备。

在本发明实施方式的第一方面中，提供了一种基于文本扩展的对抗样本生成方法，包括：

分析原始文本的句法结构，获取其中可被修饰的目标成分；

根据原始文本的句法结构确定修饰目标成分的修饰语类型；

以所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语；

在所述目标成分的位置之后插入所述修饰语，以生成所述对抗样本。

在本发明实施方式的第二方面中，提供了一种基于文本扩展的对抗样本生成装置，包括：

句法结构分析模块，被配置为分析原始文本的句法结构，获取其中可被修饰的目标成分；

修饰语类型确定模块，被配置为根据原始文本的句法结构确定修饰目标成分的修饰语类型；

修饰语生成模块，所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语；

对抗样本生成模块，被配置为在所述目标成分的位置之后插入所述修饰语，以生成所述对抗样本。

在本发明实施方式的第三方面中，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现第一方面中任一项所述的方法。

在本发明实施方式的第四方面中，提供了一种计算设备，所述计算设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行第一方面中任一项所述的方法。

根据本发明实施方式的基于文本扩展的对抗样本生成方法、装置、介质和设备，通过分析原始文本的句法结构，获取其中可被修饰的目标成分；然后根据原始文本的句法结构确定修饰目标成分的修饰语类型；接下来以所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语；最后在所述目标成分的位置之后插入所述修饰语，以生成所述对抗样本。从而通过插入修饰语的方式对原始文本进行扩展来生成对抗样本，极大地丰富了对抗样本的语句表达形式，并且保证了文本的句法结构正确性以及文本本身的可读性。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明实施方式的一种基于文本扩展的对抗样本生成方法的流程示意图；

图2示意性地示出了根据本发明一实施例的方法制作的对抗样本的示例图，其中，带下划线的语句部分是插入的修饰语，粗体显示的是对抗修饰语修饰的目标成分，第一个示例的prediction预测表示两个语句由插入修饰语之前的匹配(0.754)变为插入修饰语之后的不匹配(0.707)，其中，第二个示例的prediction预测表示两个语句由插入修饰语之前的不匹配(0.991)变为插入修饰语之后的匹配(0.758)；

图3示意性地示出了两个匹配的语句确定插入指令的示例，；

图4示意性地示出了两个不匹配的语句确定插入指令的示例，其中“PP”，“Appos.”和“CL.”分别表示介词短语，同位语和从句。括号中的短语(例如“Thegirl”)是目标成分，每个带有下划线的序列(例如“PP/ADVP”)都是可行的修饰语类型，用于修饰附近的目标成分，修饰语和插入指令之间是一对一的关系，箭头指示插入位置。

图5示意性地示出了根据本发明一个实施例的文本生成模型的结构示意图；

图6为本发明实施例提供的基于文本扩展的对抗样本生成装置的模块示意图；

图7为本发明实施例提供的一种计算机可读存储介质的示意图；

图8为本发明实施例提供的一种计算设备的示意。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种基于文本扩展的对抗样本生成方法、装置、介质和设备。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

下面结合图2的示例性场景，参考图1来描述根据本发明示例性实施方式的基于文本扩展的对抗样本生成方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

本发明实施例提供了一种基于文本扩展的对抗样本生成方法，包括：

步骤S110，分析原始文本的句法结构，获取其中可被修饰的目标成分；

步骤S120，根据原始文本的句法结构确定修饰目标成分的修饰语类型；

步骤S130，以所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语；

步骤S140，在所述目标成分的位置之后插入所述修饰语，以生成所述对抗样本。

本发明中的原始文本可以是多句话，也可以是一句话，在所述原始文本包括多个语句时，可以是互相匹配的多个语句，也可以是互不匹配的多个语句，例如所述原始文本包括两个语句A和B，且A和B互相匹配，那么在采用本发明的技术方案生成对抗样本A

下面结合附图说明如何进行基于文本扩展的对抗样本生成：

首先执行步骤S110，分析原始文本的句法结构，获取其中可被修饰的目标成分；

在本实施方式中，可以采用任一现有技术对文本的句法结构进行分析，确定其中各个语句中每一部分的句法类型，具体来说，本领域的技术人员可以根据文本所采用的语言选择合适的方法分析其句法结构，例如所述文本采用的语言为英文，那么可以采用LinkGrammar分析器分析文本中各个单词、短语或从句的句法类型，英文文本中各个成分的句法类型具体分类情如表1所示：

表1

可以理解的是，在原始文本采用其它语言时，可以选取现有技术中相应的句法结构分析器对原始文本进行分析以获取其各个成分的句法类型，例如，在所述原始文本采用中文时，可以通过Stanford parser或Berkeley parser分析器进行，中文语句的句法结构和英文语句大同小异，在此不再进行举例，在采用句法分析器进行分析时，会自动输出语句中各个成分的句法类型。

在获取到原始文本中各个成分的句法类型之后，即可确定所述原始文本中的目标成分，例如预设名词短语为目标成分，那么在分析确定原始文本各个成分的句法类型之后，即可确认其中的名词短语为目标成分。

或者，表1中的各个句法类型的成分都是可以被修饰的，那么在分析确定原始文本各个成分的句法类型之后即可将其中的符合上述类型的成分确定为目标成分，即原始文本中可以包括多个目标成分。

接下来执行步骤S120，根据原始文本的句法结构确定修饰目标成分的修饰语类型；在本实施方式中，所述修饰语类型包括副词短语、介词短语、同位语和从句；需要说明的是，所述修饰语类型并不限于以上所列举的类型，本领域的技术人员还可以根据实际应用情况进行添加，本实施方式对此不做限定。

具体来说，在句法结构中，某一语句成分可被什么类型的修饰语修饰是确定的，例如，形容词用来修饰名词或名词短语，副词用来修饰动词或动词短语等，由此，可以预设相应的规则来确定某一句法类型的成分的可选修饰语类型。考虑到每一个完整正确的语句的句法结构都是确定的，无法进行随意的修改，即一个语句中存在的语句成分的类型要符合基本的句法，也就是说不能简单的将修饰语加在目标成分之后，而是需要确定根据原始文本当前的句法结构，是否还能够在某个目标成分之后插入某个类型的修饰语，由此，在本实施方式的一个实施例中，根据所述原始文本的句法结构，通过预设的解析模板获取所述目标成分以及修饰语类型，所述预设的解析模板中包括多项解析规则，所述解析规则中预设有句法结构和修饰语类型的对应关系，在所述原始文本的句法结构匹配解析规则中预设的句法结构时，确定所述解析规则中预设的句法结构对应的修饰语类型为修饰所述原始文本中的目标成分的修饰语类型。考虑到每一个语句中可能存在多个目标成分，且同一语句中的目标成分的句法类型可能是一致的或不一致的，因此，根据某一语句的句法结构可以对应多个不同类型的修饰语，类似的，不同句法类型的目标成分也可以对应同样类型的修饰语，由此，在至少一项解析规则中存在多个句法结构对应同一个修饰语类型。

同样的，为了避免出现因为插入某个修饰语而造成语句的句法结构出现问题，在本实施方式的一个实施例中，在确定所述修饰语类型时，所述解析规则还包括排除所述原始文本中已存在的修饰目标成分的修饰语类型，具体的，下面一个实施例中给出一个解析模板的实例，所述解析模板至少包括以下解析规则中的一项：

其中，带下划线的成分为所述修饰语类型，带删除线的成分之外的其余成分为所述修饰语修饰的目标成分，“VB*”为任何形式的动词，“...”为任何语句成分。

在确定原始文本中的目标成分以及修饰所述目标成分的修饰语类型之后，即可执行步骤S130，以所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语；

考虑到，原始文本中的目标成分可能匹配到多个可选的修饰语类型，然而在生成修饰语时，必须要唯一确定一个修饰语类型才能生成对应的修饰语，由此，在原始文本中的目标成分匹配到多个可选的修饰语类型时，采用预设的规则从中选取修饰语类型，例如，在本实施方式的一个实施例中，所述预设规则为从所述多个可选的修饰语类型中随机选取一个作为选定的修饰语类型。

在本实施方式的一个实施例中，以所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语，包括：

基于所述目标成分和修饰语类型构建插入指令，所述插入指令至少包括所述目标成分、修饰语类型和插入修饰语的位置；

具体而言，所述插入指令的形式为：

I＝；

其中，所述插入指令表示将类型t的修饰语插入集合P中的每个位置，以修饰目标成分c。例如，在对图3中所示的两个不匹配句子构建基于文本扩展的对抗样本时，每个句子有三个可行的插入指令。其中一个指令可以是I＝，其中(1,2)表示修饰语应插入第一句中第二个单词之后。

为了适用于文本匹配——如自然语言推理(Natural Language Inference) 和同义句识别(Paraphrase Identification)——的处理场景，确保插入修饰语时保持标签不变，本申请的一个实施方式中，在两个互相匹配的语句中使用完全相同的修饰语扩展两个语句中共同存在的语句成分。例如，以图 4中所示的两个互相匹配的语句为例，使用完全相同的修饰语来扩展两个语句中共同的目标成分“The girl”和“a song”。因此，与“Thegirl”相关联的插入指令具有插入位置集合P＝{(1,2,(2,2)}。

接下来，以所述插入指令为基础，通过所述文本生成模型解码生成修饰语，考虑到每一语句都可能包括多个目标成分，如果针对每一目标成分构建插入指令，那么每一语句都可以构建很多条插入指令，如果对于每一个插入指令都通过所述文本生成模型解码生成修饰语，并考虑插入语的所有组合，则将会是低效的，在本实施方式的一个实施例中，通过预设方式评估所述插入指令的分数并保留其中符合预设条件的插入指令来生成修饰语，例如仅保留具有top-k分数的插入指令。具体的一个评估方式如下：

其中，AdvMod(·)输出从文本生成模型中解码生成的修饰语m

通过以上方式可以采用插入修饰语的试验来评估目标组成部分的脆弱性，从而得到各个插入指令的评估分数(脆弱性分数)，可以理解的是，在本实施方式中，为了提高处理效率，多个插入指令的评估可以同时进行。

在本实施方式中，为了在文本生成模型解码生成修饰语时提供丰富的结果，所述文本生成模型采用条件变分自编码器(CAVE)构建而成，而不是序列到序列Sequence-to-Sequence(Seq2Seq)的模型，因为Seq2Seq通过最大似然估计训练，主要捕获文本低层次的表达多样性，无法提供丰富的生成结果。所述文本模型的一个示例型结构如图5所示，其中，c、t、z 和m分别表示目标成分，输出的修饰语的类型，隐变量和输出的修饰语，虚线箭头是后验分布q

在生成所述对抗样本时采用集束搜索(Beam Search)的方式进行，在通过集束搜索的方式迭代生成所述对抗样本的过程中，所述文本生成模型采用贪心的解码方式生成修饰语，具体来说，以所述插入指令为基础，通过所述文本生成模型解码生成修饰语，包括：

根据所述插入指令通过所述文本生成模型进行贪心的解码以生成对应的修饰语；

具体的，在本实施方式中，以AdvMod(I,X

在每个集束搜索步骤的最后将所述修饰语根据所述插入指令插入原始文本以生成候选对抗样本；

在以上步骤中，通过集束搜索进行对抗样本的迭代时，每一个集束搜索的步骤仅根据一条插入指令，也就是说在进行集束搜索来迭代生成对抗样本时，仅仅是对原始文本中固定位置的目标成分的修饰语进行解码生成以便得到至少一个候选对抗样本，由于目标成分的修饰语类型可能包括多个，在对所述修饰语进行解码生成时，将会解码生成多个结果，由此，解码生成的多个修饰语可以根据所述插入指令中的位置信息逐个插入所述原始文本中生成多个候选对抗样本；可以理解的是，即使针对同一目标成分和同一修饰语类型，在进行解码生成时，由于对隐变量z进行了多个采样，由此针对不同的采样值解码生成多个不同的修饰语，从而能够根据所述插入指令构建多个候选对抗样本；同样的道理，由于在解码生成修饰语时对隐变量z进行了多个采样，若插入指令包括了多个修饰语类型，那么在基于这个插入指令解码生成修饰语时将会产生更多的修饰语结果，从而可以构建更多候选对抗样本。

接下来，将所述候选对抗样本输入目标模型，并根据所述目标模型的输出结果对所述候选对抗样本进行处理，其中，包括：

将成功欺骗目标模型的候选对抗样本确定为最终的对抗样本，并终止集束搜索；或者

保留根据预设方式评估候选对抗样本得到的分数符合预设条件的候选对抗样本并继续集束搜索。

为了学习得到平滑的隐变量的分布空间，本实施方式的一个实施例中基于训练数据对文本生成模型进行了预训练，对于训练数据，本实施例中将训练数据语料库中的每个句子视为已扩展，并利用所述解析模板分析每个语句的成分及各个成分的修饰语。

所述文本生成模型的损失函数

第一项

其中p

第二项

为了保证生成的对抗样本的语法正确，不因为插入修饰语而被破坏，在本实施方式的一个实施例中，不对预训练完成的文本生成模型进行参数调整，而是引入轻量级的前馈网络来搜索隐变量空间中带有对抗性的采样点，即采用对抗先验网络计算对抗样本分布，然后约束所述文本生成模型基于所述对抗样本分布采样生成用于插入原始文本以构建对抗样本的修饰语，所述对抗先验网络采用所述文本生成模型的先验网络的参数进行初始化，并使用强化学习算法进行调整，具体来说，所述强化学习算法的奖励定义为：

R(z)＝-log(PM(Y|X

其中α是超参数(例如可以设置为0.6)，X

由此，总的损失函数为：

步骤S140，在所述目标成分的位置之后插入所述修饰语，以生成所述对抗样本。

如上述步骤所述，在每个集束搜索步骤的最后，本实施例中通过在原始文本中插入AdvMod(·)返回的修饰语来制作新的候选对抗样本并查询目标模型。一旦候选对抗样本欺骗了目标模型，将返回具有最低困惑度的对抗样本(可以通过GPT2模型进行评分)，并终止集束搜索；否则，将保留对目标模型具有top-Z影响的候选对抗样本，然后继续进行集束搜索。

总的来说，本申请提出的基于文本扩展的对抗样本生成方法，通过插入修饰语的方式对原始文本进行扩展来生成对抗样本，极大地丰富了对抗样本的语句表达形式，并且保证了文本的句法结构正确性以及文本本身的可读性。

在介绍了本发明示例性实施方式的方法之后，接下来，参考图6对本发明示例性实施方式的一种基于文本扩展的对抗样本生成装置进行说明，该装置包括：

句法结构分析模块610，被配置为分析原始文本的句法结构，获取其中可被修饰的目标成分；

修饰语类型确定模块620，被配置为根据原始文本的句法结构确定修饰目标成分的修饰语类型；

修饰语生成模块630，所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语；

对抗样本生成模块640，被配置为在所述目标成分的位置之后插入所述修饰语，以生成所述对抗样本。

在本实施方式的一个实施例中，所述修饰语类型包括副词短语、介词短语、同位语和从句。

在本实施方式的一个实施例中，所述修饰语类型确定模块620还被配置为根据所述原始文本的句法结构，通过预设的解析模板获取所述目标成分以及修饰语类型。

在本实施方式的一个实施例中，所述预设的解析模板中包括多项解析规则，所述解析规则中预设有句法结构和修饰语类型的对应关系，在所述原始文本的句法结构匹配解析规则中预设的句法结构时，确定所述解析规则中预设的句法结构对应的修饰语类型为修饰所述原始文本中的目标成分的修饰语类型。

在本实施方式的一个实施例中，在至少一项解析规则中存在多个句法结构对应同一个修饰语类型。

在本实施方式的一个实施例中，所述修饰语类型确定模块在确定所述修饰语类型时，所述解析规则还包括排除所述原始文本中已存在的修饰目标成分的修饰语类型。

在本实施方式的一个实施例中，所述解析模板至少包括以下解析规则中的一项：

其中，带下划线的成分为所述修饰语类型，带删除线的成分之外的其余成分为所述修饰语修饰的目标成分，“VB*”为任何形式的动词，“...”为任何语句成分。

在本实施方式的一个实施例中，在原始文本中的目标成分匹配到多个可选的修饰语类型时，采用预设的规则从中选取修饰语类型。

在本实施方式的一个实施例中，所述预设规则为从所述多个可选的修饰语类型中随机选取一个作为选定的修饰语类型。

在本实施方式的一个实施例中，所述修饰语生成模块630包括：

插入指令构建单元，被配置为基于所述目标成分和修饰语类型构建插入指令，所述插入指令至少包括所述目标成分、修饰语类型和插入修饰语的位置；

修饰语生成单元，被配置为以所述插入指令为基础，通过所述文本生成模型解码生成修饰语。

在本实施方式的一个实施例中，所述原始文本中存在多个目标成分时，对应每个目标成分分别构建多个插入指令，所述多个插入指令中的每一个至少包括一个修饰语类型。

在本实施方式的一个实施例中，在生成所述对抗样本时采用集束搜索的方式进行；在通过集束搜索的方式迭代生成所述对抗样本的过程中，所述文本生成模型采用贪心的解码方式生成修饰语。

在本实施方式的一个实施例中，所述修饰语生成单元包括：

解码子单元，被配置为根据所述插入指令通过所述文本生成模型进行贪心的解码以生成对应的修饰语；

候选对抗样本生成子单元，被配置为在每个集束搜索步骤的最后将所述修饰语根据所述插入指令插入原始文本以生成候选对抗样本；

处理子单元，被配置为将所述候选对抗样本输入目标模型，并根据所述目标模型的输出结果对所述候选对抗样本进行处理。

在本实施方式的一个实施例中，所述处理子单元还被配置为：

将成功欺骗目标模型的候选对抗样本确定为最终的对抗样本；以及

保留根据预设方式评估候选对抗样本得到的分数符合预设条件的候选对抗样本并继续集束搜索。

在本实施方式的一个实施例中，所述文本生成模型采用条件变分自编码器构建而成。

在本实施方式的一个实施例中，所述装置还包括模型训练模块，被配置为采用所述解析模板对训练数据进行处理，将所述处理后的训练数据看作插入修饰语后的对抗文本；以及

采用处理后的训练数据对所述文本生成模型进行训练。

在本实施方式的一个实施例中，所述文本生成模型基于所述对抗样本分布采样生成用于插入原始文本以构建对抗样本的修饰语；

所述对抗样本分布采用对抗先验网络计算；

所述对抗先验网络采用所述文本生成模型的先验网络的参数进行初始化，并使用强化学习算法进行调整。

在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图7对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图7，其示出的计算机可读存储介质为光盘70，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，分析原始文本的句法结构，获取其中可被修饰的目标成分；根据原始文本的句法结构确定修饰目标成分的修饰语类型；以所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语；在所述目标成分的位置之后插入所述修饰语，以生成所述对抗样本；各步骤的具体实现方式在此不再重复说明。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图8对本发明示例性实施方式的基于文本扩展的对抗样本生成的计算设备。

图8示出了适于用来实现本发明实施方式的示例性计算设备80的框图，该计算设备80可以是计算机系统或服务器。图8显示的计算设备80仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算设备80的组件可以包括但不限于：一个或者多个处理器或者处理单元801，系统存储器802，连接不同系统组件(包括系统存储器 802和处理单元801)的总线803。

计算设备80典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备80访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器802可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)8021和/或高速缓存存储器8022。计算设备80可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM8023可以用于读写不可移动的、非易失性磁介质(图8中未显示，通常称为“硬盘驱动器”)。尽管未在图8中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线803 相连。系统存储器802中可以包括至少一个程序产品，该程序产品具有一组 (例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块8024的程序/实用工具8025，可以存储在例如系统存储器802中，且这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块8024通常执行本发明所描述的实施例中的功能和/或方法。

计算设备80也可以与一个或多个外部设备804(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口805进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络(例如局域网 (LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器806通过总线803与计算设备80的其它模块(如处理单元801等) 通信。应当明白，尽管图8中未示出，可以结合计算设备80使用其它硬件和 /或软件模块。

处理单元801通过运行存储在系统存储器802中的程序，从而执行各种功能应用以及数据处理，例如，分析原始文本的句法结构，获取其中可被修饰的目标成分；根据原始文本的句法结构确定修饰目标成分的修饰语类型；以所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语；在所述目标成分的位置之后插入所述修饰语，以生成所述对抗样本。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了基于文本扩展的对抗样本生成装置的若干单元/模块或子单元/ 子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

通过上述的描述，本发明的实施例提供了以下的方案，但不限于此：

1.一种基于文本扩展的对抗样本生成方法，包括：

分析原始文本的句法结构，获取其中可被修饰的目标成分；

根据原始文本的句法结构确定修饰目标成分的修饰语类型；

以所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语；

在所述目标成分的位置之后插入所述修饰语，以生成所述对抗样本。

2.如方案1所述的方法，其中，所述修饰语类型包括副词短语、介词短语、同位语和从句。

3.如方案1或2所述的方法，其中，根据所述原始文本的句法结构，通过预设的解析模板获取所述目标成分以及修饰语类型。

4.如方案3所述的方法，其中，所述预设的解析模板中包括多项解析规则，所述解析规则中预设有句法结构和修饰语类型的对应关系，在所述原始文本的句法结构匹配解析规则中预设的句法结构时，确定所述解析规则中预设的句法结构对应的修饰语类型为修饰所述原始文本中的目标成分的修饰语类型。

5.如方案4所述的方法，其中，在至少一项解析规则中存在多个句法结构对应同一个修饰语类型。

6.如方案4所述的方法，其中，在确定所述修饰语类型时，所述解析规则还包括排除所述原始文本中已存在的修饰目标成分的修饰语类型。

7.如方案3-6任一所述的方法，其中，所述解析模板至少包括以下解析规则中的一项：

其中，带下划线的成分为所述修饰语类型，带删除线的成分之外的其余成分为所述修饰语修饰的目标成分，“VB*”为任何形式的动词，“...”为任何语句成分。

8.如方案3-7任一所述的方法，其中，在原始文本中的目标成分匹配到多个可选的修饰语类型时，采用预设的规则从中选取修饰语类型。

9.如方案8所述的方法，其中，所述预设规则为从所述多个可选的修饰语类型中随机选取一个作为选定的修饰语类型。

10.如方案8或9所述的方法，其中，以所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语，包括：

基于所述目标成分和修饰语类型构建插入指令，所述插入指令至少包括所述目标成分、修饰语类型和插入修饰语的位置；

以所述插入指令为基础，通过所述文本生成模型解码生成修饰语。

11.如方案10所述的方法，其中，所述原始文本中存在多个目标成分时，对应每个目标成分分别构建多个插入指令，所述多个插入指令中的每一个至少包括一个修饰语类型。

12.如方案10所述的方法，其中，在生成所述对抗样本时采用集束搜索的方式进行；在通过集束搜索的方式迭代生成所述对抗样本的过程中，所述文本生成模型采用贪心的解码方式生成修饰语。

13.如方案12所述的方法，其中，以所述插入指令为基础，通过所述文本生成模型解码生成修饰语，包括：

根据所述插入指令通过所述文本生成模型进行贪心的解码以生成对应的修饰语；

在每个集束搜索步骤的最后将所述修饰语根据所述插入指令插入原始文本以生成候选对抗样本；

将所述候选对抗样本输入目标模型，并根据所述目标模型的输出结果对所述候选对抗样本进行处理。

14.如方案13所述的方法，其中，根据所述目标模型的输出结果对所述候选对抗样本进行处理，包括：

将成功欺骗目标模型的候选对抗样本确定为最终的对抗样本；以及

保留根据预设方式评估候选对抗样本得到的分数符合预设条件的候选对抗样本并继续集束搜索。

15.如方案11-14任一所述的方法，其中，所述文本生成模型采用条件变分自编码器构建而成。

16.如方案15所述的方法，其中，所述文本生成模型采用预设方式训练，包括：

采用所述解析模板对训练数据进行处理，将所述处理后的训练数据看作插入修饰语后的对抗文本；

采用处理后的训练数据对所述文本生成模型进行训练。

17.如方案16所述的方法，其中，所述文本生成模型基于所述对抗样本分布采样生成用于插入原始文本以构建对抗样本的修饰语；

所述对抗样本分布采用对抗先验网络计算；

所述对抗先验网络采用所述文本生成模型的先验网络的参数进行初始化，并使用强化学习算法进行调整。

18.一种基于文本扩展的对抗样本生成装置，包括：

句法结构分析模块，被配置为分析原始文本的句法结构，获取其中可被修饰的目标成分；

修饰语类型确定模块，被配置为根据原始文本的句法结构确定修饰目标成分的修饰语类型；

修饰语生成模块，所述目标成分和修饰语类型为输入，通过文本生成模型生成修饰语；

对抗样本生成模块，被配置为在所述目标成分的位置之后插入所述修饰语，以生成所述对抗样本。

19.如方案18所述的装置，其中，所述修饰语类型包括副词短语、介词短语、同位语和从句。

20.如方案18或19所述的装置，其中，所述修饰语类型确定模块还被配置为根据所述原始文本的句法结构，通过预设的解析模板获取所述目标成分以及修饰语类型。

21.如方案20所述的装置，其中，所述预设的解析模板中包括多项解析规则，所述解析规则中预设有句法结构和修饰语类型的对应关系，在所述原始文本的句法结构匹配解析规则中预设的句法结构时，确定所述解析规则中预设的句法结构对应的修饰语类型为修饰所述原始文本中的目标成分的修饰语类型。

22.如方案21所述的装置，其中，在至少一项解析规则中存在多个句法结构对应同一个修饰语类型。

23.如方案21所述的装置，其中，所述修饰语类型确定模块在确定所述修饰语类型时，所述解析规则还包括排除所述原始文本中已存在的修饰目标成分的修饰语类型。

24.如方案20-23任一所述的装置，其中，所述解析模板至少包括以下解析规则中的一项：

其中，带下划线的成分为所述修饰语类型，带删除线的成分之外的其余成分为所述修饰语修饰的目标成分，“VB*”为任何形式的动词，“...”为任何语句成分。

25.如方案20-24任一所述的装置，其中，在原始文本中的目标成分匹配到多个可选的修饰语类型时，采用预设的规则从中选取修饰语类型。

26.如方案25所述的装置，其中，所述预设规则为从所述多个可选的修饰语类型中随机选取一个作为选定的修饰语类型。

27.如方案25或26所述的装置，其中，所述修饰语生成模块包括：

插入指令构建单元，被配置为基于所述目标成分和修饰语类型构建插入指令，所述插入指令至少包括所述目标成分、修饰语类型和插入修饰语的位置；

修饰语生成单元，被配置为以所述插入指令为基础，通过所述文本生成模型解码生成修饰语。

28.如方案27所述的装置，其中，所述原始文本中存在多个目标成分时，对应每个目标成分分别构建多个插入指令，所述多个插入指令中的每一个至少包括一个修饰语类型。

29.如方案27所述的装置，其中，在生成所述对抗样本时采用集束搜索的方式进行；在通过集束搜索的方式迭代生成所述对抗样本的过程中，所述文本生成模型采用贪心的解码方式生成修饰语。

30.如方案29所述的装置，其中，所述修饰语生成单元包括：

解码子单元，被配置为根据所述插入指令通过所述文本生成模型进行贪心的解码以生成对应的修饰语；

候选对抗样本生成子单元，被配置为在每个集束搜索步骤的最后将所述修饰语根据所述插入指令插入原始文本以生成候选对抗样本；

处理子单元，被配置为将所述候选对抗样本输入目标模型，并根据所述目标模型的输出结果对所述候选对抗样本进行处理。

31.如方案30所述的装置，其中，所述处理子单元还被配置为：

将成功欺骗目标模型的候选对抗样本确定为最终的对抗样本；以及

保留根据预设方式评估候选对抗样本得到的分数符合预设条件的候选对抗样本并继续集束搜索。

32.如方案28-31任一所述的装置，其中，所述文本生成模型采用条件变分自编码器构建而成。

33.如方案32所述的装置，其中，所述装置还包括模型训练模块，被配置为采用所述解析模板对训练数据进行处理，将所述处理后的训练数据看作插入修饰语后的对抗文本；以及

采用处理后的训练数据对所述文本生成模型进行训练。

34.如方案33所述的装置，其中，所述文本生成模型基于所述对抗样本分布采样生成用于插入原始文本以构建对抗样本的修饰语；

所述对抗样本分布采用对抗先验网络计算；

所述对抗先验网络采用所述文本生成模型的先验网络的参数进行初始化，并使用强化学习算法进行调整。

35.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现上述方案1-17中任一项所述的方法。

36.一种计算设备，所述计算设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述方案1-17中任一项所述的方法。