多任务学习网络以及基于多任务学习网络的方法

摘要

本申请公开了一种多任务学习网络以及基于多任务学习网络的方法。该多任务学习网络包括：任务网络以及合并网络。其中任务网络包括多个子任务网络，多个子任务网络针对相同的输入生成相应的特征向量，合并网络对相应的特征向量进行拼接、对拼接后的特征向量进行优化并得到最终输出，其中多个子任务网络中的每个子任务网络包括编码层和任务层，编码层将所述输入转换成包括维度信息的编码向量并将编码向量发送到所述任务层，任务层对编码向量进行处理以生成特征向量。

说明书

技术领域

本公开内容涉及自然语言处理(Natural Language Processing,NLP)，并且具体地涉及用于文档分类的多任务学习网络以及基于多任务学习网络的方法。

背景技术

随着信息技术和全球化进程的发展，对于文档分类的需求不断增加。多任务学习(Multi-task learning,MTL)技术目前已被应用到文档分类领域。

现有技术中的一种基于多任务学习的文档分类方法通过利用用于文档分类的主任务以及用于非文档分类的子任务来实现对目标文档的分类。例如，Tatsuya Hiraoka、Hiroyuki Shindo和Yuji Matsumoto于2019年在国际计算机语言学协会(Association forComputational Linguistics)第57届年会所发表的文献1“Stochastic Tokenizationwith a Language Model for Neural Text Classification”就采用了上述的基于多任务学习的文档分类方法。

在文献1中，设计了用于文档分类的主任务以及基于语言模型进行句子切分的子任务，该子任务将输入的文档中的句子进行随机的切分，并通过预训练的语言模型选择最合适的切分结果，然后将切分结果中的词语信息输入到主任务中，进而辅助主任务进行文档分类。文献1所提出的文档分类方法由于主任务和子任务不同，因此需要对子任务的进行特别的设计，通常存在难以设计出有效的子任务的问题。而且，文献1中的方法的应用场景仅限于对于中文文档、日文文档进行分类的情况，而并不适用于对英文文档进行分类的情况，因而不具有扩展性。

此外，目前还存在另一种基于多任务学习的文档分类方法，在这种文档分类方法中，每个任务均为文档分类任务。例如Pengfei Liu、Xipeng Qiu和Xuanjing Huang于2017年在国际计算机语言学协会(Association for Computational Linguistics)第55届年会所发表的文献2“Adversarial Multi-task Learning for Text Classification”就采用了上述的基于多任务学习的文档分类方法。

在文献2中，每个子任务都是文档分类任务，每个子任务的结构都相同，但是每个子任务的输入不同。子任务之间通过共享的长短期记忆(LSTM)结构来进行学习，以进而提高每个子任务的分类结果。文献2中的所提出的文档分类方法需要不同的资源进行输入，然而，在实际应用中，往往没有其他的可以利用的资源。

发明内容

本发明的目的在于解决上述现有技术中存在的问题，本发明提供一种多任务学习网络以及基于多任务学习网络的方法。根据本发明所公开的多学习网络中的子任务网络的结构相同、输入也相同，使得不需要对子任务网络进行特殊的设计，并且不需要输入不同的资源来训练子任务网络。此外，本发明所公开的多任务学习网络具有良好的扩展性。

在下文中给出了关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，这个概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据本发明的一个方面，提供了一种多任务学习网络，包括：任务网络，该任务网络包括多个子任务网络，多个子任务网络针对相同的输入生成相应的特征向量；以及合并网络，该合并网络对相应的特征向量进行拼接、对拼接后的特征向量进行优化并得到最终输出。

根据本发明的一个方面，多个子任务网络中的每个子任务网络包括编码层和任务层，所述编码层将所述输入转换成包括维度信息的编码向量并将所述编码向量发送到所述任务层，所述任务层对所述编码向量进行处理以生成特征向量。

根据本发明的一个方面，多个子任务网络共享同一编码层。

根据本发明的一个方面，合并网络对拼接后的特征向量进行全连接处理以及Softmax处理，从而得到最终输出。

根据本发明的一个方面，编码层通过标记嵌入处理以及RNN处理来将所述输入转换成所述编码向量。

根据本发明的另一个方面，提供了一种基于多任务学习网络的方法，包括：针对相同的输入通过多个子任务网络生成相应的特征向量；对所述相应的特征向量进行拼接；对拼接后的特征向量进行优化；以及输出最优的特征向量。

根据本发明的其它方面，还提供了相应的计算机程序代码、计算机可读存储介质和计算机程序产品。

通过以下结合附图对本发明的优选实施方式的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

为了进一步阐述本公开内容的以上和其它优点和特征，下面结合附图对本公开内容的具体实施方式作进一步详细的说明。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。具有相同的功能和结构的元件用相同的参考标号表示。应当理解，这些附图仅描述本公开内容的典型示例，而不应看作是对本公开内容的范围的限定。在附图中：

图1示出了常规的基于循环神经网络(RNN)和卷积神经网络(CNN)的单任务文档分类网络的结构的框图；

图2示出了根据本发明实施方式的多任务学习网络的结构的框图；

图3详细地示出了根据本公开的多任务学习网络的结构的框图；

图4示出了将单任务文档分类网络转换成根据本发明实施方式的多任务学习网络的示例；

图5示出了应用本发明实施方式的多任务学习网络进行文档分类的示例；

图6示出了本公开的基于多任务学习网络的方法的流程图；以及

图7是其中可以实现根据本发明的实施方式的方法和/或设备的通用个人计算机的示例性结构的框图。

具体实施方式

现在参考附图来更加充分地描述本公开内容。以下描述实质上只是示例性的，而不旨在限制本公开、应用或用途。

提供了示例实施例，以便本公开将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定部件、装置和方法的例子，以提供对本公开的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本公开的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其他细节。

图1示出了常规的基于循环神经网络(RNN)和卷积神经网络(CNN)的单任务文档分类网络100的主要结构的示例。单任务文档分类网络100包括标记嵌入层110、RNN层120、一个或多个CNN层1301-130N(其中N为等于或大于1的正整数)、一个或多个池化层1401-140N(其中N为等于或大于1的正整数)、向量拼接层150、Softmax层160和单任务输出层170。

在利用单任务文档分类网络100进行文档分类时，首先向单任务文档分类网络100传递输入，输入可以包括文档数目、每个文档中的字符标记序列等。例如，输入可以为二维数组sing_task_input[batch_size][document_token]，其中batch_size表示输入的文档数目，document_token表示每个文档中的字符标记序列。

标记嵌入层110对输入进行嵌入，例如，标记嵌入层对输入的每个文档字符标记序列进行词向量化并且添加维度信息。例如，输出可以为三维数组embedding[batch_size][document_token][embedding_dim]，其中，batch_size表示输入的文档数目，document_token表示每个文档中的字符标记序列，embedding_dim表示文档中的每个字符的嵌入维度。

RNN层120对于标记嵌入层110的输入进行编码以进行RNN处理，然后将输出传递到CNN层1301-130N(其中N为等于或大于1的正整数)，例如，RNN层120的输出可以为三维数组RNN[batch_size][document_token][hidden_dim]，其中batch_size表示输入的文档数目，document_token表示每个文档中的字符标记序列、hidden_dim表示RNN层120的编码维度。

CNN层1301-130N以及池化层1401-140N对RNN层120的输出进行特征提取并且将特征向量输出到向量拼接层150，然后向量拼接层150将多个CNN层1301-130N以及CNN层对应的池化层1401-140N提取的特征进行拼接(例如，拼接为二维数组feat_vector[batch_size][feat_dim]，其中batch_size表示输入的文档数目，feat_dim表示特征向量的维度)，并将拼接的特征向量输出到Softmax层160，Softmax层160对输入的拼接后的特征向量进行处理以得到文档分类的结果，并将该结果输出到单任务输出层170。单任务输出层170输出最终的分类结果。

与上述常规的基于循环神经网络(RNN)和卷积神经网络(CNN)的单任务文档分类网络的结构不同，如图2所示，本发明所公开的多任务学习网络200包括任务网络210和合并网络220。

图3更详细地示出了根据本公开的多任务学习网络的结构的框图。图3示出包括任务网络301和合并网络302的多任务学习网络300。图3的左侧示出根据本公开实施例的多任务学习网络中的任务网络的结构的框图，图3的右侧示出根据本公开实施例的多任务学习网络中的合并网络的结构的框图。

任务网络301包括一个或多个子任务网络3001-300N(其中N为等于或大于1的正整数)。一个或多个子任务网络3001-300N中的每个子任务网络包括各自的任务层和输出层。例如，如图3所示，子任务网络3001包括任务层3201和输出层3301，子任务网络300N包括任务层320N和输出层330N。该一个或多个子任务网络3001-300N共享编码层310，编码层310到任务层3201-320N的输出相同。

应该注意的是，图3中示出的多任务学习网络的结构仅意在示例，而并非用于限制。在本发明的其他实施例中，子任务网络的输出层并非是必须的。任务网络中的一个或多个子任务网络的部分或全部可以不包括输出层。此外，在本发明的其他实施例中，多个子任务网络可以具有其各自的编码层，即不共享编码层。

在利用多任务学习网络300进行文档分类时，首先向多任务学习网络300传递输入，输入可以包括文档数目、每个文档中的字符标记序列等。编码层310通过标记嵌入处理以及RNN处理来将输入转换成包括维度信息的编码向量并将该编码向量发送到任务层3201-320N。例如，输入可以是二维数组encode_input[batch_size][document_token]，其中batch_size表示输入的文档数目，document_token表示每个文档中的字符标记序列。编码层310通过标记嵌入处理(例如，词嵌入处理)以及RNN处理将输入的二维数组转换成三维数组encode_proc[batch_size][document_token][hidden_dim]，其中batch_size表示输入的文档数目，document_token表示每个文档中的字符标记序列，hidden_dim表示编码维度。

任务层3201-320N中的每个通过卷积处理以及池化处理来基于接收到的编码向量生成特征向量以及将其所生成的特征向量输出到相应的输出层。例如，如图3所示，任务层3201将其所生成的特征向量输出到输出层3301，任务层320N将其所生成的特征向量输出到输出层330N等。例如，任务层3201到输出层3301的输出可以是二维数组二维数组task_feat_vector[batch_size][feat_dim]，其中batch_size表示输入的文档数目，feat_dim表示特征向量的维度。

输出层3301-330N中的每个对接收到的特征向量进行Softmax处理以得到子任务网络的输出。

多任务学习网络300可以基于任务网络301中的子任务网络3001-300N中的每个子任务网络的输出来构建每个子任务网络的损失函数。然后，多任务学习网络300根据每个子任务网络的损失函数来构建所述任务网络的总体损失函数，并且基于该总体损失函数来训练所述任务网络。

应注意的是，上述构建子任务网络的损失函数并非是必须的，在本发明的其他实施例中，例如，在子任务网络不包括输出层的应用中，可以省略构建子任务网络的损失函数的处理。

下面将结合图3的右侧来详细描述根据本公开实施例的多任务学习网络中的合并网络的结构。

如图3所示，合并网络302对多个子任务网络3001-300N中的每个子任务网络的任务层输出的相应的特征向量进行拼接、对拼接后的特征向量进行优化并得到最终输出。

具体地，合并网络302包括拼接层340、全连接层350和最终输出层360。其中拼接层340将多个子任务网络3001-300N中的每个子任务网络中的任务层输出的相应的特征向量拼接为一个向量。

全连接层350对拼接后的特征向量进行全连接转换并将其输入到合并网络302的最终输出层360。例如，全连接层350的输出可以为二维数组FC[batch_size][feat_dim]，其中batch_size表示输入的文档数目，feat_dim表示特征向量的维度。

合并网络302的最终输出层360对接收到的输入进行Softmax处理以进行归一化并输出最终输出。

多任务学习网络300可以根据最终输出来构建合并网络的损失函数，并且基于合并网络的损失函数来训练合并网络。

下面将结合图4来详细描述如何将单任务文档分类网络转换成根据本公开的多任务学习网络。图4的箭头左侧部分为图1所示出的常规的单任务文档分类网络100的结构的框图，图4的箭头右侧部分示出了根据本公开实施方式构建的多任务学习网络的结构的框图。

首先，对单任务文档分类网络100进行划分，具体地，将单任务文档分类网络划分为编码层、任务层和输出层，其中，编码层包括标记嵌入层110和RNN层120，任务层包括一个或多个CNN层1301-130N以及一个或多个池化层1401-140N，输出层包括向量拼接层150、Softmax层160和单任务输出层170。

然后，通过复用任务层和输出层、共享编码层来构建多个子任务网络4001-400N，以构建多任务学习网络400中的任务网络401。

然后，构建多任务学习网络400中的合并网络402，其中合并网络402包括拼接层440、全连接层450和最终输出层460。图4中的多任务学习网络400中的任务网络401和合并网络402的结构与各层之间的交互上述针对图3中的描述类似，在此不再重复描述。

应该注意的是，图4中示出的所要转换的单任务学习网络100仅意在示例，而并非用于限制，能够划分成编码层、任务层和输出层的其他网络也可以通过上述方式来构建多任务学习网络。

下面结合图5来描述应用本公开的多任务学习网络进行文档分类的示例。图5示出了针对以下一篇包含100个词的文档进行分类的示例。

如图5所示，多任务学习网络500包括任务网络501和合并网络502。

在针对上述100个词的文档使用多任务学习网络500进行分类时，输入为数组input[batch_size][document_token]，其中batch_size＝1，document_token＝100，其中batch_size表示输入的文档数目，document_token表示该篇文档中的字符标记序列。

编码层510通过标记嵌入处理(例如，词嵌入处理)以及RNN处理来将输入转换成数组encoding[batch_size][document_token][hidden_dim]，其中batch_size＝1(batch_size表示输入的文档数目)，document_token＝100(document_token表示该篇文档中的字符标记序列)，hidden_dim＝128(hidden_dim表示编码维度)，并将该数组分别传递给任务层5201、5202。

任务层5201、5202中的每个通过卷积处理以及池化处理来生成相应的特征向量并将所生成的特征向量传递给子任务网络中对应的输出层5301、5302，此外，任务层5201、5202还将所生成的特征向量传递给合并网络中的拼接层511，例如，任务层5201生成特征向量feat_A[batch_size][feat_dim]，其中，batch_size＝1，feat_dim＝32，任务层5202生成特征向量feat_B[batch_size][feat_dim]，其中，batch_size＝1，feat_dim＝32。在以上示例中，batch_size表示输入的文档数目，feat_dim表示特征向量的维度。

输出层5301对接收到的特征向量feat_A[batch_size][feat_dim]进行Softmax处理以得到子任务网络5001输出的分类结果(1,117,242)。输出层5302对接收到的特征向量feat_B[batch_size][feat_dim]进行Softmax处理以得到子任务网络5002输出的分类结果(1,121,1212，13)，应注意的是，子任务网络的输出可能会存在错误的分类结果，在附图5中，以阴影部分表示子任务网络输出中的错误的分类结果。

合并网络501中的拼接层511对于任务层5201、5201输出的特征向量进行拼接，然后将拼接后的特征向量传递给全连接层521，例如拼接层511将A[batch_size][feat_dim]、B[batch_size][feat_dim]进行拼接并将拼接后的特征向量传递给全连接层521。

全连接层521对拼接后的特征向量进行全连接转换并输出到最终输出层531，例如，全连接层521对拼接后的特征向量进行全连接转换并将全连接转换后的数组FC[batch_size][feat_dim](其中，batch_size＝1，feat_dim＝32，batch_size表示输入的文档数目，feat_dim表示特征向量的维度)输出到最终输出层531。

最终输出层531对接收到的输入进行Softmax处理以进行归一化并输出最终分类结果(1,1212，13，117)。可见根据本发明实施方式的多任务学习网络，通过学习以从两个子任务的特征向量中选取合适的特征，从而消除了错误。

下面结合图6来描述根据本公开的基于多任务学习网络的方法。

如图6所示，根据本公开的实施例的基于多任务学习网络的方法开始于步骤S110。在步骤S110中，针对相同的输入通过多任务学习网络中的多个子任务网络生成相应的特征向量，步骤S110对应于图3至图5所示的编码层和任务层的处理。上文已经详细描述了图3至图5所示的编码层和任务层的处理，在此不再赘述。

接下来，在步骤S120中，对相应的特征向量进行拼接,步骤S120对应于图3至图5所示的拼接层的处理。上文已经详细描述了图3至图5所示的拼接层的处理，在此不再赘述。

接下来，在步骤S130中，对拼接后的特征向量进行优化。

接下来，在步骤S140中，输出最优的特征向量。

步骤S130-S140对应于图3至图5所示的全连接层以及最终输出层的处理。上文已经详细描述了图3至图5所示的全连接层以及最终输出层的处理，在此不再赘述。

在这之后，过程结束。

上述多任务学习网络中各个组成、单元可通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图7所示的通用计算机700)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

图7是其中可以实现根据本发明的实施方式的方法和/或网络的通用个人计算机的示例性结构的框图。如图7所示，中央处理单元(CPU)701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM 703中，也根据需要存储当CPU 701执行各种处理等等时所需的数据。CPU 701、ROM 702和RAM703经由总线604彼此连接。输入/输出接口605也连接到总线604。

下述部件连接到输入/输出接口705：输入部分706(包括键盘、鼠标等等)、输出部分707(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分708(包括硬盘等)、通信部分709(包括网络接口卡比如LAN卡、调制解调器等)。通信部分709经由网络比如因特网执行通信处理。根据需要，驱动器710也可连接到输入/输出接口705。可移除介质711比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器710上，使得从中读出的计算机程序根据需要被安装到存储部分708中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可移除介质711安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图7所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可移除介质711。可移除介质711的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 702、存储部分708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出了相应的计算机程序代码、一种存储有机器可读取的指令代码的计算机程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施方式的方法。

相应地，被配置为承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

通过以上描述，本公开的实施方式提供了以下的技术方案，但不限于此。

附记1.一种多任务学习网络，包括：

任务网络，所述任务网络包括多个子任务网络，所述多个子任务网络针对相同的输入生成相应的特征向量；以及

合并网络，所述合并网络对所述相应的特征向量进行拼接、对拼接后的特征向量进行优化并得到最终输出。

附记2.根据附记1所述的多任务学习网络，其中多个子任务网络中的每个子任务网络包括编码层和任务层，所述编码层将所述输入转换成包括维度信息的编码向量并将所述编码向量发送到所述任务层，所述任务层对所述编码向量进行处理以生成特征向量。

附记3.根据附记2所述的多任务学习网络，其中所述多个子任务网络共享同一编码层。

附记4.根据附记1所述的多任务学习网络，其中所述合并网络对所述拼接后的特征向量进行全连接处理以及Softmax处理，从而得到所述最终输出。

附记5.根据附记2所述的多任务学习网络，其中所述编码层通过标记嵌入处理以及RNN处理来将所述输入转换成所述编码向量。

附记6.根据附记2所述的多任务学习网络，其中所述任务层通过卷积处理以及池化处理来基于所述编码向量生成所述特征向量。

附记7.根据附记2所述的多任务学习网络，其中所述多个子任务网络中的每个子任务网络还包括输出层，所述输出层从所述任务层接收特征向量并且进行Softmax处理以得到所述子任务网络的输出。

附记8.根据附记7所述的多任务学习网络，其中基于所述子任务网络的输出来构建每个子任务网络的损失函数，根据每个子任务网络的损失函数来构建所述任务网络的总体损失函数，并且基于所述总体损失函数来训练所述任务网络。

附记9.根据附记4所述的多任务学习网络，其中基于所述最终输出来构建所述合并网络的损失函数，并且基于所述合并网络的损失函数来训练所述合并网络。

附记10.根据附记1所述的多任务学习网络，其中所述多任务学习网络用于自然语言处理。

附记11.一种基于多任务学习网络的方法，包括：

针对相同的输入通过所述多任务学习网络中的多个子任务网络生成相应的特征向量；

对所述相应的特征向量进行拼接；

对拼接后的特征向量进行优化；以及

输出最优的特征向量。

附记12.根据附记11所述的方法，其中多个子任务网络中的每个子任务网络包括编码层和任务层，所述编码层将所述输入转换成包括维度信息的编码向量，所述任务层对编码向量进行处理以生成特征向量。

附记13.根据附记11所述的方法，其中所述多个子任务网络共享同一编码层。

附记14.根据附记11所述的方法，其中对所述拼接后的特征向量进行全连接处理以及Softmax处理，从而得到所述最终输出。

附记15.根据附记12所述的方法，其中通过标记嵌入处理以及RNN处理来将所述输入转换成所述编码向量。

附记16.根据附记12所述的方法，其中通过卷积处理以及池化处理来基于所述编码向量生成所述特征向量。

附记17.根据附记12所述的方法，其中对多个子任务网络中的每个子任务网络所生成的特征向量并且进行Softmax处理以得到所述子任务网络的输出。

附记18.根据附记17所述的方法，其中基于所述子任务网络的输出来构建每个子任务网络的损失函数，根据每个子任务网络的损失函数来构建总体损失函数。

附记19.根据附记11所述的方法，其中基于多任务学习网络的方法用于自然语言处理。

附记20.一种计算机可读存储介质，所述计算机可读存储介质存储有能够由处理器运行来执行以下操作的程序：

针对相同的输入生成相应的特征向量；

对所述相应的特征向量进行拼接；

对拼接后的特征向量进行优化；以及

输出最优的特征向量。

最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上虽然结合附图详细描述了本发明的实施方式，但是应当明白，上面所描述的实施方式只是被配置为说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。