参数更新装置、分类装置、存储介质以及参数更新方法

摘要

本发明提供一种参数更新装置，其能够抑制分类精度的降低并对构成层级结构的多个数据项进行分类。参数更新装置具有：输入部，输入训练数据；以及更新部，通过使用神经网络对输入的训练数据的多个数据项进行多任务学习，从而更新用于赋予与各数据项对应的至少一个推定标签的参数，更新部以使所赋予的推定标签与训练数据中的对应的正解标签之间的误差在多个数据项中的总和最小化的方式来更新参数。

说明书

技术领域

本申请说明书所公开的技术涉及参数更新装置、分类装置、参数更新程序以及参数更新方法。

背景技术

以往，使用通过对文档数据中的各单词等多个数据项推定并附加适当的标签，从而对这些数据项进行分类的技术。

另外，以往也使用更新用于适当地推定上述标签的参数的技术(例如，参考专利文献1)。

专利文献1：日本特开2016-162198号公报。

在由输入的多个数据项构成层级结构的情况下，即，在数据项之间至少一部分的组合被限制(被禁止)的情况下，由该层级结构限制的数据项的组合被包括在分类的推定结果中，因此存在分类精度降低的问题。

发明内容

本申请说明书所公开的技术是鉴于上述情况而提出的，其目的在于，提供一种用于抑制分类精度的降低并对构成层级结构的多个数据项进行分类的技术。

本申请说明书所公开的技术的第一方式的参数更新装置包括：输入部，输入包括构成层级结构的多个数据项以及与各所述数据项对应的正解标签的训练数据；以及更新部，通过使用神经网络(Neural Network)对输入的所述训练数据的多个所述数据项进行多任务学习(Multi-task learning)，从而更新用于赋予与各所述数据项对应的至少一个推定标签的参数，所述更新部以使所赋予的所述推定标签与所述训练数据中的对应的所述正解标签之间的误差在多个数据项中的总和最小化的方式来更新所述参数。

本申请说明书所公开的技术的第二方式的分类装置具有：标签赋予部，根据由第一方式记载的参数更新装置中的所述更新部更新的所述参数，与输入的各所述数据项对应地赋予至少一个所述推定标签。

本申请说明书所公开的技术的第三方式的分类装置与第二方式相关联，所述标签赋予部与各所述数据项对应地赋予多个所述推定标签，所述分类装置还具有：选择部，从与各所述数据项对应的多个所述推定标签中按照推定概率从高到低的顺序选择至少一个所述推定标签。

本申请说明书所公开的技术的第四方式的分类装置与第三方式相关联，所述选择部基于所选择的所述推定标签的所述推定概率的合计，确定选择的所述推定标签的数量。

本申请说明书所公开的技术的第五方式的分类装置与第三或第四方式相关联，所述选择部以使所选择的所述推定标签的数量在预先确定的范围内的方式选择至少一个所述推定标签。

本申请说明书所公开的技术的第六方式的分类装置与第二至第五方式中的任一个方式相关联，还具有：加权部，设定针对各所述数据项的权重；以及置信度计算部，基于所述权重，计算与多个所述数据项分别对应的所述推定标签之间的组合的置信度。

本申请说明书所公开的技术的第七方式的分类装置与第六方式相关联，还具有：显示部，按照所述置信度从高到低的顺序显示多个所述组合。

本申请说明书所公开的技术的第八方式的存储介质通过在计算机中安装并执行存储的参数更新程序，从而使所述计算机使用神经网络对包括构成层级结构的多个数据项以及与各所述数据项对应的正解标签在内的训练数据的多个所述数据项进行多任务学习，从而更新用于赋予与各所述数据项对应的至少一个推定标签的参数；在所述参数的更新中，以使所赋予的所述推定标签与所述训练数据中对应的所述正解标签之间的误差在多个数据项中的总和最小化的方式来更新所述参数。

本申请说明书所公开的技术的第九方式的参数更新方法包括以下工序：输入包括构成层级结构的多个数据项以及与各所述数据项对应的正解标签的训练数据的工序；以及使用神经网络对输入的所述训练数据的多个所述数据项进行多任务学习，从而更新用于赋予与各所述数据项对应的至少一个推定标签的参数的工序；在更新所述参数的工序中，以使所赋予的所述推定标签与所述训练数据中对应的所述正解标签之间的误差在多个数据项中的总和最小化的方式来更新所述参数的工序。

根据本申请说明书所公开的技术的第一至第九方式，更新部以使所赋予的推定标签与正解标签之间的误差在多个数据项中的总和最小化的方式来更新参数，如果使用该参数，则能够赋予考虑了多个数据项之间的层级结构的推定标签。其结果，能够抑制分类精度的降低。

另外，根据以下所示的详细说明和附图，进一步明确与本申请说明书所公开的技术相关的目的、特征、技术方案和优点。

附图说明

图1是示出与实施方式相关的参数更新装置的硬件结构的例子的图。

图2是示出与实施方式相关的参数更新装置的功能结构的例子的图。

图3是示出与实施方式相关的分类装置的功能结构的例子的图。

图4是示出参数更新动作的例子的流程图。

图5是示出构成层级结构的多个数据项的例子的图。

图6是概念性地示出使用神经网络进行的多任务学习的图。

图7是示出使用神经网络进行的多任务学习的步骤的例子的流程图。

图8是示出分类动作的例子的流程图。

图9是示出关于第一数据项推定出的多个推定标签以及与各推定标签对应的推定概率的图。

图10是示出计算出的置信度的例子的图。

图11是按照置信度从高到低的顺序示出五个图10所示的多个组合的图。

附图标记的说明如下：

10、22：输入部

12：更新部

14、30：存储部

16：输出部

20：标签赋予部

24：选择部

26：加权部

28：置信度计算部

31：匹配部

32：显示部

100：参数更新装置

101：显示器

102：CPU

103：存储器

104：HDD

105：程序

106：外部存储介质

107：网络

120：输入层

122：卷积层

124：池化层

126：全连接层

200：分类装置

具体实施方式

以下，参照附图来说明实施方式。在以下的实施方式中，在以下的实施方式中，虽然为了说明技术而示出了详细的特征等，但这些是示例性的，这些所有的特征并不都是为了能够实施实施方式的必要的特征。

需要说明的是，附图是概略地示出的图，为了便于说明，在附图中适当省略结构或者简化结构。另外，在不同的附图中分别示出的结构等的大小以及位置的彼此关系未必准确地记载，能够适当地变更。另外，在不是剖视图的俯视图等的附图中，为了容易理解实施方式的内容，有时标注阴影线。

另外，在以下的说明中，对相同的结构构件赋予相同的附图标记，这些构件的名称以及功能也相同。因此，为避免重复有时省略对这些构件的详细说明。

另外，在以下记载的说明中，在将某结构构件记载为“具备”、“包括”或“具有”等的情况下，只要没有特别说明，则不是将其他的结构构件的存在排除在外的排他性表现。

另外，在以下记载的说明中，即使在使用“第一”、“第二”等序数的情况下，这些术语也是为了容易理解实施方式的内容而使用的术语，并不限定于由这些序数产生的顺序等。

＜实施方式＞

以下，对本实施方式的参数更新装置、分类装置、参数更新程序以及参数更新方法进行说明。

＜关于参数更新装置的结构＞

图1是示出与本实施方式相关的参数更新装置100的硬件结构的例子的图。

如图1的例子所示，参数更新装置100至少是安装有用于参数的更新动作的程序105的计算机，并且具有：中央运算处理装置(central processing unit，即CPU)102、存储器103、硬盘驱动器(Hard disk drive，即HDD)104以及显示器101。

在参数更新装置100中，对应的程序105被安装在HDD104中。程序105的安装可以通过将从光盘(compact disc，即CD)、数字多功能光盘(digital versatile disc，即DVD)、通用串行总线(universal serial bus，即USB)存储器等的外部存储介质106读取的数据写入HDD104来执行，或者通过将经由网络107接收的数据写入HDD104来执行。

另外，HDD104也可以用其他种类的辅助存储装置来替换。例如，HDD104可以用固态驱动器(solid state drive，即SSD)、随机存取存储器(random access memory，即RAM)磁盘等来替换。

在参数更新装置100中，安装在HDD104中的程序105被加载到存储器103中，并且由CPU102执行已加载的程序105。由此，计算机执行程序105，并作为参数更新装置100发挥功能。

需要说明的是，CPU102执行的处理的至少一部分可以由CPU102以外的处理器执行。例如，由CPU102执行的处理的至少一部分可以由图像处理装置(GPU)等执行。另外，由CPU102执行的处理的至少一部分可以由不执行程序的硬件执行。

图2是示出与实施方式相关的参数更新装置100的功能结构的例子的图。

如图2的例子所示，参数更新装置100至少具有：输入部10以及更新部12。另外，参数更新装置100能够具有存储部14以及输出部16。输入部10以及输出部16通过图1的显示器101等来实现。另外，存储部14例如通过图1的存储器103以及HDD104中的至少一方来实现。另外，更新部12例如通过使图1的CPU102执行程序105来实现。

在输入部10中输入包括具有构成层级结构的多个数据项的数据集以及与各数据项对应的正解标签的训练数据(teacher data)。

其中，正解标签是应该附加到各数据项的标签，并且是预先由用户等确定的标签。标签用于对对应的数据项进行分类。

更新部12使用神经网络对输入的训练数据的多个数据项进行多任务学习。由此，更新用于赋予与各数据项对应的至少一个推定标签的参数。将更新好的参数存储在存储部14中。

其中，推定标签是经由神经网络输出的应该附加到数据项上的标签的推定结果。标签用于对对应的数据项进行分类。

＜关于分类装置的结构＞

分类装置的硬件结构与图1所示的参数更新装置100的结构相同。即，图1所示的硬件结构在用于更新参数的学习阶段构成为参数更新装置的硬件结构，在使用阶段构成为分类装置的硬件结构。

图3是示出与实施方式相关的分类装置200的功能结构的例子的图。如图3的例子所示，分类装置200至少具有标签赋予部20。另外，分类装置200能够具有：输入部22、选择部24、加权部26、置信度计算部28、存储部30、匹配部31以及显示部32。

输入部22以及显示部32通过图1的显示器101等来实现。另外，存储部30例如通过图1的存储器103以及HDD104中的至少一方来实现。另外，标签赋予部20、选择部24、加权部26、匹配部31以及置信度计算部28例如通过使图1的CPU102执行对应的程序105来实现。

在输入部22中输入具有彼此构成层级结构的多个数据项的数据集。标签赋予部20根据在参数更新装置100中更新的参数，赋予与输入的各数据项对应的至少一个推定标签。

选择部24按照推定概率从高到低的顺序从与各数据项对应的多个推定标签中选择至少一个推定标签。其中，推定概率是表示对应的推定标签为正解标签的概率的值。加权部26设定针对各数据项的权重。其中，对于各数据项的权重的值预先由用户等来设定。

置信度计算部28基于权重，计算与多个数据项分别对应的推定标签间的组合的置信度。后面将描述置信度。匹配部31针对已计算出置信度的组合中的每一个，检查在构成层级结构的多个数据项之间是否存在被限制的组合。显示部32显示计算出置信度的多个组合。

＜关于参数更新装置的动作＞

接下来，参照图4至图7对参数更新装置100的动作进行说明。需要说明的是，图4是示出参数更新动作的例子的流程图。

首先，将训练数据输入到输入部10中(图4的步骤ST01)，其中，训练数据包括具有彼此构成层级结构的多个数据项的数据集以及与各数据项对应的正解标签。需要说明的是，上述的数据集例如是文本数据或图像数据等。

其中，构成层级结构的多个数据项是指在数据项之间至少一部分的组合被限制的数据项。图5是示出构成层级结构的多个数据项的例子的图。需要说明的是，在“构成层级结构”的情况下，也包括在数据项之间没有上位下位关系(主从关系)的数据项。

如图5的例子所示，例如，在一个数据集(例如，第一数据集)中包括三个数据项(第一数据项、第二数据项以及第三数据项)的情况下，该数据集为：若确定了第一数据项的值(例如，01-a)，则基于第一数据项的值(01-a)来确定第二数据项的值(001-a)，进一步地，若确定了第二数据项的值(001-a)，则基于第二数据项的值(001-a)来确定第三数据项的值(002-b)，在各数据集中的数据项之间存在无法获取的组合。

接下来，输入到输入部10中的训练数据在适当地进行了必要的预处理之后，被输入到更新部12中(图4的步骤ST02)。其中，预处理例如是分割单词的处理、或者是去掉html标签或换行等噪声的处理等。

接下来，更新部12基于输入的训练数据，使用神经网络进行多任务学习。由此，更新用于赋予与各数据项对应的推定标签的参数(图4的步骤ST03)。

具体来说，对于与多个任务对应的、针对各数据项进行的推定标签的赋予来设定损失函数，以使在多个数据项的推定标签与正解标签之间的距离(误差)的总和(交叉熵(Cross Entropy)的总和)最小化。然后，更新部12依次学习多个数据集，并且更新用于赋予推定标签的参数。

图6是概念性地示出使用神经网络进行的多任务学习的图。在本实施方式中，使用具有卷积层的卷积神经网络(Convolutional Neural Networks,CNN)，来进行多任务学习。另外，图7是示出使用神经网络进行的多任务学习的步骤的例子的流程图。

如图6的例子所示，在输入层120中，输入具有彼此构成层级结构的多个数据项(例如，N个数据项)的数据集(图7的步骤ST11)。然后，对于数据集中包括的所有单词(例如，n个单词)，赋予ID以唯一地确定单词与ID。另外，各单词被转换(embedding：词嵌入)为固有向量(Eigenvector)(例如，m维的独热向量(one-hot vector))。

接下来，在卷积层122中，针对来自输入层120的输入的一部分，计算基于参数和偏差值的线性和(卷积运算)，并将计算结果输出至池化层(Pooling layer)124(图7的步骤ST12)。这里使用的参数例如是通过误差反向传播算法(Error BackPropagationAlgorithm)等学习并更新的参数。

接下来，在池化层124中，对来自卷积层122的输入进行二次采样(subsampling)。即，通过降低特征图的分辨率来进行降采样(downsampling)(图7的步骤ST13)。这里，进行最大值采样。

接下来，在全连接层126中，针对来自池化层124的所有输入，计算基于参数和偏差值的线性和，并基于计算结果输出针对多个任务的推定结果(推定标签的识别结果)(图7的步骤ST14)。这里使用的参数例如是通过误差反向传播算法等学习并更新的参数。

然后，使用作为激活函数的softmax函数将已输出的推定结果转换为推定概率，并计算在各任务(即，在各数据项中进行的推定标签的赋予)的推定标签与正解标签之间的误差(交叉熵)(图7的步骤ST15)。

然后，为使跨多个任务的交叉熵的总和最小化，例如通过误差反向传播算法等学习并更新卷积层122以及全连接层126中的参数。(图7的步骤ST16)。

＜关于分类装置的动作＞

参照图8至图11对分类装置200的动作进行说明。需要说明的是，图8是示出分类动作的例子的流程图。

分类装置200使用设定了由上述参数更新装置100更新的参数的神经网络，对输入的数据集中的各数据项进行分类。

首先，将具有彼此构成层级结构的多个数据项的数据集输入到输入部22中(图8的步骤ST21)。然后，该数据集在适当地进行了必要的预处理之后，被输入到标签赋予部20中(图8的步骤ST22)。

接下来，标签赋予部20使用设定了由上述参数更新装置100更新的参数的神经网络，对输入的数据集中的各数据项，赋予至少一个推定标签(图8的步骤ST23)。需要说明的是，虽然对各数据项赋予的推定标签可以是一个，但在本实施方式中，对一个数据项赋予多个推定标签。

然后，标签赋予部20输出赋予给各数据项的多个推定标签以及与各推定标签对应的推定概率(图8的步骤ST24)。

接下来，选择部24在对应于自标签赋予部20输出的各数据项的多个推定标签中选择至少一部分的推定标签(图8的步骤ST25)。

例如，选择部24按照推定概率从高到低的顺序选择推定标签，并且在推定概率的合计超过阈值的时间点结束选择。或者，选择部24按照推定概率从高到低的顺序选择推定标签，并且在选择的推定标签的数量超过阈值的时间点结束选择。这里，阈值预先由用户等设定。

图9是示出关于第一数据项推定出的多个推定标签以及与各推定标签对应的推定概率的图。

在图9的情况下，选择部24按照推定概率从高到低的顺序将推定标签选择为01-a、03-c、02-b，并且在推定概率的合计超过阈值的(例如，0.9)的时间点(02-b的选择时间点)结束推定标签的选择。

或者，选择部24按照推定概率从高到低的顺序将推定标签选择为01-a、03-c、02-b、04-d，在选择的推定标签的数量超过阈值的(例如，2)的时间点(02-b的选择时间点)结束选择。

需要说明的是，为了防止在推定概率最高的推定标签不是正解标签的情况下正解率变为0，所选择的推定标签的数量例如能够设为2以上。

在选择部24针对所有的数据项选择了多个推定标签之后，置信度计算部28计算基于推定标签的多个数据项的加权同时概率(作为置信度)(图8的步骤ST26)。然后，将计算出的置信度存储在存储部30中。这里，同时概率是指基于推定标签的多个数据项的组合的产生概率(多个推定标签同时产生的概率)。

在计算上述的置信度时，置信度计算部28获取在加权部26中预先设定的与各数据项对应的权重。需要说明的是，置信度计算部28可以计算多个数据项的简单的同时概率作为置信度，而不从加权部26获取权重。

这里，置信度通过以下的数学式(1)求出。

另外，加权同时概率通过以下的数学式(2)求出。

另外，加权全体最大同时概率通过以下的数学式(3)求出。

加权全体最大同时概率＝max(加权同时概率的集合)…(3)

另外，全体最小同时概率通过以下的数学式(4)求出。

全体最小同时概率＝min(同时概率的集合)…(4)

图10是示出计算出的置信度的例子的图。在图10所示的情况下，针对第一项目选择推定标签01-a以及03-c，针对第二项目选择推定标签001-a、004-d以及003-c，作为这些组合，针对第一组合、第二组合、第三组合、第四组合、第五组合以及第六组合分别计算置信度。

接下来，匹配部31针对计算出置信度的各组合检查匹配性(图8的步骤ST27)。具体来说，检查在构成层级结构的多个数据项之间是否存在被限制(被禁止的)组合。然后，当为被限制的组合时，从显示于显示部32的组合的候补中排除该组合。

接下来，显示部32按照置信度从高到低的顺序显示具有匹配性的组合以及对应的置信度(图8的步骤ST28)。

图11是按照置信度从高到低的顺序示出五个图10所示的多个组合的图。在图11的例子中，在图10所示的六个组合中，选择具有匹配性的五个组合，并且去除不具有匹配性的一个组合，并按照置信度从高到低的顺序显示。

通过这样的方式，由于按照置信度从高到低的顺序显示多个数据项的组合，因此能够考虑层级结构并提高在这些组合中包括正解标签的组合的概率。

＜关于通过以上记载的实施方式产生的效果＞

接下来，将示出由以上记载的实施方式产生的效果的例子。需要说明的是，在以下的说明中，虽然基于在以上记载的实施方式中所例示的具体结构来描述该效果，但在产生相同的效果的范围内，也可以置换为本申请说明书中所例示的其他的具体结构。

根据以上记载的实施方式，参数更新装置具有：输入部10以及更新部12。在输入部10中，输入包括构成层级结构的多个数据项以及与各数据项对应的正解标签的训练数据，更新部12通过使用神经网络对输入的所述训练数据的多个所述数据项进行多任务学习，从而更新用于赋予与各数据项对应的至少一个推定标签的参数。并且，更新部12以使所赋予的推定标签与训练数据中的对应的正解标签之间的误差在多个数据项中的总和最小化的方式来更新参数。

根据这种结构，更新部12更新参数以使所赋予的推定标签与正解标签之间的误差在多个数据项中的总和最小化，由此，如果使用该参数，则能够赋予考虑了多个数据项之间的层级结构的推定标签。因此，能够降低与在多个数据项之间被限制的(被禁止的)组合对应的推定标签被赋予的概率。其结果，能够抑制分类精度的降低。

需要说明的是，在上述结构中适当添加了本申请说明书中所例示的其他的结构的情况下，即，即使在适当添加了未提及的本申请说明书中的其他结构作为上述结构的情况下，也能够产生同样的效果。

另外，根据以上记载的实施方式，分类装置200具有：标签赋予部20，根据由参数更新装置100中的更新部更新的参数，赋予与输入的各数据项对应的至少一个推定标签。根据这种结构，通过使用更新的参数来赋予推定标签，从而能够考虑多个数据项之间的层级结构地对各数据项赋予推定标签。这样，由于能够降低与在多个数据项之间被限制的组合对应的推定标签被赋予的概率，因此能够抑制分类精度的降低。

另外，根据以上记载的实施方式，标签赋予部20赋予与各数据项对应的多个推定标签。然后，分类装置200具有：选择部24，从与各数据项对应的多个推定标签中按照推定概率从高到低的顺序选择至少一个推定标签。根据这种结构，由于能够按照推定概率从高到低的顺序选择推定标签，因此能够提高推定标签为正解标签的概率。

另外，根据以上记载的实施方式，选择部24基于选择的推定标签的推定概率的合计，确定选择的推定标签的数量。根据这种结构，能够选择多个推定标签，并且能够提高在这些推定标签中包含正解标签的概率。

另外，根据以上记载的实施方式，选择部24以使选择的推定标签的数量在预先确定的范围内的方式选择至少一个推定标签。根据这种结构，能够选择多个推定标签并在计算量不巨大的范围内选择推定标签。

另外，根据以上记载的实施方式，分类装置200具有：加权部26，设定针对各数据项的权重；以及置信度计算部28，基于加权部26中的权重，计算与多个数据项分别对应的推定标签之间的组合的置信度。根据这种结构，通过根据每个数据项的重要度设定权重，从而能够根据规格适当地调整推定标签的组合的加权同时概率。

另外，根据以上记载的实施方式，分类装置200具有：显示部32，按照置信度从高到低的顺序显示多个组合。根据这种结构，通过将多个推定标签的组合按照各自的对应的置信度从高到低的顺序显示多个，从而能够提高在这些组合中包括正解标签的组合的概率。

根据以上记载的实施方式，通过在计算机(本实施方式中的CPU102)中安装并执行参数更新程序，使CPU102使用神经网络对包括构成层级结构的多个数据项以及与各数据项对应的正解标签的训练数据的多个数据项进行多任务学习，从而更新用于赋予与各数据项对应的至少一个推定标签的参数。其中，参数的更新以使所赋予的推定标签与训练数据中对应的正解标签之间的误差在多个数据项中的总和最小化的方式更新参数。

根据这种结构，以使所赋予的推定标签与正解标签之间的误差在多个数据项中的总和最小化的方式来更新参数，由此，如果使用该参数，则能够赋予考虑了多个数据项之间的层级结构的推定标签。因此，能够降低与在多个数据项之间被限制的组合对应的推定标签被赋予的概率。其结果，能够抑制分类精度的降低。

需要说明的是，上述程序也可以存储在磁盘、软盘、光盘、压缩光盘、蓝光(注册商标)盘或DVD等计算机可读取的移动存储介质中。并且，存储有实现上述功能的程序的移动存储介质也可以在商业上流通。

根据以上记载的实施方式，在参数更新方法中，包括以下工序：输入包括构成层级结构的多个数据项以及与各数据项对应的正解标签的训练数据的工序；以及通过使用神经网络对输入的训练数据的多个数据项进行多任务学习，从而更新用于赋予与各数据项对应的至少一个推定标签的参数的工序，其中，更新参数的工序是以使所赋予的推定标签与训练数据中对应的正解标签之间的误差在多个数据项中的总和最小化的方式更新参数的工序。

根据这种结构，以使所赋予的推定标签与正解标签之间的误差在多个数据项中的总和最小化的方式来更新参数，由此，如果使用该参数，则能够赋予考虑了多个数据项之间的层级结构的推定标签。因此，能够降低与在多个数据项之间被限制的组合对应的推定标签被赋予的概率。其结果，能够抑制分类精度的降低。

＜关于以上记载的实施方式的变形例＞

在以上记载的实施方式中，有时也对各个结构构件的尺寸、形状、相对配置关系或者实施条件等进行记载，但这些在所有方面都是一个例子，并不限定于本申请说明书所记载的内容。

因此，在本申请说明书所公开的技术的范围内，设想没有例示的无数个变形例以及等价物。例如，在对至少一个结构构件进行变形的情况下，包括追加的情况或省略的情况。

另外，以上记载的实施方式所记载的各个结构构件作为软件或者固件，也被假定为与其对应的硬件，在其双方的概念中，各个结构构件被称为“部”或者“处理电路”(circuitry)等。