文本分类方法、文本分类装置、存储介质及电子装置

摘要

本申请公开了一种文本分类方法、文本分类装置、存储介质及电子装置，涉及智能家居技术领域，该文本分类方法包括：接收用户发出的语音交互指令，并将语音交互指令转换为待分类文本；采用已训练的改进卷积神经网络模型中的至少两个不同的卷积网络分别提取待分类文本的子特征数据，并将各子特征数据进行拼接，以获得目标特征数据，卷积网络包括池化层和至少一个卷积层；将目标特征数据输入已训练的改进卷积神经网络模型的全连接层中，根据目标特征数据对待分类文本进行意图类别的分类，以确定对应的目标意图类别；根据目标意图类别控制目标家居设备执行对应的操作。本申请提供的方法能够在保证模型的训练和分类速度的同时提高分类的准确率。

说明书

技术领域

本申请涉及智能家居领域，具体而言，涉及一种文本分类方法、文本分类装置、存储介质及电子装置。

背景技术

在智能家居领域，通常是将用户的语音交互指令转换为文本，再对文本进行解析，进而获取到用户的意图，控制智能家居设备。对文本进行解析需要使用文本分类方法将文本在语义层面进行分类，计算文本对应每个意图的概率，并在所有已支持的意图中选择一个最可能的意图。

现目前，可以利用待分类文本的训练数据集对已有的预训练模型进行训练、调整，以优化网络参数，获得更高的准确率，但是已有预训练模型通常网络结构复杂，参数量大，在训练和使用时都需要很多的计算资源、速度慢。还可以对卷积神经网络、长短期记忆人工神经网络等网络结构较简单的神经网络进行训练、调整，以优化网络参数，获得更高的准确率，但较简单的网络结构意味着参数量少，模型容量小，对特征的敏感性高，进而在对文本分类时，准确度较低。

综上，现有技术中的文本分类方法，无法在保证模型的训练和分类速度的同时提高分类的准确率。

发明内容

本申请提供一种文本分类方法、文本分类装置、存储介质及电子装置，用以解决现有技术中无法在提高模型的训练和分类速度的同时提高分类的准确率的问题。

根据本申请的第一方面，提供一种文本分类方法，包括：接收用户发出的语音交互指令，并将所述语音交互指令转换为待分类文本；采用已训练的改进卷积神经网络模型中的至少两个不同的卷积网络分别提取所述待分类文本的子特征数据，并将各所述子特征数据进行拼接，以获得目标特征数据，所述卷积网络包括池化层和至少一个卷积层；将目标特征数据输入所述已训练的改进卷积神经网络模型的全连接层中，根据所述目标特征数据对待分类文本进行意图类别的分类，以确定对应的目标意图类别；根据所述目标意图类别控制目标家居设备执行对应的操作。

根据本申请的第二方面，提供一种文本分类装置，包括：接收用户发出的语音交互指令，并将所述语音交互指令转换为待分类文本；采用已训练的改进卷积神经网络模型中的至少两个不同的卷积网络分别提取所述待分类文本的子特征数据，并将各所述子特征数据进行拼接，以获得目标特征数据，所述卷积网络包括池化层和至少一个卷积层；将目标特征数据输入所述已训练的改进卷积神经网络模型的全连接层中，根据所述目标特征数据对待分类文本进行意图类别的分类，以确定对应的目标意图类别；根据所述目标意图类别控制目标家居设备执行对应的操作。

根据本申请的第三方面，提供一种计算机可读的存储介质，包括存储的程序，其中，所述程序运行时执行如第一方面中所述的方法。

根据本申请的第四方面，提供一种电子装置，包括存储器、处理器和输入装置，所述存储器中存储有计算机程序，所述输入装置用于接收用户发出的语音交互指令，所述处理器被设置为通过所述计算机程序执行如第一方面中所述的方法。

本申请提供的文本分类方法、文本分类装置、存储介质及电子装置，由于采用已训练的改进卷积神经网络模型中的至少两个不同的卷积网络分别提取待分类文本的子特征数据，因此可以提取待分类文本不同维度和深度的子特征数据，增加待分类文本的特征数量，获得待分类文本的更多特征，进而能够提高改进卷积神经网络模型对文本分类的准确度。同时，由于不同的卷积网络是并行提取待分类文本的特征，未增加网络深度，模型的训练和分类速度有所保障，所以，能够在保证模型的训练和分类速度的同时提高分类的准确率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例提供的文本分类方法的应用场景图；

图2是根据本申请第一实施例提供的文本分类方法流程示意图；

图3是本据本申请实施例提供的一种改进卷积神经网络模型的网络结构；

图4是根据本申请第三实施例提供的文本分类方法流程示意图；

图5是根据本申请第四实施例提供的文本分类方法流程示意图；

图6是根据本申请第六实施例提供的文本分类装置框图；

图7是根据本申请第七实施例提供的电子装置框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例的一个方面，提供了一种文本分类方法。该文本分类方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(IntelligenceHouse)生态等智能数字化控制应用场景。

图1是根据本申请实施例提供的文本分类方法的一种应用场景示意图，如图1所示，本申请实施例提供的一种应用场景中，包括：用户和电子装置102。用户能够根据自身的使用需求发送语音交互指令。电子装置可以是用户的语音指令想要控制的智能家居设备、也可以是能够与用户的语音指令想要控制的智能家居设备通信的其他智能家居设备或服务器等。因此，电子装置可以直接接收用户发出的语音交互指令，也可以通过与智能家居设备进行通信，进而接收用户发出的语音交互指令。

电子装置102中配置有已训练的改进神经网络模型。电子装置102接收用户发出的语音交互指令，并将语音交互指令转换为待分类文本；采用已训练的改进卷积神经网络模型中至少两个不同的卷积网络分别提取待分类文本的子特征数据，并将各子特征数据进行拼接，以获得目标特征数据；将目标特征数据输入已训练的改进卷积神经网络模型的全连接层中，根据目标特征数据对待分类文本进行意图类别的分类，以确定对应的目标意图类别；根据目标意图类别控制家居设备执行对应的操作。

电子装置102为用户的语音指令想要控制的智能家居设备时，可以直接控制自身执行对应的操作。

电子装置102为能够与用户的语音指令想要控制的智能家居设备进行通信的服务器时，可以向用户的语音指令想要控制的智能家居设备发送指令，以控制用户的语音指令想要控制的智能家居设备执行对应的操作。

电子装置102为能够与用户的语音指令想要控制的智能家居设备进行通信的其他智能家居设备时，可以向用户的语音指令想要控制的智能家居设备发送指令，以控制用户的语音指令想要控制的智能家居设备执行对应的操作。

可在电子装置102上或独立于电子装置102设置数据库，用于为电子装置102提供数据存储服务，可在电子装置102上或独立于电子装置102配置云计算和/或边缘计算服务，用于为电子装置102提供数据运算服务。

智能家居设备可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁、语音智能问答系统等。

以下对本申请所涉及的现有技术进行详细说明分析。

现有技术中，可以采用已有的预训练模型，已有的预训练模型中，文字或单词对应的词向量已经经过多次训练，能够较好的反应文字或单词中的语义，只需要使用符合实际应用场景的训练数据集对预训练模型进行训练(简称finetune)，调整优化预训练模型的参数，使其更适合实际应用场景，以再实际应用场景中获得更高的准确率。但已有的预训练模型具有复杂的网络结构和数量庞大的参数，使用预训练模型进行训练和分类时，都需要占用较多的计算资源，并且，由于其网络结构复杂，参数量大，训练速度满，想要将预训练模型的参数调整为试合实际应用场景的参数，需要较多的时间，并且，在参数调整后，使用其进行分类时的速度也不会提高。并且，由于已有的BERT(Bidirectional EncoderRepresentation from Transformers)模型、transformer模型等预训练模型采用的是去噪声自动编码器(DAE、Denoise Autoencoder)的方式，在预训练时会引入随机噪声来增加模型的鲁棒性。例如，对于预训练模型BERT来说，会使用[MASK]来随机替换原始的字词。在finetune时，却不使用[MASK]替换训练数据集中原始的自此，造成预训练过程与finetune过程的数据集分布是不同的。对于不同长度的文本来说，虽然被[MASK]的概率是相同的，但是被[MASK]的词在句子中的重要程度是不同的。示例性地，在100个词中随机抽10个词和在10个词中随机抽一个词，虽然比例相同，但是在语义层面来看，总数10个词中的一个词对句子的重要程度更高一些，这就导致BERT在短文本处理方面有着先天的缺点。而智能家电领域，语音交互指令通常都是较短的文本，用户与智能家居设备进行交互时，较少会发出长文本指令。

现有技术中，还存在卷积神经网络(CNN)、长短期长短期记忆人工神经网络(LSTM)等网络结构较简单、训练和分类速度较快的神经网络。通过使用符合实际应用场景的训练数据集对卷积神经网络、长短期记忆人工神经网络等进行训练，以优化网络参数，提高分类的准确度。但较简单的网络结构意味着网络深度不够、参数量少、模型容量小、对特征的敏感性高，进而这类神经网络，虽然训练和分类速度较高，但准确度较低，并且无法获取到长距离的上下文信息，进一步降低了分类的准确率。

综上，现有技术中的文本分类方法，无法在保证模型的训练和分类速度的同时提高分类的准确率。

所以，在面对现有技术中的问题时，发明人通过创造性研究发现，提出本申请的技术方案，旨在解决现有技术的如上问题。为了能够在证模型的训练和分类速度的同时提高分类的准确率，需要对卷积神经网络的结构进行改进，提高模型容量小，以获得更高的准确度。为提高模型容量，发明人提出可以采用多组不同的卷积网络对待分类文本进行特征提取，从不同的维度和深度对待分类文本进行特征提取，增加待分类文本的特征数量，获得待分类文本的更多特征，进而能够提高改进卷积神经网络模型对文本分类的准确度。同时，由于不同的卷积网络是并行提取待分类文本的特征，未增加网络深度，模型的训练和分类速度有所保障，因此，能够在保证模型的训练和分类速度的同时提高分类的准确率。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

实施例一

图2是根据本申请第一实施例提供的文本分类方法流程示意图，如图2所示，本申请的执行主体问文本分类装置，该装置位于电子装置中。本实施例提供的文本分类方法包括步骤201至步骤204。

步骤201，接收用户发出的语音交互指令，并将语音交互指令转换为待分类文本。

本实施例中，电子装置接收到用户发出的语音交互指令后，可以通过预先配置的语音转换装置或语音转文本的程序等将用户发出的语音交互指令转换为交互指令文本，并可以使用第一预设函数，将交互指令文本中的文字、单词等进行编码后形成的待分类文本。第一预设函数对文字、单词等的编码可以是将文字、单词数字等映射到多维向量空间，使得每一个文字和单词能够使用一个唯一的多维向量进行表示，并将这些表示文字或单词的多维向量按照在交互指令文本中的顺序进行拼接，以形成待分类文本。具体地，可以将各多维向量拼接为一个向量矩阵或者一个更高维度的行向量或列向量等。

步骤202，采用已训练的改进卷积神经网络模型中的至少两个不同的卷积网络分别提取待分类文本的子特征数据，并将各子特征数据进行拼接，以获得目标特征数据，卷积网络包括池化层和至少一个卷积层。

本实施例中，改进卷积神经网络模型是预先训练好的，改进卷积神经网络模型包括嵌入层、至少两个不同的卷积网络、特征融合层、全连接层和归一化层。其中，卷积网络包括池化层和至少一个卷积层。两个不同的卷积网络可以是卷积网络中卷积层的数量不同，也可以是卷积层的数量相同但是各卷积层预设的步长不同、各卷积层预设的卷积核尺寸不同、各卷积层预设的卷积核填补方式不同。

本实施例中，待分类文本的子特征数据是分别采用不同的卷积网络对待分类文本进行特征提取后获得的数据。因此，待分类文本的子特征数据可以是不同维度的数据。在改进卷积神经网络模型中，至少两个不同的卷积网络是并行的，可以从不同的维度和深度对待分类文本进行特征提取，能够增加待分类文本的特征数量，进而能够实现对待分类文本进行更准确的分类。

本实施例中，目标特征数据由至少两个待分类文本的子特征数据拼接得到数据。具体地，在改进卷积神经网络模型中，各卷积网络将提出的子特征数据输入特征融合层，特征融合层将各子特征数据拼接。示例性地，将两个为128维向量的子特征数据进行拼接，得到为256维向量的目标特征数据。

步骤203，将目标特征数据输入已训练的改进卷积神经网络模型的全连接层中，根据目标特征数据对待分类文本进行意图类别的分类，以确定对应的目标意图类别。

本实施例中，目标特征数据为待分类文本在改进卷积神经网络模型中的分布式表征，为确定待分类文本的意图类别，改进卷积神经网络模型的全连接层可以使用第二预设函数，将目标特征数据映射到预先构建的各意图类别中，即通过全连接层将目标特征数据的维度转换为意图类别数的维度，以确定待分类文本对应的目标意图类别。预先构建的各意图类别为用户发出的语音交互指令可能属于的意图类别的集合。目标意图类别为用户发出的语音交互指令实际属于的意图类别。第二预设函数可以通过对改进卷积网络模型进行训练获得。

步骤204，根据目标意图类别控制目标家居设备执行对应的操作。

本实施例中，可以预先对各意图类别设置对应的操作，在确定用户发出的语音交互指令对应的目标意图类别后，电子装置可以控制智能家居设备执行目标意图类别对应的操作，以实现用户通过语音交互指令控制智能家居设备。

图3示出了本申请提供的一种改进卷积神经网络模型的网络结构。

本实施例中，预先构建的改进卷积神经网络模型可以如图3所示，包括嵌入层(embedding层)31、第一卷积网络32、第二卷积网络33、特征融合层(concat层)34、全连接层(dense层)35、归一化层(softmax层)36。

其中，第一卷积网络32包括第一卷积层(conv_6)321、第二卷积层(conv_4)322、第三卷积层(conv_2)323和第一池化层(max pooling层)324。第一卷积层321的卷积核尺寸为6*6，第二卷积层322的卷积核尺寸为4*4，第三卷积层323的卷积核尺寸为2*2。

第二卷积网络33包括第四卷积层(conv_7)331、第五卷积层(conv_5)332、第六卷积层(conv_3)333和第二池化层(max pooling层)334。第四卷积层331的卷积核尺寸为7*7，第五卷积层332的卷积核尺寸为5*5，第六卷积层333的卷积核尺寸为3*3。

本实施例中预先构建的改进卷积神经网络模型的各种参数可以通过预先训练来确定，改进卷积神经网络模型在预先训练时，可以在特征融合层和归一化层之间添加dropout层，在每一次训练的过程中随机拿掉一些神经元，减少神经网络模型参数过拟合。

本实施例提供的文本分类方法，通过接收用户发出的语音交互指令，并将语音交互指令转换为待分类文本；采用已训练的改进卷积神经网络模型中的至少两个不同的卷积网络分别提取待分类文本的子特征数据，并将各子特征数据进行拼接，以获得目标特征数据，卷积网络包括池化层和至少一个卷积层；将目标特征数据输入已训练的改进卷积神经网络模型的全连接层中，根据目标特征数据对待分类文本进行意图类别的分类，以确定对应的目标意图类别；根据目标意图类别控制目标家居设备执行对应的操作。由于采用已训练的改进卷积神经网络模型中的至少两个不同的卷积网络分别提取待分类文本的子特征数据，因此可以提取待分类文本不同维度和深度的特征，增加待分类文本的特征数量，获得待分类文本的更多特征，进而能够提高改进卷积神经网络模型对文本分类的准确度。同时，由于不同的卷积网络是并行提取待分类文本的特征，未增加网络深度，模型的训练和分类速度有所保障，所以，本实施例提供的文本分类方法能够在保证模型的训练和分类速度的同时提高分类的准确率。

实施例二

本实施例提供的文本分类方法，在实施例一的基础，已训练的改进卷积神经网络模型还包括嵌入层，在步骤202，采用已训练的改进卷积神经网络模型中的至少两个不同的卷积网络分别提取待分类文本的子特征数据，之前还包括步骤2011。

步骤2011，采用已训练的改进卷积神经网络模型中的嵌入层对待分类文本进行分词处理并确定各文字或单词对应的词向量，以获得待分类文本对应的词向量矩阵。

本实施例中，已训练的改进卷积神经网络模型中，不同编码均对应一个唯一的词向量，由于交互指令文本中文字、单词等以编码的形式进行表示，因此，交互指令文本中的文字、单词等以均与不同的词向量一一对应，即，已训练的改进卷积神经网络模型中，词向量可以用于对文字、单词等用户意图的载体形成唯一标识。嵌入层能够将待分类文本进行分词处理，即，将待分类文本中以编码形式进行标识的文字、单词和数字进行区分，以确定不同文字或编码对应的词向量，进而确定待分类文本对应的词向量矩阵。待分类文本对应的词向量矩阵可以是将各文字、单词和数字对应的词向量按行或列进行组合，进而形成矩阵。示例性地，用户发出的语音交互指令在转换为交互指令文本后共有10个汉字，则待分类文本由这10个汉字的编码按交互指令文本中的顺序排列而成，可以理解的是，每个汉字的编码可以具有相同的长度。嵌入层根据已训练的各个编码对应的词向量，将待分类文本转换词向量矩阵。当单个词向量的维度为128维时，词向量矩阵可以是10*128的向量矩阵。

改进卷积神经网络模型在第一次训练时，嵌入层可以随机生成各个编码对应的词向量，词向量与各个编码唯一对应。改进卷积神经网络模型在训练时可以通过反向传播算法调整各个的编码对应的词向量，并可以将调整后的各编码与词向量的对应关系保存在数据库中，以便在改进卷积神经网络模型下一次训练时，嵌入层可以从数据库中获取各个编码对应的词向量。

本实施例提供的文本分类方法，通过采用已训练的改进卷积神经网络模型中的嵌入层对待分类文本进行分词处理并确定各文字或单词对应的词向量，以获得待分类文本对应的词向量矩阵。由于确定出待分类文本对应的词向量矩阵，将待分类文本中的意图以数值的形式进行表示，在通过已训练的改进卷积神经网络模型后，能够确定待分类文本的意图类别，进而实现文本分类。

作为一种可选的实施方式，对步骤2011中确定各文字或单词对应的词向量进行细化，则步骤2011细化包括步骤20111至步骤20112。

步骤20111，根据训练获得的预设字典确定待分类文本中各文字或单词对应的词向量，词向量用于唯一标识预设字典中的文字或单词。

本实施例中，预设字典可以是在改进卷积神经网络模型的训练过程中，对训练数据集中的字进行去重排序后得到的字典，训练数据集中的字在预设字典中均具有唯一索引值。第一预设函数可以将交互指令文本中的文字和单词等映射为文字和单词等在预设字典中的索引值。已训练的改进卷积神经网络模型的嵌入层可以通过各文字或单词在字典中的索引值，在训练后获得的数据库中查询各索引值对应的词向量。

步骤20112，将各文字或单词对应的词向量按照待分类文本中的顺序进行拼接，以获得待分类文本对应的词向量矩阵。

本实施例中，由于词向量可以为列向量或行向量，且一个单独的N维词向量也可以组成1行N列或N行1列的词向量矩阵，(N大于或等于1)。因此，可以根据分词后文字和单词的数量M(M大于获得等于1)，以及各文字或单词在待分类文本中的顺序，将各文字或单词对应的N维词向量，组成M行N列、N行M列、1行M*N列或M*N行1列的词向量矩阵。

本实施例中，通过根据训练获得的预设字典确定待分类文本中各文字或单词对应的词向量，词向量用于唯一标识预设字典中的文字或单词；将各文字或单词对应的词向量按照待分类文本中的顺序进行拼接，以获得待分类文本对应的词向量矩阵，由于预设字典中各文字具有唯一索引，将待分类文本转换为预设字典中的索引，再使用预设字典中的索引确定待分类文本对应的词向量，所以提高将待分类文本转换为词向量矩阵的速度，进而提高模型的训练和分类速度。

实施例三

图4是根据本申请第三实施例提供的文本分类方法流程示意图，如图4所示，本实施例提供的文本分类方法，在实施例二的基础上，对步骤202进行细化，则步骤202细化包括步骤301至步骤302。

步骤301，将词向量矩阵分别输入至少两个不同的卷积网络。

本实施例中，至少两个不同的卷积网络是并行结构，即，输入各卷积网络的数据是相同的，各卷积网络输出的数据也是去往相同的地方。具体地，将待分类文本对应的词向量分别输入各卷积网络的。

步骤302，针对每个卷积网络，采用对应的至少一个卷积层对词向量矩阵进行特征提取，以获得词向量矩阵的特征矩阵。

本实施例中，对于每个卷积网络，其包括池化层和至少一个卷积层。若卷积网络包括一个卷积层和池化层，则可以采用该卷积层预设的卷积核尺寸、预设的步长以及预设的卷积核填补方式对词向量矩阵进行卷积计算。本实施例中，预设的卷积核尺寸可以根据实际应用场景中统计的语音交互指令中词语的长度进行设置，示例性地，中文词语长度通常在2至7个字，因此，预设的卷积核尺寸可以为1*2、2*1、2*2、1*3、3*1、3*3、1*4、4*1、4*4、1*5、5*1、5*5、6*6、7*7等。本实施例中，预设的卷积核填补方式可以为“SAME”模式，即，在卷积计算时，卷积核尺寸在词向量矩阵中没有数据的边界进行补0，以使卷积后的向量长度与原向量长度相同。此处，卷积计算可以为卷积神经网络中的卷积计算方法，本实施例在此不做赘述。改进卷积神经网络模型在训练时可以通过反向传播算法调整各卷积层的权重矩阵。在改进卷积神经网络模型第一次训练时，可以使用随机初始化的方法生成，例如使用标准差为0.02的截断正态分布(truncated_normal_initializer)进行权重矩阵的初始化。

步骤303，采用各卷积网络的池化层对特征矩阵进行降维，以获得子特征数据，子特征数据为向量形式，且子特征数据对应的向量与词向量矩阵中的向量具有相同的维度。

本实施例中，由于词向量矩阵中可能包括多个词向量，因此，在卷积计算之后得到的也可能是一个包括多个向量的向量矩阵。而由于卷积网络为不同的卷积网络，因此，使用不同的卷积网络提取的词向量矩阵的特征矩阵的行数和列数可能并不相同。本实施例中，采用卷积网络中的池化层对词向量矩阵的特征矩阵进行降维以使不同卷积网络能够输入相同形式的子特征数据，子特征数据可以为向量形式，且为便于后续将不同卷积网络提取的不同维度和深度的子特征数据进行融合，子特征数据对应的向量可以与词向量矩阵中的向量具有相同的维度。

继续根据上述示例进行举例说明，若各卷积网络的各卷积层预设的卷积核填补方式均为“SAME”模式，则卷积后的向量长度与原向量长度相同，卷积后所得的特征矩阵的行数和列数与输入卷积网络的矩阵的行数和列数相同。若待分类文本对应的词向量矩阵由10个128维的词向量组成，为10*128(10行128列)的矩阵时。采用对应卷积网络的至少一个卷积层对词向量矩阵进行特征提取后，特征矩阵也为10*128的矩阵。此时，采用池化层对特征矩阵进行降维，将特征矩阵转换为1*128的矩阵，即128维的向量。具体地，可以将求取矩阵各列的平均值，并将各列的平均值作为降维后的向量中各维的值。

本实施例提供的文本分类方法，通过将词向量矩阵分别输入至少两个不同的卷积网络；针对每个卷积网络，采用对应的至少一个卷积层对词向量矩阵进行特征提取，以获得词向量矩阵的特征矩阵，并采用池化层对特征矩阵进行降维，以获得子特征数据，子特征数据为向量形式，且子特征数据对应的向量与词向量矩阵中的向量具有相同的维度；采用各卷积网络的池化层对特征矩阵进行降维，以获得子特征数据，子特征数据为向量形式，且子特征数据对应的向量与词向量矩阵中的向量具有相同的维度。由于通过不同的卷积网络获取到待分类文本对应的词向量矩阵在不同维度和深度的特征矩阵，可以在获取到待分类文本更多的特征数量，将特征矩阵降维成子特征数据，可以减少后续的计算量，所以，能够进一步提高文本分类的速度和准确度。

实施例四

图5是根据本申请第四实施例提供的文本分类方法流程示意图，如图5所示，本实施例提供的文本分类方法，在实施例三的基础上，对步骤302中采用至少一个卷积层对词向量矩阵进行特征提取进行细化，则步骤302细化包括步骤401至步骤403。

步骤401，确定卷积网络中卷积层的数量。

本实施例中，可以直接查询所使用的已训练的改进卷积神经网络模型中各不同的卷积网络中卷积层的数量。

步骤402，若确定卷积层的数量为一个，则将词向量矩阵确定为卷积层的输入矩阵，并采用卷积层对其输入矩阵执行第一操作。

步骤403，将卷积层执行第一操作得到的输出矩阵确定为词向量矩阵的特征矩阵。

其中，第一操作包括：以卷积层预设的步长、卷积核尺寸和卷积核填补方式对输入矩阵进行卷积计算，以获得第一矩阵；对第一矩阵进行层归一化处理，以获得第二矩阵；将第二矩阵输入预设激活函数，并采用预设激活函数输出第三矩阵；将输入矩阵与第三矩阵进行求和，以获得残差矩阵；将残差矩阵进行层归一化处理，以获得输出矩阵。

本实施例的第一操作中，卷积计算能够对输入矩阵进行特征提取，将原始输入信息(待分类文本对应的词向量矩阵)进行变换，将原始输入信息中能够代表其真实含义的关键信息、能够将其于其他信息进行区别的区别信息等以输出特征的形式表现。层归一化处理能够让第一矩阵的分布更加稳定，提高网络收敛速度，进而提高改进卷积神经网络模型在训练时的速度。激活函数可以使用gelu函数，激活函数能够使得反向传播算法对权重矩阵进行更好的优化。求和计算残差矩阵，能够防止模型过拟合、避免梯度消失。对残差矩阵进行层归一化处理能够让残差矩阵的参数分布更加稳定，提高网络收敛速度。

本实施例提供的文本分类方法，通过确定卷积网络中卷积层的数量；若确定卷积层的数量为一个，则将词向量矩阵确定为卷积层的输入矩阵，并采用卷积层对其输入矩阵执行第一操作；将卷积层执行第一操作得到的输出矩阵确定为词向量矩阵的特征矩阵；第一操作包括：以卷积层预设的步长、卷积核尺寸和卷积核填补方式对输入矩阵进行卷积计算，以获得第一矩阵；对第一矩阵进行层归一化处理，以获得第二矩阵；将第二矩阵输入预设激活函数，并采用预设激活函数输出第三矩阵；将输入矩阵与第三矩阵进行求和，以获得残差矩阵；将残差矩阵进行层归一化处理，以获得输出矩阵。由于在卷积网络中将卷积的输入与输出计算残差，得到残差矩阵，并在卷积层和残差矩阵后进行层归一化处理，所以能够减少模型的过拟合问题，加速模型的训练和分类速度。

作为一种可选的实施方式，步骤302还包括步骤404至步骤407。

步骤404，若确定卷积层的数量为多个，且各卷积层以卷积核尺寸从大至小的顺序连接。

本实施例中，若确定卷积层的数量为多个，由于中文的上下文信息对当前词的语义理解至关重要，卷积核尺寸按照从大至小的顺序排列可以先使用尺寸较大的卷积核提取长文本特征，再使用尺寸较小的卷积核将长文本特征融合到短文本特征，进而可以将长距离上下文信息融合到局部特征中，保证上下文与当前词语的特征融合，使得抽象得到的目标特征数据更准确，进而提高分类的准确度。因此，在改进卷积神经网络模型中，卷积网络中卷积层的数量为多个时，各卷积层以卷积核尺寸从大至小的顺序连接。

步骤405，将词向量矩阵确定为卷积核尺寸最大的卷积层的输入矩阵。

步骤406，依次采用各卷积层对其输入矩阵执行第一操作，并将各卷积层执行第一操作得到的输出矩阵确定为下一卷积层的输入矩阵，直至采用卷积核尺寸最小的卷积层对其输入矩阵执行第一操作。

步骤407，将卷积核尺寸最小的卷积层执行第一操作得到的输出矩阵确定为词向量矩阵的特征矩阵。

本实施例中，各卷积层是相互连接的，将词向量矩阵输入卷积核尺寸最大的卷积层，就能够从卷积核尺寸最小的卷积层得到词向量矩阵的特征矩阵。

本实施例中，中间的各卷积层(卷积核尺寸既不是尺寸最大也不是尺寸最小的卷积层)，用于将上一卷积层进行特征提取后的输出矩阵作进一步的提取，并作为下一卷积层的输入矩阵。

本实施例中，尺寸最小的卷积层执行第一操作输出得到的矩阵为具有多个卷积层的卷积网络对词向量进行特征提取后得到的特征矩阵。依次采用个卷积层对输入矩阵执行第一操作，并将上一卷积层的输出矩阵确定为下一卷积层的输入矩阵，能够将待分类文本中长距离上下文信息融合到局部特征中，得到抽象的高层特征，即将待分类文本中的语义信息、语法信息等逐步融合至一个特征向量中。

作为一种可选的实施方式，已训练的改进卷积神经网络模型中，可以包括两个不同的卷积网络，其中一个卷积网络由卷积核尺寸分布为7、5、3的三个卷积层以及一个最大池化层依次连接组成，另一个卷积网络由卷积核尺寸分布为6、4、2的三个卷积层以及一个最大池化层依次连接组成。中文词语长度通常在2-7个字，因此选取[2,3,4,5,6,7]的卷积核尺寸能够获取上下文完整信息，并且，倒序排列的卷积核尺寸更适用于增加中文中上下文信息对当前词的影响。而太深层次的卷积网络会造成过拟合，所以将卷积核分成了2组[2,4,6]和[3,5,7]，通过形成两个不同的卷积网络并行计算再拼接的方式将不同深度和宽度的特征融合到一起。再通过对卷积和残差做归一化处理(layer normal)防止模型的过拟合，使模型更快收敛，通过warm up提高训练速度，并且得到更好的准确率同时，为了增加网络浅层(卷积核尺寸更大的卷积层)对深层(卷积核尺寸更小的卷积层)的影响，可以使用残差结构，将卷积的输入和输出做残差，并在每一个卷积层后以及残差叠加后使用层归一化处理，以减少过拟合问题。

本实施例提供的文本分类方法，通过若确定卷积层的数量为多个，且各卷积层以卷积核尺寸从大至小的顺序连接；将词向量矩阵确定为卷积核尺寸最大的卷积层的输入矩阵；依次采用各卷积层对其输入矩阵执行第一操作，并将各卷积层执行第一操作得到的输出矩阵确定为下一卷积层的输入矩阵，直至采用卷积核尺寸最小的卷积层对其输入矩阵执行第一操作；将卷积核尺寸最小的卷积层执行第一操作得到的输出矩阵确定为词向量矩阵的特征矩阵。由于在卷积网络中将卷积的输入与输出计算残差，得到残差矩阵，并在每个卷积层和残差矩阵后进行层归一化处理，所以能够减少模型的过拟合问题，加速模型的训练和分类速度，同时，由于各卷积层以卷积核尺寸从大至小的顺序连接，依次使用各卷积层对词向量矩阵进行特征提取，能够先提取长文本特征，再将长文本特征融合到短文本特征，所以，能够获得更准确的目标特征数据，进一步提高分类的准确度。

实施例五

本实施例提供的文本分类方法，在上述任意一个实施例的基础上，对步骤303进行细化，则步骤303细化包括步骤501。

步骤501，将特征矩阵中各向量在同一维度的最大值确定为子特征数据。

本实施例中，可以使用最大池化的方法对特征矩阵中各向量进行降维，将各向量在同一维度的最大值确定为子特征数据，以在降低特征的维度的同时，提取更好的、具有更强烈的语义信息的特征。继续根据上述示例进行举例说明，若特征矩阵为10*128的矩阵，可以求取矩阵各列的最大值，将各列的最大值作为降维后128维的向量中各维的值。

本实施例提供的文本分类方法，通过将特征矩阵中各向量在同一维度的最大值确定为子特征数据，由于在降低特征的维度的同时，提取更好的、具有更强烈的语义信息的特征，所以能够获得更准确的子特征数据，进一步提高分类的准确度。

作为一种可选的实施方式，在上述任意一个实施例的基础上，对步骤203中根据目标特征数据对待分类文本进行意图类别的分类，以确定对应的目标意图类别进行细化，则步骤203细化包括步骤2031。

步骤2031，将目标特征数据对应各意图类别中概率最大的类别确定为目标意图类别。

本实施例中，全连接层将目标特征数据对应至各目标意图类别，获得目标特征数据属于各意图类别的概率，以实现将待分类文本在语义层面的分类。可以理解的是，待分类文本对应所有可能的意图类别的概率之和为1，因此，可以将目标特征数据对应各意图类别中概率最大的类别确定为目标意图类别，以使得目标意图类别尽可能与待分类文本真实的意图类别相同。

实施例六

图6是根据本申请第六实施例提供的文本分类装置框图，如图6所示，本实施例提供的文本分类装置70包括接收模块71、获取模块72、确定模块73以及控制模块74。

接收模块71，用于接收用户发出的语音交互指令，并将语音交互指令转换为待分类文本。

获取模块72，用于采用已训练的改进卷积神经网络模型中的至少两个不同的卷积网络分别提取待分类文本的子特征数据，并将各子特征数据进行拼接，以获得目标特征数据，卷积网络包括池化层和至少一个卷积层。

确定模块73，用于将目标特征数据输入已训练的改进卷积神经网络模型的全连接层中，根据目标特征数据对待分类文本进行意图类别的分类，以确定对应的目标意图类别。

控制模块74，用于根据目标意图类别控制目标家居设备执行对应的操作。

本实施例提供的文本分类装置可以执行上述实施例一提供的文本分类方法，具体的实现方式与原理类似，在此不做赘述。

作为一种可选的实施方式，已训练的改进卷积神经网络模型还包括嵌入层，文本分类装置还包括第二获取模块75。第二获取模块75用于，采用已训练的改进卷积神经网络模型中的嵌入层对待分类文本进行分词处理并确定各文字或单词对应的词向量，以获得待分类文本对应的词向量矩阵。

作为一种可选的实施方式，第二获取模块75具体用于，根据训练获得的预设字典确定待分类文本中各文字或单词对应的词向量，词向量用于唯一标识预设字典中的文字或单词；将各文字或单词对应的词向量按照待分类文本中的顺序进行拼接，以获得待分类文本对应的词向量矩阵。

作为一种可选的实施方式，获取模块72具体用于，将词向量矩阵分别输入至少两个不同的卷积网络；针对每个卷积网络，采用对应的至少一个卷积层对词向量矩阵进行特征提取，以获得词向量矩阵的特征矩阵；采用各卷积网络的池化层对特征矩阵进行降维，以获得子特征数据，子特征数据为向量形式，且子特征数据对应的向量与词向量矩阵中的向量具有相同的维度。

作为一种可选的实施方式，获取模块72具体还用于，确定卷积网络中卷积层的数量；若确定卷积层的数量为一个，则将词向量矩阵确定为卷积层的输入矩阵，并采用卷积层对其输入矩阵执行第一操作；将卷积层执行第一操作得到的输出矩阵确定为词向量矩阵的特征矩阵。第一操作包括：以卷积层预设的步长、卷积核尺寸和卷积核填补方式对输入矩阵进行卷积计算，以获得第一矩阵；对第一矩阵进行层归一化处理，以获得第二矩阵；将第二矩阵输入预设激活函数，并采用预设激活函数输出第三矩阵；将输入矩阵与第三矩阵进行求和，以获得残差矩阵；将残差矩阵进行层归一化处理，以获得输出矩阵。

作为一种可选的实施方式，若确定卷积层的数量为多个，且各卷积层以卷积核尺寸从大至小的顺序连接；获取模块72具体还用于，将词向量矩阵确定为卷积核尺寸最大的卷积层的输入矩阵；依次采用各卷积层对其输入矩阵执行第一操作，并将各卷积层执行第一操作得到的输出矩阵确定为下一卷积层的输入矩阵，直至采用卷积核尺寸最小的卷积层对其输入矩阵执行第一操作；将卷积核尺寸最小的卷积层执行第一操作得到的输出矩阵确定为词向量矩阵的特征矩阵。

作为一种可选的实施方式，获取模块72具体还用于，将特征矩阵中各向量在同一维度的最大值确定为子特征数据。

作为一种可选的实施方式，获取模块72具体还用于，将目标特征数据对应各意图类别中概率最大的类别确定为目标意图类别。

本实施例提供的文本分类装置可以执行上述实施例二至六中任意一个提供的文本分类方法，具体的实现方式与原理类似，此处不再赘述。

实施例七

图7是根据本申请第七实施例提供的电子装置框图，如图7所示，本实施例提供的电子装置80包括电路互连的存储器81、处理器82和输入装置83。

存储器81中存储有计算机程序。

输入装置83用于接收用户发出的语音交互指令。

处理器82被设置为通过计算机程序执行如上述任意一个实施例提供的文本分类方法。

本申请还提供一种计算机可读的存储介质，计算机可读的存储介质包括存储的程序，程序运行时执行如上述任意一个实施例提供的文本分类方法。

存储器81可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic RandomAccess Memory)、静态随机存取存储器SRAM(Static Random-Access Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等。

处理器82可以是适当的硬件处理器，比如CPU(central processing unit)、GPU(graphics processing unit)、FPGA(Field Programmable Gate Array)、DSP(DigitalSignal Processing)和ASIC(Application Specific Integrated Circuit)等等。

输入装置83可以是适当的麦克风、麦克风阵列、输入/输出(I/O)接口、通信组件等能够用于接收用户发送的语音交互指令的设备、组件或模块。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

进一步需要说明的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

应该理解，上述的装置实施例仅是示意性的，本申请的装置还可通过其它的方式实现。例如，上述实施例中模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个模块可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。

另外，若无特别说明，在本申请各个实施例中的各功能模块可以集成在一个模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一起。上述集成的模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。

集成的模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。