一种基于自动编码的文本表示学习方法、系统及电子设备

摘要

本申请涉及一种基于自动编码的文本表示学习方法、系统及电子设备。该方法包括：步骤a：使用编码器对原始文本进行编码，生成原始文本编码后的向量表达，并通过编码矩阵输出编码后的文本；步骤b：随机删除所述原始文本中的词，并将被删除的词的词向量置0，将未被删除的词使用预训练好的词向量表示，得到新的文本；步骤c：将所述编码后的文本与新的文本输入到解码器中，并通过解码矩阵预测所述被删除的在时间片t的待预测词的向量表达。本申请采用字谜游戏的方法，结合基于神经网络的自动编码机制，生成给定文本更精确的向量表达。实验结果表明，本申请能提高文本分类、信息抽取等自然语言任务的准确率，改进自然语言处理任务的效果。