一种基于神经网络自注意力机制的精确文本表示方法

摘要

本发明公开了一种基于神经网络自注意力机制的精确文本表示方法，包括以下步骤：根据不同类型任务，对数据集预处理；根据语义向量模型字级别表示向量初始化表征；使用Bi‑LSTM神经网络模型获取初级全局词表示；使用自注意力机制融合全局信息，得到上下文筛选向量；针对不同文本任务适配两种精确文本表示向量模型，对于摘要任务，得到词粒度的精确文本表示，基于Seq2Seq模型与注意力机制解码生成摘要文本；对于分类任务，得到句粒度的精确文本表示，得到预测结果。本发明模拟真实场景下人的思考路径，通读文本获取上下文信息，确定每个单词的重要程度，从语义层面筛选重要文本信息，提升文本表示向量的精确性，提高了文本摘要与文本分类任务的准确性。