一种基于特征可控融合的深度表示学习方法

摘要

本发明公开了一种基于特征可控融合的深度表示学习方法，在基于预训练的多层语言模型中获取单词情境化的嵌入表示的基础上，分别从局部和序列角度获取不同尺度的特征表示，并且提出了使用多头交互线性注意力机制提取上下文摘要实现单词的上下文信息表示。本发明使用预训练的多层语言模型对单词进行嵌入表示，获取了单词更加语境化的表示，解决了以往方法单词嵌入表示不够丰富，无法解决一词多义的问题；本发明提出了上下文摘要，使用多头交互线性注意力计算当前单词在整个句子影响下的特定表示来发现单词之间的差异以辅助评价对象挖掘；最后，本发明使用了门机制进行特征的筛选，为不同特征分配权重，加强了有用特征的影响。