基于多粒度生成图像增强表示的隐式篇章关系识别方法

摘要

本发明公开一种基于多粒度生成图像增强表示的隐式篇章关系识别方法,由于文本本身存在多义性、模糊性等问题，我们首次对联想策略进行了仿真，提出了一种多粒度生成的图像并用于增强论元向量表示的神经网络。具体来说，我们根据文本的不同粒度(句子级和短语级)来引入相应的图像，这有助于理解篇章的语义。为了更好地捕捉文本图像的上下文信息，我们根据文本的序列信息将文本和图像特征进行整合，然后利用自注意力机制捕获由两个论元拼接而成的图文向量序列表示整体中的重要图文信息和交互信息，从而进一步丰富论元向量表示，并得到用于识别篇章关系的特征向量表示，最后将用于识别篇章关系的特征向量表示输入到篇章关系识别层进行篇章关系识别。