基于局部表示与全局信息融合的建模

摘要

目前基于神经网络的端到端翻译成为机器翻译,语音识别等端到端任务的主流模型。研究人员通过改善网络结构来不断优化翻译模型的性能,其中卷积神经网络和基于自注意力机制Transformer模型已经分别成为图像处理与NLP领域中最受认可的建模手段。然而由于Transformer模型更关注于全局信息的建模,而卷积神经网络仅仅擅长对相邻固定窗口大小中的词进行建模,两者之间存在较强的互补联系。本文提出两种融合手段来综合两种网络的优势来近一步提高了端到端模型的性能。