基于循环共同注意力Transformer的多模态蒙汉翻译方法

摘要

一种基于循环共同注意力Transformer的多模态蒙汉翻译方法，利用YOLO‑V4对输入图像进行目标检测，通过相关性检测对比蒙古文本与目标标签，保留与蒙古文本相关的目标图像，并利用编码层将蒙古文本编码为张量；利用重参数化VGG网络和三重注意力机制提取并关注目标图像特征，采用形变双向长短期记忆网络对目标图像特征与编码后的蒙古文本特征即张量分别进行数次交互，之后送入到循环共同注意力Transformer网络中进行蒙汉翻译，通过数次循环交互，将蒙古语言特征与视觉特征充分融合，输出目标语言。本发明从视觉和语言两个角度捕获特征信息，通过多轮循环，可有效的提高翻译质量，解决蒙古文翻译质量不佳的问题。