一种基于卷积神经网络、注意力机制及自注意力变换器的视觉描述方法

摘要

一种基于卷积神经网络、注意力机制及自注意力变换器的视觉描述方法。涉及图像处理、计算机视觉及自然语言处理等领域，本方法研究基于跨场景的图像描述方法中文本语意连续性交较差，场景描述精度较低的问题以及该方法在视觉描述中的应用。本方法提出了一个高效的图像特征注意力网络，即AMNet，直接使用ResNet作为骨干网，使用其全连接层特征。对于图像特征应用了我们的图像特征注意力结构，通过将图像特征拆分为16个子特征，使用改进的循环神经网络在提高精度的同时保留有效前序特征，以解决语意连续性交较差，场景描述精度较低的问题。