一种基于非对齐多视图特征增强的图像描述方法

摘要

本发明公开了一种基于非对齐多视图特征增强的图像描述方法。本发明包括以下步骤：1、对图像和以其自然语言描述的文本进行数据预处理，2、基于非对齐多视图特征增强的注意力编码模型，进行各视图中的目标视觉特征进行重构。3、基于MHA的深度描述解码器。4、模型训练，利用反向传播算法训练神经网络参数。本发明提出一种针对图像描述的深度神经网络，特别是提出一种对图像‑描述文本的数据进行统一建模，在图像中各非对齐视图目标特征上进行推理，对各目标的视觉特征进行重构从而更精确地对图像进行描述的方法，并且在图像描述领域中的获得较好效果。