一种基于多模态特征融合的开放域视频自然语言描述生成方法

摘要

一种基于多模态特征融合的开放域视频自然语言描述方法，采用深度卷积神经网络模型提取RGB图像特征和灰度光流图片特征，加入视频时空信息和音频信息，组成多模态特征系统，提取C3D特征时，动态调整输入到三维卷积神经网络中的连续帧块间的覆盖率，解决训练数据大小的限制问题，并且对可处理的视频长度具有鲁棒性，音频信息弥补视觉上的不足，最后针对多模态特征融合。本发明使用数据规范化方法将各模态特征值规范在一定范围内，解决了特征值差异问题；采用PCA方法降低个别模态特征维度，并有效的保留99％的重要信息，解决了因维度过大导致训练失败的问题，有效的提高了生成的开放域视频描述语句的准确性，并且对于场景、人物、事件都具有较高的鲁棒性。