一种基于视觉注意模型的图像文字描述方法

摘要

本发明中提出的一种基于视觉注意模型的图像文字描述方法，其主要内容包括：数据输入、预处理、自适应注意模型、图像字幕输出，其过程为，首先它采用描述人执行各种动作和在复杂场景的上下文中包含多个对象的图像数据集，每个图像配对5个人工标注的字幕；然后预处理缩短字幕长度，将数据集输入到编码器中提取空间图像特征；最后反馈给训练好的基于视觉哨兵门的自适应空间注意模型，让机器执行自动生成图像字幕的任务，得到图像对应的自然语言描述结果。本发明在图像识别方面，比起基于模板的方法，其表现性能最优；它还可以帮助视觉受损的用户，并使用户易于组织和导航大量典型非结构化的视觉数据。