基于深度学习的多模态图像语音解读方法和系统

摘要

本发明公开了一种基于深度学习的多模态图像语音解读方法和系统，该方法包括搭建图像描述神经网络并训练得到图像描述神经网络模型；搭建语音转换神经网络并训练得到语音转换神经网络模型；获取待语音解读的图像，经图像描述神经网络模型翻译成文字序列、再经语音转换神经网络模型输出与文字序列对应的语音音频。本发明用于实现对无文字图片内容的理解并用语音的方式对图片中存在的对象及多个对象之间的关系、行为进行解读。有助于视觉障碍者对身边环境的实时了解，有助于该类人群的日常生活。同时，上述方案可以应用于幼儿教育，在小孩学习身边事物的过程中起辅助作用，也可应用于娱乐场所，应用范围广，具有很高的实际使用价值。