基于多模态数据融合与强化学习的智能决策方法及装置

摘要

本申请属于智能决策技术领域，涉及基于多模态数据融合与强化学习的智能决策方法及装置，方法包括：获取包括语言指令和视觉信息的智能决策任务，对语言指令和视觉信息进行编码，得到语言编码向量和视觉编码向量，并得到多模态数据；基于多模态融合方法，根据多模态数据，得到多模态融合数据，将多模态数据输入到距离优化的语言理解模型中，判断环境状态与语言指令相对应时，向强化学习智能体提供即时语言奖励；将多模态融合数据输入到强化学习算法中，基于强化学习算法和即时语言奖励，输出动作并完成智能决策。本申请能够使智能体理解自然语言指令，通过提供语言奖励的形式加速学习从而快速完成任务。