一种基于雷达与视觉多模态融合的具身语言导航方法

摘要

本发明提出一种基于雷达与视觉多模态融合的具身语言导航方法，属于机器人导航、自然语言处理和计算机视觉领域。该方法首先在带有双目相机的机器人上安装激光雷达，利用该机器人训练一个多模态融合神经网络模型。选取任一真实场景，对机器人下达自然语言导航指令并转化为对应语义向量；利用机器人在每个时刻获取的RGB图、深度图以及雷达信息，分别转化为对应的特征；对语义向量、RGB图特征和深度图特征进行特征融合，得到当前时刻的动作特征；利用雷达特征对该动作特征进行修正后，神经网络模型最终输出机器人在当前时刻的动作，机器人执行该动作直至完成导航任务。本发明可使机器人对真实环境具有良好的感知能力，提高避障导航的效率。