一种应用于机器人交互的多模态数据处理方法

摘要

本发明公开了一种应用于机器人交互的多模态数据处理方法，其中方法包括获取目标视觉信息数据，并获取目标触觉信息数据；基于多模态数据融合模型对所述目标视觉信息数据和所述目标触觉信息数据进行融合处理，得到融合后的指令信息数据，其中，所述多模态数据融合模型通过对能够反映机器人动作指令的视觉信息样本数据和触觉信息样本数据进行训练得到；识别所述指令信息数据，输出所述指令信息数据至与所述指令信息数据相关联的机器人的动作构件中。本发明实施例提供的应用于机器人交互的多模态数据处理方法，通过对视觉数据和触觉数据进行多模态的融合，提高了数据处理的精度，推进了机器人的智能化进程。