基于视、触觉融合的机器人精密装配控制方法及系统

摘要

本发明涉及基于机器人的装配控制方法及系统，提供多个神经网络模型，所述多个神经网络模型至少包括强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据。同时公开了一种基于机器人的装配控制系统，其包括：在机器人移动部分末端设置的夹持执行器及与机器人配套的视觉设备，所述夹持执行器的夹持内侧从内到外依次设置触觉传感器及软胶垫。本发明的系统利用触觉信号的变化来间接得到其他维度的外力信息，并将其与视觉信息相融合，表征向量能够用于生成合适的机器人动作指令，以及灵活调整插装力以完成装配。