基于环境感知的实时多任务多人人机交互系统

摘要

基于多人人体姿态估计器的多人人机协作交互系统，包括感知模块、控制模块、决策模块；感知模块通过相机去感知人机交互中的多人人体姿态信息和机器人位置信息；将获取的人机姿态信息传递给决策模块和控制模块，决策模块结合任务需求对收集到的人体姿态和机器人状态进行监听(GUI)和更新，并反馈到感知模块，同时更新人机状态；控制模块通过获取决策模块提供的目标位置信息和感知模块提供的机器人当前状态信息，对当前机器人任务路径重新规划，将更新后的任务轨迹通过机器人控制器发送到真实机械臂，同时将机器人的更新后的状态信息反馈给决策模块。GUI是用来可视化相关的实验结果，如相机视频流等。