手与物体复杂交互场景重建方法及装置

摘要

本发明公开了一种手与物体复杂交互场景重建方法及装置，其中，方法包括：利用单RGBD相机采集手与物体交互场景的RGBD序列，得到RGBD图像；将RGBD图像送入手势预测神经网络中进行预测，得到左手的姿态预测数据与右手的姿态预测数据；将RGBD图像送入分割识别神经网络中，得到左手数据、右手数据、不同物体的分割数据；将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，得到最终的物体模型。该方法可以针对人手与物体复杂交互过程，从单个RGBD相机所采集的序列中重建交互过程三维信息，能够获得人手的姿态运动和物体的表面，有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。