基于标签分布学习的三维手部姿态估计

摘要

快速、可靠的手部姿态估计在人机交互等领域有着广泛的应用.为了解决光照强度变化、自身遮挡以及姿态变化幅度较大等情况对手部姿态估计的影响,提出了一种基于标签分布学习的深度网络结构.该网络将手部点云作为输入数据,首先通过最远点采样和定向边界框(OBB)对点云数据进行归一化处理,然后采用PointNet++提取手部点云数据特征.为了应对点云数据与手部关节点之间的高度非线性关系,通过标签分布学习网络预测手部关节点的位置信息.与传统的基于深度图的方法相比,该方法能够高效地提取高鉴别力的手部几何特征,并且计算复杂度较低、精确度较高.为了验证提出的手部姿态估计网络的有效性,在公共数据集MSRA上进行了一系列测试.实验结果表明,该网络估计出的手部关节点位置的平均误差为8.43 mm,平均每帧的处理时间为12.8 ms,而且姿态估计的误差相较于3D CNN算法降低了11.82％,相较于Hand PointNet算法降低了0.83％.