基于Kinect单次拍摄数据准确估计人体全身体型与姿态的研究

摘要

3D技术中对衣服下人体的估计有着很多的限制和困难，衣服对身体的遮挡、身体的自我遮挡等都会使得本身受限的问题变得更为困难。现有方法使用多相机或多视角的数据以便获得更多的人体信息，或者致力于单幅RGB图的简单方式进行估计，但面临设备与数据处理复杂和简单数据不能提供足够信息而使结果较差的问题，且大多都没有准确恢复人体的头部和手部状态信息。因此，本文提出了以深度相机单次拍摄RGB-D数据估计任意姿态任意着装下的完整人体的方法，该人体包含准确的头部方向和手的姿态。在本文的详细介绍中将包含以下内容: 首先，对本文的研究内容的研究背景，以及与衣服下人体估计有关的方法的国内外研究现状进行了描述，分别以这些方法获取数据的方式进行分类介绍。同时详述了本文中的所使用的静态人体模型，方法或处理中使用到的其他一些相关工作，以及本文方法所作对比的最近的经典方法，从这些内容可以对这些方法有个基本的了解。 其次，根据当前的任意衣服下人体估计算法的研究情况，以及面临的问题，提出了基于Kinect深度相机单次拍摄数据进行准确人体建模的方法，不仅能准确获得对应对象的3D人体模型，并且能准确恢复其身体、头部的姿态以及手部的状态。首先通过消费级的深度相机Kinect对当前人体进行单次拍摄，获得场景的深度数据和对应的彩色数据。然后，通过Kinect SDK获取人体的头部转向和关节点，对于关节点选择其中与静态人体模型对应的部分，并结合以深度学习方法从彩色图获取的手部关节点，组成人体的全身骨骼结构。进一步，使用基于彩色图的人体分割算法应用到SDK本身的人体识别中，获取完整的低噪声的人体点云数据。最后，基于这些数据，使用本文提出的人体拟合目标函数将人体模型拟合到所有关节点并以点云数据进行细节优化，从而准确估计出任意姿态任意着装下的人体体形。 最后，人体关节数据的准确度在本文的人体估计方法中占有重要地位，因此，针对Kinect SDK的关节预测中的问题，提出了将深度数据方法与彩色图像方法结合的3D关节估计方法。深度方法采用Kinect SDK的关节点预测，其对于未能准确捕捉的关节点能给出具体状态信息，以便对错误关节点进行调整纠正。而彩色图像方法使用最近的神经网络人体3D关节预测方法，对于深度预测中的不正确关节点使用此处得到的关节点进行替换。通过将两种方法相结合，互相弥补，从而达到更加准确的3D关节估计，在实验中也表明了本文方法的实际效果。