基于阶梯式和多残差模块卷积神经网络的人体姿态估计方法研究

摘要

人体姿态估计任务是确定一个输入图像中人体的各个部件，如手臂、躯干、腿部和头部等，或者各个关节点，如肘、手腕、膝盖和肩等的精确像素位置和特征信息，它是计算机视觉任务中一项基本而又具有挑战性的任务，也是一些高级视觉任务的重要基础，例如行为识别，人机交互，服装解析，行人再识别以及动作识别等，且广泛应用于自动驾驶、虚拟现实、视频监控以及动画等领域。有效的人体姿态估计方法必须能够处理一些罕见的人体姿态和具有较大肢体变化的图像，不受到服装多样化，肢体灵活性，照明条件变化和复杂背景等因素的影响，同时还能解决严重的肢体变形和人体部件或关节点被严重遮挡等具有挑战性的问题。 传统的人体姿态估计大多数是基于图结构模型以及结合一些特征信息，如纹理特征，颜色直方图特征，形状上下文特征和梯度直方图特征等来构建人体的外观模型以及部件关系模型，虽然这些方法能够大致定位人体关节的位置，但容易受到复杂背景的干扰，且对于一些形变较大或受到严重遮挡的人体部件预测仍然不准确。近年来，深度学习在人体姿态估计领域中取得了突破性的进展，特别是深度卷积神经网络(DCNN)强大的学习能力吸引了越来越多的研究者，它的广泛使用为人体姿态估计方法提供了很强的非线性变换能力。为了能更有效地进行人体姿态估计，本论文对深度卷积神经网络进行了深入研究，在此基础上构建了阶梯式深度卷积神经网络用于人体姿态估计，提高了姿态估计的精度;并且针对传统的堆叠沙漏网络设计了多残差模块堆叠沙漏网络，进一步提高了人体姿态估计的精度和鲁棒性。论文的主要研究工作和成果如下: 1、提出一种基于阶梯式深度卷积神经网络的人体姿态估计方法。为了提高人体姿态估计的精度和鲁棒性，该网络首先利用阶梯模块作为构建模块以探索人体姿态估计中人体各部件之间的相互依赖关系;其次，为了能够捕获更多更丰富的上下文信息，网络通过采用大卷积核的阶梯模块来增加网络输出层的有效感受野;最后，该网络通过学习每个阶梯模块最后的损失函数来强化中间监督，从而补充反向传播的梯度，有效地解决了在训练过程中梯度消失的难题。通过实验可知，所提出的基于阶梯式深度卷积神经网络的人体姿态估计方法在一定程度上提高了人体姿态估计的精度，同时也降低了遮挡问题对姿态估计的影响。 2、提出一种基于多残差模块堆叠沙漏网络的人体姿态估计方法。为了进一步提高人体姿态估计的精度，并针对二维人体姿态估计中由于摄像机视图变化导致的人体各部件尺度变化问题对最终人体姿态估计精度的影响。该网络首先在传统的残差模块基础上设计了改进型残差模块;接着，为了在较大感受野内学习人体部件之间的相关性，设计了大感受野残差模块;然后，为了更好的解决由于人体各部件尺度变化问题导致的姿态估计不准确性，文中设计了多尺度残差模块。其次，将这三种残差模块作为沙漏子网络的构建模块，当分辨率较高时，采用大感受野残差模块和多尺度残差模块以捕获更大范围以及各尺度上的信息，当分辨率较低时，仅采用改进型残差模块;最后，使用四个多残差模块沙漏子网络构成最终的多残差模块堆叠沙漏网络。通过实验可知，所提出的基于多残差模块堆叠沙漏网络的人体姿态估计方法进一步提高了人体姿态估计的精度。