二维图像人体关节点定位模型的构建方法及定位方法

摘要

本发明涉及一种二维图像人体关节点定位模型的构建方法及基于该构建方法的定位方法。其中，该构建方法包括：利用标记完人体关节点位置坐标和遮挡状态的彩色图像，构建人体部件局部特征训练样本集和人体部件全局构型样本集；构建深度卷积神经网络，利用所述人体部件局部特征训练样本集来训练所述深度卷积神经网络，得到人体部件局部表观模型；利用所述人体部件局部表观模型和所述人体部件全局构型样本集，得到遮挡关系图模型；将所述人体部件局部表观模型和所述遮挡关系图模型确定为二维图像人体关节点定位模型。通过本发明实施例解决了如何对二维图像中人体关节点进行准确和鲁棒地定位的技术问题。

说明书

技术领域

本发明涉及图像处理与模式识别技术领域，尤其是涉及一种二维图像人体关节点定位模型的构建方法以及基于该构建方法的定位方法。

背景技术

在视频监控、手语识别、智能家居、人机交互、增强现实、图像检索、机器人等领域中，经常需要从二维图像中估计人体各个关节点的位置坐标。二维图像人体关节点定位在上述应用领域中起着关键的作用，蕴含着巨大的应用价值。在实际应用中，人体关节点定位的困难因素包括大尺度形变、视角变化、遮挡和复杂背景等。

目前，二维图像人体关节点定位方法分为关节点回归和部件检测两大类方法。

对于二维图像人体关节点回归方法，需要首先利用人体检测器来确定人体所在区域的位置和大小，然后在人体检测器确定的区域内提取图像特征，并采用回归的方法来预测人体关节点的坐标。相关内容可参见文献一和文献二。

关节点回归的方法易于实现，但其有以下两方面的缺点：第一，由于关节点回归方法需要用人体检测器得到的矩形框作为输入，当人体有大幅度动作时，会致使人体检测器发生误检，从而使后续的关节点回归失败。第二，由于手腕和脚腕等末端关节点位置变化较大而头部和肩部等关节位置变化较小，对图像区域全局回归的方法会使末端关节点出现欠拟合的情况，从而影响末端关节点的定位精度。文献三为了改进第二个缺点，将人体分为上中下三个区域，对这三个区域的关节点分别进行回归，但忽视了第一个缺点。

对于二维图像人体部件检测方法，其首先利用滑动窗口扫描的方式提取图像局部特征，并进行部件分类，然后利用结构化模型对部件之间的相对位置关系进行约束，从而检测出最优的人体部件构型，并得到各个部件所在的区域及相应关节点的位置坐标。二维图像人体部件检测方法涉及两方面的关键技术，一个是部件的局部特征表达，另一个是人体的结构化建模。

在部件的局部特征表达方面，现有方法主要采用手工设计的特征或者通过学习得到的特征。文献四采用梯度方向直方图来对部件的局部特征进行表达；文献五则是采用了形状上下文特征。手工设计的特征不需要经过训练，简单快速，但缺点是特征表达能力弱，对噪声不鲁棒。文献六提出利用卷积神经网络对部件的局部区域进行特征提取，这样增强了不同姿态下部件局部特征的表达力，还增强了对噪声的鲁棒性。但是，文献六只是考虑了部件没有被遮挡的情况，该方法对被遮挡的关节点定位精度较差。

在人体的结构化建模方面，所采用的模型结构包括树型结构模型和带环图模型。现有的大部分人体结构化建模方法都采用了树型结构模型，参见文献四和文献六。树型结构模型虽然结构简单且便于快速推理，但难以对复杂的遮挡关系尤其是自遮挡关系进行建模。带环图模型相比树型结构模型，其最大的不同是在模型结构中引入了环路。例如：文献七和文献八即为采用的带环图模型。虽然带环图模型增强了模型的表达能力和对遮挡的鲁棒性，但其推理复杂度很高，这限制了它在人体结构建模中的应用。

有鉴于此，特提出本发明。

上述相关文献罗列如下：

文献一：Alexander Toshev and Christian Szegedy.Deeppose:Human poseestimation via deep neural networks.In IEEE Conference on Computer Vision andPattern Recognition,pages 1653–1660,2014；

文献二：US7778446B2，FAST HUMAN POSE ESTIMATION USING APPEARANCE ANDMOTION VIA MULTI-DIMENSIONAL BOOSTING REGRESSION；

文献三：Belagiannis Vasileios,Rupprecht Christian,Carneiro Gustavo,andNavab Nassir.Robust optimization for deep regression.In InternationalConference on Computer Vision,pages 2830–2838,2015；

文献四：Y.Yang and D.Ramanan.Articulated pose estimation with flexiblemixtures-of-parts.In IEEE Conference on Computer Vision and PatternRecognition,pages 1385–1392,2011；

文献五：US7925081B2，SYSTEMS AND METHODS FOR HUMAN BODY POSEESTIMATION；

文献六：Xianjie Chen and Alan L.Yuille.Articulated pose estimation bya graphical model with image dependent pairwise relations.In Advances inNeural Information Processing Systems,pages 1736–1744,2014；

文献七：Mykhaylo Andriluka,Stefan Roth,and BerntSchiele.Discriminative appearance models for pictorialstructures.International Journal of Computer Vision,99(3):259–280,2012；

文献八：Leonid Sigal and Michael J.Black.Measure locally,reasonglobally:Occlusion-sensitive articulated pose estimation.In IEEE Conferenceon Computer Vision and Pattern Recognition,pages 2041–2048,2006。

发明内容

为了解决现有技术中的上述问题，即为了解决如何对二维图像中人体关节点进行准确和鲁棒地定位的技术问题而提供一种二维图像人体关节点定位模型的构建方法。此外，还提供一种基于该构建方法的定位方法。

为了实现上述目的，一方面，提供以下技术方案：

一种二维图像人体关节点定位模型的构建方法，所述构建方法包括：

利用标记完人体关节点位置坐标和遮挡状态的彩色图像，构建人体部件局部特征训练样本集和人体部件全局构型样本集；

构建深度卷积神经网络，利用所述人体部件局部特征训练样本集来训练所述深度卷积神经网络，得到人体部件局部表观模型；

利用所述人体部件局部表观模型和所述人体部件全局构型样本集，得到遮挡关系图模型；

将所述人体部件局部表观模型和所述遮挡关系图模型确定为二维图像人体关节点定位模型。

较佳地，所述构建人体部件局部特征训练样本集具体可以包括：

计算任一所述人体部件相对于其父结点的相对位置；

对所有所述彩色图像的所述相对位置进行聚类；

利用所述人体部件所在的图像区域与其聚类得到的类别，来构建所述人体部件局部特征训练样本集。

较佳地，所述构建人体部件全局构型样本集具体可以包括：

确定所述人体部件的样本标签；

确定所有所述人体部件对应的图像区域；

利用所述样本标签和所述图像区域来组成所述人体部件全局构型样本集。

较佳地，所述构建深度卷积神经网络具体可以包括：

将所述深度卷积神经网络的基本单元确定为5个卷积层和3个全连接层；

将所述部件所在的图像区域作为所述深度卷积神经网络的输入。

较佳地，所述利用所述人体部件局部表观模型和所述人体部件全局构型样本集，得到遮挡关系图模型具体可以包括：

建立所述人体各部件之间带有环路的连接关系；

基于所述人体各部件之间带有环路的连接关系，利用所述人体部件局部表观模型，采用结构化支持向量机，在所述人体部件全局构型样本集上采用对偶坐标下降法，训练得到存在约束关系的任意二所述人体部件之间相对位置对应的权重以及任一人体部件的表观特征权重系数，从而得到遮挡关系图模型。

为了实现上述目的，另一方面，还提供一种基于上述构建方法的二维图像人体关节点定位方法，所述定位方法包括：

获取待检测图像；

利用所述人体部件局部表观模型，提取所述待检测图像的局部表观特征；

基于所述待检测图像的局部表观特征，利用所述遮挡关系图模型，并根据以下公式得到最优人体部件构型：

(xi*,yi*,oi*,ti*)＝argmax(∑γij*Δij+∑ωi*pi)；

其中，所述xi表示部件i的横坐标；所述yi表示所述部件i的纵坐标；所述oi表示所述部件i的遮挡状态；所述ti表示所述部件i的类别；部件j为所述部件i的父结点部件；所述Δij表示所述部件i和j之间的相对位置；所述γij表示所述相对位置Δij对应的权重；所述ωi表示所述部件i的表观特征权重系数；所述pi表示所述部件i的局部表观特征；所述i和所述j取正整数；

将所述最优人体部件构型中所述人体部件区域的中心位置确定为所述人体部件处关节点位置。

较佳地，所述利用所述人体部件局部表观模型，提取所述待检测图像的局部表观特征具体可以包括：

将所述待检测图像划分成多个局部图像区域；

将各所述局部图像区域作为所述人体部件局部表观模型的输入，得到所述待检测图像的局部表观特征。

本发明实施例提供一种二维图像人体关节点定位模型的构建方法及基于该构建方法的二维图像人体关节点定位方法。其中，该构建方法可包括：利用标记完人体关节点位置坐标和遮挡状态的彩色图像，构建人体部件局部特征训练样本集和人体部件全局构型样本集；构建深度卷积神经网络，利用人体部件局部特征训练样本集来训练深度卷积神经网络，得到人体部件局部表观模型；利用人体部件局部表观模型和人体部件全局构型样本集，得到遮挡关系图模型；将人体部件局部表观模型和遮挡关系图模型确定为二维图像人体关节点定位模型。可见，本发明能同时对自遮挡和它遮挡进行建模，并学习人体部件之间以及部件和背景之间的遮挡关系；通过将深度卷积神经网络特征提取与图模型结构相融合，本发明能够对较大运动姿态以及局部遮挡情况下人体关节点的鲁棒定位。本发明所采用的模型结构不仅能对物理上相连的部件之间的关系进行建模，还可以对不直接相连的左右肢体部件之间的空间上下文关系进行建模，从而增强了对遮挡的鲁棒性。本发明将人体部件局部表观模型和图结构模型的紧密结合，能够有效克服大幅度动作和局部遮挡带来的不利影响，提高了二维图像人体关节点定位的鲁棒性。

附图说明

图1是根据本发明实施例的二维图像人体关节点定位模型的构建方法的流程示意图；

图2是根据本发明实施例的构建人体部件局部特征训练样本集的流程示意图；

图3是根据本发明实施例的构建人体部件全局构型样本集的流程示意图；

图4是根据本发明实施例的所构建的深度卷积神经网络示意图；

图5是根据本发明实施例的遮挡关系图模型的示意图；

图6是根据本发明实施例的二维图像人体关节点定位方法的流程示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明实施例的基本构思是在部件局部特征表达和人体结构化建模两方面对人体部件遮挡关系进行建模。

在实际应用中，诸如名称为“一种人体姿态估计方法”、申请号为201510792096.4的现有技术公开了一种类似的人体关节点定位算法，其输入是彩色图像和深度图像；并且采用局部特征为梯度方向直方图特征；而且采用的是结构模型为树型结构。然而，该方法不能处理人体部件之间相互遮挡的情况。

为此，本发明实施例提出一种二维图像人体关节点定位模型的构建方法。如图1所示，该构建方法可以通过步骤S100至步骤S130来实现。其中：

S100：利用标记完人体关节点位置坐标和遮挡状态的彩色图像，构建人体部件局部特征训练样本集和人体部件全局构型样本集。

在一些实施例中，如图2所示，上述构建人体部件局部特征训练样本集的过程可以通过以下优选方式来实现：

S101：计算任一人体部件相对于其父结点的相对位置。

S102：对所有彩色图像的上述相对位置进行聚类。

S103：利用该人体部件所在的图像区域与其聚类得到的类别，来构建人体部件局部特征训练样本集。

下面以一优选实施例来详细说明构建部件局部特征训练样本集的过程。

步骤a：计算第i个部件相对其父结点部件j的相对位置Δij。其中，i和j取正整数。

步骤b：利用k-means对所有图像的相对位置Δij进行聚类。

在实施过程中，类别数可以取为13。

步骤c：用第i个部件所在的图像区域Ii与第i个部件聚类得到的类别ti(ti为部件i的类别)，来构建人体部件局部特征训练样本集。

在一些实施例中，如图3所示，上述构建人体部件全局构型样本集的过程可以通过以下优选方式予以实现：

S105：确定人体部件的样本标签。

S106：确定所有人体部件对应的图像区域。

S107：利用样本标签和图像区域来组成人体部件全局构型样本集。

下面以一优选实施例来详细说明构建人体部件全局构型样本集的过程。

步骤d：确定第i个部件的样本标签为(xi,yi,oi,ti)，其中xi表示部件i的横坐标；yi表示部件i的纵坐标；oi表示部件i的遮挡状态，其取值为0,1和2，其中，0表示可见，1表示被人体其它部件遮挡，2表示被背景遮挡；ti表示部件i的类别。

步骤e：确定所有部件对应的图像区域。

步骤f：利用样本标签和图像区域来组成人体部件全局构型样本集。

S110：构建深度卷积神经网络，利用人体部件局部特征训练样本集来训练深度卷积神经网络，得到人体部件局部表观模型及。

现有技术(例如：Yoshua Bengio,Yann LeCun,Craig R.Nohl,ChristopherJ.C.Burges:LeRec:a NN/HMM hybrid for on-line handwriting recognition.NeuralComputation 7(6):1289-1303(1995))采用了LeNet网络结构来实施训练。其中，LeNet网络结构的输入是灰度图像；基本单元为3个卷积层和2个全连接层。

本发明实施例对上述现有技术进行了改进。在一些实施例中，本步骤中构建深度卷积神经网络可以通过以下优选方式予以实现：将深度卷积神经网络的基本单元确定为5个卷积层和3个全连接层。将部件所在的图像区域(即彩色的局部区域图像)作为深度卷积神经网络的输入。通过上述方式的构建，深度卷积神经网络可以输出为部件类别的概率。其中，部件类别的概率表示图像区域属于部件i的概率。图4示例性地示出了本发明实施例构建的深度卷积神经网络示意图。

在一些实施例中，本步骤中的训练过程可以包括前向传播和反向传播过程。其中，前向传播过程逐层对彩色的部件所在的图像区域进行卷积操作和矩阵乘法运算；反向传播过程将预测误差和样本标签之间的误差用梯度下降法逐层反向进行传递，并修正全连接层和卷积层的参数。

在具体实施时，为了便于处理，可以将彩色的部件局部区域图像缩放到36×36像素，来作为深度卷积神经网络的输入。

本步骤中的人体部件局部表观模型参数可以是深度卷积神经网络中卷积层和全连接层神经元的参数。

由于深度卷积神经网络是一种有监督的学习算法，人体部件局部表观模型是通过训练样本进行有监督的学习而得到的，所以不需要人工干预。

又由于人体部件局部表观模型是利用深度卷积神经网络实现的，这样可以充分利用大量训练样本拟合变化多样的表观特征，还可以使所提取的部件特征更为鲁棒。

将深度卷积神经网络特征提取与图模型结构相融合，能够在较大运动姿态以及局部遮挡情况下实现人体关节点的鲁棒定位。

S120：利用人体部件局部表观模型和人体部件全局构型样本集，得到遮挡关系图模型。

在一些实施例中，本步骤具体可以包括：

S121：建立人体各部件之间带有环路的连接关系。

通过将人体各部件之间的连接关系设置成带有环路的连接关系，能够对人体部件之间的遮挡关系以及人体部件与背景之间的遮挡关系进行建模。

S122：基于人体各部件之间带有环路的连接关系，利用人体部件局部表观模型，采用结构化支持向量机，在上述人体部件全局构型样本集上采用对偶坐标下降法，训练得到存在约束关系的任意二人体部件之间相对位置对应的权重以及任一人体部件的表观特征权重系数，从而得到遮挡关系图模型。

图5示例性地示出了遮挡关系图模型的示意图。其中，圆圈表示人体的14个关节点部件，各条边表示人体各个部件之间的连接关系。与现有技术(例如：文献四)所述的树型结构模型相比，本发明实施例构建的遮挡关系图模型的连接关系带有环路，也即带环图模型。

下面以一优选实施例的方式来说明得到遮挡关系图模型及其参数的过程。

图结构模型的参数包括存在约束关系的部件i和j之间的相对位置Δij对应的权重γij，以及部件i相应的表观特征权重系数ωi。利用文献九(例如：IoannisTsochantaridis,Thorsten Joachims,Thomas Hofmann and Yasemin Altun(2005),LargeMargin Methods for Structured and Interdependent Output Variables,JMLR,Vol.6,pages 1453-1484)所述的结构化支持向量机，在人体部件全局构型样本集上，采用文献九所述的对偶坐标下降法训练得到结构模型的参数γij和ωi。其中，若部件i的遮挡状态oi取2时，则将ωi置为0，此时部件i被背景遮挡。

本发明实施例构建的遮挡关系图模型既能对遮挡关系进行表达，又具有和树型结构模型相近的推理复杂度。并且，由于深度卷积神经网络是一种有监督的学习算法，遮挡关系图模型是通过训练样本进行有监督的学习而得到的，所以不需要人工干预。

S130：将人体部件局部表观模型和遮挡关系图模型确定为二维图像人体关节点定位模型。

在上述实施例的基础上，本发明实施例还提供一种二维图像人体关节点定位方法。如图6所示，该定位方法可以通过步骤S140至步骤S170来实现。其中：

S140：获取待检测图像。

S150：利用人体部件局部表观模型，提取待检测图像的局部表观特征。

具体地，本步骤可以包括：

S151：将待检测图像划分成局部图像区域。

S152：将各局部图像区域作为人体部件局部表观模型的输入，得到待检测图像的局部表观特征。

下面结合具体实例来说明提取待检测图像的局部表观特征的过程：

将待检测图像划分成局部图像区域，将每个局部图像区域缩放到36×36像素大小，然后将缩放后的图像送入人体部件局部表观模型(即训练得到的深度卷积神经网络)，经过5个卷积层和3个全连接层后得到该局部图像区域像部件i的概率pi。其中，pi越大表示该局部图像区域越像部件i。本实施例得到的概率pi可以作为待检测图像的局部表观特征，以用于后续的处理。

S160：基于待检测图像的局部表观特征，利用遮挡关系图模型，并根据以下公式得到最优人体部件构型：

(xi*,yi*,oi*,ti*)＝argmax(∑γij*Δij+∑ωi*pi)(1)

其中，xi表示部件i的横坐标；yi表示部件i的纵坐标；oi表示部件i的遮挡状态；ti表示部件i的类别；部件j为部件i的父结点部件；Δij表示部件i和j之间的相对位置；γij表示相对位置Δij对应的权重；ωi表示部件i的表观特征权重系数；pi表示部件i的局部表观特征，例如可以为局部图像区域像部件i的概率；i和j取正整数。

通过上述公式(1)可以得到部件i处关节点位置预测值为(xi*,yi*)。(xi*,yi*)即为本实施例定位的部件i处关节点。

S170：将最优人体部件构型中人体部件区域的中心位置确定为人体部件处关节点位置。

尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，或者将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。