一种基于能量优化的大熊猫三维模型重建方法

摘要

本发明提供了一种基于能量优化的大熊猫三维模型重建方法，属于三维重建领域。输入一张大熊猫二维图像；获取大熊猫二维关键点和图像轮廓分割，设置关键点与三维模型顶点的对应关系；利用先验信息大熊猫SMAL模型，通过更新形状和姿态参数来控制大熊猫三维模型的形变；对形变模型进行透视投影获取投影关键点及投影区域，构建总能量优化函数；将能量优化函数最小化，迭代更新形状参数和姿态参数；将参数与SMAL模型结合可以得到最终大熊猫三维重建的结果。本方法利用能量优化的方式结合大熊猫SMAL模型这一先验信息，可直接从二维图像中重建出大熊猫的三维模型，填补了大熊猫三维重建领域的空白。

说明书

技术领域

本发明属于三维重建领域，尤其涉及一种基于能量优化的大熊猫三维模型重建方法。

背景技术

三维重建作为计算机视觉领域热门的研究方向，已广泛应用于自动驾驶、数字考古、医学三维成像等领域，近年来，三维重建越来越多的被应用在动物形态学研究中，但由于动物具有非刚性，易形变的特性，导致三维重建难度较大。大熊猫作为中国的国宝，国家一级保护动物，我国在很多地方都开设了大熊猫研究基地用于对大熊猫的研究与保护，但是大熊猫的三维重建目前是相对空白的领域。通过对大熊猫三维重建技术的深入研究，可以真实、完整地反映出大熊猫的空间形态结构，将大熊猫模型以最直观的形式传播展示，还能够将大熊猫体尺测量方式由接触式改为非接触式，降低成本节约资源的同时提高效率，完成包括大熊猫体高、体长、胸围等的测量，更清楚地了解大熊猫的发育状况，比如高矮胖瘦、体重增减、体长增减等，从而进一步分析大熊猫的生活环境和健康状况，最终更好地保护大熊猫物种，提高大熊猫的保护水平。同时，通过快速三维重建和三维展示等，以灵活多样的形式，使人们对大熊猫有更加直观、全面的了解与认识，通过更具有趣味性的交互方式，进一步增强民众的动物保护意识。

目前而言，三维重建的方案可分为主动式和被动式两种：主动式三维重建方式主要包括结构光法和激光扫描法。而其中结构光法的数据获取需要主要投射结构光，当前业界较为出名的结构光产品为以色列的PrimeSense公司的Kinect。虽然它的重建精度较高，可达到毫米级，推理运算速度快。但是主动式三维重建方式往往具有成本高，操作繁琐等问题，并且对于大熊猫这种极为珍贵的动物，采用3D激光扫描等主动式三维重建是较为困难和不切实际的。被动式三维重建方式只使用摄像机采集三维场景得到其投影的二维图像，根据图像信息来实现三维重建。该方式不需要采用较为专业的设备，仅仅使用二维图像便可以对目标物体进行三维重建。在被动式三维重建中，针对目标物体为动物的情况，2017年由Silvia Zuffi等人提出的蒙皮多动物线性模型(Skinned Multi-Animal Linear model，SMAL)将动物三维模型抽象成参数进行表达。SMAL模型是一个参数化的动物三维模型，将形状参数、姿态参数以及平移参数作为输入即可完成三维模型的形变。

目前尚未有人或团队对大熊猫的三维重建进行研究，而在实际的大熊猫科研领域，对大熊猫进行三维重建是十分迫切的需求。大熊猫的常见数据形式为二维图像，同时结合目前动物三维重建的研究现状来看，从图像或者视频帧中学习三维模型是实现动物三维重建中比较简单且效果显著的研究方式。因此采用图像对大熊猫进行三维重建是目前大熊猫三维重建领域的首选方案。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于能量优化的大熊猫三维模型重建方法，结合大熊猫SMAL模型这一先验信息，从二维图像中重建出大熊猫的三维模型，从而填补了大熊猫三维重建领域的空白。

为了达到以上目的，本发明采用的技术方案为：

本方案提供了一种基于能量优化的大熊猫三维模型重建方法，包括以下步骤：

S1、输入大熊猫二维图像以及大熊猫参数化三维模型SMAL；

S2、提取大熊猫二维图像的关键点和轮廓剪影分割图，并设置所述关键点与大熊猫参数化三维模型SMAL顶点的对应关系；

S3、更新大熊猫参数化三维模型SMAL的形状参数、姿态参数以及平移参数，得到新的大熊猫三维模型，并将新的大熊猫三维模型进行透视投影获取对应的投影关键点和投影区域；

S4、将投影关键点与大熊猫二维图像的关键点进行匹配，以及将轮廓剪影分割图与投影区域进行匹配，并根据两个匹配结果及对应关系构建能量优化函数；

S5、判断能量优化函数是否小于阈值，若是，则进入步骤S6，否则，采用梯度下降法最小化能量优化函数，并返回步骤S3；

S6、输出估计的形状参数、姿态参数以及平移参数，并将形状参数、姿态参数以及平移参数与大熊猫参数化三维模型SMAL相结合，重建形变后的大熊猫三维模型。

进一步地，所述步骤S2中，令大熊猫N个二维图像的集合为{I(i)}，令其对应的轮廓剪影分割图集合为{S(i)}，令SMAL模型的网格顶点集合为{v(β(i),r(i),t(i))}，其中i∈(1,N)，形状参数β(i)∈R

再进一步地，所述步骤S3中，使用透视投影为相机建模，令相机模型的集合为

再进一步地，所述步骤S4中能量优化函数包括关键点重投影最小化函数、轮廓重投影最小化函数、相机参数惩罚项、形状惩罚项以及姿态惩罚项。

再进一步地，所述能量优化函数的表达式如下：

E(β,r,t)＝E

其中，E(·)表示能量优化函数，E

再进一步地，所述关键点重投影最小化函数的表达式如下：

所述关键点重投影最小化函数的表达式如下：

其中，E

再进一步地，所述轮廓重投影最小化函数的表达式如下：

其中，E

再进一步地，所述形状惩罚项和姿态惩罚项分别为姿势和形状与先验分布的马氏距离的平方。所述相机参数惩罚项设置f

本发明的有益效果：

(1)本方法利用能量优化的方式，结合大熊猫SMAL模型这一先验信息，可直接从二维图像中重建出大熊猫的三维模型，填补了大熊猫三维重建领域的空白，能够将大熊猫体尺测量方式由接触式改为非接触式，降低成本节约资源的同时提高效率，同时，通过快速三维重建和三维展示等，以灵活多样的形式，使人们对大熊猫有更加直观、全面的了解与认识，更具有趣味性，为进一步对大熊猫进行研究与保护起到了一定的作用。

(2)相比较于传统的主动式获取大熊猫三维数据这种不切实际的方式，本方法只需要通过二维图像便可以重建大熊猫模型，方法简单，重建效率高，适用性强。

(3)本发明通过关键点重投影最小化函数，将形变后三维模型透视投影得到的关键点与目标图像正确标注的关键点进行匹配，尽可能保证重建的三维模型投影与当前图像具有相似的外观特点。

(4)本发明通过轮廓重投影函数可以将大熊猫的形状轮廓控制在一定的合理范围内，保证大熊猫三维模型中的所有顶点经过透视。

(5)在实际生活中，因为数码相机传感器的缺陷、相机校准的误差以及相机透镜导致的失真等问题，焦距参数f

(6)本发明通过形状惩罚项和姿态惩罚项，将能量优化过程中的形状参数和姿态参数限制在合理范围内。

附图说明

图1为本发明的方法流程图。

图2为本发明中二维图像大熊猫关键点示意图。

图3为本发明中二维图像大熊猫轮廓分割示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例

大熊猫可见于我国四川、甘肃和陕西部分地区。其体长大约在1.5m到1.8m之间，尾长在12cm到15cm之间，体重在80kg到125kg之间，是中国古老、稀有、珍贵的特产动物。对大熊猫三维重建算法的研究，可以真实地反映出大熊猫的空间形态结构，将大熊猫模型以最直观的形式传播展示，进一步帮助研究人员对大熊猫进行研究与保护。本发明提供了一种基于能量优化方式的大熊猫三维模型恢复方法，如图1所示，其实现方法如下：

S1、输入大熊猫二维图像以及大熊猫参数化三维模型SMAL；

S2、提取大熊猫二维图像的关键点和轮廓剪影分割图，并设置所述关键点与大熊猫参数化三维模型SMAL顶点的对应关系；

本实施例中，如图2-3所示，手动提取二维图像的关键点和轮廓剪影分割图，设置关键点与大熊猫参数化三维模型SMAL中三维顶点的对应关系。通过二维大熊猫图像进行关键点和轮廓剪影分割图的手动提取的具体方法为：首先将二维图像进行预处理，将图像进行缩放保证图像尺寸不超过480pixel，同时对预处理后的图像进行手动二维关键点K提取以及大熊猫轮廓分割S，其中，涉及到的关键点28个，用于表征大熊猫，如表1所示，表1为二维图像大熊猫关键点示意表，包括4个足部关键点、4个膝部关键点、4个踝关节关键点、2个肩部关键点、左右眼关键点、左右鼻关键点、左右脸颊关键点、2个嘴部关键点、2个左右耳关键点以及尾部前后、颈部、下巴关键点。本实例中，采用的图像大小为480*480pixel。

表1

S3、更新大熊猫参数化三维模型SMAL的形状参数、姿态参数以及平移参数，得到新的大熊猫三维模型，并将新的大熊猫三维模型进行透视投影获取对应的投影关键点和投影区域；

本实施例中，更新大熊猫SMAL模型的形状参数β、姿态参数r以及平移参数t，控制大熊猫SMAL模型形变，得到新的大熊猫三维模型，对形变后的模型进行透视投影获得对应的2D平面投影图，包括关键点及投影区域。

S4、将投影关键点与大熊猫二维图像的关键点进行匹配，以及将轮廓剪影分割图与投影区域进行匹配，并根据两个匹配结果及对应关系构建能量优化函数；

本实施例中，将大熊猫三维模型经过透视投影得到的投影关键点与二维图像标注的关键点进行匹配，保证所有的投影关键点落在分割图的目标区域，来进行图像拟合从而构建出能量优化函数，能量优化函数包括关键点重投影最小化函数E

本实施例中，通过关键点重投影最小化函数E

其中，E

本实施例中，通过轮廓重投影最小化函数可以将大熊猫的形状轮廓控制在一定的合理范围内，保证大熊猫三维模型中的所有顶点经过透视投影得到的投影点都尽可能在轮廓分割图内部。轮廓重投影最小化函数的表达式如下：

其中，E

本实施例中，在实际生活中，因为数码相机传感器的缺陷、相机校准的误差以及相机透镜导致的失真等问题，焦距参数f

本实施例中，形状惩罚项将能量优化过程中的形状参数限制在合理范围内。为了使形状参数的估计符合大熊猫形状参数的先验分布，形状惩罚项使用形状样本中的均值与协方差矩阵，将E

本实施例中，姿态惩罚项使用姿态样本中的均值与协方差矩阵，将E

总能量优化函数为：

E(β,r,t)＝E

其中，E(·)表示能量优化函数，E

S5、判断能量优化函数是否小于阈值，若是，则进入步骤S6，否则，采用梯度下降法最小化能量优化函数，并返回步骤S3；

S6、输出估计的形状参数、姿态参数以及平移参数，并将形状参数、姿态参数以及平移参数与大熊猫参数化三维模型SMAL相结合，重建形变后的大熊猫三维模型。

本发明利用能量优化的方式，结合大熊猫SMAL模型这一先验信息，可直接从二维图像中重建出大熊猫的三维模型，填补了大熊猫三维重建领域的空白，能够将大熊猫体尺测量方式由接触式改为非接触式，降低成本节约资源的同时提高效率，同时，通过快速三维重建和三维展示等，以灵活多样的形式，使人们对大熊猫有更加直观、全面的了解与认识，更具有趣味性，为进一步对大熊猫进行研究与保护起到了一定的作用。