基于二阶锥规划的变形体三维跟踪方法

摘要

本发明涉及一种计算机视觉技术领域的基于二阶锥规划的变形体三维跟踪方法。步骤为：①采集变形体未发生形变的正视图，构建三角片网格模型；②三维跟踪过程中，采集当前帧变形体目标图像，提取图像特征点并与三角片网格模型进行匹配，将得到的特征点对应匹配表示为一组二阶锥约束；③约束三角片网格模型中每一条边保持其原始长度不变，将此形状约束描述为一个二阶锥约束序列；④将②③结果合并为一个二阶锥规划序列，通过迭代求解此序列二阶锥规划问题重建目标的三维空间结构，并输出结果。本发明在目标发生平滑形变，折叠形变和其他复杂形变时均能正确重建变形体的三维空间结构，同时其在二维图像上的重投影能很好的拟合原图像。

说明书

技术领域

本发明涉及一种计算机图像处理技术领域的目标跟踪方法，具体是一种基于二阶锥规划的变形体三维跟踪方法。

背景技术

在单目图像序列中对目标进行跟踪并重建其三维空间结构是计算机视觉的重要研究方向之一，其在视觉伺服、增强现实、物体识别等方面有着广泛的应用。当目标物体是刚性物体时，已有比较成熟的方法对其进行三维跟踪。但在真实场景中，大多数物体会随时间改变其形状，现有方法尚无法对这类变形体进行有效的三维跟踪。

经对现有技术的文献检索发现，J.Xiao等于2006年在《InternationalJournal of Computer Vision》(计算机视觉国际期刊)上发表的论文“A closed-formsolution to non-rigid shape and motion recovery”(一种非刚体形状与运动恢复的闭式解法)提出将非刚体结构表示为一组形状基的线性组合，并使用两步因式分解算法重建非刚体的三维结构。该方法通过闭式解求解结构和运动，使得该问题有一个解析解，但该方法需要将整个图像序列作为一个整体进行运算，不适合在序列中对变形体进行跟踪。M.Salzmann等于2007年在《2007 InternationalConference on Computer Vision》(2007年计算机视觉国际会议)上发表的论文“Convex opt imization for deformable surface 3D tracking”(使用凸优化进行变形体平面三维跟踪)提出将变形体表示为一个三维三角片空间网格，同时将三维到二维的特征点对应表示为凸规划约束，同时限制两帧间三角片网格顶点不可变化过大，从而将三维跟踪问题表示为一个凸优化问题并通过规划算法有效解出。该方法保证了问题在可行域内只有一个全局最优解，但该方法并不能真实反映三角片网格的真实形变性质。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于二阶锥规划的变形体三维跟踪方法，使其能够高效准确的在每一帧中重建出变形体目标的三维空间结构，从而达到在序列中对其进行三维跟踪的目的。

本发明是通过以下技术方案实现的，包括以下步骤：

步骤一、采集一幅变形体目标未发生形变的正视图，通过图像中目标表面的纹理模版构建变形体三角片网格模型，并存储模型参数；

步骤二、在三维跟踪过程中的每一时刻，采集一幅当前帧变形体目标图像，提取图像特征点并与存储的三角片网格模型参数进行匹配，将得到的特征点对应匹配表示为一组二阶锥约束，并存储此特征点对应约束参数；

步骤三、约束三角片网格模型中每一条边保持其原始长度不变，将此形状约束描述为一个二阶锥约束序列，并存储此模型形状约束参数；

步骤四、取出特征点对应约束和模型形状约束参数，将其合并为一个二阶锥规划序列，以上一帧跟踪结果为初值，通过迭代求解此序列二阶锥规划问题重建目标的三维空间结构，并输出当前帧变形体目标的三维跟踪结果。

所述步骤一，具体为：在跟踪开始前，采集一幅变形体目标未发生形变的正视图，并建立变形体目标的模型。本发明使用三角片网格构建变形体模型，此三角片网格覆盖整个变形体表面，其上的三角片数量根据变形体形变程度确定，形变复杂则三角片数量多，反之则少。确定三角片网格之后，通过变形体目标的表面纹理模版提取变形体表面的特征点，并将这些特征点的三维空间位置用其所在的三角片三个顶点的线性组合表示。之后使用灰度直方图描述并记录每个特征点所在小区域的灰度特征，最后存储构建的模型参数。

所述步骤二，具体为：在三维跟踪过程中，在每一时刻采集一幅当前帧变形体目标图像。首先检测图像中具有仿射不变性的特征点，并使用灰度直方图与模型特征点进行匹配。对于匹配成功的特征点，使用摄像机投影矩阵将模型上的三维特征点投影到当前帧图像上。由于图像噪声的影响，投影点与二维图像特征点不完全重合。通过使用无穷大误差范数，将投影点与二维图像特征点间的重投影误差表示为一组二阶锥约束，并存储此特征点对应约束参数。

所述步骤三，具体为：约束模型中每一个三角片的每一条边保持其原始长度，此约束为二阶等式约束，通过舍去此等式约束中的二阶小项，将此二阶等式约束转化为一序列二阶锥约束，并存储此模型形状约束参数。

所述步骤四，具体为：取出特征点对应约束参数和模型形状约束参数，将其合并为一个二阶锥规划序列，从而将当前帧中的三维跟踪问题表示为一个序列二阶锥规划问题。以上一帧跟踪结果为初值，迭代求解此二阶锥规划问题直至在步骤三中舍去的二阶小项趋近于零，此时最终求解的结果即为当前时刻变形体目标的三维空间结构。由于步骤一中特征点匹配时可能出现误匹配，将导致迭代求解过程中可能出现某次迭代无解的情况，此时应舍弃当前重投影误差最大的特征点，并重新求解此二阶锥规划问题直至有解。最后输出当前帧变形体目标的三维跟踪结果。

与现有技术相比，本发明简单有效，可以对图像序列中的变形体目标进行有效的三维跟踪。它的关键在于将三角片网格模型与图像的特征点对应约束，以及模型中每一条边的长度约束表示为一组二阶锥约束，从而将三维跟踪问题描述为一个序列二阶锥规划问题。由于二阶锥规划问题只有一个全局最优解，且可以高效准确的解出，使得本发明方法能够准确有效的对场景中任意复杂的变形体目标进行三维跟踪。本发明特别适合视觉伺服系统和增强显示系统中，同时也可以应用于非刚体物体识别，变形体行为理解等领域。

附图说明

图1为本发明实施例系统结构图。

图2为本发明实施例某一帧变形体图像。

图3为本发明实施例变形体表面纹理模版。

图4为本发明实施例变形体三角片网格模型及其上一特征点。

图5为本发明实施例一帧图像上某一特征点V及其所对应的模型特征点在图像上的投影U。

图6为本发明实施例一个发生形变的三角片网格及其上一个三角片；

其中：左图名称为一个发生形变的三角片网格，右图名称为此三角片网格上一个三角片。

图7为本发明实施例变形体三维跟踪结果；

其中：第一列从上到下每张图像名称分别为变形体1折叠形变图像，变形体1折叠形变图像叠加重投影网格，变形体1三维空间结构；第二列从上到下每张图像名称分别为变形体2复杂形变图像，变形体2复杂形变图像叠加重投影网格，变形体2三维空间结构；第三列从上到下每张图像名称分别为变形体2平滑形变图像，变形体2平滑形变图像叠加重投影网格，变形体2三维空间结构；第四列从上到下每张图像名称分别为变形体2折叠形变图像，变形体2折叠形变图像叠加重投影网格，变形体2三维空间结构。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本实施例结构图如图1所示。图1中，虚线左边为跟踪前已知的内容，包括通过变形体纹理模版构建的三角片网格模型，通过标定算法求出的摄像机内参数矩阵，以及摄像机在每一时刻采集的图像。虚线右边为待求解内容，即变形体的三维空间结构。

本实施例的具体实施过程如下：

1.首先采集一幅变形体目标未发生形变的正视图，通过图像中目标表面的纹理模版构建变形体三角片网格模型，并存储模型参数。对于图2所示的变形体目标，其未变形的表面纹理模版如图3所示。根据此模版，可以建立变形体目标的三角片网格模型，此三角片网格覆盖整个变形体表面，此实施例中网格为矩形，大小为9×6，如图4所示。在确定三角片网格结构之后，提取纹理模版中具有仿射不变性的特征点。每一个特征点必然位于网格中某一三角片上，其位置用其所在的三角片三个顶点的线性组合表示。如图4所示，某一特征点Pi，其所在的三角片三个顶点分别为Vp、Vq、Vr，故将Pi表示为Vp、Vq、Vr的线性组合：P_i＝aVp+bVq+cVr。之后对于每一特征点，记录以其为中心的16×16像素区域的灰度直方图作为其特征描述子。对于每一个特征点，均得到一组线性组合参数及其特征描述子，将这些线性组合参数和描述子结合在一起即构成了此变形体目标的网格模型，并将模型参数储存于数据库中。

2.模型构建完毕之后，在三维跟踪过程中的每一时刻，采集一幅当前帧变形体目标图像，提取其中具有仿射不变性的特征点，并使用灰度直方图与模型特征点进行匹配。对于匹配成功的每一组特征点，使用摄像机投影矩阵将模型三维特征点投影到当前图像上。如图5所示，V为图像特征点，U为模型特征点在图像上的投影，由于图像噪声，U和V不完全重合。通过使用无穷大误差范数，将U和V之间的图像距离表示为一个二阶锥约束。对于每一组匹配点，都可以得到一个类似的二阶锥约束，将所有N组匹配点组合在一起可以得到一组二阶锥约束，这一组约束表示了特征点对应约束。最后将特征点对应约束参数存储在数据库中。

3.本实施例约束模型中每一个三角片的每一条边保持其原始长度。如图6所示，图6左图为一形变的三角片网格，图6右图为此网格上一个三角片VpVqVr，形状约束限制边VpVq、VqVr、VrVp始终保持其原始长度不变。此类约束为二阶等式约束，通过舍去此等式约束中的二阶小项，将此二阶等式约束转化为一个二阶锥约束序列，这一序列表示了网格形状约束。最后将模型形状约束参数存储在数据库中。

4.对于每一帧采集到的图像，从数据库中取出其特征点对应约束参数和模型形状约束参数，将其合并为一个二阶锥规划序列，以上一帧跟踪结果为初值，迭代求解此二阶锥规划问题直至在形状约束中舍去的二阶小项趋近于零，此时最终求解的结果即为当前时刻变形体目标的三维空间结构。当特征点匹配出现误匹配时，此迭代求解过程中可能出现某次迭代无解的情况，此时应舍弃当前重投影误差最大的特征点，并重新求解此二阶锥规划问题直至有解。最后输出当前帧变形体目标的三维跟踪结果。

本实施例结果如图7所示，图7中第一列和第二列为变形体1发生两种不同形变时的重建结果，图7中第三列和第四列为变形体2发生两种不同形变时的重建结果。变形体1的纹理表面为一卡通图案，变形体2的纹理表面为一书法图案。在图7每一列中，从上至下分别为变形体目标原始图像，变形体目标图像叠加重投影网格，重建的变形体三维空间结构。

由结果可见，本实施例在变形体目标发生平滑形变，折叠形变和其他复杂形变时均能够正确重建变形体的三维空间结构，同时其在二维图像上的重投影能够很好的拟合原图像。