一种基于区域深度边缘检测和双目立体匹配的三维重建方法

摘要

一种基于区域深度边缘检测和双目立体匹配的三维重建方法，其实现步骤为：(1)贴有标记点的标定板图像由两台黑白摄像机从两个合适角度拍摄。(2)保持拍摄角度不变，使用相同摄像机同时拍摄目标物的两幅图像；(3)根据摄像机的标定数据进行目标物两幅图像的极线校正；(4)在校正后的两幅图像中每一个像素的邻域内搜索一条封闭的区域深度边缘，构成支持窗口；(5)在构造的窗口内，计算支持像素的归一化互相关系数，得到中心像素的匹配代价；(6)利用具备加速更新制度的置信度传播最优化方法获取视差；(7)通过亚像素估计精确视差；(8)根据摄像机的标定数据和像素的匹配关系计算图像上实际物点的三维坐标，从而重建出物体的三维点云，还原目标的三维信息。

说明书

技术领域

本发明属于双目立体视觉技术领域，涉及到基于立体匹配处理实拍图像的问题，尤其涉及到将边缘检测技术引入立体匹配，并基于深度边缘构造像素的支持窗口，通过置信度传播最优化算法获取像素的匹配关系并重建目标物三维点云模型的方法。

背景技术

基于立体匹配的双目视觉技术是目前三维重建领域中的研究热点，其通过匹配同一目标物从不同角度拍摄的两幅图像，以恢复目标的三维信息。其优势主要在于对硬件配置要求低，安装方便快速，属于对目标物无任何影响的非接触式三维重建。并且，通过2.5D立体视差图，双目重建获取的目标物三维点云模型是精确多目建模(Multi-view Modeling)和构面(Surface Meshing)算法的重要基础。双目立体重建系统一般由三个主要部分构成：摄像机标定、立体匹配、三维点云重构。首先通过左右两个摄像机获取同一目标物的两幅图像，接着基于立体匹配算法计算目标点在两幅图像中的视差，最后基于摄像机标定信息和视差值重建目标物的三维点云。立体匹配是双目系统中最重要的步骤，也是图像处理中的经典问题。

一般情况下，双目立体重建算法针对人脸等特定目标，利用特定目标本身的特征进行立体匹配。这些匹配算法包含有一些特殊的匹配策略或人工步骤，影响了立体重建的鲁棒性和自动化程度；如果对象改变，可能会对算法的效能产生负面影响。重建精度方面，由于双目系统的主要应用采取立体匹配算法，所以导致系统非常依赖像素的可靠视差。立体匹配的三个主要问题是：I)区域遮挡II)低纹理III)不平衡的光照。然而，对于双目系统拍摄的实际图像，这些问题可能更具有挑战性。双目重建中的立体匹配作为被动式的方法，单纯基于目标的两幅图像，没有借助结构光等辅助信息，重建系统受拍摄环境和目标本身的影响较大。实际的环境很难满足静止的光照和平衡的颜色，导致相同场景在双目摄像机拍摄的左右两幅图像中容易形成不同的颜色信息，以及不稳定的阴影和反光区域。并且，实际目标物不规则的形状变化通过摄像机的拍照角度容易造成分布复杂的遮挡区域和大范围的可能视差，进一步增加了匹配的难度。最终这些立体匹配中的问题导致双目系统重建的目标物三维点云的质量不高。

发明内容

技术问题：本发明的目的是提供一种基于区域深度边缘检测和双目立体匹配的三维重建方法，将基于区域深度边缘检测的窗口构造、归一化互相关系数和具备加速更新制度的置信度传播最优化方法良好结合的立体匹配算法，并且应用于双目视觉系统，可以快速准确地重建目标物的三维模型。

技术方案：首先进行摄像机标定，然后从不同角度拍摄目标物的两幅图像，根据标定数据进行极线校正和图像变换，然后在每个像素的固定邻域内利用二阶微分边缘检测算子搜索并构建一条虚拟的封闭深度边缘，形成相应的支持窗口；然后使用支持窗口内的支持像素通过归一化互相关系数计算中心像素之间的匹配代价，并作为全局能量最优化方程的数据项，接着利用置信度传播最优化算法获取视差。之后引入一种基于亚像素估计的视差精确算法修复一些不连续的量化视差值；最后，根据双目摄像机的标定信息和像素视差结果重建目标物的三维点云，获取目标的三维信息。

该三维重建方法依次含有下列步骤：

步骤1)摄像机标定：使用两台水平放置的双目摄像机拍摄贴有标记点的标定板，首先调整双目摄像机的位置使其光轴近似平行，然后从左右两个角度同时拍摄标定板，接着根据标定板图像，分别对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]；

步骤2)目标物图像获取：保持摄像机的拍摄角度不变，拍摄目标物的两幅图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；

步骤3)极线校正及图像变换：基于步骤1)中标定过程得到的摄像机内外参数矩阵，运用极线校正方法分别旋转两幅目标物图像，形成平行的极线，然后根据校正后的极线将目标物的原始图像转换成待匹配图像，使两幅待匹配图像中对应的匹配像素具有相同的纵坐标；

步骤4)基于区域深度边缘检测构造支持窗口：将待匹配图像中每一个像素p的支持窗口的封闭边界看成一类深度跃变像素的集合，利用二阶微分边缘检测算子从像素p开始，向四周搜寻深度跃变像素作为支持窗口的边界点，连接这些边界点，形成一条虚拟的封闭边缘作为窗口的边界，形成像素p的支持窗口W_p；同理，另一幅待匹配图像中每一个像素q的支持窗口W_q可以按同样的方法构造；

步骤5)计算匹配代价，包括以下两个子步骤：

步骤5.1：任取两幅经过极线校正的待匹配图像中的一幅为基准图像，另一幅为配准图像；步骤4)得到基准图像中坐标为(x，y)的任意像素p的支持窗口W_p，以及配准图像中p的对应极线上可能的匹配点q的支持窗口W_q，q点坐标为(x+d，y)，其中d∈[d_min d_max]，d_min为最小视差值，d_max为最大视差值；

步骤5.2：在基准图像中选取大小及形状与支持窗口W_p和W_q的交集窗口一致的窗口在配准图像中选取大小及形状与支持窗口W_p和W_q的交集窗口一致的窗口根据公式

计算支持像素i^l和i^r的归一化互相关系数，作为基准像素p在视差为d时，对应配准像素q的匹配代价，记为Φ(p，d)，I(i^l)和I(i^r)分别为像素i^l和i^r的灰度值；和分别为基准图像和配准图像在交集窗口和内的灰度平均值；

步骤6)置信度传播最优化能量函数：在基准图像中迭代传播置信度消息，可以获得整幅图像的能量最优化，采用加速更新制度将置信度消息从一个像素传递给下一个像素：在每一次迭代t时，分别在左、右、上和下四个方向上传播消息，并且沿着一个像素先前接受消息的方向，立即更新该像素的置信度消息；消息传播结束后，计算此时每一个像素p的置信度，选取具有最大置信度的视差值为该像素的视差d_p；

步骤6.1：计算像素的平滑代价

平滑代价Ψ(s，p)决定了相邻像素p和s对于置信度消息传播的支持度，首先使用公式

计算每个像素p和它的右相邻像素和下相邻像素之间的平滑代价Ψ(p，s)，其中，ΔI_ps为像素p和s之间的灰度差值，由ΔI_ps＝|I(s)-I(p)|计算，I(s)和I(p)分别为像素s和p的灰度值；L是一个静态阈值，u和P是平滑补偿项，都为静态常数；d_s为此时像素s的视差值，d为像素p的待匹配视差值；

步骤6.2：计算像素的置信度消息

在第t次迭代传播置信度消息时，像素s传递给相邻像素p的消息记为包括了像素s的匹配代价Φ(s，d_s)，平滑代价Ψ(s，p)，以及像素s的4邻域中(不包括p)的三个像素在第t-1次迭代时接受的消息：

其中，Φ(s，d_s)为像素s在配准图像中的待匹配像素对应于视差值d_s的匹配代价，由步骤5)得到；Ψ(s，p)＝Ψ(p，s)为平滑代价；N(s)\p表示s的相邻像素但不包括p；

步骤6.3：计算像素的置信度并获取视差

按照消息的加速更新制度，从基准图像的最右像素开始，依次将每一个像素的消息传播给相邻左像素；再从最左像素开始，依次将每一个像素的消息传播给相邻右像素；按此规则再经过下和上两个方向的传播，即完成整幅图像的置信度消息的1次迭代更新；T次迭代更新后，像素p的置信度b_p(d)由

计算，Φ(p，d)为像素p的匹配代价，由步骤5得到，为此时相邻像素s传递给像素p的置信度消息，接着计算视差范围内所有视差d∈[d_min d_max]对应的置信度，d_min为最小视差值，d_max为最大视差值，选取具有最大置信度的视差值为像素p的视差d_p，由计算得到；

步骤7)视差精确：利用亚像素估计

将步骤6)得到的整数视差值转化为小数形式，并获取更精确的亚像素视差Dispartiy(p)，作为像素p的最终视差值，其中，三个离散视差值d_p，d_p+1，d_p-1由步骤6得到，Φ(p，d_p)、Φ(p，d_p+1)和Φ(p，d_p-1)为步骤5得到的匹配代价；

步骤8)重建目标物的三维点云：P_L为目标点P在基准图像中对应的像素，P_R为目标点P在配准图像中对应的匹配像素，P_L的坐标为(x_L，y_L)，P_R的坐标为(x_R，y_R)，通过x_R＝x_L+Disparity(P_L)和y_R＝y_L得到，Disparity(P_L)为步骤7)得到的像素P_L的最终视差值，然后根据步骤1)得到的摄像机内外参数矩阵和像素匹配对(P_L，P_R)计算目标点P的三维坐标；计算所有目标点的三维坐标，进而得到整个目标物的三维点云模型和三维信息。

其中，步骤4)的基于区域深度边缘检测构造支持窗口包括以下三个子步骤，

步骤4.1：对经过极线校正后的两幅待匹配图像进行中值滤波，改善图像质量，降低噪声对边缘检测算子性能的影响；

步骤4.2：搜索支持窗口八个方向上的顶点

在两幅待匹配图像中，从每一个像素p的水平方向出发，依次逆时针旋转45°可以得到支持窗口的8个顶点方向。在每一个顶点方向k(k＝0，1，2...7)上通过二阶微分算子

从中心点p开始搜索该方向上的区域深度边缘点h(θ_k)，其中，为像素(p+h_i+1)在方向k上的二阶灰度微分值，I(p+h_i+1)、I(p+h_i-1)和I(p+h_i)分别为像素(p+h_i+1)、(p+h_i-1)和(p+h_i)的灰度值，h_i∈{1，2，3...}_k，θ_k(k＝0，1，2...7)为支持窗口的八个顶点方向，当满足式时，h(θ_k)＝h_i，并作为方向k上支持窗口的顶点；

步骤4.3：连接像素p八个方向上步长为h(θ_k)的顶点，形成p点的区域深度边缘，选取其包围的区域为相应的支持窗口W_p。

有益效果：与现有技术相比，本发明具有下面的优点：基于区域深度边缘检测构造的支持窗口基于假设：邻域内相似深度的像素具有相似的视差，利用区域内深度信息的变化约束窗口的大小及形状，包含与中心像素具有相似深度的支持像素。同时结合归一化互相关系数计算方法，可以有效克服实际环境中不平衡的光照对三维重建系统的影响，获得稳定的匹配代价，并且适用于后续的能量最优化算法。具备加速更新制度的置信度传播最优化算法充分利用整幅图像所有像素的纹理信息来寻找最优解，以最小化能量函数，修复遮挡像素的匹配信息，减小了匹配不确定性和误差。基于亚像素估计的视差精确方法可以将整数形式的视差值转化为更为精确的小数，获得更平滑的目标物三维点云。本发明充分结合了边缘检测技术、基于深度信息的视差计算和置信度传播最优化算法的优点，克服了现有立体匹配技术应用在实际三维重建系统时遇到的主要问题，保证重建准确度的同时，提高了重建过程的运算速度和自动化程度。

附图说明

图1本发明完整流程图。

图2系统模型及原理示意图。

图3极线校正示意图。

图4区域深度边缘检测的原理图。

图5像素的支持窗口示意图。

图6置信度传播最优化算法的加速更新制度示意图。

图7由匹配关系和标定数据计算图像上物点的空间三维坐标示意图。

具体实施方式

下面参照附图，对本发明具体实施方案做更为详细的描述。编程实现工具选用Visual C++2003.net和OpenCV图像处理函数库，室内环境中选用低纹理的人脸和光照不平衡明显的西瓜作为三维重建目标。

图1为本发明的完整流程图。

图2为本发明的系统模型及原理示意图。使用两个CCD摄像机分别从两个不同角度同时各拍摄一幅目标图像，O_L、O_R分别为两台摄像机的光心，I_L、I_R分别为两台摄像机的成像平面，P为待重构的目标物上的一个空间物点，P_L，P_R为物点P分别在两台摄像机成像平面上所成的像点。这种由同一空间物点在不同摄像机成像平面上所成的像点为一对匹配点。任取其中一幅为基准图像，另一幅为配准图像，为基准图像中的每个像素在配准图像中搜索对应的匹配点的过程称为立体匹配。得到像素的匹配关系后，根据系统模型，结合标定得到的摄像机内外参数，进行逆向运算，就可以得到对应物点的空间三维坐标，从而实现图像的三维重建。

图4是区域深度边缘检测技术的原理图，坐标中心为每一个支持窗口的中心像素，纵坐标为像素深度，横坐标为邻域内像素与中心的空间距离。图像边缘是颜色信息出现跃变的像素的集合，它们不仅出现在目标之间，还出现在像素之间。而每个像素的支持窗口的封闭边界可以看成这类跃变像素的集合。这些窗口边界像素的颜色信息在与中心像素具有相似深度和不相似深度的像素之间出现跃变。区域深度边缘检测技术利用边缘检测算子从每个像素开始，向四周搜寻深度跃变像素作为该像素的支持窗口的边界点，在图4中标记为“·”。连接这些边界点，形成一条虚拟的封闭边缘，将该像素的固定邻域分割为外围区域和中心区域，然后选择中心区域作为支持窗口，并使用其中的像素计算匹配代价。因此，如图5(a)(b)，每一个像素的固定邻域U被构造的区域深度边缘分割为两个目标：作为支持窗口的中心区域W和外围区域W-U。边缘检测算子主要包括一阶和二阶微分算子。当进行深度跃变像素检测时，基于一阶微分边缘算子的窗口建立只需要寻找具有最大微分值的像素作为支持窗口的边界点；而二阶微分边缘算子只需要寻找二阶微分过零点作为支持窗口的边界点。

图5是像素的支持窗口示意图。如图5(a)所示，p为基准图像中一个像素，W_p为以p为中心像素的基于深度边缘检测构造的一个支持窗口区域；图5(b)为配准图像中的支持窗口，虚线框内区域为基准像素p对应的匹配点的视差范围即搜索范围，p的匹配点落在这个范围内，q为搜索范围中的一个像素，W_q为以q为中心像素的支持窗口区域，图5(c)中虚线区域为基准图像中大小及形状与支持窗口W_p和W_q的交集窗口一致的窗口；图5(d)中虚线区域为配准图像中大小及形状与支持窗口W_p和W_q的交集窗口一致的窗口。基准图像中像素p和配准图像中与其视差距离为d的像素q的匹配代价Φ(p，d)定义为：

$\Phi (p,d)=\frac{\underset{i^l\in \overline{W_p}{,i}^r\in \overline{W_q}}{\Sigma }|I\left(i^l\right)-\overline{I^l}|\times |I\left(i^r\right)-\overline{I^r}|}{\sqrt{{\underset{i^l\in \overline{W_p}}{\Sigma }{(I\left(i^l\right)-\overline{I^l})}^2\times \underset{i^r\in \overline{W_q}}{\Sigma }(I\left(i^r\right)-\overline{I^r})}^2}}---\left(1\right)$

其中，I(i^l)和I(i^r)分别为像素i^l和i^r的灰度值；和分别为基准图像和配准图像在交集窗口和内的灰度平均值。

本发明的方法具体包括以下几个步骤：

步骤1：摄像机标定

使用两台水平放置的双目摄像机拍摄贴有标记点的标定板，首先调整双目摄像机的位置，使其光轴基本平行以及左右镜处于合适的拍摄角度，然后从两个角度同时拍摄标定板。本发明中采用参考文献“A Flexible New Technique for CameraCalibration”(Zhang Z Y，IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，20(11)：1330-1334)中提出的一种称为平面模板法的标定算法分别根据标定板图像对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]。

步骤2：目标物图像获取

保持摄像机的拍摄角度不变，拍摄目标物的两幅图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；

步骤3：极线校正及图像变换

图3是极线校正示意图。根据极线约束原理，左图中某像素在右图上的匹配像素位于该像素对应的一条极线上。而在实际的双目重建系统中，由于两个摄像机并不能保证绝对的平行拍摄，需要引入参考文献“A compact algorithm for rectification ofstereo pairs.Machine Vision and Applications”(Fusiello A，Trucco E，Verri A.2000，12(1)：16-22)中提出的极线校正算法，根据步骤1标定过程得到的摄像机内外参数，通过合适的旋转，在两幅图像中形成平行的极线，然后根据校正过的极线转换原始图像，最终形成目标物的待匹配图像。两幅待匹配图像中对应的匹配像素具有相同的纵坐标，从而将立体匹配的搜索过程从二维降到了一维，提高了后续步骤的运算效率和精度。

步骤4：根据区域深度边缘检测技术构造支持窗口，包括以下三个子步骤

步骤4.1：对两幅待匹配图像进行中值滤波，改善图像质量，降低噪声对边缘检测算子的影响。

步骤4.2：搜索支持窗口八个方向上的顶点

在经过步骤3极线校正后得到的待匹配图像中，从每一个像素p的水平方向出发，按图5所示，依次逆时针旋转45°可以得到支持窗口的8个顶点方向。在每一个顶点方向k(k＝0，1，2...7)上通过二阶微分算子从中心点p开始搜索该方向上的区域深度边缘点h(θ_k)，其中，为像素(p+h_i+1)在方向k上的二阶灰度微分值，I(p+h_i+1)、I(p+h_i-1)和I(p+h_i)分别为像素(p+h_i+1)、(p+h_i-1)和(p+h_i)的灰度值，h_i∈{1，2，3...}_k，θ_k(k＝0，1，2...7)为支持窗口的八个顶点方向，按当满足式时，h(θ_k)＝h_i，并作为方向k上支持窗口的顶点。

步骤4.3：连接像素p八个方向上步长为h(θ_k)的顶点，形成p的区域深度边缘，将其固定邻域分割为中心区域和外围区域。选取中心区域为相应的支持窗口W_p。接着按同样的方法得到另一幅待匹配图像中像素q的支持窗口W_q。

步骤5：计算匹配代价，包括以下两个子步骤：

步骤5.1：任取两幅经过极线校正的图像中一幅为基准图像，另一幅为配准图像。经过步骤4.3的计算，可以得到基准图像中坐标为(x，y)的任意像素p的支持窗口为W_p，以及配准图像中视差范围D内可能的匹配点q的支持窗口W_q；其中，q点坐标为(x+d，y)，d∈D，D＝[d_min d_max]，d_min为最小视差值，d_max为最大视差值。

步骤5.2：选取大小及形状与W_p和W_q的交集窗口一致的窗口，按公式(1)计算其中支持像素的归一化互相关系数，作为像素p视差为d时的匹配代价，记为Φ(p，d)。

步骤6：置信度传播最优化能量函数

置信度传播最优化算法在马尔可夫场四邻域系统中迭代传播置信度消息。算法核心是在第t次迭代时从一个像素s传播到下一个像素p的消息，记为以合适的方式迭代更新。加速更新制度决定何时将消息再传递给下一个像素。如图6所示，在每一次迭代t时，该制度分别在左、右、上和下四个方向上传播消息，并且沿着一个像素先前接受消息的方向，立即更新该像素。这种更新制度的优势在于可以快速进行置信度传播最优化算法的迭代过程，每一次迭代都需要按照图6的顺序，更新图像中所有像素的消息。像素s在t次迭代时传递给像素p的消息包括了像素s的匹配代价Φ(s，d)，平滑代价Ψ(s，p)，以及像素s的4邻域中(不包括p)的三个像素在t-1次迭代时接受的消息。

步骤6.1：计算像素的平滑代价

平滑代价Ψ(s，p)决定了相邻像素p和s对于消息传播的支持度，限制了颜色信息不连续的像素之间的消息传递。由于Ψ(s，p)＝Ψ(p，s)，并且在消息传递过程中，平滑代价保持恒定，所以首先计算每个像素s和它的右相邻像素和下相邻像素之间的平滑代价。使用计算Ψ(s，p)。其中，ΔI_sp为像素p和s之间的灰度差值，由ΔI_sp＝|I(s)-I(p)|计算，I(s)和I(p)分别为像素s和p的灰度值；L是一个静态阈值，u和P是平滑补偿项，都为静态常数；d_s为此时像素s的视差值，d为像素p的待匹配视差值。

步骤6.2：计算像素的置信度消息

t次迭代时，像素s传递给像素p的置信度消息为：其中，Φ(s，d_s)为像素s在另一幅图像中的待匹配像素对应于视差d_s的匹配代价，由步骤5得到；Ψ(s，p)为平滑代价；N(s)\p表示s的相邻像素但不包括p。

步骤6.3：计算像素的置信度并获取视差

按图6的加速更新制度，依次将每一个像素的消息传播给下一个像素。经过整幅图像的T次迭代后，像素p的置信度b_p(d)由计算，Φ(p，d)为像素p的匹配代价，由步骤5得到；为此时相邻像素s传递给像素p的置信度消息。接着计算视差范围内所有视差d∈[d_min d_max]对应的置信度，d_min为最小视差值，d_max为最大视差值，像素p的视差值d_p要求选择最大后验估计量，以最大化马尔可夫随机场的联合概率，由计算。

步骤7：视差精确

基于亚像素估计的视差精确可以将步骤6得到的整数视差值转化为更精确的小数，减少立体匹配的视差量化误差，保护了目标物的三维信息。步骤6之后，基准图像中每个像素p的三个离散视差值d_p，d_p+1，d_p-1可以立即得到。通过亚像素估计可以获取小数形式的亚像素视差Dispartiy(p)，作为基准像素p的最终视差值。其中，三个离散视差值d_p，d_p+1，d_p-1由步骤6得到，Φ(p，d_p)、Φ(p，d_p+1)和Φ(p，d_p-1)为步骤5得到的像素p的匹配代价。

步骤8：三维信息还原

根据步骤7得到的像素视差Dispartiy(p)，基准图像和配准图像中的匹配对(P_L，P_R)可以通过x_R＝x_L+Disparity(P_L)，y_R＝y_L得到，P_L的坐标为(x_L，y_L)，P_R的坐标为(x_R，y_R)。接着根据步骤1得到的摄像机内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]，以及像素匹配对(P_L，P_R)，通过空间交汇法就可以计算出目标点的三维坐标。图7是空间交汇法的示意图，O_L、O_R分别为两台摄像机的光心，S_L、S_R分别为两台摄像机的成像平面，P_L、P_R为两台摄像机所拍摄图像中的一对匹配点。空间中物点三维坐标和成像平面上像素坐标之间有下面的关系：

$Z_i\left(\begin{array}{c}{u}_i\\ v\\ 1\end{array}\right)=A\left(\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right),i=\mathrm{1,2}---\left(2\right)$

其中，(u，v)表示空间物点在成像平面上所成的像素的坐标，(X_w，Y_w，Z_w)表示目标点P的空间坐标，Z₁、Z₂分别为两个摄像机的光轴。目标点P分别与摄像机光心O_L、O_R所成的直线O_LP，O_RP在成像平面上的交点就是其在图像平面的投影P_L(u₁，v)，P_R(u₂，v)。根据公式(2)可得到直线O_LP_L，O_RP_R的方程，其交点就是P点的世界坐标。在实际计算过程中，直线O_LP_L和O_RP_R可能不会正好相交，此时需要选取图7中异面直线的公垂线中点作为目标点。