基于成像本质属性的立体颜色校正方法

摘要

本发明公开了一种基于成像本质属性的立体匹配颜色校正方法，包括以下步骤：(1)基于成像本质属性，将立体匹配图像对分别分解为反射层和光照层；(2)利用均值漂移图像分割方法对输入的立体匹配图像对进行区域分割；(3)利用尺度不变特征变换方法提取图像对各自的特征点，并匹配；(4)根据对极几何对SIFT匹配特征点进行筛选；(5)根据SIFT匹配特征点进行图像对一致性的区域对应；(6)根据区域对应关系和图像分层结果，对待校正图像进行校正；(7)将校正后的待校正图像的反射层和光照层进行合并，得到待校正图像的最终校正结果。该方法能够大大提升图像矫正效果，提升立体匹配精度。

说明书

技术领域

本发明涉及计算机立体视觉中面向真实物体的立体匹配及三维建模领域，具体涉及一种基于成像本质属性的立体颜色校正方法。

背景技术

立体匹配的目的是用来获得立体匹配图像的视差图，在很多领域都有所涉及，包括计算机视觉，机器技术，以及图像分析等。大多数的立体匹配方法都是通过计算一个匹配代价来衡量立体匹配图像的相似度的，通常情况下，这个匹配代价的前提假设为两幅图像的对应点有着相近的颜色。然而，在实际情况下，立体匹配图像对应点的颜色可能会受各种因素影响表现得非常不一样，这些因素包括相机设备型号的不同、光照条件的不同等等。尽管在实际的立体匹配研究中已经出现了鲁棒的匹配代价函数来解决这个问题，其中，Mutual Information方法和Census Transform方法已经考虑到了一个确定情况下的颜色差异，但是大多数的方法是不能够解决非常剧烈的颜色差异的，立体匹配的精度因此会大受影响。因此，为了提升立体匹配的精度，颜色校正方法可以被看作立体匹配前的一个预处理过程来消除图像对的颜色差异。

颜色校正方法旨在将参考图像的颜色迁移到待校正图像上，使两幅图像颜色尽量接近。现有的颜色校正方法可以被分为参数化方法和非参数化方法，参数化方法在可扩展性方面优于非参数化方法。通常情况下，参数化方法可以用如下的表达式代表：I_s＝M*I_t；其中，M代表了三通道的映射，I_s和I_t分别代表了待校正图像和参考图像。全局的参数化方法只能从图像的整体场景的角度进行颜色差异的消除，然而实际情况下场景中不同区域可能存在不同的颜色差异。为了解决全局方法的限制性问题，许多考虑局部的方法被提出，这些方法使用了更复杂的映射。局部的方法旨在从两幅图像的对应区域着手去改变颜色，使得待校正图像的某区域的颜色接近于参考图像的对应区域颜色。对于这一类的方法，建立一个精确的区域对应是非常重要的问题。

从成像的本质属性去考虑这个问题，一个像素颜色值代表了成像场景中对应点的所有特征。一幅图像的成像可以由反射图像和光照图像来表示。通常情况下我们假设物体的反射满足朗泊漫反射模型，则同一场景同一点的反射值应当是相同的，图像的颜色差异主要来自于光照层。这时把光照层和反射层分开，直接从光照层进行值的迁移和改变可以达到更好的校正效果。

发明内容

本发明提供了一种基于成像本质属性的立体颜色校正方法，利用该方法对立体匹配前颜色差异的图像进行预处理，能够减小立体匹配图像的颜色差异，提升立体匹配的精度。

一种基于成像本质属性的立体匹配颜色校正方法，具体步骤如下：

(1)基于成像本质属性，将参考图像分为第一反射层和第一光照层，将待校正图像分为第二反射层和第二光照层；

(2)利用均值漂移图像分割方法对待校正图像和将参考图像进行区域分割，通过调整分割中的空间参数，参考图像按照正常粒度进行分割，得到第一分割区域待校正图像按照相对参考图像较小粒度进行分割，得到第二分割区域其中，n为第一分割子区域的个数，m为第二分割子区域的个数，且m小于n；

(3)利用尺度不变特征变换方法提取参考图像与待校正图像各自的特征点，并进行特征点的匹配，得到匹配特征点X^src和匹配特征点X^tgt；

(4)根据对极几何原理对匹配特征点X^src与匹配特征点X^tgt进行筛选，将不满足对极几何约束的匹配特征点X^src与匹配特征点X^tgt剔除，剩下的为鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，对极几何约束公式为：

(X^src)^TFX^tgt＝0

其中，F是根据RANSAC(Random Sample Consensus)方法估计的基础矩阵；

(5)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，将待校正图像和参考图像中一致性的分割区域进行对应，得到区域对应关系；

(6)根据区域对应关系，在第一反射层与第二反射层上，进行待校正图像和参考图像区域之间的加权局部颜色迁移，在第一光照层与第二光照层上，进行待校正图像和参考图像区域之间的加权局部颜色迁移，使得待校正图像在第二反射层和第二光照层上向参考图像的第一反射层和第一光照层靠近；得到校正后的第二反射层和第二光照层；

(7)将校正后的待校正图像的第二反射层和第二光照层合并，得到最终校正结果。

在步骤(1)中，待校正图像和参考图像构成一对颜色差异的立体匹配图像对；成像本质属性：一个像素颜色值代表了成像场景中对应点的所有特征，一幅图像的成像可以由反射图像和光照图像来表示。

在步骤(1)中，将成像本质属性的分解过程模拟成最小化以下能量方程的形式：

E(x)＝ω_pE_p(x)+ω_sE_s(x)+ω_lE_l(x)

其中E_p(x)是二元反射属性项，所依赖的先验为：当两个像素位置相近色度和强度相近时，它们的反射属性也相近；E_s(x)是一元光照属性项，所依赖的先验为光照属性在平滑表面的变化是平滑的；E_l(x)是普通一元项，该项是为了避免优化时选择过多的光照极值点；ω_p、ω_s、ω_l分别为为E_p(x)、E_s(x)以及E_l(x)的参数；通过迭代优化的方式对能量函数E(x)求解。

在步骤(2)中，第一分割区域由n个互不相同的第一分割子区域组成；第二分割区域由m个互不相同的第二分割子区域组成。

步骤(4)中，根据对极几何的原理对匹配特征点进行正确性指导，删除错误的匹配特征点，保证了匹配特征点的正确性，即得到的鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′是可信度较高的匹配特征点。

在步骤(5)中，对待校正图像和参考图像进行优化，得到一致性区域对应标签，具体步骤为：

(5-1)根据待校正图像的鲁棒匹配对应点X^tgt′，对第二分割子区域进行区域合并操作，得到预处理第二分割区域：

(5-1-1)对所有的第二分割子区域进行筛选，并将鲁棒匹配对应点X^tgt′的个数小于门限值的第二分割子区域命名为第二无效子区域；

(5-1-2)找到第二无效子区域的第二二阶邻域区域集合；

(5-1-3)在第二二阶邻域区域集合中，找到一个满足鲁棒匹配对应点X^tgt′的个数大于门限值，且位置空间与颜色与该第二无效子区域都最为相近一个第二分割子区域，并将其命名为第二目标区域；

(5-1-4)将该第二无效子区域合并到寻找到的第二目标区域中，此时第二分割区域命名为预处理第二分割区域。

通过步骤(5-1)操作，使得合并后的每个第二分割子区域都包含门限值以上个数的鲁棒匹配对应点X^tgt′，保证点对应转化成区域对应的可靠性。

(5-2)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，以预处理第二分割子区域为基准，对第一分割子区域进行区域合并操作，得到预处理第一分割区域：

当某预处理第二分割子区域中的鲁棒匹配对应点X^tgt′在第一分割子区域中的对应点分布在多个第一分割子区域中时，将这多个第一分割子区域合并成一个，此时的第一分割区域命名为预处理第一分割区域；通过该合并操作，使得每个预处理第二分割子区域能在第一分割子区域中找到唯一确定的对应。

(5-3)根据参考图像的鲁棒匹配对应点X^src′，对预处理第一分割子区域进行区域合并操作，得到优化第一分割区域：

(5-3-1)对所有预处理第一分割子区域进行筛选，并将鲁棒匹配对应点X^src′的个数小于门限值的预处理第一分割子区域命名为第一无效子区域；

(5-3-2)找到第一无效子区域的第一二阶邻域区域集合；

(5-3-3)在第一二阶邻域区域集合中，找到一个满足鲁棒匹配对应点X^src′的个数大于门限值，且位置空间与颜色与该第一无效子区域都最为相近一个预处理第一分割子区域，并将其命名为第一目标区域；

(5-3-4)将该第一无效子区域合并到寻找到的第一目标区域中，并将此时的预处理第一分割区域其被命名为优化第一分割区域。

通过步骤(5-3)的操作，使得每个优化第一分割子区域都包含门限值以上个数的特征点。

(5-4)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，以优化第一分割子区域为基准，对预处理第二分割子区域进行区域合并操作，得到优化第二分割区域：

当某优化第一分割子区域中的鲁棒匹配对应点在预处理第二分割子区域中的对应点分布在多个预处理第二分割子区域中时，将这多个预处理第二分割子区域合并成一个，此时的预处理第二分割区域被命名为优化第二分割区域；通过该合并操作，使得每个优化第一分割子区域能在优化第二分割子区域中找到唯一确定的对应。

(5-5)根据鲁棒匹配对应点X^src′，鲁棒匹配对应点X^tgt′，获取优化第一分割子区域和优化第二分割子区域的一一对应关系，并记录一致性区域对应标签。

对每一个优化第一分割子区域，以A区域为例，记录其中的鲁棒匹配对应点在优化第二分割子区域中的对应点集，步骤(5-1)～步骤(5-4)已经保证这些对应点集属于同一个优化第二分割子区域，假设为B区域，则优化第一分割子区域中的A区域对应优化第二分割子区域中的B区域，记录一致性区域对应标签。

区域对应结束后，能够使得对应区域反映同一场景中同一目标区域。

在步骤(5-1-1)中，所述的门限值为鲁棒匹配对应点的个数，根据实际应用自行设置大小。

步骤(6)中，第二光照层的颜色校正模型与第二反射层的颜色校正模型不同，对于第二光照层的颜色校正采用如下的加权局部校正模型：

其中表示待校正图像的像素(i,j)，表示校正后图像的像素(i,j)。表示待校正图像的区域均值，表示参考图像的区域均值，和分别表示参考图像和待校正图像的方差；

IM^k(i,j)表示如下：

其中，表示待校正图像中的像素(i,j)与待校正图像区域均值颜色之间的距离，是待校正图像中的像素(i,j)和待校正图像区域中心点间的距离，α表示颜色距离参数，β表示位置距离参数。

第二反射层的颜色校正采用如下校正模型：

其中和分别代表校正前和校正后的待校正图像颜色值，和分别代表对于参考图像和待校正图像的转化、旋转、尺度变换操作。

在步骤(7)中，根据如下合并方程对校正后的待校正图像的第二反射层和第二光照层进行合并：

其中，代表合并后图像，代表反射层，S_i代表光照层，c代表图像的三通道，原图和反射层都为三通道，光照层为单通道，合并时将第二光照层的每一层与第二反射层相乘，得到结果的相应层，组成最终校正结果。

与现有技术相比，本发明的有益效果体现在以下方面：

(1)在局部颜色校正所必须进行的一致性区域对应的过程中，根据均值漂移分割得到的分割区域和高可信度的SIFT方法得到的SIFT匹配特征点，采用了简单高效的区域一致性对应策略，能够得到准确的区域对应，使得对应区域能有效地反映一致的区域。

(2)利用成像本质属性，将图像分解为反射层和光照层，对图像的反射层和光照层分别进行局部校正，可以使得图像差异被校正的更好，从而提升校正效果。

附图说明

图1为本发明对应方法的流程示意图；

图2为本发明对应方法中区域对应的流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明基于成像本质属性的立体匹配颜色校正方法的步骤如下：

(1)基于成像本质属性，对有颜色差异的立体匹配图像对(参考图像和待矫正图像)进行分解，即将参考图像I^src分为第一反射层和第一光照层，将待校正图像I^tgt分为第二反射层和第二光照层，将成像本质属性的分解过程模拟成最小化以下能量方程的形式：

E(x)＝ω_pE_p(x)+ω_sE_s(x)+ω_lE_l(x)

其中E_p(x)是二元反射属性项，所依赖的先验为：当两个像素位置相近色度和强度相近时，它们的反射属性也相近；E_s(x)是一元光照属性项，所依赖的先验为光照属性在平滑表面的变化是平滑的；E_l(x)是普通一元项，该项是为了避免优化时选择过多的光照极值点。ω_p、ω_s、ω_l分别为为E_p(x)、E_s(x)以及E_l(x)的参数；通过迭代优化的方式对能量函数E(x)求解。

(2)利用均值漂移图像分割方法对待校正图像和将参考图像进行区域分割，通过调整分割中的空间参数，参考图像按照正常粒度进行分割，得到第一分割区域待校正图像按照比参考图像更小粒度进行分割，得到第二分割区域其中，n为第一分割子区域的个数，m为第二分割子区域的个数，且m小于n。

(3)利用尺度不变特征变换方法提取参考图像与待校正图像各自的特征点，并进行特征点的匹配，得到SIFT匹配特征点X^src和SIFT匹配特征点X^tgt。

(4)根据对极几何原理对SIFT匹配特征点X^src和SIFT匹配特征点X^tgt进行正确性指导，删除错误SIFT匹配特征点，保证SIFT匹配特征点的正确性，对极几何约束公式为：

(X^src)^TFX^tgt＝0

其中F是根据RANSAC(Random Sample Consensus)方法估计的基础矩阵，X^src和X^tgt是参考图像I^src和待校正图像I^tgt中的SIFT匹配特征点，不满足上述约束条件的SIFT匹配特征点会被剔除。

(5)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，将待校正图像和参考图像中一致性的分割区域进行对应，得到区域对应关系：

(5-1)根据待校正图像的鲁棒匹配对应点X^tgt′，对第二分割子区域进行区域合并操作：

(5-1-1)对所有的第二分割子区域进行筛选，并将鲁棒匹配对应点X^tgt′的个数小于门限值的第二分割子区域命名为第二无效子区域；

(5-1-2)找到第二无效子区域的第二二阶邻域区域集合；

(5-1-3)在第二二阶邻域区域集合中，找到一个满足鲁棒匹配对应点X^tgt′的个数大于门限值，且位置空间与颜色与该第二无效子区域都最为相近一个第二分割子区域，并将其命名为第二目标区域；

(5-1-4)将该第二无效子区域合并到寻找到的第二目标区域中，此时第二分割区域命名为预处理第二分割区域。

通过步骤(5-1)操作，使得合并后的每个第二分割子区域都包含门限值以上个数的鲁棒匹配对应点X^tgt′，保证点对应转化成区域对应的可靠性。

(5-2)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，以第二分割子区域为基准，对第一分割子区域进行区域合并操作：

当某预处理第二分割子区域中的鲁棒匹配对应点X^tgt′在第一分割子区域中的对应点分布在多个第一分割子区域中时，将这多个第一分割子区域合并成一个，此时的第一分割区域命名为预处理第一分割区域；通过该合并操作，使得每个预处理第二分割子区域能在第一分割子区域中找到唯一确定的对应。

(5-3)根据参考图像的鲁棒匹配对应点X^src′，对第一分割子区域进行区域合并操作：

(5-3-1)对所有预处理第一分割子区域进行筛选，并将鲁棒匹配对应点X^src′的个数小于门限值的预处理第一分割子区域命名为第一无效子区域；

(5-3-2)找到第一无效子区域的第一二阶邻域区域集合；

(5-3-3)在第一二阶邻域区域集合中，找到一个满足鲁棒匹配对应点X^src′的个数大于门限值，且位置空间与颜色与该第一无效子区域都最为相近一个预处理第一分割子区域，并将其命名为第一目标区域；

(5-3-4)将该第一无效子区域合并到寻找到的第一目标区域中，并将此时的预处理第一分割区域其被命名为优化第一分割区域。

通过步骤(5-3)的操作，使得每个优化第一分割子区域都包含门限值以上个数的特征点。

(5-4)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，以优化第一分割子区域为基准，对预处理第二分割子区域进行区域合并操作：

当某优化第一分割子区域中的鲁棒匹配对应点在预处理第二分割子区域中的对应点分布在多个预处理第二分割子区域中时，将这多个预处理第二分割子区域合并成一个，此时的预处理第二分割区域被命名为优化第二分割区域；通过该合并操作，使得每个优化第一分割子区域能在优化第二分割子区域中找到唯一确定的对应。

(5-5)根据鲁棒匹配对应点X^src′，鲁棒匹配对应点X^tgt′，获取优化第一分割子区域和优化第二分割子区域的一一对应关系，并记录一致性区域对应标签。

(6)根据区域对应关系，于第二反射层和第二光照层上，分别对待校正图像进行校正；在步骤(1)分解出的反射层和光照层上，分别进行图像对区域和区域之间的加权局部颜色迁移，使得待校正图像在第二反射层和第二光照层上向参考图像的第一反射层和第一光照层靠近。

第二光照层的颜色校正模型与第二反射层的颜色校正模型不同，对于第二光照层的颜色校正采用如下的加权局部校正模型：

其中表示待校正图像的像素(i,j)，表示校正后图像的像素(i,j)。表示待校正图像的区域均值，表示参考图像的区域均值，和分别表示参考图像和待校正图像的方差；

IM^k(i,j)表示如下：

其中表示待校正图像中的像素(i,j)与待校正图像区域均值颜色之间的距离，是待校正图像中的像素(i,j)和待校正图像区域中心点间的距离，α表示颜色距离参数，β表示位置距离参数。

第二反射层的颜色校正采用如下校正模型：

其中和分别代表校正前和校正后的待校正图像颜色值，和分别代表对于参考图像和待校正图像的转化、旋转、尺度变换操作。

(7)将校正后的待校正图像的第二反射层和第二光照层合并，得到最终校正结果；根据如下合并方程对校正后的待校正图像的第二反射层和第二光照层进行合并：

其中，代表合并后图像，代表校正后第二反射层，S_i代表校正后第二光照层，c代表图像的三通道，原图和反射层都为三通道，光照层为单通道，合并时将第二光照层的每一层与第二反射层相乘，得到结果的相应层，组成最终校正结果。

采用现有的图像颜色校正方法与本发明的对应方法，同时对立体匹配图像对进行颜色校正，相比于现有的图像颜色校正方法，本发明的方法能够减小立体匹配图像的颜色差异，提升立体匹配的精度。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。