一种基于结构差异与待修复边缘结构系数的优先权算法及图像修复方法

摘要

本发明公开了一种基于结构差异与待修复边缘结构系数的优先权算法及图像修复方法，算法步骤包括：读取破损的图像，并标记待修复区域；提取目标区域内所有已知像素点信息；根据提取的已知像素点信息构建结构差异矩阵；在目标区域内提取一定大小的以待修复区域边界上任意待修复点p为中心的窗口区域，计算待修复点p的边缘结构系数T(p)、标准差参数S

说明书

技术领域

本发明涉及图像处理技术领域，具体说涉及一种基于结构差异与待修复边缘结构系数的优先权算法及图像修复方法。

背景技术

图像修复是一门古老的艺术，起源于欧洲文艺复兴时期，通常指恢复图像中丢失或者破损的像素或者区域。人们对不连续的边界非常敏感，而丢失区域一般包括结构、纹理和平滑，结构连贯更接近真实的视觉效果，因此研究者将这三层分开，而恢复结构层是其中比较重要的部分。修复顺序的选择对修复结果的影响很大，一般具有结构型的块是应该被首先修复的。Criminisi利用局部边界的等照度线方向和单位法线方向定义块的填充次序，得到优先填充的样本块后，利用全局搜索方式在已知区域中寻找最佳匹配块，并通过最佳匹配块填充待修复样本块。

还有一些方法利用待修复区域边界点为中心选取图像块，再用所选取块与邻域块的差异大小计算相似性权重，运用所有已知邻域块的相似性权重构建结构稀疏度，用结构稀疏度计算填充顺序。修复块构建是将多个匹配块的稀疏表示作为填充信息,提高了修复图像的质量。此外，还可在图像的已知区域计算相似块，并计算块补偿，大多数的图像有着相似的补偿，补偿分布的峰值和主补偿相关。根据主要的补偿，输入图像形成了很多有位移的版本图像。这些有位移的图像通过优化全局的MRF能量函数合并。这些方法对修复图像产生了很好的视觉效果和连通性，特别的，被修复的缺损区域有着均匀的纹理和少数的结构。

针对物体移除的图像修复问题，一些学者提出了基于样本块和深度相结合的图像修复算法，用图像的深度图找到目的图像所修复物体的顺序，和物体的多视角图，然后去填补孔洞。为了减少数据库的大小，提出了主视角抽取(Keyview Extraction)的方法，并使用一种几何的和光测度的算法进行物体检索。还有基于示例的方法，对优先级功能进行改进，在优先级函数中考虑线性结构的优先级，并且使算法更早地线性结构，以解决完成顺序和线性结构传播问题。此外，为了检测最有效的结构，在优先级中使用了图像结构张量和图像梯度的组合。

上述算法虽然均能在一定程度上实现图像修复功能，但算法均存在一些无法克服的问题，如填充顺序不够稳定、匹配准则不够合理、耗时较长等。

发明内容

鉴于已有技术存在的不足，本发明的目的是要提供一种利用小图像块彼此之间的差异大小区分待修复点所在区域的优先权算法。

为了实现上述目的，本发明技术方案如下：

一种基于结构差异与待修复边缘结构系数的优先权算法，其特征在于，其步骤包括：

S1读取破损的图像，并标记待修复区域；

S2提取包含待修复区域边界在内，且大小一定的目标区域，并提取目标区域内所有已知像素点信息；

S3根据提取的已知像素点信息构建结构差异矩阵；

S4在目标区域内提取一定大小的以待修复区域边界上任意待修复点p为中心的窗口区域，计算待修复点p的边缘结构系数T(p)；

S5计算待修复点p在以其为中心的窗口区域内的标准差参数S_p(p)以及置信度参数C(p)；

S6根据边缘结构系数、待修复点标准差参数和待修复点置信度参数计算此待修复点的优先权值P(p)，计算公式为P(p)＝T(p)·C(p)·S_p(p)；

S7重复步骤S5-S6，直至遍历待修复区域边界上所有待修复点，得到相应的优先权集合；

S8修复以优先权值最大的待修复点为中心的窗口区域，并更新待修复区域边界和结构差异矩阵；

S9重复步骤S4-S8，直至待修复区域修复完全。

本发明的另一目的是要提供一种基于上述优先权算法的图像修复方法，其特征在于，包括如下步骤：

步骤1、读取待修复原图像，并确定待修复区域边界点；

步骤2、计算待修复区域边界各待修复点相应的优先权值；

步骤3、查找优先权值最大的待修复点，并修复以此待修复点为中心的目标区域图像块；

步骤4、刷新结构差异矩阵，判断是否还有未修复的区域，如果有，则执行步骤2-步骤3，直至图像修复完全。

与现有技术相比，本发明的有益效果：

本发明根据各目标区域的差异大小区分待修复点的位置特点，得到稳定的优先权值；同时将目标区域间的差异以标准差的方式存放于结构差异矩阵中，由于相邻待修复点的邻域存在大幅度的重合，可重复利用结构差异矩阵中的信息计算优先权，从而大大降低了优先权的计算时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明优先权算法流程图；

图2a为图像纹理区域示例图；

图2b为图像结构区域示例图；

图3为本发明图像修复方法流程图；

图4为本发明与对比算法修复效果对比图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明设计了一种利用小图像块彼此之间的差异大小区分待修复点所在区域的优先权算法及图像修复方法，下面结合附图以及具体实施例进一步说明本发明的技术方案：

如图1所示，基于结构差异与待修复边缘结构系数的优先权算法的步骤包括：

S1读取破损的图像，并标记待修复区域。

S2提取包含待修复区域边界在内，且大小一定的目标区域，并提取目标区域内所有已知像素点信息。

S3根据提取的已知像素点信息构建结构差异矩阵，步骤包括：

S31在R、B、G三个颜色通道上将破损图像相应分为三层，分别提取目标区域内各已知像素点的像素值。

本发明中为保证修复区域与已知区域在结构上的连贯性，必须确保计算出的优先权在结构区域数值最大，在纹理区域数值较小，在平滑区域数值也是最小。考虑到结构区域存在边界，颜色差异较大、平滑区域颜色几乎没有差异的特点，利用标准差便可以很好区分结构区域和平滑区域。但纹理区域颜色可能存在较大的差异，所以单纯的使用标准差进行计算并不能区分纹理区域和结构区域。而纹理区域虽然颜色差异较大，但利用其分布均匀的特点也可以将其与结构区域进行区分。

S32分别计算目标区域内各层像素值标准差S_m(i,j)，计算公式如下：

其中，P_m(i,j)为目标区域图像第m层，第i行，第j列点像素值，n是目标区域图像内已知像素点的个数，作为本发明的优选实施方案，n取9，E(i,j)为第m层对应位置的像素期望，即：

S33综合目标区域图像各层像素值标准差，计算得到结构差异矩阵对应各像素点位置的值S(i,j)，计算公式如下：

由于平滑区域标准差有可能为0，因此公式中整体加1，将得到的值存放在结构差异矩阵对应的位置。图像中结构区域和纹理区域对应的矩阵数值较大，平滑区域接近于1。相近的纹理区域数值比较接近，边缘点值会比周围点大，但是并不一定会比不在其周围的其他纹理区域的值大。纹理区域和边界区域的值并不能很好的区分，所以如果单纯的用矩阵对应的值作为优先权显然不合理。显然需要进一步处理。作为本发明较佳的实施方式，以待修复点周围较小的图像块为单位，构建优先权条件结构系数。

S4在目标区域内提取一定大小的以待修复区域边界上任意待修复点p为中心的窗口区域，计算待修复点p的边缘结构系数T(p)，计算公式如下：

其中，N_s(p)为窗口区域，|N_s(p)|为窗口区域内已知元素个数，V_p,k是待修复点的邻域点归一化结果，定义为：

其中Z(p)为归一化常数，定义为：

为了保证结构区域优先权值最大，选用待修复点为中心的矩形窗中的点在矩阵中对应的所有不为零的值，定义计算优先权的条件。

鉴于结构区域与纹理区域的区别是结构区域中含有边界，边界对应的值比周围值要大，为了突出此特点，并且让因为纹理不同导致标准差不同的区域处于相近的修复先后位置，本发明采用对待修复点周围点在结构差异矩阵中对应的值进行归一化，然后求平方和的方式表达差异。这样可以很好的区分结构区域和纹理区域。

平方和的值会随着平方和中元素较大的值的个数减少而增大，而结构区域相比于纹理区域的差异是只有较少部分是值较大的边缘区域，以此可以地区分纹理区域和结构区域。虽然不同纹理区域值差异较大，但是相同纹理区域中的值差异较小，因此对目标点周围点进行归一化，可以使所有纹理区域处于相近的优先位置而低于结构区域的优先位置。

随着求和元素个数的增加，数值会变小，影响优先权数值的稳定性。因此需乘以参与求和元素的个数均衡。所以给出待修复点p的结构系数T(p)。

作为本发明较佳的实施方式，以待修复点周围较小的图像块为单位，构建优先权结构系数。该值能够区分带修复块是纹理区域还是结构区域，但是如果是结构区域却不能确保待修复块的中心是图案的的交界部分。因为当图像块处于同一区域并且其中含有相同长度的交界部分时，得到的值会相近。对比如图2a与图2b，二者均为待修复点周围的一个小区域，显然图2a属于纹理区域，而图2b具有明显的结构特征，而先修复图b中图案交界部分，能够得到更好的修复效果。因此在优先权中加入待修复块中心一个较小的已知区域的差异值(因为修复图像时，中心点位于破损图像边缘)来放大相近区域中更接近边界中心的点。

S5计算待修复点p在以其为中心的窗口区域内的标准差参数S_p(p)以及置信度参数C(p)，其中：

标准差参数S_p(p)的计算公式为：

置信度参数C(p)为窗口区域内已知像素点个数与全部像素点个数的比值。

S6根据边缘结构系数、待修复点标准差参数和待修复点置信度参数计算此待修复点的优先权值P(p)，计算公式为P(p)＝T(p)·C(p)·S_p(p)；

S7重复步骤S5-S6，直至遍历待修复区域边界上所有待修复点，得到相应的优先权集合。

S8修复以优先权值最大的待修复点为中心的窗口区域，并更新待修复区域边界和结构差异矩阵。

S9重复步骤S4-S8，直至待修复区域修复完全。

本发明还提供了一种基于上述优先权算法的图像修复方法，依据区域特征构建重复使用的结构差异矩阵计算优先权，即保证了图像结构部分的连贯性，同时也降低了图像修复过程中的运算量。如图3所示，其步骤包括：

步骤1、读取待修复原图像，并确定待修复区域边界点；

步骤2、计算待修复区域边界各待修复点相应的优先权值；

步骤3、查找优先权值最大的待修复点，并修复以此待修复点为中心的目标区域图像块；

步骤4、刷新结构差异矩阵，判断是否还有未修复的区域，如果有，则执行步骤2-步骤3，直至图像修复完全。

下面结合具体实施例对本发明涉及的优先权算法和图像修补方法做进行进一步说明。本算法基于Windows7系统、Visual.Studio2013+OpenCV v2.4作为实验平台。实施例中分别采用现有技术中的未考虑结构系数的Criminisi算法作为对比算法，与发明所述算法进行比较，如图4所示，为两种方法修复图像的对比结果，图中(a)列表示没有破损的原始图像，(b)列表示破损需要进行修复的图像，(c)列表示使用对比算法进行修复的效果，(d)列表示使用本算法进行修复的效果。

由图中可以看出，针对第一幅图像额头处，对比算法存在明显缺陷，而本发明算法可以较好的将图片复原；针对第二幅图像对比算法方法在桥洞处存在较为严重的缺陷，是因为修复顺序的不稳定性，没有先修复桥洞底部与侧部的交界部分造成的，而本文的算法较好的克服了这个问题。针对第三幅图片对比算法方法在飞机的机翼上存在明显的缺陷，这是因为优先权的顺序不够合理，导致重复使用单一的匹配块造成的，本算法通过使用区域特性更好的构建优先权的先后顺序，因此并没有出现此类问题，第四幅图与上述情况类似。

为了更加客观体现两种算法的使用效果，采用峰值信噪比PSNR(Peak Singe ToNoise Ratio)(单位分贝)来度量修复后的图像与原图像的差异，峰值信噪比的值越大，表示修复后的图像与原来未受损的图像差别越小，修复的效果越好。本申请算法与对比算法的峰值信噪比如表1所示：

表1本专利算法与对比算法结果比较

通过表1可知，本发明算法性能较对比算法有所提高，这是由于利用图片的区域特性来构建优先权决定修复先后顺序，优化了匹配准则增加了稳定性。进而很好的保持结构部分的连贯性且不易产生误匹配现象。

本发明公开了一种基于待修复图像边缘区域特征构建的优先权算法。该算法首先根据待修复区域边界的区域特征构建结构差异矩阵，再根据结构差异矩阵构建待修复边缘结构系数，最后根据构建的待修复边缘结构系数确定优先权，决定填充顺序。所得优先权稳定可靠，且基于结构差异矩阵的优先权计算能够节省大量的运算时间，可推广性强。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。