基于Facet方向导数特征的样例双重稀疏图像修复方法

摘要

本发明涉及基于Facet方向导数特征的样例双重稀疏图像修复方法：步骤一：在Facet模型下获取图像不同方向的方向特征信息；步骤二：采用改进的修复优先级计算函数进行待修复图像块的排序；步骤三：通过候选图像块的稀疏表示对步骤二确定的修复优先级最大的破损区域进行修复。本发明方法对方向特征进行充分利用，通过构造新的图像块距离计算函数，并在稀疏求解环节加入方向特征空间一致性和连续性约束；同时对修复优先级函数进行调整和完善，将图像块置信度数值控制在合理范围之内，确保优先级计算结果的可靠性。充分考虑了图像的色彩信息和方向特征信息，能够较好地应对各种图像损伤情况，具有较好的普适性和广阔的市场前景与应用价值。

说明书

【技术领域】

本发明涉及基于Facet方向导数特征的样例双重稀疏图像修复方法，稀疏特性和图像修 复技术在图像应用领域具有广泛的应用，隶属于数字图像处理领域。

【背景技术】

图像修复是指利用图像未受损区域的灰度、颜色、纹理等特征对受损区域进行修复重建， 或去除图像中的多余物体。人工的图像修复方式通常较为依赖修复者的工作经验，效率较低， 且修复结果存在较强的主观性。数字图像修复的方法则可以较好地克服上述缺点。数字图像 修复指以计算机程序为主体，数字图像为修复目标，在标定待修复区域的情况下，利用图像 中的已知信息修复图中的受损部分。数字图像修复方法根据原理不同大致可分为以下几类： 基于样例的修复方法、基于扩散的修复方法以及基于稀疏特性的修复方法等。

图像的稀疏性质在近些年被学者们广泛研究。埃拉德等人通过分析图像结构层和纹理层 在不同字典下稀疏度的不同，利用离散余弦变换和曲波变换将结构层和纹理层分开(参见文献： 埃拉德,斯塔克,奎尔,多诺霍.利用形态学分析的纹理层与卡通层同时修复方法.应用和计 算谐波分析.卷19,340-358,2005.(M.Elad,J.L.Starck,P.Querre,andD.L.Donoho, “Simultaneous cartoon and texture image inpainting usingmorphological component analysis (MCA),”Appl.Comput.Harmonic Anal.,vol.19,no.3,pp.340-358,2005.))；法蒂里根据贝叶斯 框架下的最大似然估计法提出了期望最大化修复算法(法蒂里,斯塔克.基于稀疏表示的最大 期望值图像修复方法.美国电子电器工程师协会图像处理国际会议.61-64,2005.(M.J.Fadili and J.L.Starck,“EM algorithmfor sparse representation-based image inpainting,”in Proc.IEEE Int.Conf.ImageProcess.,Sep.2005,pp.II-61–II-64.))。但基于固定字典的稀疏修复方法的普适 性有所欠缺。因此，学习型字典的概念被提出。周明远等提出了非参数的贝叶斯框架下的字 典学习(周明远等.一种利用非参数的贝叶斯字典学习的图像降噪与修复方法.美国电气电子工程师学会图像处理汇刊.卷21,130-144,2012.(M.Zhou et al.,“NonparametricBayesian dictionary learning for analysis of noisy and incomplete images,”IEEE Trans.Image Process.,vol. 21,no.1,pp.130–144,Jan.2012.))；迈拉尔等则提出在线学习方法来训练和构建过完备字典(迈拉尔,巴赫,庞斯,萨皮罗.一种矩阵正则化与稀疏编码的在线学习方法.机器学习研究杂 志.卷11,19-60,2010.(J.Mairal,F.Bach,J.Ponce,and G.Sapiro,“Online learning for matrix factorization and sparsecoding,”J.Mach.Learn.Res.,vol.11,pp.19–60,Jan.2010.))。

基于样例的修复方法一般分为两类：图像块匹配方法和基于马尔科夫随机场的方法。其 中图像块匹配方法的基本思想是通过寻找与待修复区域边缘图像块相似度高的已知区域图像 块，并将成功匹配的已知信息填入待修复图像块的被破坏区域。最早的基于样例 (exemplar-based)的修复方法(参见文献：克里米尼西,佩雷斯,富山.一种基于样例图像修复的 目标物移除方法.计算机视觉国际会议.721-728,2003.(A.Criminisi,P.Perez,and K.Toyama, “Object removal by exemplar-based image inpainting,”inProc.Int.Conf.Comp.Vision,2003, pp.721–728.))由克里米尼西等人提出，该算法首先计算破损边缘上每个点的优先权值，然后 选择以最大优先权值点为中心的块作为当前待填充块，在源区域中根据匹配准则搜索与待填 充块最相似的匹配块并将其填充到待填充块中的破损区域，最后更新填充边缘，并重复上述 过程直至破损区域完全被填充。但由于该方法中的填充顺序不够稳定以及匹配准则不够合理 等问题，不能很好的保持结构部分的连贯性且易产生误匹配现象。针对此类问题，学者们提 出了各种改进方法。如仵冀颖等人将切向等照度线引入优先级的计算中(参见文献：仵冀颖,阮 秋琦.曲率驱动的基于亥姆霍兹涡量方程的图像修复模型.模式识别国际会议.810-813,2006. (J.Wu and Q.Ruan,“Object removal by cross isophotes examplar-based image inpainting,”inProc.Int.Conf.Pattern Recognition,2006,pp.810–813.))；D.J.弗洛林纳贝尔等人通过求取图像块 的离散傅里叶变换系数，提出了新的修复优先级计算公式。(参见文献：弗洛林纳贝尔,茱丽 叶,萨达西瓦.基于频率域与空间域的图像块衍生修复方法.计算机图形学.卷19,1153-1165, 2011.(D.Jemi Florinabel,S.Ebenezer Juliet,and V.Sadasivam,“Combined frequency and spatial domain-based patch propagation for imagecompletion,”Comput.Graph.,vol.35,no.6,pp. 1051–1062,Jun.2011.))

现有基于样例的修复方法往往不能很好地保持修复后图像的结构连贯性及修复区域的连 续自然过渡。而基于稀疏特性的修复方法对大面积区域缺损情况的修复能力仍存在很大的缺 陷。为了对受损图像的结构成分和纹理成分同时进行有效修复，本发明提出了一种基于Facet 方向导数特征的样例双重稀疏图像修复方法。

【发明内容】

1、目的：基于样例的图像修复方法原理简单、修复过程迅速便捷，但该方法未充分考虑 和利用图像中的方向特征信息，因此对于某些结构的修复并不理想。针对此类问题，本发明 提出了基于Facet方向导数特征的样例双重稀疏图像修复方法。首先得到图像不同方向的方 向导数，将其引入图像结构稀疏度的计算，使图像的方向信息在修复过程中得到利用；其次， 对图像块置信度数值计算公式做出调整，从而构造新的修复优先级计算函数。改进方法充分 考虑了图像的方向信息和修复优先顺序的合理性，因此得到的修复结果在结构的连续性上得 到了明显改善。

2、技术方案：为实现上述目的，本发明的技术方案如下：首先在Facet模型下分别得到 图像块在垂直、水平、45°和135°四个方向的方向导数，将其引入图像结构稀疏度的计算当中； 之后将方向导数以一定比重加入图像块距离的计算中，提升筛选候选相似图像块的鲁棒性， 并且完善图像块置信度的计算函数，调整取值范围，得到更为合理的修复顺序；最后通过候 选图像块联合稀疏表示出待修复块未知区域的信息，其中通过引入与相邻区域连续性约束来 确保填补内容在视觉上的连贯性，并通过加入方向约束项对局部一致性约束做出改进。改进 算法中充分考虑了方向信息，因此修复质量得到明显提高。

本发明是一种基于Facet方向导数特征的样例双重稀疏图像修复方法，该方法具体步骤 如下：

步骤一：在Facet模型下获取图像不同方向的方向特征信息(参见文献：哈拉利克.二阶 导数零交叉处的数字阶跃边缘.美国电气和电子工程师协会模式分析与机器智能汇刊.58-68, 1984.(R.M.Haralick.Digital step edges from zero crossing of seconddirectional derivatives[J]. IEEE Trans on Pattern Analysis and MachineIntelligence,1984,6(1):58-68.))。本发明方法中选用 2D模型进行应用，其区域灰度拟合多项式形式如下：

f(r,c)＝k₁+k₂r+k₃c+k₄r²+k₅rc+k₆c²+k₇r³+k₈r²c+k₉rc²+k₁₀c³。

其中，(r,c)是该Facet区域的坐标，k_i为最小二乘法逼近取得的拟合系数。拟合区域大>

在极坐标系下，上述多项式可改写为如下形式：

f(ρ)＝k₁+(k₂sinα+k₃cosα)ρ+(k₄sin²α+k₅sinαcosα+k₆cos²α)ρ²

+(k₇sin³α+k₈sin²αcosα+k₉sinαcos²α+k₁₀cos³α)ρ³。

对其求一阶导数f_α'(ρ)，即得到α方向图像的方向导数。本发明方法在Facet模型下求>

步骤二：采用改进的修复优先级计算函数进行待修复图像块的排序。改进的修复优先级 计算函数如下：

其中，ρ(p)为p点的结构稀疏度，C(p)为p点处图像块的置信度,被定义为当前图像块 中未受损像素置信度数值之和与全部像素数量置信度之和的比值。H为待修复区域边界像素 点构成的集合，n为集合中的元素个数。

结构稀疏度ρ(p)的计算方法如下：

其中，N(p)为p点的邻域，其大小大于待修复图像块的大小，N_s(p)定义为在p点邻域内已知像素点构成的域，运算|·|的作用是计算区域内像素点的数量。为以点p为中心 的图像块与以点p_i为中心的图像块的相似度。具体地，的计算方法如下：

其中，d_s(·,·)的作用是计算基于Facet方向特征的图像块距离，为归一化算子，σ 为调节因子，在实验中一般设置为5。

基于Facet方向特征的图像块距离的计算方法如下：

d_s＝(1-η)·d(Ψ_p,Ψ_q)+η·d(Φ_p,Φ_q)。

其中，Φ_p与Φ_q为方向特征阵中中心位于点p和点q的图像块，Ψ_p和Ψ_q为原图像当中中心位于p点和q点的图像块，d(·,·)表示两样本块间的均方距离，调节因子η设置为0.4。

所述步骤二具体算法步骤为：

首先，遍历图像，确定待修复区域边缘像素点p的集合；

其次，计算以p为中心的图像块与邻域内其他未受损图像块的d_s，并据此得到以及 ρ(p)；

然后，计算以p为中心的图像块的C(p)；

最后，计算各点修复优先级。

步骤三：通过候选图像块的稀疏表示对步骤二确定的修复优先级最大的破损区域进行修 复，其中候选图像块为筛选出的与待修复图像块匹配度较高的图像块集合。目标函数如下：

其中，为候选最佳匹配图像块集合，匹配度由步骤二中基于Facet方向特征的图 像块距离衡量。通过步骤三中稀疏求解方法确定稀疏表示系数α_q后，破损图像块中的未知>

稀疏求解约束项如下：

其中，F为待修复图像块已知部分的抽取矩阵，为待修复图像块未知部分的抽取矩阵， ε是允许的最大误差值，权重系数β设置为0.25，第一项约束项保证了被稀疏表示的图像块 在已知区域保持与目标图像块的一致性，第三项约束项的作用是保持被修复区域与周围图像 的连续性，两项约束均在色彩空间内；第二项与第四项约束项在方向特征空间对图像的一致 性和连贯性做出约束。

该稀疏求解问题可简写为如下形式：

其中，

该约束项更精确地指导整个稀疏表示的过程，综合邻域当中的方向信息和色彩信息得到 一个更准确的修复结果。

其中，目标函数中稀疏表示系数α_q具体求解过程如下(设已进行n步，现为>

首先，定义格拉姆矩阵G＝(Ψ_TE^T-X)^T(Ψ_TE^T-X)，其中>q1,DΨ_q2,...,DΨ_qn,DΨ}，E为单位列向量；

其次，求取将代入计算误差ε_n+1；

最后，若ε_n+1＜ε_n，则返回第一步求取格拉姆矩阵继续进行计算；若ε_n+1＞ε_n，则停止计>

通过稀疏表示出目标图像块后，则可将图像块中相应缺失部分填入。

3、优点及功效：原有的基于样例的修复方法未充分考虑图像的方向特征，仅在色彩空间 中进行探索，且原修复优先级计算中置信度项衰减过快，导致后期优先级函数不可靠。因此， 通常不能得到可靠的修复结果。本发明提出的基于Facet方向导数特征的样例双重稀疏图像 修复方法对方向特征进行充分利用，通过构造新的图像块距离计算函数，并在稀疏求解环节 加入方向特征空间一致性和连续性约束；同时对修复优先级函数进行调整和完善，将图像块 置信度数值控制在合理范围之内，确保优先级计算结果的可靠性。算法充分考虑了图像的色 彩信息和方向特征信息，因此能够较好地应对各种图像损伤情况，具有较好的普适性。具有 广阔的市场前景与应用价值。

【附图说明】

图1为本发明提出的基于Facet方向导数特征的样例双重稀疏图像修复方法的原理框图。

图2a为提取方向特征所用原始图像。

图2b为0°方向特征矩阵。

图2c为-90°方向特征矩阵。

图2d为45°方向特征矩阵。

图2e为135°方向特征矩阵。

图3a至图3e展示了本发明提出的修复优先级函数下得到的大致修复顺序。

图4为稀疏表示系数求解环节流程框图。

图5a至图5h为本发明得到的部分修复结果。

【具体实施方式】

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

步骤一：在Facet模型下获取图像的不同方向的方向特征信息(参见文献：哈拉利克.二 阶导数零交叉处的数字阶跃边缘.美国电气和电子工程师协会模式分析与机器智能汇刊. 58-68,1984.(R.M.Haralick.Digital step edges from zero crossing ofsecond directional derivatives[J].IEEE Trans on Pattern Analysis and MachineIntelligence,1984,6(1):58-68.))。本发 明方法中选用2D模型进行应用，其区域灰度拟合多项式形式如下：

f(r,c)＝k₁+k₂r+k₃c+k₄r²+k₅rc+k₆c²+k₇r³+k₈r²c+k₉rc²+k₁₀c³。

其中，(r,c)是该Facet区域的坐标，k_i为最小二乘法逼近取得的拟合系数。拟合区域大>

在极坐标系下，上述多项式可改写为如下形式：

f(ρ)＝k₁+(k₂sinα+k₃cosα)ρ+(k₄sin²α+k₅sinαcosα+k₆cos²α)ρ²

+(k₇sin³α+k₈sin²αcosα+k₉sinαcos²α+k₁₀cos³α)ρ³。

对其求一阶导数f_α'(ρ)，即得到α方向图像的方向导数。本发明方法在Facet模型下求>

图2a为原始图像，图2b为0°方向特征矩阵，图2c为-90°方向特征矩阵，图2d为45°方向特征矩阵，图2e为135°方向特征矩阵。

步骤二：采用改进的修复优先级计算函数进行待修复图像块的排序。改进的修复优先级 计算函数如下：

其中，ρ(p)为p点的结构稀疏度，C(p)为p点处图像块的置信度,定义为当前图像块中 未受损像素置信度数值之和与全部像素数量置信度之和的比值。H为待修复区域边界像素点 构成的集合，n为集合中的元素个数。

在初始化时，将未受损区域像素点置信度数值c设置为1，受损区域置信度数值c设置为 0。随着每一次修复过程的进行，被填补的区域像素的c值将被更新为被修复区域中心像素的c值。

结构稀疏度ρ(p)的计算方法如下：

其中，N(p)为p点的邻域，其大小大于待修复图像块的大小，大小一般定为45×45。N_s(p)定义为在p点邻域内已知像素点构成的域，运算|·|的作用是计算区域内像素点的数量。>为以点p为中心的图像块与以点p_i为中心的图像块的相似度。具体地，的计算方 法如下：

其中，d_s(·,·)的作用是计算基于Facet方向特征的图像块距离，为归一化算子，σ 为调节因子，在实验中一般设置为5。

基于Facet方向特征的图像块距离的计算方法如下：

d_s＝(1-η)·d(Ψ_p,Ψ_q)+η·d(Φ_p,Φ_q)

其中，Φ_p与Φ_q为方向特征阵中中心位于点p和点q的图像块，Ψ_p和Ψ_q为原图像当中中心位于p点和q点的图像块，d(·,·)表示两样本块间的均方距离，调节因子η设置为0.4。

所述步骤二具体算法步骤为：

首先，遍历图像，确定待修复区域边缘像素点p的集合；

其次，计算以p为中心的图像块与邻域内其他未受损图像块的d_s，并据此得到以及 ρ(p)；

然后，计算以p为中心的图像块的C(p)；

最后，计算各点修复优先级。

图3a至图3e展示了在本发明提出的修复优先级函数下得到的大致修复顺序。从图3中 可以看出，结构稀疏度大、图像块置信度相对较高的部分将得到优先修复，此部分对人眼主 观感受有较大的影响。

步骤三：通过候选图像块的稀疏表示对步骤二确定的修复优先级最大的破损区域进行修 复，其中候选图像块为筛选出的与待修复图像块匹配度较高的图像块集合。目标函数如下：

其中，为候选最佳匹配图像块集合，匹配度由步骤二中基于Facet方向特征的图 像块距离衡量。通过步骤三中稀疏求解方法确定稀疏表示系数α_q后，破损图像块中的未知>

稀疏求解约束项如下：

其中，F为待修复图像块已知部分的抽取矩阵，为待修复图像块未知部分的抽取矩阵， ε是允许的最大误差值，权重系数β设置为0.25，第一项约束项保证了被稀疏表示的图像块 在已知区域保持与目标图像块的一致性，第三项约束项的作用是保持被修复区域与周围图像 的连续性，两项约束均在色彩空间内；第二项与第四项约束项在方向特征空间对图像的一致 性和连贯性做出约束。

该稀疏求解问题可简写为如下形式：

其中

该约束项更精确地指导整个稀疏表示的过程，综合邻域当中的方向信息和色彩信息得到 一个更准确的修复结果。

其中，目标函数中稀疏表示系数α_q具体求解过程如下(设已进行n步，现为>

首先，定义格拉姆矩阵G＝(Ψ_TE^T-X)^T(Ψ_TE^T-X)，其中>q1,DΨ_q2,...,DΨ_qn,DΨ}，E为单位列向量；

其次，求取将代入计算误差ε_n+1；

最后，若ε_n+1＜ε_n，则返回第一步求取格拉姆矩阵继续进行计算；若ε_n+1＞ε_n，则停止计>

通过稀疏表示出目标图像块后，则可将图像块中相应缺失部分填入。

图4为稀疏系数求解流程框图。

为了展示本发明的效果，图5a～图5h展示了不同图像损伤模式下的修复情况，由修复结 果可以看出，本发明能够成功地修复不同种情况下的图像损伤。其中损伤形式包括划痕、文 字和块状遮挡。图5h则展示了目标物移除的结果。