一种基于非局部几何相似性的图像插值方法

摘要

本发明公开了一种基于非局部几何相似性的图像插值方法，与现有技术相比，本发明首先将插值模型中所要使用的统计特征从图像的局部区域扩展到了整个图像内部，并引入了一种改进的欧式距离来衡量图像内部所有图像块之间的几何相似性，通过两步搜索法来寻找相似的图像块以构建插值模型，同时，所有用来构建插值模型的相似图像块的中心点被应用于插值模型来优化所产生的插值因子，最终所构建出的插值算法，效果更优，稳定性更强。

说明书

技术领域

本发明涉及一种图像计算方法，尤其涉及一种基于非局部几何相似性的图像插值 方法。

背景技术

图像的分辨率代表着图像所包含细节内容的多少，分辨率越高，图像提供的细节 就越多，反之，分辨率越低，图像提供的细节就越少。因此，为了获取更多的细节内容，让图 像变得更清楚，就需要增大图像的尺寸，即提高图像的分辨率，而提高图像分辨率的一种有 效途径就是对图像进行插值。图像的插值技术已经在军事、医学、安防等领域得到了广泛的 应用。图像插值的实质是通过未知像素点周围若干已知像素点灰度值的组合来预测未知像 素点的灰，传统的插值方法包括双三次插值，参见参考文献“Cubicconvolution interpolationfordigitalimageprocessing”；基于边缘指导的插值算法，参见参考文 献“Newedge-directedinterpolation”；基于自回归模型的插值算法，参见参考文献 “Imageinterpolationviaregularizedlocallinearregression”，；基于自回归模型 的插值算法，参见参考文献“ImageInterpolationViaRegularizedLocalLinear Regression”。在这些传统的图像插值方法中，双三次插值算法可以使生成的像素灰度值延 续原图像灰度值变化的趋势，从而使放大图像呈现出自然的平滑，特别是图像内部的像素 点呈现连续变化时，这种算法更为有效。但当图像内部的像素灰度值出现突变时，使用这种 算法在放大后的图像中则无法有效控制和体现出像素灰度值的突变。基于边缘指导的插值 方法，主要是利用低分辨率图像块和对应的高分辨率图像块之间存在的几何相似性，从而 利用低分辨率图像的统计量来代替插值模型中的高分辨率统计量，进而求得插值因子。基 于图像局部几何相似性的插值算法在图像的局部区域存在几何相似性时，可以有效地产生 未知像素点的灰度值，但当图像的局部区域内不存在几何相似性时，这种算法就会失效。在 基于自回归模型的算法，插值模型利用局部统计特征，通过求解有约束的最小二成问题，获 取均方误差最小条件小的插值因子。但这种算法因为仅仅使用了图像内部的局部统计特 征，而造成了算法不够高效。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于非局部几何相似性的图 像插值方法。

本发明通过以下技术方案来实现上述目的：

本发明包括以下步骤：

(1)图像预处理：首先，取待插值图像的左边界和右边界分别向左和向右重复地扩 充两列；然后，取扩充后图像的上边界和下边界分别向上和向下重复地扩充两行；

(2)产生参考列向量：将步骤1产生的图像内每一个大小为7×7的正方形图像块内 的所有像素点按列依次取出，组成一个大小为49×1的参考列向量；

(3)初始插值：用传统的双三次插值法对待插值的图像进行初始化插值，得到一个 放大两倍的初始插值图像；

(4)第一类插值：对步骤3中得到的初始插值图像，在位于偶数行和偶数列的位置 上进行第一类插值：首先，以该位置为中心，取出一个大小为7×7的待插值正方形图像块； 接着，将该图像块内的全部像素点按列依次取出，组成一个大小为49×1待插值列向量；其 次，将待插值列向量和每一个参考列向量一起代入公式(1)，计算待插值图像块与每一个参 考图像块之间的几何相似度，并找出其中具有最小几何相似度的前100个参考列向量；然 后，将这100个参考列向量中每个列向量的第17、19、31、33和25个元素以及待插值列向量的 第17、19、31、33和25个元素一起代入公式(2)，进一步计算几何相似度，并找出其中具有最 小几何相似度的前60个参考列向量；最后，将这60个参考列向量中每个列向量的第17、19、 31、33和25个元素都代入公式(3)中，计算出4个插值加权因子，并将得到的加权因子和待插 值列向量的第17、19、31、和33个元素一起代入公式(6)，计算出插值灰度值；

公式(1)几何相似度$E^{\left(k\right)}={\left(\underset{i\ne 25}{\overset{49}{\underset{i=1}{\Sigma }}}{(p_i-r_i^{\left(k\right)})}^2+4{(p_{25}-r_{25}^{\left(k\right)})}^2\right)}^{1/2}$

式中：p_i表示由待插值图像块组成的列向量中的元素，r_i^(k)表示第k个参考列向量 中的元素；

公式(2)几何相似度${\hat{E}}^{\left(k\right)}={(\underset{i=1}{\overset{4}{\Sigma }}{(x_i-{\beta }_k{a}_i^{\left(k\right)})}^2+{(c-{\beta }_k{b}^{\left(k\right)})}^2)}^{1/2}$

式中：x₁、x₂、x₃、x₄和c表示从待插值列向量中取出的5个像素点的灰度值，a₁^(k)、a₂^(k)、a₃^(k)、a₄^(k)和b^(k)表示从第k个参考列向量中取出的5个像素点的灰度值，β由公式(3)计算 得到；

公式(3)${\beta }_k={\left[{\left({\tilde{A}}^{\left(k\right)}\right)}^T{\tilde{A}}^{\left(k\right)}\right]}^{-1}·\left[{\left({\tilde{A}}^{\left(k\right)}\right)}^T\tilde{X}\right]$

式中：$\tilde{X}=[x_1,x_2,x_3,x_4,c],{\tilde{A}}^{\left(k\right)}=[a_1^{\left(k\right)},a_2^{\left(k\right)},a_3^{\left(k\right)},a_4^{\left(k\right)},b^{\left(k\right)}],$x₁、x₂、x₃、x₄和c 表示从待插值列向量中取出的5个像素点的灰度值，和b^(k)表示从 第k个参考列向量中取出的5个像素点的灰度值，符号T表示矩阵的转置操作；

公式(4)$W={(\frac{1}{60}·{\Phi }^T\Phi +\frac{1}{4}\lambda ·X^{T}X)}^{-1}.(\frac{1}{60}·{\Phi }^{T}B+\frac{1}{4}\lambda \underset{k=1}{\overset{60}{\Sigma }}{s}_k{\beta }_k{b}^{\left(k\right)}·X^T)$

式中：Φ由匹配的参考列向量依次按列摆放组成，B是由所有匹配列向量的第25个 元素组成的列向量，X＝[x₁,x₂,x₃,x₄]，α_i＝X-G_i，

$G_i={[a_1^{\left(i\right)}-b^{\left(i\right)},a_2^{\left(i\right)}-b^{\left(i\right)},a_3^{\left(i\right)}-b^{\left(i\right)},a_4^{\left(i\right)}-b^{\left(i\right)}]}^T,$x₁、x₂、x₃和x₄表示从待插值列向 量中取出的4个像素点的灰度值，和b^(k)表示从第k个参考列向量中 取出的5个像素点的灰度值，λ由用户自己定义，符号T表示矩阵的转置操作；S_k由公式(5)计 算得到；β_k由公式(3)计算得到；

公式(5)：$S_k=\frac{1}{\Delta }{e}^{-\frac{\left|\right|\tilde{X}-{\beta }_k{\tilde{A}}^{\left(k\right)}|{|}_2^2}{{\sigma }^2}},\sigma >0;$

式中：$\tilde{X}=[x_1,x_2,x_3,x_4,c],{\tilde{A}}^{\left(k\right)}=[a_1^{\left(k\right)},a_2^{\left(k\right)},a_3^{\left(k\right)},a_4^{\left(k\right)},b^{\left(k\right)}],$x₁、x₂、x₃、x₄和c 表示从待插值列向量中取出的5个像素点的灰度值，和b^(k)表示从第 k个参考列向量中取出的5个像素点的灰度值；β_k由公式(3)计算得到；Δ是正则化因子， σ由用户自己定义，e＝2.7183；

公式(6)：X_i，j＝[w₁w₂w₃w₄]·[x₁x₂x₃x₄]^T；

式中：w₁、w₂、w₃和w₄是插值因子，x₁、x₂、x₃和x₄表示从待插值列向量中取出的与待插 值位置相邻的4个已知像素点的灰度值，符号T表示矩阵的转置操作。

(5)第二类插值：对步骤4中得到的插值图像，在位于偶数行和奇数列上的位置上 进行第二类插值：首先，以该位置为中心，取出一个大小为7×7的待插值正方形图像块；接 着，将该图像块内的全部像素点按列依次取出，组成一个大小为49×1待插值列向量；其次， 将待插值列向量和每一个参考列向量一起代入公式(1)，计算待插值图像块与每一个参考 图像块之间的几何相似度，并找出其中具有最小几何相似度的前100个参考列向量；然后， 将这100个参考列向量中每个列向量的第18、24、26、32和25个元素以及待插值列向量的第 18、24、26、32和25个元素一起代入公式(2)，进一步计算几何相似度，并找出其中具有最小 几何相似度的前60个参考列向量；最后，将这60个参考列向量中每个列向量的第18、24、26、 32和25个元素都代入公式(3)中，计算出4个插值加权因子，并将得到的加权因子和待插值 列向量的第18、24、26、和32个元素一起代入公式(6)，计算出插值灰度值；

(6)第三类插值：对步骤5中得到的插值图像，在位于奇数行和偶数列上的像素点 进行第二类插值：首先，以该位置为中心，取出一个大小为7×7的待插值正方形图像块；接 着，将该图像块内的全部像素点按列依次取出，组成一个大小为49×1待插值列向量；其次， 将待插值列向量和每一个参考列向量一起代入公式(1)，计算待插值图像块与每一个参考 图像块之间的几何相似度，并找出其中具有最小几何相似度的前100个参考列向量；然后， 将这100个参考列向量中每个列向量的第18、24、26、32和25个元素以及待插值列向量的第 18、24、26、32和25个元素一起代入公式(2)，进一步计算几何相似度，并找出其中具有最小 几何相似度的前60个参考列向量；最后，将这60个参考列向量中每个列向量的第18、24、26、 32和25个元素都代入公式(3)中，计算出4个插值加权因子，并将得到的加权因子和待插值 列向量的第18、24、26和32个元素一起代入公式(6)，计算出插值灰度值。

本发明的有益效果在于：

本发明是一种基于非局部几何相似性的图像插值方法，与现有技术相比，本发明 首先将插值模型中所要使用的统计特征从图像的局部区域扩展到了整个图像内部，并引入 了一种改进的欧式距离来衡量图像内部所有图像块之间的几何相似性，通过两步搜索法来 寻找相似的图像块以构建插值模型，同时，所有用来构建插值模型的相似图像块的中心点 被应用于插值模型来优化所产生的插值因子，最终所构建出的插值算法，效果更优，稳定性 更强。

具体实施方式

下面对本发明作进一步说明：

本发明包括以下步骤：

(1)图像预处理：首先，取待插值图像的左边界和右边界分别向左和向右重复地扩 充两列；然后，取扩充后图像的上边界和下边界分别向上和向下重复地扩充两行；

(2)产生参考列向量：将步骤1产生的图像内每一个大小为7×7的正方形图像块内 的所有像素点按列依次取出，组成一个大小为49×1的参考列向量；

(3)初始插值：用传统的双三次插值法对待插值的图像进行初始化插值，得到一个 放大两倍的初始插值图像；

(4)第一类插值：对步骤3中得到的初始插值图像，在位于偶数行和偶数列的位置 上进行第一类插值：首先，以该位置为中心，取出一个大小为7×7的待插值正方形图像块； 接着，将该图像块内的全部像素点按列依次取出，组成一个大小为49×1待插值列向量；其 次，将待插值列向量和每一个参考列向量一起代入公式(1)，计算待插值图像块与每一个参 考图像块之间的几何相似度，并找出其中具有最小几何相似度的前100个参考列向量；然 后，将这100个参考列向量中每个列向量的第17、19、31、33和25个元素以及待插值列向量的 第17、19、31、33和25个元素一起代入公式(2)，进一步计算几何相似度，并找出其中具有最 小几何相似度的前60个参考列向量；最后，将这60个参考列向量中每个列向量的第17、19、 31、33和25个元素都代入公式(3)中，计算出4个插值加权因子，并将得到的加权因子和待插 值列向量的第17、19、31、和33个元素一起代入公式(6)，计算出插值灰度值；

公式(1)几何相似度$E^{\left(k\right)}={\left(\underset{i\ne 25}{\overset{49}{\underset{i=1}{\Sigma }}}{(p_i-r_i^{\left(k\right)})}^2+4{(p_{25}-r_{25}^{\left(k\right)})}^2\right)}^{1/2}$

式中：p_i表示由待插值图像块组成的列向量中的元素，r_i^(k)表示第k个参考列向量 中的元素；

公式(2)几何相似度${\hat{E}}^{\left(k\right)}={(\underset{i=1}{\overset{4}{\Sigma }}{(x_i-{\beta }_k{a}_i^{\left(k\right)})}^2+{(c-{\beta }_k{b}^{\left(k\right)})}^2)}^{1/2}$

式中：x₁、x₂、x₃、x₄和c表示从待插值列向量中取出的5个像素点的灰度值，a₁^(k)、a₂^(k)、a₃^(k)、a₄^(k)和b^(k)表示从第k个参考列向量中取出的5个像素点的灰度值，β_k由公式(3)计 算得到；

公式(3)${\beta }_k={\left[{\left({\tilde{A}}^{\left(k\right)}\right)}^T{\tilde{A}}^{\left(k\right)}\right]}^{-1}·\left[{\left({\tilde{A}}^{\left(k\right)}\right)}^T\tilde{X}\right]$

式中：$\tilde{X}=[x_1,x_2,x_3,x_4,c],{\tilde{A}}^{\left(k\right)}=[a_1^{\left(k\right)},a_2^{\left(k\right)},a_3^{\left(k\right)},a_4^{\left(k\right)},b^{\left(k\right)}],$x₁、x₂、x₃、x₄和c 表示从待插值列向量中取出的5个像素点的灰度值，和b^(k)表示从第 k个参考列向量中取出的5个像素点的灰度值，符号T表示矩阵的转置操作；

公式(4)$W={(\frac{1}{60}·{\Phi }^T\Phi +\frac{1}{4}\lambda ·X^{T}X)}^{-1}·(\frac{1}{60}·{\Phi }^{T}B+\frac{1}{4}\lambda \underset{k=1}{\overset{60}{\Sigma }}{s}_k{\beta }_k{b}^{\left(k\right)}·X^T)$

式中：Φ由匹配的参考列向量依次按列摆放组成，B是由所有匹配列向量的第25个 元素组成的列向量，X＝[x₁,x₂,x₃,x₄]，α_i＝X-G_i，

$G_i={[a_1^{\left(i\right)}-b^{\left(i\right)},a_2^{\left(i\right)}-b^{\left(i\right)},a_3^{\left(i\right)}-b^{\left(i\right)},a_4^{\left(i\right)}-b^{\left(i\right)}]}^T,$x₁、x₂、x₃和x₄表示从待插值列向 量中取出的4个像素点的灰度值，和b^(k)表示从第k个参考列向量中 取出的5个像素点的灰度值，λ由用户自己定义，符号T表示矩阵的转置操作；S_k由公式(5)计 算得到；β_k由公式(3)计算得到；

公式(5)：$S_k=\frac{1}{\Delta }{e}^{-\frac{\left|\right|\tilde{X}-{\beta }_k{\tilde{A}}^{\left(k\right)}|{|}_2^2}{{\sigma }^2}},\sigma >0;$

式中：$\tilde{X}=[x_1,x_2,x_3,x_4,c],{\tilde{A}}^{\left(k\right)}=[a_1^{\left(k\right)},a_2^{\left(k\right)},a_3^{\left(k\right)},a_4^{\left(k\right)},b^{\left(k\right)}],$x₁、x₂、x₃、x₄和c 表示从待插值列向量中取出的5个像素点的灰度值，和b^(k)表示从第 k个参考列向量中取出的5个像素点的灰度值；β_k由公式(3)计算得到；Δ是正则化因子， σ由用户自己定义，e＝2.7183；

公式(6)：X_i，j＝[w₁w₂w₃w₄]，[x₁x₂x₃x₄]^T；

式中：w₁、w₂、w₃和w₄是插值因子，x₁、x₂、x₃和x₄表示从待插值列向量中取出的与待插 值位置相邻的4个已知像素点的灰度值，符号T表示矩阵的转置操作。

(5)第二类插值：对步骤4中得到的插值图像，在位于偶数行和奇数列上的位置上 进行第二类插值：首先，以该位置为中心，取出一个大小为7×7的待插值正方形图像块；接 着，将该图像块内的全部像素点按列依次取出，组成一个大小为49×1待插值列向量；其次， 将待插值列向量和每一个参考列向量一起代入公式(1)，计算待插值图像块与每一个参考 图像块之间的几何相似度，并找出其中具有最小几何相似度的前100个参考列向量；然后， 将这100个参考列向量中每个列向量的第18、24、26、32和25个元素以及待插值列向量的第 18、24、26、32和25个元素一起代入公式(2)，进一步计算几何相似度，并找出其中具有最小 几何相似度的前60个参考列向量；最后，将这60个参考列向量中每个列向量的第18、24、26、 32和25个元素都代入公式(3)中，计算出4个插值加权因子，并将得到的加权因子和待插值 列向量的第18、24、26、和32个元素一起代入公式(6)，计算出插值灰度值；

(6)第三类插值：对步骤5中得到的插值图像，在位于奇数行和偶数列上的像素点 进行第二类插值：首先，以该位置为中心，取出一个大小为7×7的待插值正方形图像块；接 着，将该图像块内的全部像素点按列依次取出，组成一个大小为49×1待插值列向量；其次， 将待插值列向量和每一个参考列向量一起代入公式(1)，计算待插值图像块与每一个参考 图像块之间的几何相似度，并找出其中具有最小几何相似度的前100个参考列向量；然后， 将这100个参考列向量中每个列向量的第18、24、26、32和25个元素以及待插值列向量的第 18、24、26、32和25个元素一起代入公式(2)，进一步计算几何相似度，并找出其中具有最小 几何相似度的前60个参考列向量；最后，将这60个参考列向量中每个列向量的第18、24、26、 32和25个元素都代入公式(3)中，计算出4个插值加权因子，并将得到的加权因子和待插值 列向量的第18、24、26和32个元素一起代入公式(6)，计算出插值灰度值。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术 人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本 发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变 化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其 等效物界定。