一种基于边缘分类的图像超分辨率放大的新方法

摘要

本发明公开了一种基于边缘分类的图像放大的新方法。该方法首先对低分辨率图像进行边缘检测，以得到低分辨率上的图像边缘指示的二值化的图。然后，对低分辨率的图像进行初始的插值，得到初始的高分辨率的图像。接下来，提取高分辨率图像中的3×3的图像块，根据和此块对应的二值化图像中的边缘的走向对此图像块进行分类，并根据其类别对块中某些像素进行重新插值。本发明的方法很好地考虑到了边缘的走向特点，依此进行插值，从而使放大后的图像的细节部分比较清晰，尤其是边缘部分和靠近边缘的部分。实验表明，重建后的图像与原始高分辨率图像非常接近。

说明书

技术领域

本发明涉及在图像处理中，一种超分辨率图像放大的新方法。尤其是根据低分辨率图像上的边缘信息，对初始放大的高分辨率图像上的一个小图像块依据其对应的低分辨率图像上的边缘点进行分类，并根据此分类对图像块中某些像素点进行重新插值的方法。 

背景技术

随着数码相机和互联网技术的飞速发展，人们对高清数字图像的需求与日俱增。但是，受到网络带宽和存储空间的限制，高清图像的存储和传输的代价比较大，非常消耗系统的资源，如需要消耗系统的非常大的存储空间或非常大的带宽。为此，数字图像的压缩技术被提了出来，产生了图像压缩的国际标准，如JPEG，JPEG2000等。目前的无损的图像压缩方法，压缩的倍数一般在4以下。同时，图像的有损的压缩方法，会带来图像的失真，产生块效应(block artifact)、振铃效应(ringing artifact)等。为此，图像的超分辨率的放大技术得到了人们的广泛关注，并成为近年来图像处理领域内的热点研究问题。 

图像超分辨率放大的目的是由低分辨率的图像得到高分辨率图像的方法。这样，可以在传输和存储时，只传输或存储低分辨率的图像，然后在接受方或显示方采用图像的超分辨率放大技术得到高分辨率的图像。同时，图像的超分辨率放大技术可以和已有的图像压缩技术相结合，进一步地减少为存储和传输高分辨率图像而消耗的系统资源。进一步地，高清视频的存储和传输，也可以利用图像的超分辨方法来减少系统资源的消耗。 

目前，图像的超分辨率的方法分为插值的方法和基于样例的方法。其中，基于样例的方法需要先建立一个由训练得到的由低分辨率图像块和其对应的高分辨率图像块构成的样例数据库，且其计算量非常大，难以实时应用。基于插值的方法，虽然其计算复杂度低，但是容易造成图像的模糊，使图像的边缘部分不清晰。而人眼对于图像的边缘部分是比较敏感的，其较低的失真就会大大降低图像的视觉效果。 

为此，本发明提出了一种在初始的放大之后，依据图像的边缘来修改放大图像中的边缘像素点和其附近的像素点的值的方法。以在插值的时候，插值方向和图像的边缘走向相一致，得到边缘清晰的放大图像。 

发明内容

有鉴于现有技术的上述缺陷，本发明提出了一种对图像中的边缘的情况进行分类，然后对不同的类别进行相应的重新插值的方法。以根据低分辨率图像上的边缘信息，作为启发式的信息，依据边缘的走向来进行插值，使放大的图像边缘清晰，克服目前已有的超分辨率插值的方法的边缘模糊的缺点。 

为实现上述目的，本发明提供了一种在边缘检测后对边缘进行11种不同的分类再进行重新插值的方法。对于放大的倍数为2×2时，即，横向放大2倍，纵向放大2倍。当然本发明不限于放大2×2倍。本发明包括： 

步骤一，初始的基于插值的超分辨率放大，以得到初始的高分辨率图像； 

步骤二，对低分辨率图像进行边缘检测与提取； 

步骤三，对边缘提取后的图像进行二值化处理，使非边缘点上的二值化的值均变为0，边缘点上的二值化的值为1。即，在二值化的图像上，图像边缘上的像素点值为1，其它不是边缘的像素点值全部为0； 

步骤四，置x＝0，y＝0； 

步骤五，以(x，y)为高分辨率图像块的左上角，在高分辨率的图像上提取3×3大小的图像块。对低分辨率的二值化图像，以(x/2，y/2)为左上角，提取2×2大小的图像块。根据此2×2大小的边缘二值化后的图像块，对提取的高分辨率的图像块进行分类，具体可分为如下11类：分别为上边缘类、下边缘类，左边缘类、右边缘类、左下斜边缘类、右下斜边缘类、左上角边缘类、左下角边缘类、右上角边缘类、右下角边缘类、其它类；然后，根据边缘的类别，对初始放大的图像上提取的3×3大小的图像块的边缘像素点及其附近像素点，进行重新插值； 

步骤六，置x＝x+2，若x≤2W-5(W为低分辨率图像的宽度)，则跳到步骤五对下一个图像块进行操作； 

步骤七，置y＝y+2，若y≤2H-5(H为低分辨率图像的高度)，则跳到步骤五对下一个图像块进行操作； 

步骤八，对当前低分辨率图像的超分辨率放大结束。得到(2W)×(2H)尺寸的高分辨率图像。 

进一步地，所述步骤一中，所采用的是双线性插值方法。即，对于如下图像块： 

$>\left(\begin{array}{ccc}A& a& B\\ b& c& d\\ C& e& D\end{array}\right)$>

其中，A、B、C、D分别是低分辨率图像上的像素点的像素值，a、b、c、d、e是高分辨率图像上需插值的像素点。在双线性插值方法中，它们的像素值由下式得到： 

$>\left(\begin{array}{c}a=\mathrm{clip}((A+B)/2)\\ b=\mathrm{clip}((A+C)/2)\\ c=\mathrm{clip}((A+B+C+D)/4)\\ d=\mathrm{clip}((B+D)/2)\\ e=\mathrm{clip}((C+D)/2)\end{array}\right)$>

其中，clip(x)函数是把x的值限制到一个像素点值的值域范围之内，即，clip(x)＝max(I_min，min(x，I_max))。这里，I_min和I_max分别是一个像素点可能取得最小值和最大值。 

进一步地，所述步骤二中，采用Canny算子进行边缘提取。Canny算子具体的计算方法如下： 

首先，用高斯滤波器平滑图像，也就是在通常情况下选取一个高斯平滑函数，在频域内其冲击函数为： 

$>H(u,v)=e^{-D^2(u,v)/2{\sigma }^2}$>

其中，D(u，v)表示的是距离傅里叶变换较远点的距离，σ是曲率，H(u，v)表示高斯曲线扩展的程度；为避免边缘过于模糊，本发明利用范围小的卷积的模板。具体地，本发明采用如下的5×5的模板对低分辨率的图进行卷积运算： 

$>H(m,n)=\frac{1}{256}\left(\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right)$>

其次，计算梯度的幅值和方向，也就是首先选取一个一阶差分卷积的模板： 

$>H_1=\left(\begin{array}{cc}-1& -1\\ 1& 1\end{array}\right)$>   $>H_2=\left(\begin{array}{cc}1& -1\\ 1& -1\end{array}\right)$>

然后定义低分辨率图像f(m，n)(m为纵向坐标，n为横向坐标)在H₁、H₂两个正交方向上的梯度Ψ₁(m，n)、Ψ₂(m，n)分别为： 

Ψ₁(m，n)＝f(m，n)*H₁(m，n) 

Ψ₂(m，n)＝f(m，n)*H₂(m，n) 

在经过进一步的运算得到边缘的强度和方向如下式所示： 

$>\Psi (m,n)=\sqrt{{\psi }_1^2(m,n)+{\Psi }_2^2(m,n)}$>

$>{\theta }_{\Psi }={\tan }^{-1}\frac{{\psi }_2(m,n)}{{\psi }_1(m,n)}$>

在原始的Canny算子的方法中，将用已经计算出的梯度幅值进行非极大值(NMS)收敛；本发明对此步骤进行改进。首先量化边缘角度θ_Ψ为θ₁，θ₁∈{0°，45°，90°，135°，180°，225°，270°，315°}。然后，如果θ₁＝0°，则必须 Ψ(m，n)＞Ψ(m，n+1)才判断当前点为初始的边缘点；如果θ₁＝45°，则必须Ψ(m，n)＞Ψ(m-1，n+1)才判断当前点为初始的边缘点；如果θ₁＝90°，则必须Ψ(m，n)＞Ψ(m-1，n)才判断当前点为初始的边缘点；如果θ₁＝135°，则必须Ψ(m，n)＞Ψ(m-1，n-1)才判断当前点为初始的边缘点；如果θ₁＝180°，则必须Ψ(m，n)＞Ψ(m，n-1)才判断当前点为初始的边缘点；如果θ₁＝225°，则必须Ψ(m，n)＞Ψ(m+1，n-1)才判断当前点为初始的边缘点；如果θ₁＝270°，则必须Ψ(m，n)＞Ψ(m+1，n)才判断当前点为初始的边缘点，如果θ₁＝315°，则必须Ψ(m，n)＞Ψ(m+1，n+1)才判断当前点为初始的边缘点。这样，可减少计算量，并取得较好的效果。 

最后，用双阈值算法来把已经检测出的图像边缘连接起来。即，当上一步检测出的初始边缘点的梯度幅值Ψ(m，n)＞T_h时，确定该点为图像边缘点。然后，以这些边缘点为种子，扫描其周围相邻的点，当其梯度幅值Ψ(m，n)＞T_l时，把此点加入图像边缘点的集合。本发明中，根据大量的实验与其结果，对这两个参数T_h、T_l的取值设定为T_h＝200，T_l＝100。 

进一步地，所述步骤五中，根据3×3大小的图像块中的边缘，对图像块分类的过程可描述如下。即，对高分辨率图像中提取的图像块 

$>\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)$>

在此图像块中，a₁₁、a₁₃、a₃₁、a₃₃像素点是属于低分辨率图像中的像素点，此块中其余的像素点值是由插值得到的。根据其所对应的低分辨率的二值化的边缘分布图，可按此块中边缘点出现的位置对此图像块进行分类。其分类的类别如下： 

(a)上边缘类。此时a₁₁和a₁₃为图像边缘点。此时，需要重新插值的像素点为a₂₁、a₂₂、a₂₃。其插值公式为 

$>\left(\begin{array}{c}{a}_{21}=\mathrm{clip}(\alpha \times a_{11}+\beta \times a_{31})\\ a_{22}=\mathrm{clip}(\alpha \times a_{12}+\beta \times a_{32})\\ a_{23}=\mathrm{clip}(\alpha \times a_{13}+\beta \times a_{33})\end{array}\right)$>

其中，clip(x)的定义如前所述，α和β为两个权值，满足条件α+β＝1。 

(b)下边缘类。此时a₃₁和a₃₃为图像边缘点。此时，需要重新插值的像素点为a₂₁、a₂₂、a₂₃。其插值公式为 

$>\left(\begin{array}{c}{a}_{21}=\mathrm{clip}(\beta \times a_{11}+\alpha \times a_{31})\\ a_{22}=\mathrm{clip}(\beta \times a_{12}+\alpha \times a_{32})\\ a_{23}=\mathrm{clip}(\beta \times a_{13}+\alpha \times a_{33})\end{array}\right)$>

(c)左边缘类。此时a₁₁和a₃₁为图像边缘点。此时，需要重新插值的像素点为a₁₂、a₂₂、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{12}=\mathrm{clip}(\alpha \times a_{11}+\beta \times a_{13})\\ a_{22}=\mathrm{clip}(\alpha \times a_{21}+\beta \times a_{23})\\ a_{32}=\mathrm{clip}(\alpha \times a_{31}+\beta \times a_{33})\end{array}\right)$>

(d)右边缘类。此时a₁₃和a₃₃为图像边缘点。此时，需要重新插值的像素点为a₁₂、a₂₂、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{12}=\mathrm{clip}(\beta \times a_{11}+\alpha \times a_{13})\\ a_{22}=\mathrm{clip}(\beta \times a_{21}+\alpha \times a_{23})\\ a_{32}=\mathrm{clip}(\beta \times a_{31}+\alpha \times a_{33})\end{array}\right)$>

(e)左下斜边缘类。此时a₁₁和a₃₃为图像边缘点。此时，需要重新插值的像素点为a₂₂、a₁₂、a₂₁、a₂₃、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}(a_{11}+a_{33})\\ a_{12}=\mathrm{clip}(\alpha \times a_{11}+\beta \times a_{13})\\ a_{23}=\mathrm{clip}(\alpha \times a_{33}+\beta \times a_{13})\\ a_{21}=\mathrm{clip}(\alpha \times a_{11}+\beta \times a_{31})\\ a_{32}=\mathrm{clip}(\alpha \times a_{33}+\beta \times a_{31})\end{array}\right)$>

(f)右下斜边缘类。此时a₁₃和a₃₁为图像边缘点。此时，需要重新插值的像素点为a₂₂、a₁₂、a₂₁、a₂₃、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}(a_{13}+a_{31})\\ a_{12}=\mathrm{clip}(\beta \times a_{11}+\alpha \times a_{13})\\ a_{23}=\mathrm{clip}(\beta \times a_{33}+\alpha \times a_{13})\\ a_{21}=\mathrm{clip}(\beta \times a_{11}+\alpha \times a_{31})\\ a_{32}=\mathrm{clip}(\beta \times a_{33}+\alpha \times a_{31})\end{array}\right)$>

(g)左上框边缘类。左下斜边缘类。此时a₁₁、a₁₃和a₃₁为图像边缘点。此时，需要重新插值的像素点为a₂₂、a₂₃、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}((a_{12}+a_{21})\times \alpha +(a_{11}+a_{31}+a_{13})\times \beta )\\ a_{23}=\mathrm{clip}((a_{22}+a_{13})\times \alpha +a_{33}\times \beta )\\ a_{32}=\mathrm{clip}((a_{22}+a_{31})\times \alpha +a_{33}\times \beta )\end{array}\right)$>

(h)左下框边缘类。左下斜边缘类。此时a₁₁、a₃₁和a₃₃为图像边缘点。此时，需要重新插值的像素点为a₂₂、a₁₂、a₂₃。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}((a_{21}+a_{32})\times \alpha +(a_{11}+a_{31}+a_{33})\times \beta )\\ a_{12}=\mathrm{clip}((a_{11}+a_{22})\times \alpha +a_{13}\times \beta )\\ a_{23}=\mathrm{clip}((a_{22}+a_{33})\times \alpha +a_{13}\times \beta )\end{array}\right)$>

(i)右上框边缘类。此时a₁₁、a₁₃和a₃₃为图像边缘点。此时，需要重新插值的像素 点为a₂₂、a₂₁、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}((a_{12}+a_{23})\times \alpha +(a_{11}+a_{13}+a_{33})\times \beta )\\ a_{21}=\mathrm{clip}((a_{11}+a_{22})\times \alpha +a_{31}\times \beta )\\ a_{32}=\mathrm{clip}((a_{22}+a_{33})\times \alpha +a_{31}\times \beta )\end{array}\right)$>

(j)右下框边缘类。此时a₃₁、a₁₃和a₃₃为图像边缘点。此时，需要重新插值的像素点为a₂₂、a₂₁、a₁₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}((a_{32}+a_{23})\times \alpha +(a_{13}+a_{31}+a_{33})\times \beta )\\ a_{21}=\mathrm{clip}((a_{31}+a_{22})\times \alpha +a_{11}\times \beta )\\ a_{12}=\mathrm{clip}((a_{13}+a_{22})\times \alpha +a_{11}\times \beta )\end{array}\right)$>

(k)其它类别。其它情况下，都属于这一类别。对属于这一类别的情况，本发明中 

不对所提取的高分辨率图像块进行重新插值。 

综上所述，本发明首先进行初始的插值放大，这里可以选择任一个已有的插值放大方法，然后用本发明的方法对其进行改进和提高性能。由于双线性插值方法具有较低的计算复杂度和较好的性能，本发明采用双线性插值方法进行初始的插值放大。然后，本发明利用Canny算子对低分辨图像进行边缘提取。接下来，提取高分辨率图中3×3大小的块，根据此块在低分辨率图中的边缘的位置和走向，把此块进行归类，当此块属于前10类时，根据边缘的类别对此块进行重新插值；当此块属于其它类时，保留原始的插值。然后，提取下一块，进行相同的操作。直到对高分辨率中所有的块都进行了此操作为止。最终，得到边缘清晰的高分辨率的图像。其创新之处在于对高分辨率的图像的3×3大小的块的提取，并利用低分辨率图像上的边缘信息对其进行归类，并根据其类别进行有的放矢的重新插值，或保留原有的数值，使图像中边缘得以突出、更清晰。提升图像放大的效果。 

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。 

附图说明

图1是本发明的基于边缘分类的超分辨率图像重建算法的流程图； 

图2是本发明的基于边缘分类的超分辨率图像重建方法的实验结果图。 

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。 

如附图1所示，本发明的基于边缘分类的新的图像放大的方法按照如下步骤进行： 

步骤一，初始的基于双线性插值的超分辨率放大，以得到初始的高分辨率图像；即，对于如下图像块： 

$>\left(\begin{array}{ccc}A& a& B\\ b& c& d\\ C& e& D\end{array}\right)$>

其中，A、B、C、D分别是低分辨率图像上的像素点的像素值，a、b、c、d、e是高分辨率图像上需插值的像素点。在双线性插值方法中，它们的像素值由下式得到： 

$>\left(\begin{array}{c}a=\mathrm{clip}((A+B)/2)\\ b=\mathrm{clip}((A+C)/2)\\ c=\mathrm{clip}((A+B+C+D)/4)\\ d=\mathrm{clip}((B+D)/2)\\ e=\mathrm{clip}((C+D)/2)\end{array}\right)$>

其中，clip(x)函数是把x的值限制到一个像素点值的值域范围之内，即，clip(x)＝max(I_min，min(x，I_max))。对于8比特亮度的图像，I_min＝0，I_max＝255。 

这里，I_min和I_max分别是一个像素点可能取得最小值和最大值。 

步骤二，对低分辨率图像进行边缘检测与提取；这里，采用Canny算子进行边缘提取。Canny算子具体的计算方法如下： 

首先，用高斯滤波器平滑图像，也就是在通常情况下选取一个高斯平滑函数，在频域内其冲击函数为： 

$>H(u,v)=e^{-D^2(u,v)/2{\sigma }^2}$>

其中，D(u，v)表示的是傅里叶变换的距离，σ是曲率，H(u，v)表示高斯曲线扩展的程度；为避免边缘过于模糊，本发明利用范围小的卷积模板。 

具体地，本发明采用如下的5×5的模板对低分辨率的图进行卷积运算： 

$>H(m,n)=\frac{1}{256}\left(\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right)$>

其次，计算梯度的幅值和方向，也就是首先选取一个一阶差分卷积的模板： 

$>H_1=\left(\begin{array}{cc}-1& -1\\ 1& 1\end{array}\right)$>   $>H_2=\left(\begin{array}{cc}1& -1\\ 1& -1\end{array}\right)$>

然后定义低分辨率图像f(m，n)(m为纵向坐标，n为横向坐标)在H₁、H₂两个正交方向上的梯度Ψ₁(m，n)、Ψ₂(m，n)分别为： 

Ψ₁(m，n)＝f(m，n)*H₁(m，n) 

Ψ₂(m，n)＝f(m，n)*H₂(m，n) 

在经过进一步的运算得到边缘的强度和方向如下式所示： 

$>\Psi (m,n)=\sqrt{{\psi }_1^2(m,n)+{\Psi }_2^2(m,n)}$>

$>{\theta }_{\Psi }={\tan }^{-1}\frac{{\psi }_2(m,n)}{{\psi }_1(m,n)}$>

在原始的Canny算子的方法中，将用已经计算出的梯度幅值进行非极大值(NMS)收敛；本发明对此步骤进行改进。首先量化边缘角度θ_Ψ为θ₁，θ₁∈{0°，45°，90°，135°，180°，225°，270°，315°}。然后，如果θ₁＝0°，则必须Ψ(m，n)＞Ψ(m，n+1)才判断当前点为初始的边缘点；如果θ₁＝45°，则必须Ψ(m，n)＞Ψ(m-1，n+1)才判断当前点为初始的边缘点；如果θ₁＝90°，则必须Ψ(m，n)＞Ψ(m-1，n)才判断当前点为初始的边缘点；如果θ₁＝135°，则必须Ψ(m，n)＞Ψ(m-1，n-1)才判断当前点为初始的边缘点；如果θ₁＝180°，则必须Ψ(m，n)＞Ψ(m，n-1)才判断当前点为初始的边缘点；如果θ₁＝225°，则必须Ψ(m，n)＞Ψ(m+1，n-1)才判断当前点为初始的边缘点；如果θ₁＝270°，则必须Ψ(m，n)＞Ψ(m+1，n)才判断当前点为初始的边缘点，如果θ₁＝315°，则必须Ψ(m，n)＞Ψ(m+1，n+1)才判断当前点为初始的边缘点。这样，可减少计算量，并取得较好的效果。 

最后，用双阈值算法来把已经检测出的图像边缘连接起来。即，当上一步检测出的初始边缘点的梯度幅值Ψ(m，n)＞T_h时，确定该点为图像边缘点。然后，以这些边缘点为种子，扫描其周围相邻的点，当其梯度幅值Ψ(m，n)＞T_l时，把此点加入图像边缘点的集合。本发明中，根据大量的实验与其结果，对这两个参数T_h、T_l的取值设定为T_h＝200，T_l＝100。 

步骤三，对边缘提取后的图像进行二值化处理，使非边缘点上的二值化的值均变为0，边缘点上的二值化的值为1。即，在二值化的图像上，图像边缘上的像素点值为1，其它不是边缘的像素点值全部为0； 

步骤四，置x＝0，y＝0； 

步骤五，以(x，y)为高分辨率图像块的左上角，在高分辨率的图像上提取3×3大小的图像块。对低分辨率的二值化图像，以(x/2，y/2)为左上角，提取2×2大小的图像块。根据此2×2大小的边缘二值化后的图像块，对提取的高分辨率的图像块进行分类，具体可分为如下11类：分别为上边缘类、下边缘类，左边缘类、右边缘类、左下斜边缘类、右下斜边缘类、左上角边缘类、左下角边缘类、右上角边缘类、右下角边缘类、其它类；然后，根据边缘的类别，对初始放大的图像上提取的3×3 大小的图像块的边缘像素点及其附近像素点，进行重新插值；根据3×3大小的图像块中的边缘，对图像块分类的过程可描述如下。即，对高分辨率图像中提取的图像块 

$>\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)$>

在此图像块中，a₁₁、a₁₃、a₃₁、a₃₃像素点是属于低分辨率图像中的像素点，此块中其余的像素点值是由插值得到的。根据其所对应的低分辨率的二值化的边缘分布图，可按此块中边缘点出现的位置对此图像块进行分类。其分类的类别如下： 

(a)上边缘类。此时a₁₁和a₁₃为图像边缘点。此时，需要重新插值的像素点为a₂₁、a₂₂、a₂₃。其插值公式为 

$>\left(\begin{array}{c}{a}_{21}=\mathrm{clip}(\alpha \times a_{11}+\beta \times a_{31})\\ a_{22}=\mathrm{clip}(\alpha \times a_{12}+\beta \times a_{32})\\ a_{23}=\mathrm{clip}(\alpha \times a_{13}+\beta \times a_{33})\end{array}\right)$>

其中，clip(x)函数是把x的值限制到一个像素点值的值域范围之内，即，clip(x)＝max(I_min，min(x，I_max))。这里，I_min和I_max分别是一个像素点可能取得最小值和最大值。α和β为两个权值，满足条件α+β＝1。 

(b)下边缘类。此时a₃₁和a₃₃为图像边缘点。此时，需要重新插值的像素点为a₂₁、a₂₂、a₂₃。其插值公式为 

$>\left(\begin{array}{c}{a}_{21}=\mathrm{clip}(\beta \times a_{11}+\alpha \times a_{31})\\ a_{22}=\mathrm{clip}(\beta \times a_{12}+\alpha \times a_{32})\\ a_{23}=\mathrm{clip}(\beta \times a_{13}+\alpha \times a_{33})\end{array}\right)$>

(c)左边缘类。此时a₁₁和a₃₁为图像边缘点。此时，需要重新插值的像素点为a₁₂、a₂₂、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{12}=\mathrm{clip}(\alpha \times a_{11}+\beta \times a_{13})\\ a_{22}=\mathrm{clip}(\alpha \times a_{21}+\beta \times a_{23})\\ a_{32}=\mathrm{clip}(\alpha \times a_{31}+\beta \times a_{33})\end{array}\right)$>

(d)右边缘类。此时a₁₃和a₃₃为图像边缘点。此时，需要重新插值的像素点为a₁₂、a₂₂、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{12}=\mathrm{clip}(\beta \times a_{11}+\alpha \times a_{13})\\ a_{22}=\mathrm{clip}(\beta \times a_{21}+\alpha \times a_{23})\\ a_{32}=\mathrm{clip}(\beta \times a_{31}+\alpha \times a_{33})\end{array}\right)$>

(e)左下斜边缘类。此时a₁₁和a₃₃为图像边缘点。此时，需要重新插值的像素点为a₂₂、 a₁₂、a₂₁、a₂₃、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}(a_{11}+a_{33})\\ a_{12}=\mathrm{clip}(\alpha \times a_{11}+\beta \times a_{13})\\ a_{23}=\mathrm{clip}(\alpha \times a_{33}+\beta \times a_{13})\\ a_{21}=\mathrm{clip}(\alpha \times a_{11}+\beta \times a_{31})\\ a_{32}=\mathrm{clip}(\alpha \times a_{33}+\beta \times a_{31})\end{array}\right)$>

(f)右下斜边缘类。此时a₁₃和a₃₁为图像边缘点。此时，需要重新插值的像素点为a₂₂、a₁₂、a₂₁、a₂₃、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}(a_{13}+a_{31})\\ a_{12}=\mathrm{clip}(\beta \times a_{11}+\alpha \times a_{13})\\ a_{23}=\mathrm{clip}(\beta \times a_{33}+\alpha \times a_{13})\\ a_{21}=\mathrm{clip}(\beta \times a_{11}+\alpha \times a_{31})\\ a_{32}=\mathrm{clip}(\beta \times a_{33}+\alpha \times a_{31})\end{array}\right)$>

(g)左上框边缘类。左下斜边缘类。此时a₁₁、a₁₃和a₃₁为图像边缘点。此时，需要重新插值的像素点为a₂₂、a₂₃、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}((a_{12}+a_{21})\times \alpha +(a_{11}+a_{31}+a_{13})\times \beta )\\ a_{23}=\mathrm{clip}((a_{22}+a_{13})\times \alpha +a_{33}\times \beta )\\ a_{32}=\mathrm{clip}((a_{22}+a_{31})\times \alpha +a_{33}\times \beta )\end{array}\right)$>

(h)左下框边缘类。左下斜边缘类。此时a₁₁、a₃₁和a₃₃为图像边缘点。此时，需要重新插值的像素点为a₂₂、a₁₂、a₂₃。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}((a_{21}+a_{32})\times \alpha +(a_{11}+a_{31}+a_{33})\times \beta )\\ a_{12}=\mathrm{clip}((a_{11}+a_{22})\times \alpha +a_{13}\times \beta )\\ a_{23}=\mathrm{clip}((a_{22}+a_{33})\times \alpha +a_{13}\times \beta )\end{array}\right)$>

(i)右上框边缘类。此时a₁₁、a₁₃和a₃₃为图像边缘点。此时，需要重新插值的像素点为a₂₂、a₂₁、a₃₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}((a_{12}+a_{23})\times \alpha +(a_{11}+a_{13}+a_{33})\times \beta )\\ a_{21}=\mathrm{clip}((a_{11}+a_{22})\times \alpha +a_{31}\times \beta )\\ a_{32}=\mathrm{clip}((a_{22}+a_{33})\times \alpha +a_{31}\times \beta )\end{array}\right)$>

(j)右下框边缘类。此时a₃₁、a₁₃和a₃₃为图像边缘点。此时，需要重新插值的像素点为a₂₂、a₂₁、a₁₂。其插值公式为 

$>\left(\begin{array}{c}{a}_{22}=\mathrm{clip}((a_{32}+a_{23})\times \alpha +(a_{13}+a_{31}+a_{33})\times \beta )\\ a_{21}=\mathrm{clip}((a_{31}+a_{22})\times \alpha +a_{11}\times \beta )\\ a_{12}=\mathrm{clip}((a_{13}+a_{22})\times \alpha +a_{11}\times \beta )\end{array}\right)$>

(k)其它类别。其它情况下，都属于这一类别。对属于这一类别的情况，本发明中不对所提取的高分辨率图像块进行重新插值。 

这里，本发明根据大量的实验确定α＝0.7，β＝0.3。 

步骤六，置x＝x+2，若x≤2W-5(W为低分辨率图像的宽度)，则跳到步骤五对下一个图像块进行操作； 

步骤七，置y＝y+2，若y≤2H-5(H为低分辨率图像的高度)，则跳到步骤五对下一个图像块进行操作； 

步骤八，对当前低分辨率图像的超分辨率放大结束。得到(2W)×(2H)尺寸的高分辨率图像。 

本发明的实验主要选取的是FERET数据库中的人脸图像，其中具体选取的是包括肤色不同程度的四幅图像用于重建，原始高分辨率图像的大小为120*120，根据每两个像素点取一个像素点的规定，下采样后的降质图像大小变为60*60，即缩小到原来的1/4，需要插值放大的倍数应该设为长和宽方向上各2倍。 

本发明选人脸图像数据库为实验对象来进行实验，然后将实验所得结果通过主观和客观两个方面的评价来检测实验结果的优劣，其中主观评价就是根据人眼对图像整体的视觉效果还有对图像细节部分的感受来进行评价，客观评价就是采用不同的公式算法通过数据来说明图像的质量。 

附图2显示了本发明所提出的方法的结果。此图中的(a)列部分为对实际的高分辨率图像进行下采样得到的低分辨率的图像，(b)列部分为对(a)列的低分辨率图像进行双线性插值的结果，(c)列部分为本发明的方法对(a)列的图像提取的边缘信息图，(d)列部分为本发明的方法对(a)列图像处理得到的高分辨率的图像，(e)列部分为实际的高分辨率图像。 

从此附图中可以看出，采用了所提出的方法能够很好地重建出边缘部分和靠近边缘的部分。同时，放大后可以看出，本发明算法重构出来的图像整体平滑度很高，边缘更加清晰，靠近边缘的点也更加接近真实的图像。由于肤色的不同会造成检测出的边缘个数的不同，所重建的图像的结果也略有不同。 

表1实际FERET人脸库图像中基于双线性插值方法和本发明的方法输出图像的PSNR 

表2实际FERET人脸库图像中基于双线性插值方法和本发明的方法输出图像的SSIM 

本发明主要选用峰值信噪比(PSNR)和特征相似度(SSIM)两种客观评价方法来评价所提出的方法的性能。其中计算PSNR的公式如下： 

$>\mathrm{PSNR}=10\times {\log }_{10}\left(\frac{(2^n-1)}{\mathrm{MSE}}\right)$>

上式中，n为图像亮度值所用的比特数，例如对于8比特图像亮度值n＝8。MSE为均方根误差，定义为： 

$>\mathrm{MSE}=\frac{\underset{i=0}{\overset{2H-1}{\Sigma }}\underset{j=0}{\overset{2W-1}{\Sigma }}{(f^{\prime }(i,j)-f(i,j))}^2}{2W\times 2H}$>

其中图像大小为(2W)×(2H)，f′(i，j)表示用本发明的方法重构的高分辨率图像的像素点的值，f(i，j)表示原始高分辨率图像的像素点的值。 

特征相似度评价(SSIM)方法的具体计算公式如下所示： 

$>\mathrm{SSIM}=\frac{(2{\mu }_x{\mu }_y+C_1)(2{\sigma }_{\mathrm{xy}}+C_2)}{({\mu }_x^2+{\mu }_y^2+C_1)({\sigma }_x^2+{\sigma }_y^2+C_2)}$>

其中，μ_x，μ_y分别代表原始图像和重建后图像的均值，C₁，C₂则代表重建前后两幅图像的亮度，σ_x，σ_y表示原始图像和重建后图像的方差。表示的是重建前的原始图像和重建后的图像的对比度分量，表示的则是重建前后两幅图像的结构相似度。 

对附图2(a)中的4幅低分辨率图像分别计算传统双线性插值放法重建出的超分辨率图像与实际高分辨图像率的PSNR和SSIM，以及本发明所提出的方法重建出的超分辨率图像与实际高分辨率图像的PSNR和SSIM，得到表1和表2。从这些表中可以看出所提出的方法比传统的双线性插值方法具有更高的PSNR和SSIM，重建效果优于传统的双线性插值重建方法，性能更优越。 

从表1和表2的数据和图2中，同时可以看出，检测出的边缘越多越有利于本 发明的基于边缘分类的超分辨率重建方法。同时也可以说明边缘像素点对插值放大的方法具有重要的影响，而本发明所提出的基于边缘分类的重建算法能更准确地重建边缘点和其附近的像素点，因此有利于实际应用。 

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。