基于边缘自适应的图像缩放方法及系统

摘要

本发明提供一种基于边缘自适应的图像缩放方法及系统，所述方法包括：确定待插值像素在原图像中的位置；计算待插值像素的边缘方向和强边概率；若所述待插值像素的强边概率不为零，则根据所述边缘方向利用边缘插值法进行插值；若所述待插值像素的强边概率为零，则根据非边缘插值法进行插值；将所述强边概率和所述强边概率的互补概率分别作为边缘插值融合权重和非边缘插值融合权重，对所述边缘插值法和所述非边缘插值法获得的插值结果进行加权融合得到最终的插值后图像。本发明所述方法能够按照任意边缘方向进行图像插值且缩放后图像清晰无锯齿。

说明书

技术领域

本发明属于图像处理领域，尤其涉及基于边缘自适应的图像缩放方法 及系统。

背景技术

目前，视频技术的主流发展方向之一为超高清技术。将原有的视频源， 如标清(720*576)，高清(1920*1080)，通过视频缩放转换成超高清视 频，对视频缩放算法的性能要求非常高。

传统的基于插值的视频缩放方法主要有两类：基于低通滤波的插值方 法和基于边缘的插值方法。基于低通滤波的插值方法，如双线性插值，双 立方插值，多相位插值等，在获得较平滑的插值图像的同时，会造成图像 中高频信息丢失，在图像的边缘出现模糊及锯齿现象。基于边缘的图像插 值方法，通过边缘检测，计算出插值点的边缘方向，沿边缘方向对插值点 进行插值，可以获得平滑的图像边缘，避免锯齿现象，但是在纹理区域会 造成模糊。

因此，需要提出一种视频缩放方法，既能保持插值图像中纹理区域的 清晰，又能避免插值图像边缘产生的模糊及锯齿现象。

发明内容

本发明提供一种基于边缘自适应的图像缩放方法及系统，以实现提高 插值图像的清晰度和减少边缘锯齿的目的。

本发明的第一个方面是提供一种基于边缘自适应的图像缩放方法，包 括：

确定待插值像素在原图像中的位置；

计算待插值像素的边缘方向和强边概率；

若所述待插值像素的强边概率不为零，则根据所述边缘方向利用边缘 插值法进行插值；

若所述待插值像素的强边概率为零，则根据非边缘插值法进行插值；

将所述强边概率和所述强边概率的互补概率分别作为边缘插值融合 权重和非边缘插值融合权重，对所述边缘插值法和所述非边缘插值法获得 的插值结果进行加权融合得到最终的插值后图像。

本发明的第二个方面是提供一种基于边缘自适应的图像缩放系统，包括：

坐标计算模块，用于确定待插值像素在原图像中的位置；

强边检测模块，用于计算待插值像素的边缘方向和强边概率；

边缘插值模块，用于在所述待插值像素的强边概率不为零时根据所述 边缘方向利用边缘插值法进行插值；

非边缘插值模块，用于在所述待插值像素的强边概率为零时根据非边 缘插值法进行插值；

融合模块，用于将所述强边概率和所述强边概率的互补概率分别作为 边缘插值融合权重和非边缘插值融合权重，对所述边缘插值法和所述非边 缘插值法获得的插值结果进行加权融合得到最终的插值后图像。

本发明的有益效果为：

本发明基于边缘自适应的图像缩放方法能够使用数量较大的原始点 以任意整数或非整数缩放倍率、及在任意边缘方向进行插值处理，使放大 后的图像边缘清晰且避免了锯齿现象。

附图说明

图1为本发明基于边缘自适应的图像缩放方法实施例一的流程图；

图2为本发明基于边缘自适应的图像缩放方法实施例一中Sobel梯度 方法的示意图；

图3为本发明基于边缘自适应的图像缩放方法实施例一中边缘方向与 设定参数间关系的示意图；

图4为本发明基于边缘自适应的图像缩放方法实施例一中构造的递增 函数关系图；

图5为本发明基于边缘自适应的图像缩放方法实施例一中边缘可靠 度与构造函数的函数关系图；

图6为本发明基于边缘自适应的图像缩放方法实施例一中边缘方向 一致性与斜率方差的函数关系图；

图7为本发明基于边缘自适应的图像缩放方法实施例一中行交点法 的示意图；

图8为本发明基于边缘自适应的图像缩放系统实施例一的结构框图。

具体实施方式

图1为本发明基于边缘自适应的图像缩放方法实施例一的流程图，如 图1所示，本发明基于边缘自适应的图像缩放方法包括：

S101、根据原图像和插值后图像的大小，确定待插值像素在原图像中 的位置，包括：

假设输入为原图像也即低分辨率图像I_L，其图像宽和高分别为W_L和 H_L，插值后的高分辨率图像为I_H，其图像宽和高分别为W_H和H_H，对于插 值图像也即高分辨率图像中位于i_H行j_H列坐标为(i_H,j_H)的待插值像素，通 过坐标计算单元，可以得到其在低分辨率图像中的坐标(i_L,j_L)：

$i_L=\frac{i_H*H_L}{H_H},j_L=\frac{j_H*W_L}{W_H}---\left(1\right)$

其中，i_L和j_L分别表示待插值像素在原图像也即低分辨率图像中位置 的行坐标和列坐标，i_H和j_H分别表示待插值像素在插值后图像也即高分辨 率图像中位置的行坐标和列坐标，H_L和W_L分别表示原图像的高和宽，H_H和W_H分别表示插值后图像的高和宽；

S102、计算待插值像素的边缘方向和强边概率；

优选的，所述确定待插值像素的边缘方向包括：

S1021、确定原图像窗口中待插值像素邻域内全部像素梯度加权的协方 差矩阵，包括：

首先计算原图像上像素点的梯度，然后计算边缘方向v；图2为本发 明基于边缘自适应的图像缩放方法实施例一中Sobel梯度方法的示意图， 如图2所示，根据待插值像素在原图像中的位置，选取其邻域内H*W的 窗口，进行边缘方向一致性、边缘可靠度和边缘强度的计算，本例中H＝4， W＝6；最终的强边概率为边缘方向一致性、边缘可靠度和边缘强度三者的 乘积；

梯度计算采用Sobel梯度算子的方法，对于原图像上的像素(i,j)，其水 平梯度g_H和垂直梯度g_V分别为：

$\left(\begin{array}{c}{g}_H(i,j)=I_L(i-1,j+1)+2*I_L(i,j+1)+I_L(i+1,j+1)\\ -I_L(i-1,j-1)-2*I_L(i,j-1)-I_L(i+1,j-1)\end{array}\right)---\left(2\right)$

$\left(\begin{array}{c}{g}_V(i,j)=I_L(i-1,j-1)+2*I_L(i-1,j)+I_L(i-1,j+1)\\ -I_L(i-1,j-1)-2*I_L(i+1,j)-I_L(i+1,j+1)\end{array}\right)---\left(3\right)$

再根据待插值像素的位置，计算其邻域内所有像素梯度加权的协方差 矩阵：

$M=\left(\begin{array}{cc}A& B\\ B& C\end{array}\right)=\left(\begin{array}{cc}\underset{(i,j)\in \Omega }{\Sigma }w(i,j)*{\left(g_H(i,j)\right)}^2& \underset{(i,j)\in \Omega }{\Sigma }w(i,j)*g_H(i,j)*g_V(i,j)\\ \underset{(i,j)\in \Omega }{\Sigma }w(i,j)*g_H(i,j)*g_V(i,j)& \underset{(i,j)\in \Omega }{\Sigma }w(i,j)*{\left(g_V(i,j)\right)}^2\end{array}\right)---\left(4\right)$

其中，w(i,j)的取值如表1所示：

表1

S1022、计算所述协方差矩阵的特征值和特征向量，并将较小特征值 对应的特征向量作为待插值像素的边缘方向；

假设协方差矩阵M的两个特征值为λ1和λ2，其中λ2为较大的特征值，

${\lambda }_1=\frac{A+C-\sqrt{{(A-C)}^2+4B^2}}{2}---\left(5\right)$

${\lambda }_2=\frac{A+C+\sqrt{{(A-C)}^2+4B^2}}{2}---\left(6\right)$

λ1的特征向量与待插值像素的边缘方向成比例,待插值像素的边缘方 向可以表示为：

$v=\left(\begin{array}{c}{v}_x\\ v_y\end{array}\right)=\left(\begin{array}{c}2B\\ C-A-\sqrt{{(C-A)}^2+4B^2}\end{array}\right)---\left(7\right)$

由于特征值的计算中有开根号操作，不利于硬件实现，下面提供一种 求取边缘方向优化方法；

若B为0，可以推出边缘方向为以下三种情况：

B＝0，A＝C，无方向；

B＝0，A>C，垂直方向；

B＝0，A<C，水平方向

若B不为0，边缘方向的斜率可以表示为：

$\mathrm{sign}\left(B\right)=\left(\begin{array}{cc}1,& B>0\\ 0,& B=0\\ -1,& B<0\end{array}\right)---\left(8\right)$

$\mathrm{slope}=\frac{C-A}{2B}-\mathrm{sign}\left(B\right)\sqrt{{\left(\frac{C-A}{2B}\right)}^2+1}---\left(9\right)$

图3为本发明基于边缘自适应的图像缩放方法实施例一中边缘方向与 设定参数间关系的示意图，边缘方向的斜率与的关系如图3所示，从 图中可以看出，四条曲线之间存在着一定关系，或对称，或乘积为-1，因 此，只需要将其中的一条曲线量化，做成查找表即可，计算通过查 表得到对应的斜率值，得到待插值像素的边缘方向；

优选的，所述确定待插值像素的强边概率包括：

S1023、确定下述三个参数：

S10231、根据原图像窗口内全部像素梯度加权的协方差矩阵确定边缘 方向可靠度参数；

优选的，所述根据原图像窗口内全部像素梯度的协方差矩阵确定边缘 方向可靠度参数包括：

构造所述协方差矩阵的较大特征值和较小特征值的比值的递增函数 f(x):

$f\left(x\right)=\frac{{(A+C)}^2}{A*C-B^2}=\frac{{\mathrm{trace}\left(M\right)}^2}{\det \left(M\right)}=\frac{{({\lambda }_1+{\lambda }_2)}^2}{{\lambda }_1{\lambda }_2}=\frac{{(1+\frac{{\lambda }_2}{{\lambda }_1})}^2}{\frac{{\lambda }_2}{{\lambda }_1}}=\frac{{(1+x)}^2}{x}---\left(10\right)$

根据公式(11)确定边缘方向可靠度参数:

$\mathrm{Ra}=\left(\begin{array}{cc}1,& A*C-B^2=0\\ \max (0,\min (1,\frac{\frac{{(A+C)}^2}{A*C-B^2}-T1}{T2-T1})),& A*C-B^2\ne 0\end{array}\right)---\left(11\right)$

其中，λ₁、λ₂分别表示所述协方差矩阵的较大特征值和较小特征值， A、B、和C分别表示所述协方差矩阵M的元素(M)₁₁、(M)₁₂或(M)₂₁、和(M)₂₂， T1、T2分别表示预先设定的边缘可靠度第一阈值和边缘可靠度第二阈值； 需要说明的是，两特征值的比值可表征边缘的可靠度，为了避免特征值 计算时的开根号操作，构造一个关于两特征值比值的递增函数，图4为本 发明基于边缘自适应的图像缩放方法实施例一中构造的递增函数关系图， 由图4所示曲线可以看出，构造的函数关于两特征值比值单调递增，因此 可以通过计算构造的函数进行边缘可靠度的计算，图5为本发明基于边缘 自适应的图像缩放方法实施例一中边缘可靠度与构造函数的函数关系图， 边缘可靠度与构造的函数的关系如图5所示。

S10232、根据原图像窗口中待插值像素邻域内全部像素梯度幅值的加 权平均确定边缘强度参数；

优选的，所述根据原图像窗口中待插值像素邻域内全部像素梯度幅值 的加权平均确定边缘强度参数包括：

确定原图像窗口中待插值像素邻域内全部像素梯度幅值的加权平均 值AvgG：

$\mathrm{AvgG}=\underset{(i,j)\in \Omega }{\Sigma }w(i,j)*\left(\right|g_H(i,j)|+|g_V(i,j)\left|\right)---\left(12\right)$

根据公式(13)确定边缘强度Rs：

$\mathrm{Rs}=\max (0,\min (1,\frac{\mathrm{AvgG}-T3}{T4-T3}))---\left(13\right)$

其中，w(i,j)表示(i,j)位置像素的双线性插值权重，g_H(i,j)表示(i,j)位 置的像素的水平梯度，g_V(i,j)表示(i,j)位置的像素的垂直梯度，T3、和T4 分别表示边缘强度第一阈值和边缘强度第二阈值；

S10233、根据原图像窗口中待插值像素邻域内全部像素的方向斜率的 方差确定边缘方向一致性参数；

优选的，所述根据原图像窗口中待插值像素邻域内全部像素的方向斜 率的方差确定边缘方向一致性参数包括：

确定插值图像中待插值像素邻域内像素的的斜率方差var：

$\mathrm{var}=\frac{1}{N}\underset{(i,j)\in S}{\Sigma }|k(i,j)-\mathrm{mean}|---\left(14\right)$

根据公式(15)确定边缘方向一致性参数：

$\mathrm{Rc}=\max (0,\min (1,\frac{T6-\mathrm{var}}{T6-T5}))---\left(15\right)$

其中，$k(i,j)=\mathrm{sign}\left(\frac{v_y(i,j)}{v_x(i,j)}\right)*\min (T,|\frac{v_y(i,j)}{v_x(i,j)}\left|\right)$表示待插值像素邻域内像素的 方向斜率，表示待插值像素领域内像素的方向斜率的平 均值，T5、和T6分别表示边缘方向一致性第一阈值和边缘方向一致性第 二阈值；需要说明的是，在确定AvgG时，需在原图像窗口上，取当前待插 值像素的P*Q邻域S，计算邻域内有方向像素的方向斜率方差，有方向是 指该像素的方向矢量v的水平分量v_x和垂直分量v_y不同时为0，邻域内有方 向像素的个数记为N，由于垂直方向的斜率为无穷大，这里对斜率的最大 值进行限制，如果斜率的绝对值大于预先设定的阈值T，则令其绝对值等 于T；图6为本发明基于边缘自适应的图像缩放方法实施例一中边缘方向 一致性与斜率方差的函数关系图，边缘方向一致性参数Rc与计算出的斜率 方差var的关系为图6所示曲线。

需要说明的是，S10231、S10232、S10233为并行步骤，不区分先后 顺序。

S1024、将所确定的所述三个参数分别作为所述强边融合参数的相互 独立的乘性因子相乘得到待插值像素的强边概率，也即得到最终强边概率 Rel：

Rel＝Ra*Rs*Rc   (16)

S103、若所述待插值像素的强边概率不为零，则根据所述边缘方向利 用边缘插值法进行插值，所述边缘插值法参见专利申请“基于边缘检测的 图像插值系统及方法”，举例来说，可以包括：

若待插值像素的边缘方向的水平分量v_x和垂直分量v_y都为0，则待插 值像素无方向，采用非边缘的图像插值方法进行插值，将二维图像插值分 解为水平和垂直两个一维方向依次进行插值，水平方向插值和垂直方向插 值的顺序可交换。

若待插值像素的边缘方向的水平分量v_x和垂直分量v_y不都为0，则待插 值像素有方向，使用行交点方法插值。

图7为本发明基于边缘自适应的图像缩放方法实施例一中行交点法的 示意图，如图7所示，计算边缘方向与待插值像素邻域内若干行的交点。 当边缘方向为水平方向时，其与待插值像素邻域内若干行没有交点；当边 缘方向斜率的绝对值较小，小于预先设定的阈值k_T时，其与待插值像素邻 域内若干行的交点较远，与待插值像素的相关性相对较小。因此，对上述 两种情况采用非边缘的图像插值方法进行插值，将二维图像插值分解为水 平和垂直两个一维方向依次进行插值，水平方向插值和垂直方向插值的顺 序可交换。

对于上述两种情况以外的其他情况，找到边缘方向与待插值像素邻域 内若干行的交点，本实施例中取待插值像素上下两行共四行的交点P₀，P₁， P₂，P₃，坐标分别为：

$P_0:(i-1,j_L+\frac{(1+\mathrm{dy})*v_x}{v_y})---\left(17\right)$$P_1:(i,j_L+\frac{\mathrm{dy}*v_x}{v_y})---\left(18\right)$

$P_2:(i+1,j_L-\frac{(1-\mathrm{dy})*v_x}{v_y})---\left(19\right)$

$P_3:(i+2,j_L-\frac{(2-\mathrm{dy})*v_x}{v_y})---\left(20\right)$

四个交点的像素值采用水平方向的一维插值计算，这里的一维插值可 以采用现有的任一种图像插值方法计算，如使用双线性插值，以图9中的 P₀为例，可以得到P₀的插值结果为：

$\left(\begin{array}{c}{I}_{P0}=(1-(j_L+\frac{(1+\mathrm{dy})*v_x}{v_y}-j-1))*I_L(i-1,j+1)\\ +(j_L+\frac{(1+\mathrm{dy})*v_x}{v_y}-j-1)*I_L(i-1,j+2)\end{array}\right)---\left(21\right)$

再对四个交点P₀，P₁，P₂，P₃的像素值进行一维滤波，得到待插值像素 的值：

I_H(i_H,j_H)＝f₀*I_P0+f₁*I_P1+f₂*I_P2+f₃*I_P3   (22)

其中，[f₀,f₁,f₂,f₃]为一维滤波器的系数，如[1，3，3，1]。

S104、若所述待插值像素的强边概率为零，则根据非边缘插值法进行 插值；

非边缘插值法可以采用现有的任一种图像插值方法进行插值，如将二 维图像插值分解为水平和垂直两个一维方向依次进行插值，水平方向插值 和垂直方向插值的顺序可交换，一维方向上插值的一个例子为双线性插 值，如在图7中对P0的插值。

S105、将所述强边概率和所述强边概率的互补概率分别作为边缘插值 融合权重和非边缘插值融合权重，对所述边缘插值法和所述非边缘插值法 获得的插值结果进行加权融合得到最终的插值后图像，包括：

根据公式(1)对所述边缘插值法和所述非边缘插值法获得的插值结果 I_He和I_Ht进行加权融合，得到最终的插值后图像I_H：

I_H＝Rel*I_He+(1-Rel)*I_Ht   (23)

本发明基于边缘自适应的图像缩放方法能够使用数量较大的原始点 以任意整数或非整数缩放倍率、及在任意边缘方向进行插值处理，使放大 后的图像边缘清晰且避免了锯齿现象。

图8为本发明基于边缘自适应的图像缩放系统实施例一的结构框图， 如图8所示，本发明基于边缘自适应的图像缩放系统包括：

坐标计算模块，用于确定待插值像素在原图像中的位置；

强边检测模块，用于计算待插值像素的边缘方向和强边概率；

边缘插值模块，用于在所述待插值像素的强边概率不为零时根据所述 边缘方向利用边缘插值法进行插值；

非边缘插值模块，用于在所述待插值像素的强边概率为零时根据非边 缘插值法进行插值；

融合模块，用于将所述强边概率和所述强边概率的互补概率分别作为 边缘插值融合权重和非边缘插值融合权重，对所述边缘插值法和所述非边 缘插值法获得的插值结果进行加权融合得到最终的插值后图像。

优选的，所述强边检测模块包括梯度计算模块、边缘方向可靠度子模 块、边缘强度子模块、和边缘方向一致性子模块：

所述梯度计算模块，用于计算待插值像素的边缘方向；

所述边缘方向可靠度子模块，用于根据原图像窗口中待插值像素邻域 内全部像素梯度加权的协方差矩阵确定边缘方向可靠度参数；

所述边缘强度子模块，用于根据原图像窗口中待插值像素邻域内全部 像素梯度幅值的加权平均确定边缘强度参数；

所述边缘方向一致性子模块，用于根据原图像窗口中待插值像素邻域 内全部像素的方向斜率的方差确定边缘方向一致性参数；

将所确定的所述参数中的一个或其任意组合分别作为所述强边融合 参数的相互独立的乘性因子相乘得到待插值像素的强边概率。

优选的，所述梯度计算模块，具体用于确定原图像窗口中待插值像素 邻域内全部像素梯度加权的协方差矩阵、和计算所述协方差矩阵的特征值 和特征向量，并将较小特征值对应的特征向量并作为待插值像素的边缘方 向；

所述边缘方向可靠度子模块，具体用于构造所述协方差矩阵的较大特 征值和较小特征值的比值的递增函数f(x):

$f\left(x\right)=\frac{{(A+C)}^2}{A*C-B^2}=\frac{{\mathrm{trace}\left(M\right)}^2}{\det \left(M\right)}=\frac{{({\lambda }_1+{\lambda }_2)}^2}{{\lambda }_1{\lambda }_2}=\frac{{(1+\frac{{\lambda }_2}{{\lambda }_1})}^2}{\frac{{\lambda }_2}{{\lambda }_1}}=\frac{{(1+x)}^2}{x}---\left(10\right)$

和根据公式(11)确定边缘方向可靠度参数Ra:

$\mathrm{Ra}=\left(\begin{array}{cc}1,& A*C-B^2=0\\ \max (0,\min (1,\frac{\frac{{(A+C)}^2}{A*C-B^2}-T1}{T2-T1})),& A*C-B^2\ne 0\end{array}\right)---\left(11\right)$

其中，λ₁、λ₂分别表示所述协方差矩阵的较大特征值和较小特征值， A、B、和C分别表示所述协方差矩阵M的元素(M)₁₁、(M)₁₂或(M)₂₁、和(M)₂₂， T1、T2分别表示边缘可靠度第一阈值和边缘可靠度第二阈值。

优选的，所述边缘强度子模块具体用于确定原图像窗口中待插值像素 邻域内全部像素梯度幅值的加权平均值AvgG：

$\mathrm{AvgG}=\underset{(i,j)\in \Omega }{\Sigma }w(i,j)*\left(\right|g_H(i,j)|+|g_V(i,j)\left|\right)---\left(12\right)$

和根据公式(13)确定边缘强度Rs：

$\mathrm{Rs}=\max (0,\min (1,\frac{\mathrm{AvgG}-T3}{T4-T3}))---\left(13\right)$

其中，w(i,j)表示(i,j)位置像素的双线性插值权重，g_H(i,j)表示(i,j)位 置的像素的水平梯度，g_V(i,j)表示(i,j)位置的像素的垂直梯度，T3、和T4 分别表示边缘强度第一阈值和边缘强度第二阈值。

优选的，所述边缘方向一致性子模块具体用于确定插值图像中待插值 像素邻域内像素的斜率方差var：

$\mathrm{var}=\frac{1}{N}\underset{(i,j)\in S}{\Sigma }|k(i,j)-\mathrm{mean}|---\left(14\right)$

和根据公式(15)确定边缘方向一致性参数Rc：

$\mathrm{Rc}=\max (0,\min (1,\frac{T6-\mathrm{var}}{T6-T5}))---\left(15\right)$

其中，$k(i,j)=\mathrm{sign}\left(\frac{v_y(i,j)}{v_x(i,j)}\right)*\min (T,|\frac{v_y(i,j)}{v_x(i,j)}\left|\right)$表示待插值像素邻域内像素的 方向斜率，表示待插值像素领域内像素的方向斜率的平 均值，T5、和T6分别表示边缘方向一致性第一阈值和边缘方向一致性第 二阈值。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非 对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的 普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进 行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或 者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范 围。