插值依赖的图像自适应下采样方法

摘要

插值依赖的图像自适应下采样方法，涉及图像及视频处理，解决了目前的下采样与上采样往往是独立的，而图像及视频的处理通常同时需要下采样和上采样的问题，它包括具体步骤如下：步骤一、对给定的输入图像，生成一幅下采样图像，对此下采样图像插值出上采样图像；步骤二、采用基于块的下采样方法，提高下采样图像的质量；步骤三、判断与内容是否无关；是，执行步骤四；否，执行步骤五；步骤四、与内容无关的下采样，插值系数组成插值矩阵，对插值过程求逆得到下采样图像；步骤五、与内容相关，给出初始系数，运用与内容无关的方法得到一幅初始的下采样图像，根据得到的图像训练出新的插值系数，然后再迭代得到下采样图像。用于图像及视频处理。

说明书

技术领域

本发明涉及图像及视频处理。

背景技术

随着电子技术和计算机硬件技术的飞速发展，各式各样具有不同分辨率的显示设备层 出不穷，如何将同一幅图像或者同一个序列在不同分辨率的显示设备之间进行有效地转换 将是一项很有挑战性的技术。高效的图像下采样和上采样对转换后图像的质量具有重要的 影响，除了在不同的显示设备之间进行转换之外，图像下采样和上采样也被广泛应用到低 码率图像压缩和空域可伸缩视频编码中。

图像下采样通常可划分为空域下采样和频域下采样，在空域下采样中，下采样能通过 以相同的间隔均匀地保留原始像素（直接下采样）来完成，也可以先对原始图像进行低通 滤波然后再进行下采样。频域下采样通过保留小波系数或者离散余弦变换系数的低频系数 来获得下采样图像。

目前这些图像下采样方法都已得到了广泛的应用，但是它们都没有考虑到对下采样后 的图像再进行上采样的影响。目前的下采样与上采样往往是独立的，而图像及视频的处理 通常同时需要下采样和上采样。

发明内容

本发明的目的是为了解决目前的下采样与上采样往往是独立的，而图像及视频的处理 通常同时需要下采样和上采样的问题，提供一种插值依赖的图像自适应下采样方法。

插值依赖的图像自适应下采样方法，它包括具体步骤如下：

步骤一、对给定的插值方法和输入图像，生成一幅下采样图像，对此下采样图像插值 出高质量的上采样图像；

步骤二、对步骤一得到的上采样图像，采用基于块的图像自适应下采样方法，利用与 当前块相关的信息并将其与对应的插值系数的乘积的累加和作为一个常数向量来提高下 采样图像的质量；

步骤三、判断是否为与内容无关的插值；是，则执行步骤四；否，则执行步骤五；

步骤四、与内容无关的插值依赖的图像自适应下采样方法，将插值系数组合成插值矩 阵，通过对插值过程求其对应的逆操作来得到对应的最优的下采样图像；

步骤五、与内容相关的插值依赖的图像自适应下采样方法，首先给出一组初始的插值 系数，运用与内容无关的插值依赖的图像下采样方法得到一幅初始的下采样图像，根据得 到的下采样图像训练出新的插值系数，然后再迭代得到下采样图像。

本发明用于降分辨率的图像下采样，利用图像上采样的插值系数和原始分辨率图像内 容，实现插值依赖的图像下采样；对于所生成的下采样图像，我们从该下采样图像利用插 值得到高质量的上采样图像。适用于图像或视频处理。

附图说明

图1为插值依赖的图像自适应下采样的示意图，图2本发明的块级的插值依赖的图 像自适应下采样示意图，图中白色圆点表示下采样后的像素，黑色圆点表示沿着对角线方 向插值生成的像素，矩形表示沿着水平方向插值生成的像素，三角形表示沿着垂直方向插 值生成的像素。

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式所述插值依赖的图像自适 应下采样方法，它包括具体步骤如下：

步骤一、对给定的插值方法和输入图像，生成一幅下采样图像，对此下采样图像插值 出高质量的上采样图像；

步骤二、对步骤一得到的上采样图像，采用基于块的图像自适应下采样方法，利用与 当前块相关的信息并将其与对应的插值系数的乘积的累加和作为一个常数向量来提高下 采样图像的质量；

步骤三、判断是否为与内容无关的插值；是，则执行步骤四；否，则执行步骤五；

步骤四、与内容无关的插值依赖的图像自适应下采样方法，将插值系数组合成插值矩 阵，通过对插值过程求其对应的逆操作来得到对应的最优的下采样图像；

步骤五、与内容相关的插值依赖的图像自适应下采样方法，首先给出一组初始的插值 系数，运用与内容无关的插值依赖的图像下采样方法得到一幅初始的下采样图像，根据得 到的下采样图像训练出新的插值系数，然后再迭代得到下采样图像。

本发明用于降分辨率的图像下采样，利用图像上采样的插值系数和原始分辨率图像内 容，实现插值依赖的图像下采样；对于所生成的下采样图像，我们从该下采样图像利用插 值得到高质量的上采样图像。适用于图像或视频处理。

具体实施方式二：具体实施方式一所述插值依赖的图像自适应下采样方法中的步骤一 的具体过程为：

令Y表示大小为M×N的输入图像，X表示大小为M/2×N/2的下采样后的图像， 表示经插值后生成的上采样图像；自适应下采样的目的是求得一下采样图像，从该下采样 图像我们能得到较高质量的插值图像；因此，X需要满足：

$X=\arg \underset{x}{\min }{\left|\right|\hat{Y}-Y\left|\right|}^2---\left(1\right)$

其中X=[X_0，0，X_0，1，...,X_0，N/2-1，X_1，0，X_1，1，...,X_1，N/2-1，...,X_M/2-1，0，X_M/2-1，1，...,X_M/2-1，N/21]^T并且 Y=[Y_0，0，Y_0，1，...,Y_0，N-1,Y_1,0,Y_1，1，...,Y_1，N-1，...,Y_M/2-1，0,Y_M-1，1，...,Y_M-1，N-1]^T，显然，公式（1）表明该下采样方 法依赖于插值算法；也即，对任意的下采样像素X(i,j)（如图1中所示的9个黑色圆圈 中间的那个），首先定位出在插值过程中将要利用到X(i,j)的所有邻域像素（如图1中所 示的灰色像素）；该图像自适应下采样方法的优化目标是最小化定位区域内插值出的像素 和输入图像中的原始像素之间的误差平方和；需要指出的是，图1以双线性插值为例（每 个插值出的像素仅仅取决于与之最近的四个像素），事实上该下采样方法适用于其他各种 插值算法；

对Y的插值被表示为：

$\hat{Y}=\mathrm{HX}---\left(2\right)$

其中，H表示插值矩阵；由插值系数组成的H被表示为：

$H=\left(\begin{array}{cccc}{h}_{\mathrm{0,0}}& h_{\mathrm{0,1}}& ..& h_{0,M/2\times N/2-1}\\ h_{\mathrm{1,0}}& h_{\mathrm{1,1}}& ..& h_{1,M/2\times N/2-1}\\ h_{\mathrm{2,0}}& h_{\mathrm{2,1}}& ..& h_{2,M/2\times N/2-1}\\ ..& ..& ..& ..\\ h_{M\times N-\mathrm{1,0}}& h_{M\times N-\mathrm{1,1}}& ..& h_{M\times N-1,M/2\times N/2-1}\end{array}\right)---\left(3\right)$

其中，h_k,l表示插值第k个像素时第l个下采样像素所对应的插值系数；将公式（3）和公 式（2）带入公式（1），得到最优下采样图像的目标函数为：

$J=\arg \underset{x}{\min }{\left|\right|\mathrm{HX}-Y\left|\right|}^2---\left(4\right)$

令J的偏导为零，得到

$\frac{\partial J}{\partial X}=H^T(\mathrm{HX}-Y)=0---\left(5\right)$

则最优的下采样图像通过下式得到

X^*=(H^TH)^-1H^TY    （6）。

具体实施方式三：具体实施方式一所述插值依赖的图像自适应下采样方法中的步骤二 的具体过程为：

以m×n大小的块和双线性插值来描述块级的插值依赖的图像自适应下采样方法，图 2中块的大小为8x8并且所有被实线包围的点属于同一个块。很显然绝大多数插值像素都 利用同一块内的像素。然而对于一些边界像素而言，其插值也涉及到当前块之外的部分像 素，例如图2中的灰色像素，其插值过程涉及到了当前窗之外的下采样像素。如果将同一 块内的所有下采样像素表示成一个列向量，也就是本发明的解，则会引入其他未知变量（在 当前块之外，同时在插值当前块边界像素时涉及到的下采样像素）。我们利用当前块之外 的信息并将其作为一个常数向量。定义Φ为一个常数向量，则对Y的插值被表示：

$\hat{Y}=\mathrm{HX}+\Phi ---\left(7\right)$

其中Φ为一个长度为mn的列向量。Φ中的绝大部分元素都为零，我们只对与图2中 的灰色像素相对应的元素赋予恰当的值。对插值矩阵H和与其对应的列向量Φ的赋值伪 代码如表1和表2所示，其中B_L表示与当前块B对应的下采样块，N(i)表示插值第i个 像素涉及到的邻域像素。

插值矩阵H的计算：

将公式（7）带入公式（4），计算最优下采样块的目标函数表示为：

$J=\arg \underset{x}{\min }{\left|\right|\mathrm{HX}+\Phi -Y\left|\right|}^2---\left(8\right)$

将公式（8）中J的偏导设为零，得到：

$\frac{\partial J}{\partial X}=H^T(\mathrm{HX}+\Phi -Y)=0---\left(9\right)$

因此，最优下采样块由下式得到

X^*=(H^TH)^-1[H^TY-H^TΦ]（10）

常数向量Φ的计算：

图像自适应下采样的计算复杂度主要集中在公式（10）涉及到的插值矩阵H、常数 向量Φ的推导、矩阵相乘、矩阵求逆运算。H的复杂度为O(m²n²)，矩阵相乘和矩阵求逆 的计算复杂度分别为O(m³n³)和O(m⁶n⁶)。需要指出的是，由于H和Φ的绝大多数元素都为 零，能利用稀疏矩阵存储H和Φ，从而进一步削减存储和计算复杂度。公式（10）的先 决条件是插值矩阵H在下采样之前必须已知。

具体实施方式四：具体实施方式一所述插值依赖的图像自适应下采样方法中的步骤五 的具体过程为：

对一些内容相关的插值方法，在下采样之前其插值矩阵H未知，因此不能直接利用 公式（10）得到最优解。为了解决这一问题，本发明还提出了一个内容相关的插值依赖的 图像自适应下采样方法，在初始化阶段，首先给定H⁰和X⁰的初始值；在每次迭代过程中， 根据上次迭代的结果X^i-1来更新Hⁱ，然后根据公式（10）得到的Hⁱ来计算Xⁱ；接下来， 计算Xⁱ和X^i-1之间的误差；如果该误差低于一个阈值，就认为该算法已经收敛，从而提 前中止迭代过程；否则，该算法进入下次迭代；

内容相关插值依赖的图像自适应下采样方法：