基于多层支持向量回归机模型的图像超分辨重建方法

摘要

本发明公开了一种基于多层支持向量回归机模型的图像超分辨重建方法，主要解决现有超分辨方法存在丢失高频信息、产生振铃效应等问题。其实现步骤是：（1）分别创建训练样本库和测试样本库；（2）建立训练样本的第一层支持向量回归机模型；（3）预测高分辨亮度初始图像和初始训练图像；（4）计算初始训练图像的差值训练图像；（5）建立差值训练图像的第二层支持向量回归机模型；（6）预测高分辨亮度差值图像；（7）将高分辨亮度初始图像与高分辨亮度差值图像相加得到高分辨亮度图像。本发明重建的图像具有边缘清晰、纹理丰富、更逼近真实图像的优点，可用于视频监控、高清晰电视HDTV成像。

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及图像超分辨重建方法，可用于视频监控、 高清晰电视HDTV成像。

背景技术

图像的分辨率是衡量图像质量的一个重要性能指标。随着CCD和CMOS图像传感器的 发明，人们获取的图像更加清晰，但是在图像的采集与处理过程中，容易受到天气条件，物 理条件，人为等因素的影响，使图像质量下降。提高图像成像设备的硬件条件可以改善图像 的质量，但是高密度图像传感器的价格昂贵且从技术水平上改良传感器阵列的性能几乎难以 实现。为了满足人们低成本需求同时又能显著提高图像分辨率的要求，超分辨图像重建技术 得到推广。

图像超分辨率重建是利用一帧或者多帧低分辨率图像通过相应的图像超分辨率重建算 法，获得高分辨率图像。传统的图像超分辨率重建大致可以分为三类：基于插值、基于重构 和基于学习的超分辨方法。目前单帧图像超分辨率重建技术主要基于低分辨-高分辨图像对 学习一种数据对来实现单帧图像超分辨率重建。基于低分辨-高分辨数据对这类单帧超分辨 重建技术也称为基于学习的超分辨重建技术。

基于学习的图像超分辨方法核心在于建立高、低分辨率图像的映射模型，其实现步骤包 括构造输入／输出训练集和估计模型参数。Freeman等人在文献Freeman W T,Jones T R， Pasztor E C.“Example-based super-resolution，”IEEE Computer，Graphics and Application, 2002，22(2)：56-65.中提出采用马尔科夫网络对高分辨率图像块与低分辨率图像块之间的 关系以及相邻的高分辨率图像块之间的关系进行建模，由于其采用的是块-块映射，所以会 产生边界效应。Karl等人在文献Karl S N，Truong Q N.“Image super-resolution using support  vector regression，”IEEE Trans on Image Processing，2007，16(6)：1596-1610.中提出将去除 中心点的低分辨率图像块作为输入，其输出为高分辨图像相应的U×U图像块，其中U为放 大因子，采用支持向量回归SVR对输入/输出图像块之间的关系进行建模，形成块-块映射， 然后对低分辨测试图像块进行预测得到高分辨率图像块，但该建模忽略了低分辨率图像块中 心点的重要作用，使得预测的图像块的高频部分信息缺失，产生边界效应。为此，Dalong Li 等人在文献Li Dalong,Simske S.“Example based single-frame image super-resolution by  support vector regression，”Journal of Pattern Recognition Research，2010：104-118.中进一步 对基于SVR的超分辨方法进行了改进，其实现步骤是：先将图像进行插值得到插值图像； 再将原始高分辨图像与插值图像的相减得到误差图像；然后将插值图像和误差图像进行分 块，把插值图像块作为输入，把误差图像块的中心像素作为输出，采用支持向量回归SVR 方法对输入图像块与输出像素点之间的关系进行建模，形成块-点映射，最后对插值后的高 分辨率测试图像块进行预测，得到误差图像块的中心像素点。这种采用块-点的映射来代替 块-块的映射，避免了边界效应，使得图像更为平滑。然而，这种方法的性能要完全依赖于 训练样本库，如果样本选择不好，就难于实现较好的图像超分辨重建。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于多层支持向量回归机模型的 图像超分辨重建方法，以在任意训练样本库的条件下，实现单帧图像的超分辨重建，提高图 像的峰值信噪比，得到重建图像的清晰边缘和丰富纹理。

本发明的技术方案是这样实现的：

本发明利用多层SVR模型恢复尽可能多的细节信息，同时，考虑到图像整体结构差异 性过大，将图像分为水平边缘部分，垂直边缘部分和非边缘部分进行训练，以利于突出图像 的局部特征；在训练数据集的同时，本发明按照像素在图像中所处的空间位置，对SVR模 型的输入集进行不同的加权，使得对输出贡献大的输入像素能得到更大的权值。从而实现单 帧图像的超分辨重建，得到边缘清晰、纹理丰富的高分辨率图像。

其实现步骤包括如下：

（1）创建高分辨亮度图像和低分辨亮度图像训练样本库；

（2）创建低分辨亮度图像测试样本库；

（3）使用横向边缘矩阵$A=\left(\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right)$和纵向边缘矩阵$B=\left(\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right)$组成索贝尔算子；

（4）用索贝尔算子更新样本库：

（4a）更新训练样本库：

（4a1）将高分辨亮度训练图像I₁下采样2倍得到低分辨亮度训练图像I₂，将低分辨亮 度训练图像I₂与索贝尔算子中的横向边缘矩阵A进行平面卷积，得到低分辨横向边缘检测 图像U_X，将低分辨横向边缘检测图像U_X与低分辨亮度训练图像I₂进行矩阵点乘得到水平边 缘训练图像I₃；

（4a2）将低分辨亮度训练图像I₂与索贝尔算子中的纵向边缘矩阵B进行平面卷积，得 到低分辨纵向边缘检测图像U_Y，将低分辨横向边缘检测图像U_Y与低分辨亮度训练图像I₂进 行矩阵点乘得到垂直边缘训练图像I₄；

（4a3）将低分辨亮度训练图像I₂与水平边缘训练图像I₃进行矩阵减运算，得到的结果 再与垂直边缘训练图像I₄进行矩阵减运算得到非边缘训练图像I₅；

（4a4）将高分辨亮度训练图像I₁、低分辨亮度训练图像I₂、水平边缘训练图像I₃、垂 直边缘训练图像I₄和非边缘训练图像I₅作为训练样本集ψ＝{I₁,I₂,I₃,I₄,I₅}；

（4b）更新测试样本库：

（4b1）将低分辨亮度测试图像H₁与索贝尔算子中的横向边缘矩阵A进行平面卷积，得 到低分辨横向边缘检测测试图像D_X，将低分辨横向边缘检测图像D_X与低分辨亮度测试图 像H₁进行矩阵点乘得到水平边缘测试图像H₂；

（4b2）将低分辨亮度测试图像H₁与索贝尔算子中的纵向边缘矩阵B进行平面卷积，得 到低分辨纵向边缘检测测试图像D_Y，将低分辨纵向边缘检测图像D_Y与低分辨亮度测试图像 H₁进行矩阵点乘得到垂直边缘测试图像H₃；

（4b3）将低分辨亮度测试图像H₁与水平边缘测试图像H₂进行矩阵减运算，得到的结 果再与垂直边缘测试图像H₃进行矩阵减运算得到非边缘测试图像H₄；

（4b4）将低分辨亮度测试图像H₁、水平边缘测试图像H₂、垂直边缘测试图像H₃和非 边缘测试图像H₄作为一组测试样本集Φ_j＝{H₁,H₂,H₃,H₄},j＝1,…,k，其中k为测试样本库 中的低分辨亮度测试图像H₁的个数。

（5）取步骤（4）中的训练样本ψ＝{I₁,I₂,I₃,I₄,I₅}，分别建立水平边缘训练图像I₃与 高分辨亮度图像训练I₁之间映射关系的第一层水平边缘支持向量回归机模型G₁、垂直边缘 训练图像I₄与高分辨亮度训练图像I₁之间映射关系的第一层垂直边缘支持向量回归机模型 G₂和非边缘训练图像I₅与高分辨亮度训练图像I₁之间映射关系的第一层非边缘支持向量回 归机模型G₃；

（6）将水平边缘训练图像I₃作为第一层水平边缘支持向量回归机模型G₁的输入，得到 初始水平边缘高分辨亮度训练图像Y₁；将垂直边缘训练图像I₄作为第一层垂直边缘支持向量 回归机模型G₂的输入，得到垂直边缘高分辨亮度训练图像Y₂；将非边缘训练图像I₅作为第 一层非边缘支持向量回归机模型G₃的输入，得到初始非边缘高分辨亮度训练图像Y₃；初始 水平边缘高分辨亮度训练图像Y₁、初始垂直边缘高分辨亮度训练图像Y₂和初始非边缘高分辨 亮度训练图像Y₃进行矩阵加运算，得到初始高分辨亮度训练图像Y；

（7）将步骤（4）中高分辨亮度训练图像I₁与步骤（6）得到的初始高分辨亮度训练图 像Y进行矩阵减运算，得到差值训练图像Q；

（8）取步骤（4）中的训练样本ψ＝{I₁,I₂,I₃,I₄,I₅}和步骤（7）中的差值训练图像Q， 分别建立水平边缘训练图像I₃与差值训练图像Q之间映射关系的第二层水平边缘支持向量 回归机模型B₁、垂直边缘训练图像I₄与差值训练图像Q之间映射关系的第二层垂直边缘支 持向量回归机模型B₂、非边缘训练图像I₅与差值训练图像Q之间映射关系的第二层非边缘 支持向量回归机模型B₃；

（9）取步骤（4）中一组测试样本Φ₁＝{H₁,H₂,H₃,H₄}，将水平边缘测试图像H₂作为 第一层水平边缘支持向量回归机模型G₁的输入，得到水平边缘高分辨亮度测试图像P₁；将 垂直边缘测试图像H₃作为第一层垂直边缘支持向量回归机模型G₂的输入，得到垂直边缘高 分辨亮度测试图像P₂；将非边缘测试图像H₄作为第一层非边缘支持向量回归机模型G₃的输 入，得到非边缘高分辨亮度测试图像P₃；

（10）将水平边缘高分辨亮度测试图像P₁、垂直边缘高分辨亮度测试图像P₂和非边缘 高分辨亮度测试图像P₃进行矩阵加运算，得到初始高分辨亮度测试图像P；

（11）取步骤（4）中一组测试样本Φ₁＝{H₁,H₂,H₃,H₄}，将水平边缘测试图像H₂作为 第二层水平边缘支持向量回归机模型B₁的输入，得到水平边缘高分辨亮度测试图像将 垂直边缘测试图像H₃作为第二层垂直边缘支持向量回归机模型B₂的输入，得到垂直边缘高 分辨亮度测试图像将非边缘测试图像H₄作为第二层非边缘支持向量回归机模型B₃的输 入，得到非边缘高分辨亮度测试图像

（12）将水平边缘高分辨亮度测试图像垂直边缘高分辨亮度测试图像和非边缘 高分辨亮度测试图像进行矩阵加运算，得到差值测试图像

（13）更新测试低分辨图像的高分辨亮度图像，即将初始高分辨亮度测试图像P和差值 测试图像进行矩阵加运算，得到高分辨亮度图像Z。

本发明具有以下优点：

1.本发明利用基于支持向量回归使用多层SVR模型来重构图像，使用第一层SVR模型 初步估计高分辨图像后，使用下一层SVR模型来估计原始高分辨图像与初步估计图像的差 异，采用块-点的映射来代替块-块的映射，避免了边界效应，尽可能多地保留细节信息；

2.本发明将图像分为水平边缘部分，垂直边缘部分和非边缘部分进行训练，更有利 于突出图像的局部特征；

3.在训练数据集的同时，本发明按照像素在图像中所处的空间位置，对SVR模型 的输入集进行不同程度的加权，来实现单帧图像的超分辨重建，可以恢复更为清晰的边 缘和更为丰富的纹理。

附图说明

图1是本发明的总体流程图；

图2是本发明在仿真实验中使用的3幅高分辨图像；

图3是使用本发明和现有四种方法对鹦鹉图像进行超分辨重建得到的图像；

图4是使用本发明和现有四种方法对花图像进行超分辨重建得到的图像。

具体实施方案

参照图1，本发明的具体实施方式如下：

步骤1，创建高分辨亮度图像和低分辨亮度图像训练样本库。

（1a）从网上随机下载一幅彩色高分辨率自然图像；

（1b）使用matlab中的函数rgb2ycbcr，将高分辨彩色图像从RGB空间映射到YCbCr 空间，再从YCbCr空间中获取亮度信号，将亮度信号构成的黑白灰度图像作为高分辨亮度 图像，使用高分辨亮度训练图像创建高分辨亮度图像训练样本库；

（1c）将高分辨亮度图像间隔取像素点，得到下采样2倍后的低分辨亮度训练图像，使 用低分辨亮度训练图像创建低分辨亮度图像训练样本库。

步骤2，创建低分辨亮度图像测试样本库：

（2a）从网上随机下载多幅彩色高分辨率自然图像；

（2b）将高分辨率图像间隔取像素点，得到下采样2倍后的低分辨彩色图像；

（2c）使用matlab中的函数rgb2ycbcr，将低分辨彩色图像从RGB空间映射到YCbCr 空间，再从YCbCr空间中获取亮度信号，将亮度信号构成的黑白灰度图像作为低分辨亮度 图像，使用所有的低分辨亮度图像创建低分辨亮度图像测试样本库。

步骤3，使用横向边缘矩阵$A=\left(\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right)$和纵向边缘矩阵$B=\left(\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right)$组成索贝尔算 子。

步骤4，用索贝尔算子更新样本库：

（4a）更新训练样本库：

（4a1）将高分辨亮度训练图像I₁下采样2倍得到低分辨亮度训练图像I₂，将低分辨亮 度训练图像I₂与索贝尔算子中的横向边缘矩阵A进行平面卷积，得到低分辨横向边缘检测 图像U_X，将低分辨横向边缘检测图像U_X与低分辨亮度训练图像I₂进行矩阵点乘得到水平边 缘训练图像I₃；

（4a2）将低分辨亮度训练图像I₂与索贝尔算子中的纵向边缘矩阵B进行平面卷积，得 到低分辨纵向边缘检测图像U_Y，将低分辨横向边缘检测图像U_Y与低分辨亮度训练图像I₂进 行矩阵点乘得到垂直边缘训练图像I₄；

（4a3）将低分辨亮度训练图像I₂与水平边缘训练图像I₃进行矩阵减运算，得到的结果 再与垂直边缘训练图像I₄进行矩阵减运算得到非边缘训练图像I₅；

（4a4）将高分辨亮度训练图像I₁、低分辨亮度训练图像I₂、水平边缘训练图像I₃、垂 直边缘训练图像I₄和非边缘训练图像I₅作为训练样本集ψ＝{I₁,I₂,I₃,I₄,I₅}；

（4b）更新测试样本库：

（4b1）将低分辨亮度测试图像H₁与索贝尔算子中的横向边缘矩阵A进行平面卷积，得 到低分辨横向边缘检测测试图像D_X，将低分辨横向边缘检测图像D_X与低分辨亮度测试图 像H₁进行矩阵点乘得到水平边缘测试图像H₂；

（4b2）将低分辨亮度测试图像H₁与索贝尔算子中的纵向边缘矩阵B进行平面卷积，得 到低分辨纵向边缘检测测试图像D_Y，将低分辨纵向边缘检测图像D_Y与低分辨亮度测试图像 H₁进行矩阵点乘得到垂直边缘测试图像H₃；

（4b3）将低分辨亮度测试图像H₁与水平边缘测试图像H₂进行矩阵减运算，得到的结 果再与垂直边缘测试图像H₃进行矩阵减运算得到非边缘测试图像H₄；

（4b4）将低分辨亮度测试图像H₁、水平边缘测试图像H₂、垂直边缘测试图像H₃和非 边缘测试图像H₄作为一组测试样本集Φ_j＝{H₁,H₂,H₃,H₄},j＝1,…,k，其中k为测试样本库 中的低分辨亮度测试图像H₁的个数。

步骤5，根据训练样本ψ＝{I₁,I₂,I₃,I₄,I₅}，建立第一层支持向量回归机模型，包括建立 水平边缘训练图像I₃与高分辨亮度图像训练I₁之间映射关系的第一层水平边缘支持向量回 归机模型G₁、垂直边缘训练图像I₄与高分辨亮度训练图像I₁之间映射关系的第一层垂直边 缘支持向量回归机模型G₂和非边缘训练图像I₅与高分辨亮度训练图像I₁之间映射关系的第 一层非边缘支持向量回归机模型G₃。

（5a）建立第一层水平边缘支持向量回归机模型G₁：

（5a1）将水平边缘训练图像I₃中像素值不为零的像素点组成水平训练点集Ω；

（5a2）根据水平训练点集Ω中每个像素点在水平边缘训练图像I₃中所处的位置找到低 分辨亮度训练图像I₂中对应位置的像素点组成集合，得到低分辨训练点集Ψ；再以低分辨 训练点集Ψ中的每个像素点为中心在低分辨亮度训练图像I₂中得到大小为3×3的子区域； 再将每个子区域拉成九列的行向量α_i，其中i＝1,…,n，n为低分辨训练点集Ψ中像素点的 个数，并将行向量组α₁,…,α_i,i＝1,…,n排成水平训练矩阵其中指向量空间；

（5a3）将低分辨训练点集Ψ中的每个像素点映射成高分辨率亮度训练图像I₁中的2×2 子区域，并将每个2×2子区域拉成列向量γ_i，其中i＝1,…,n，n为低分辨训练点集Ψ中像 素点的个数，并将列向量组γ₁,…,γ_i,i＝1,…,n排成低分辨训练矩阵

（5a4）对行向量α_i中的每个像素进行不同的加权，用所加的权值构成空间位置权值行 向量其中j＝1,2,3,4分别表示左上角、右上角、左下角和右下角，即左上角权值 向量ω₁、右上角权值向量ω₂、左下角权值向量ω₃和右下角权值向量ω₄；将每个空间位置权 值行向量ω_j扩充为n行的矩阵，得到空间位置权值矩阵即左上角权值矩阵W₁、右 上角权值矩阵W₂、左下角权值矩阵W₃和右下角权值矩阵W₄；

（5a5）定义非线性支持向量回归机拟合函数f(x)为：

$\left(\begin{array}{c}f\left(x\right)\omega ·\Phi \left(x\right)+b\\ =\underset{i=1}{\overset{n}{\Sigma }}(a_i-a_i^{*})K(x,x_i)+b;\end{array}\right)$

式中，为输入向量，其中i＝1,2,…,n，n为输入向量的个数，x为输入向量 x₁,x₂,…,x_n组成的输入向量集合，Φ(x)是指通过事先确定的非线性映射Φ将输入向量集合 x映射到一个高维特征空间中，ω和b是高维空间中线性回归函数的两个待求参数，a_i和为两个数值不同的Lagrange乘数，且大于0，K(x,x_i)＝Φ(x)·Φ(x_i)为核函数矩阵，其中 i＝1,2,…,n；

（5a6）利用非线性支持向量回归机拟合函数f(x)，得到超参数集θ：

首先，将低分辨亮度训练图像I₂进行非线性变换，得到在高维特征空间中的低分辨数据 集Χ；

其次，利用非线性支持向量回归机拟合函数f(x)对低分辨数据集Χ和高分辨率训练图 像I₁进行回归计算，得到超参数集θ，即取低分辨训练矩阵R的第j行向量μ_j，其中 j＝1,…,4，将行向量μ_j作为非线性支持向量回归机拟合函数输出，将水平训练矩阵A与权 值矩阵W_j进行矩阵点乘得到训练矩阵M_j，将该训练矩阵M_j作为非线性支持向量回归机拟 合函数f(x)的输入进行支持向量回归机计算，得到非线性支持向量回归机拟合函数的超参 数θ_j，j＝1,…,4，将θ₁,θ₂,θ₃,θ₄组成集合，得到超参数集θ；

（5a7）根据j的取值情况，利用超参数θ_j建立相应的第一层水平边缘支持向量回归机 模型G₁：

当j＝1时，将超参数θ₁代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟 合函数f₁′(x)，将该拟合函数f₁′(x)记为2×2区域的左上角第一层水平边缘支持向量回归机模 型G₁₁；

当j＝2时，将超参数θ₂代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟 合函数f₂′(x)，将该拟合函数f₂′(x)记为2×2区域的右上角第一层水平边缘支持向量回归机模 型G₁₂；

当j＝3时，将超参数θ₃代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟 合函数f₃′(x)，将该拟合函数f₃′(x)记为2×2区域的左下角第一层水平边缘支持向量回归机模 型G₁₃；

当j＝4时，将超参数θ₄代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟 合函数f₄′(x)，将该拟合函数f₄′(x)记为2×2区域的右下角第一层水平边缘支持向量回归机模 型G₁₄；

将左上角第一层水平边缘支持向量回归机模型G₁₁、右上角第一层水平边缘支持向量回 归机模型G₁₂、左下角第一层水平边缘支持向量回归机模型G₁₃和右下角第一层水平边缘支持 向量回归机模型G₁₄组成集合，得到第一层水平边缘支持向量回归机模型 G₁＝{G₁₁,G₁₂,G₁₃,G₁₄}；

（5b）按照建立第一层水平边缘支持向量回归机模型G₁的方法，建立第一层垂直边缘 支持向量回归机模型G₂；

（5c）按照建立第一层水平边缘支持向量回归机模型G₁的方法，建立第一层非边缘支 持向量回归机模型G₃。

步骤6，预测初始高分辨亮度训练图像Y。

（6a）预测初始水平边缘高分辨亮度训练图像Y₁；

（6a1）取第一层水平边缘支持向量回归机模型G₁＝{G₁₁,G₁₂,G₁₃,G₁₄}的左上角第一层水 平边缘支持向量回归机模型G₁₁，将训练矩阵M₁作为左上角第一层水平边缘支持向量回归机 模型G₁₁的输入进行支持向量回归机计算，得到左上角矩阵Τ_tl；

（6a2）按照计算左上角矩阵Τ_tl的方法，分别计算右上角矩阵T_tr、左下角矩阵T_bl和右 下角矩阵Τ_br；

（6a3）将左上角矩阵Τ_tl、右上角矩阵T_tr、左下角矩阵T_bl和右下角矩阵Τ_br结合成一个 大矩阵，得到水平边缘高分辨亮度图像Y₁；

（6b）按照预测初始水平边缘高分辨亮度训练图像Y₁的方法，预测初始垂直边缘高分辨 亮度训练图像Y₂；

（6c）按照预测初始水平边缘高分辨亮度训练图像Y₁的方法，预测初始非边缘高分辨亮 度训练图像Y₃；

（6d）初始水平边缘高分辨亮度训练图像Y₁、初始垂直边缘高分辨亮度训练图像Y₂和初 始非边缘高分辨亮度训练图像Y₃进行矩阵加运算，得到初始高分辨亮度训练图像Y。

步骤7，将步骤（4）中高分辨亮度训练图像I₁与步骤（6）得到的初始高分辨亮度训练 图像Y进行矩阵减运算，得到差值训练图像Q。

步骤8，取训练样本ψ＝{I₁,I₂,I₃,I₄,I₅}和差值训练图像Q，建立第二层支持向量回归机 模型，包括建立水平边缘训练图像I₃与差值训练图像Q之间映射关系的第二层水平边缘支持 向量回归机模型B₁、垂直边缘训练图像I₄与差值训练图像Q之间映射关系的第二层垂直边 缘支持向量回归机模型B₂、非边缘训练图像I₅与差值训练图像Q之间映射关系的第二层非 边缘支持向量回归机模型B₃。

（8a）建立第二层水平边缘支持向量回归机模型B₁；

（8a1）将低分辨训练点集Ψ中的每个像素点映射到差值训练图像Q中，得到大小为2×2 的子区域，将每个2×2子区域拉成列向量其中i＝1,…,n，n为低分辨训练点集Ψ中像 素点的个数，并将列向量组排成差值训练矩阵

（8a2）对行向量α_i中的每个像素进行不同的加权，用所加的权值构成空间位置权值行 向量其中j＝1,2,3,4分别表示左上角、右上角、左下角和右下角，即左上角权值 向量右上角权值向量左下角权值向量和右下角权值向量将每个空间位置权 值行向量扩充为n行的矩阵，得到空间位置权值矩阵即左上角权值矩阵右 上角权值矩阵左下角权值矩阵和右下角权值矩阵

（8a3）取差值训练矩阵的第j行向量其中j＝1,…,4，将行向量作为非线性 支持向量回归机拟合函数f(x)的输出；将水平训练矩阵A与权值矩阵进行矩阵点乘得到 低分辨矩阵将低分辨矩阵作为非线性支持向量回归机拟合函数f(x)的输入进行支 持向量回归机计算，得到非线性支持向量回归机拟合函数的超参数

（8a4）根据j的取值情况，利用超参数建立相应的第二层水平边缘支持向量回归机 模型B₁：

当j＝1时，将超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟 合函数将该拟合函数记为2×2区域的左上角第二层水平边缘支持向量回归机模 型B₁₁；

当j＝2时，利用超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新后的 拟合函数将该拟合函数记为2×2区域的右上角第二层水平边缘支持向量回归机 模型B₁₂；

当j＝3时，利用超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新后的 拟合函数将该拟合函数记为2×2区域的左下角第二层水平边缘支持向量回归机 模型B₁₃；

当j＝4时，利用超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新后的 拟合函数将该拟合函数记为2×2区域的右下角第二层水平边缘支持向量回归机 模型B₁₄；

（8a5）将左上角第二层水平边缘支持向量回归机模型B₁₁、右上角第二层水平边缘支持 向量回归机模型B₁₂、左下角第二层水平边缘支持向量回归机模型B₁₃和右下角第二层水平边 缘支持向量回归机模型B₁₄组成集合，得到第二层水平边缘支持向量回归机模型 B₁＝{B₁₁,B₁₂,B₁₃,B₁₄}；

（8b）按照建立第二层水平边缘支持向量回归机模型B₁的方法，建立垂直边缘训练图 像I₄与差值训练图像Q之间映射关系的第二层垂直边缘支持向量回归机模型B₂；

（8c）按照建立第二层水平边缘支持向量回归机模型B₁的方法，非边缘训练图像I₅与差 值训练图像Q之间映射关系的第二层非边缘支持向量回归机模型B₃。

步骤9，取测试样本Φ₁＝{H₁,H₂,H₃,H₄}，预测高分辨亮度初始图像：

（9a）预测水平边缘高分辨亮度初始图像P₁；

（9a1）将水平边缘测试图像H₂中像素值不为零的像素点组成水平测试点集Ω^*；

（9a2）根据水平测试点集Ω^*中每个像素点在水平边缘测试图像H₂中所处的位置找到 低分辨亮度测试图像H₁中对应位置的像素点组成集合，得到低分辨测试点集Ψ^*，再以低分 辨测试点集Ψ^*中的每个像素点为中心在低分辨亮度测试图像H₁中得到大小为3×3的子区 域，将每个子区域拉成行向量其中i＝1,…,n，n为低分辨测试点集Ψ^*中像素点的个数， 将行向量组排成水平测试矩阵

（9a3）将水平测试矩阵A^*与左上角权值矩阵W₁进行矩阵点乘得到测试矩阵M_tl，将测 试矩阵M_tl作为左上角第一层水平边缘支持向量回归机模型G₁₁的输入进行支持向量回归计 算，得到左上角矩阵Τ^*_tl；按照计算左上角矩阵Τ^*_tl的方法，计算右上角矩阵左下角矩 阵和右下角矩阵

将左上角矩阵Τ^*_tl、右上角矩阵左下角矩阵和右下角矩阵结合成一个大矩阵， 得到水平边缘高分辨亮度初始图像P₁；

（9b）按照预测水平边缘高分辨亮度初始图像P₁的方法，预测垂直边缘高分辨亮度初始 图像P₂；

（9c）按照预测水平边缘高分辨亮度初始图像P₁的方法，预测非边缘高分辨亮度初始图 像P₃。

步骤10，将水平边缘高分辨亮度初始图像P₁、垂直边缘高分辨亮度初始图像P₂和非边 缘高分辨亮度初始图像P₃进行矩阵加运算，得到初始高分辨亮度初始图像P。

步骤11，取测试样本Φ₁＝{H₁,H₂,H₃,H₄}，预测高分辨亮度差值图像。

（11a）预测水平边缘高分辨亮度差值图像

（11a1）将水平测试矩阵A^*与左上角的权值矩阵进行矩阵点乘得到差值测试矩阵 将差值测试矩阵作为左上角第二层水平边缘支持向量回归机模型B₁₁的输入进行支 持向量回归计算，得到左上角矩阵按照计算左上角矩阵的方法，分别计算右上角矩 阵左下角矩阵和右下角矩阵

（11a2）将左上角矩阵右上角矩阵左下角矩阵和右下角矩阵结合成一个 大矩阵，得到水平边缘高分辨亮度差值图像

（11b）按照预测水平边缘高分辨亮度差值图像的方法，预测垂直边缘高分辨亮度图 像差值

（11c）按照预测水平边缘高分辨亮度差值图像的方法，预测非边缘高分辨亮度差值 图像

步骤12，将水平边缘高分辨亮度差值图像垂直边缘高分辨亮度差值图像和非边 缘高分辨亮度差值图像进行矩阵加运算，得到差值图像

步骤13，更新高分辨亮度图像，即将初始高分辨亮度初始图像P和差值图像进行矩 阵加运算，得到高分辨亮度图像Z。

本发明的优点可以通过以下仿真实验进一步说明：

1.仿真条件：

在CPU为Interi3-2100,主频为3.1GHZ，内存为4G，操作系统为WIN7，仿真平台为 Matlab2010b上进行。

仿真图像选择图2所示的1幅高分辨训练图像，2幅原始高分辨测试图像，其中，图（a） 为高分辨训练图像称为女孩（Girl）图像，图（b）为高分辨测试图像称为鹦鹉（Parrots）图 像，图（c）为高分辨测试图像称为花（Flower）图像。

仿真实验中，利用本发明方法、现有的双立方插值方法、SC方法和NE方法在测试图 像上进行超分辨图像重建；其中SC方法指参考文献“Jianchao Yang,John Wright,Thomas S  Huang,and Yi Ma,“Image super-resolution via sparse representation,”IEEE Transactions on  Image Processing,vol.19,no.11,pp.2861–2873,2010.”提出的方法，NE方法指参考文献“Hong Chang,Dit-Yan Yeung,and Yimin Xiong,“Super-resolution through neighbor embedding,”in  CVPR,2004,pp.275–282.”提出的方法。

2.实验内容及结果分析：

实验一：验证本发明对自然图像有较好的重建效果。将高分辨Girl彩色图像下采样2 倍得到低分辨Girl彩色图像，将高分辨Parrots彩色图像下采样2倍得到低分辨Parrots彩色 图像；将高分辨Girl彩色图像和低分辨Girl彩色图像作为训练样本，低分辨Parrots彩色图 像作为测试样本，利用本发明方法、现有的双立方插值方法、SC方法和NE方法对低分辨 Parrots彩色图像进行超分辨图像重建。

重建的结果如图3所示，其中图3（a）是原始高分辨图像；图3（b）是双立方插值方 法的结果；图3（c）是SC方法超分辨重建的结果；图3（d）是NE方法超分辨重建的结果； 图3（e）是只构造一层SVR模型超分辨重建的结果；图3（f）是本发明二层SVR模型超 分辨重建的结果。每幅图像有一个局部放大了的矩形区域以便于观察重建的效果差别。

从图3可见，图3（b）中边缘和纹理不清晰，与图3（b）的结果相比，图3（c）-图3 （f）的结果在一定程度上有尖锐的边缘，丰富的纹理细节，但图3（c）有一些伪边效应， 而图3（d）和图3（e）在一些特定的纹理区域有些模糊。对比可知，本发明的超分辨重建 的结果不仅边缘保持很好而且细节也很丰富。

实验二：验证本发明对自然图像有较好的重建效果。将高分辨Girl彩色图像下采样2 倍得到低分辨Girl彩色图像，将高分辨Flower彩色图像下采样2倍得到低分辨Flower彩色 图像；将高分辨Girl彩色图像和低分辨Girl彩色图像作为训练样本，低分辨Flower彩色图 像作为测试样本，利用本发明方法、现有的双立方插值方法、SC方法和NE方法对低分辨 Flower彩色图像进行超分辨图像重建。

重建的结果如图4所示，其中图4（a）是原始高分辨图像；图4（b）是双立方插值方 法的结果；图4（c）是SC方法超分辨重建的结果；图4（d）是NE方法超分辨重建的结果； 图4（e）是只构造一层SVR模型超分辨重建的结果；图4（f）是本发明二层SVR模型超 分辨重建的结果。每幅图像有一个局部放大了的矩形区域以便于观察重建的效果差别。

从图4可见，图4（b）的结果花瓣边缘产生锯齿效应，并出现过平滑现象；图4（c） 花瓣高频保存较好，但边缘产生振铃效应；图4（d）和图4（e）的效果都改善，但是花瓣 边缘稍微产生振铃效应；图4（f）所示的本发明方法能把花瓣的边缘锐化，整体效果自然。