一种用于视频图像恢复增强的结构化稀疏词典的构造方法

摘要

本发明公开了一种用于视频图像恢复增强的结构化稀疏词典的构造方法，通过对从自然图像库以及边缘分明的拟合图像中分别选取的图像片进行DCT变换，映射到频域空间，基于图像片的一般频域特征进行初步聚类处理，随后对每个聚类进一步的基于其高频信息特征进行二级聚类处理，最后，对得到的二级聚类提取前m个主成分分量，得到该聚类的稀疏子词典subDi_j，全部的稀疏子词典subDi_j构成最终的结构化稀疏词典，这样建立起的两级结构化稀疏词典库，区别于传统冗长低效的线性过完备词典。可以快速有效的求解输入图像视频信号的稀疏表达，对任意图像视频信号进行协同层级稀疏建模所得到稀疏系数向量是准确、有效的，具备相当程度的抗噪声特性。

说明书

技术领域

本发明属于视频图像增强处理技术领域，更为具体地讲，涉及在图像视频 增强处理中用于视频图像恢复增强的结构化稀疏词典的构造方法。

背景技术

因为图像视频采集系统自身固有的缺陷或局限性，通过摄像系统从现实场 景采集到的数字图像数据是经过了种种画质退化效应后的结果。也就是说，因 为种种原因，从采集后的数字图像上看到的画面与真实场景在视觉质量上存在 明显的差距。最典型的来说，有相机的点扩散函数(PSF)带来模糊效应，相机 CMOS或CCD感应芯片的分辨率限制带来下采样效应，空气、相机系统噪声叠 加后的噪声模糊效应等三大类图像画质退化的原因。

在典型的数字电视系统中，经过各类视频压缩技术编码的视频会隐含有程 度不一的块效应瑕疵，而来自传统的广播电视模拟信号除了其分辨率局限在 PAL/NTSC上之外，还有模拟信号解码转为数字信号、去隔行处理等过程中因为 误差带来的噪声或画质退化。这就是我们今天在从电视机上看到的画面质量差 强人意的原因。在播放高清视频片源如蓝光碟片时，赏心悦目的画面效果正好 说明了我们的普通视频图像画质退化有多么严重。

因为海量的传统非高清视频源的存在，目前广播电视信号仍然以PAL制式 标准为主，使用各种低成本便携摄像设备拍摄的低画质视频在不断增加，这些 都表明有创新发明新的视频图像画质增强处理技术的巨大需求。

压缩感知技术认为在满足一定的条件下，被各种退化操作污损后的信号可 以在一定程度上被准确重建与恢复。具体在图像处理领域中，建模如下：

I_LR＝UI_HR+w                    (1)

I_HR是未污染的理想的高清图像信号，I_LR是经过各种退化操作后所观察到的 低清图像信号，w是加性的噪声变量，U线性的退化算子，可以是模糊算子、下 采样算子、加性污损算子等。图像增强处理任务就是根据已知的低清图像I_LR数 据恢复出未知的理想高清图像I_HR数据。为了得到视觉舒适的逼近的高清图像 I_HR，需要整合更多的自然图像先验知识，以约束高清图像I_HR的恢复过程。该过 程一般建模如下：

且${\left|\right|I_{\mathrm{LR}}-\mathrm{UD}\tilde{a}\left|\right|}_2^2\le ϵ---\left(2\right)$

$I_{\mathrm{HR}}=D\tilde{a}---\left(3\right)$

这种自然图像的先验知识也就是图像信号在特定定义域里的稀疏性，也就 是说高清图像I_HR可以在变换域D以稀疏系数向量进行合理表达，其中ε为设定 的阈值。而系数向量稀疏系数向量中大部分元素都接近于零。通常来说，变换 域D是一个基元素组成的过完备稀疏词典。传统的稀疏词典获取方法有两种： 一是预定义变换基如傅立叶基、小波基等各种知名变换域组成；另一种是从大 量的训练数据中学习得到这样的过完备词典。总之，稀疏词典的构建决定了式 (3)中稀疏系数向量的稀疏性，同时决定了式(2)中椭圆凸优化问题的收敛 速度与稳定性，也就最终影响了高清信号高清图像IHR恢复的性能。

当前现有技术的稀疏词典及其缺陷

传统的过完备稀疏词典方法，隐含着假定条件是各个稀疏词典元素间是不 连贯互相独立的，因而也就假定稀疏系数向量中的非零系数位置是随机均匀分 布的。另一方面为了表达高清图像I_HR的完备性，稀疏词典，即变换域D中的元 素个数N相对于稀疏系数向量中的非零值个数M非常大，也就是说需要满足 N＞＞M的条件。因此在求解式(2)的优化问题时，理论上解空间大小，即自由 度为：$\left(\begin{array}{c}N\\ M\end{array}\right)$这导致了收敛速度慢、计算量大，且最终解的准确性与稳定性被减 弱。

有一种初步的结构化稀疏词典的方法来获得稀疏词典。具体来说是从0到π 的方向均匀统一抽取出T个角度，每个角度计算出一个PCA基，随后将有T个 PCA基外加一个DCT基一起构成了这个结构化的稀疏词典，如图1所示。求解 过程中，将每个PCA基看作一个独立的词典进行稀疏信号恢复，选择其中精度 误差项与稀疏约束项之和最小的基为本次信号恢复计算的变换域词典。然而这 种结构化稀疏词典的构造方法其缺陷在于，首先要从综合出来的T个黑白线角度 边缘的图像上计算初始化的有向PCA基，随后使用EM(期望最大化)算法迭 代更新PCA基里的内容。

结构化的稀疏词典其优点是明显的，解空间大小(自由度)在$\left(\begin{array}{c}N\\ M\end{array}\right)$的基础上大为减少。设若每个PCA基的元素个数相同，那么在该结构化词典上 求解的自由度降至$\left(\begin{array}{c}N\\ M/(T+1)\end{array}\right)*(T+1).$

其次，会根据不同低清图像I_LR选择不同的PCA基，也就是子词典，这样 提高了低清图像I_LR与结构化的稀疏词典之间的匹配适应性，从而获得更为准确 的稀疏性约束。

稀疏词典进行结构化约束有两方面的价值，一方面可得到更为健壮的稀疏 表达，另一方面在信号解释上，活跃的词典原子项集表明了一定的信号物理属 性。

然而，用从综合的图像计算的PCA基来表达自然图像的局部片，有其自身 固有的缺陷。因为各种自然图像片与规则的图像偏离只能一概由高斯模型里的 方差参数进行建模，这样就大大的损失了稀疏表达的准确性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种用于视频图像恢复增强的 结构化稀疏词典的构造方法，使稀疏表达更为有效而准确。

为实现上述目的，本发明用于视频图像恢复增强的结构化稀疏词典的构造方 法，其特征在于，包括以下步骤：

(1)、从自然图像库以及边缘分明的拟合图像中分别选取一定数量级图像生 成尺寸为全部的图像片集合S，其中n为图像片的像素点个数；

(2)、对图像片集合S中的图像片进行DCT变换，得到的DCT系数构成DCT 系数集合S_dct；

(3)、对DCT系数集合S_dct中的图像片DCT系数进行K₁个中心的一级聚类 处理，从而将图像片DCT系数分别划入相应的K₁个聚类

(4)、对于每个聚类，对其再做结构化操作：对聚类S_{dct_i}(1≤i≤K₁)中的图像 片DCT系数提取其高频分量，得到高频分量构成的聚类

(5)、对聚类中的高频分量执行K_{2_i}(1≤i≤K_i)个中心的聚类处理，从而划 分得到K_{2_i}个二级聚类

(6)、对每个二级聚类(1≤i≤K₁，1≤j≤K_{2_i})进行主成分分解，提取其前m 个主成分分量，构成对应该聚类的稀疏子词典subD_{i_j}(1≤i≤K₁，1≤j≤K_{2_i})；全部 的稀疏子词典subD_{i_j}构成最终的结构化稀疏词典。

本发明的发明目的是这样实现的：

本发明用于视频图像恢复增强的结构化稀疏词典的构造方法，通过对从自然 图像库以及边缘分明的拟合图像中分别选取的图像片进行DCT变换，映射到频 域空间，基于图像片的一般频域特征进行初步聚类处理，随后对每个聚类进一 步的基于其高频信息特征进行二级聚类处理，最后，对得到的二级聚类提取前m 个主成分分量，得到该聚类的稀疏子词典subD_{i_j}，全部的稀疏子词典subD_{i_j}构成 最终的结构化稀疏词典，这样建立起的两级结构化稀疏词典库，区别于传统冗 长低效的线性过完备词典。

本发明具有以下有益效果：

1、在本发明二级层级结构化稀疏词典的条件下，可以快速有效的求解输入 图像视频信号的稀疏表达，而避免了传统的在一个过完备词典中进行稀疏表达 求解的冗长计算，其原因在于本发明提供了两级层级结构，从而有效的去除了 稀疏词典中各原子项之间的信息冗余。

2、在本发明二级层级结构化稀疏词典的基础上，对任意图像视频信号进行 协同层级稀疏建模所得到稀疏系数向量是准确、有效的，具备相当程度的抗噪 声特性。

附图说明

图1是现有技术初步结构化的稀疏词典组成结构图；

图2是本发明用于视频图像恢复增强的结构化稀疏词典的构造方法的具体 流程图；

图3是层级结构化稀疏词典的示意图；

图4是稀疏子词典结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更 好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设 计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图2是本发明用于视频图像恢复增强的结构化稀疏词典的构造方法的具体 流程图。

在本实施中，如图2所示，本发明具体实施过程如下：

(1)、在所提供的自然图像库201和所提供的边缘分明的拟合图像库202 选取一定数量级的图像，二者的比例可以视情况而定，例如3∶1。在所有选取图 像上提取长宽尺寸为的图像片，其中n的取值区间一般为[25，100]。

图2中自然图像库201可从外部公开的高质量自然图像搜集，其所需图像 数量级一般在100以内就足够了。图2中拟合图像库202的图像为像素值为0 或255的黑白分界图形线的图像，其分界线角度为从0到π的方向18个均匀等 分角度。步骤203提取的图像片构成图像片集合S。

(2)步骤204所示意对图像片集合S进行预处理，将其投射到频域空间， 从而为对这些图像片样本基于纹理、边缘等特征进行聚类提供基础。具体来说， 对图像片集合S中的图像片进行DCT变换，得到的DCT系数构成DCT系数集 合S_dct，即：

s_dct＝DCT(s)，s∈S，s_dct∈S_dct                (4)

在(4)中，s代表一个图像片，s_dct代表其DCT变换后的DCT系数。需要 注意的是，DCT变换可以有多种替换方法，只需能有效将图像片集合S投射到 频域空间中即可。

如图2中在步骤205，对图像片基于纹理、边缘等频域特征显著的特性进行 聚类处理，具体来说就是对DCT系数集合S_dct中的图像片DCT系数进行K₁个中 心的聚类处理，从而将DCT系数集合S_dct划分为K₁个聚类值得注意的是，这里的聚类处理方法可以有多种方法，一种经典而有效的方法 就是K均值聚类方法，也即：

$\{S_{\mathrm{dct}\_1},S_{\mathrm{dct}\_2},S_{\mathrm{dct}\_3}···S_{\mathrm{dct}\_K_1}\}=\mathrm{kmean}\left(S_{\mathrm{dct}}\right)---\left(5\right)$

也就是说这里频域上表达的DCT系数集合S_dct经过kmean变换后全部被分类 到K₁个一级聚类中，也就是$S_{\mathrm{dct}}=S_{\mathrm{dct}\_1}+S_{\mathrm{dct}\_2}+S_{\mathrm{dct}\_3}+···+S_{\mathrm{dct}\_K_1}.$

根据这个一级聚类，在空域表达上图像片集合S有着唯一对应的分类表达 $S=S_1+S_2+S_3+···+S_{K_1}.$

如图2中，步骤205对于每个聚类对其再做结构化处理，需要对每个一级 聚类中每个图像片DCT系数提取其高频分量，具体为对聚类S_{dct_i}(1≤i≤K₁)中每 个DCT系数提取其高频分量并记为也即：

$S_{\mathrm{dct}\_i}^h=\mathrm{highFrequence}\left(S_{\mathrm{dct}\_i}\right),1\le i\le K_1---\left(6\right)$

值得注意的是，式(6)中的提取高频分量的变换可由多种方法实现，一种 是直接在由DCT系数的表达上提取高频分量。另一种方法是在DCT频域投射 变换之前的空域表达上使用经典的拉普拉斯算子提取其高频分量，也即：

$S_i^h=\mathrm{Laplacian}\left(S_i\right),1\le i\le K_1---\left(7\right)$

式(7)中相当与聚类

如图2所示，在步骤207中，经过步骤206的高频分量提取预处理后，对聚 类执行K_2-i(1＜i＜K₁)个中心的聚类处理，执行K_{2_i}(1≤i≤K_i)个中心的聚类处 理，从而划分得到K_{2_i}个二级聚类也即：

$\{S_{\mathrm{dct}\_i\_1}^h,S_{\mathrm{dct}\_i\_2}^h,S_{\mathrm{dct}\_i\_3}^h···S_{\mathrm{dct}\_i\_K_{2\_i}}^h\}=\mathrm{kmean}\left(S_{\mathrm{dct}\_i}^h\right)---\left(8\right)$

即$S_{\mathrm{dct}\_i}^h=S_{\mathrm{dct}\_i\_1}^h+S_{\mathrm{dct}\_i\_2}^h+S_{\mathrm{dct}\_i\_3}^h+···+S_{\mathrm{dct}\_i\_k_{2\_i}}^h---\left(9\right)$

如图2中，在步骤208与209中，对每个二级聚类(1≤i≤K₁，1≤j≤K_{2_i}) 构造其相应的稀疏子词典subD_{i_j}，也就是说对每个二级聚类进行主成分分 解，提取其前m个主成分分量V₁～V_m从而构成对应该聚类的稀疏子词典subD_{i_j}。 进行主成分分解的一种可实现方法就是经典的PCA方法，也即：

$\mathrm{sub}{D}_{i-j}=[V_1,V_2,···,V_m]=\mathrm{PCA}\left(S_{\mathrm{dct}\_i\_j}^h\right)---\left(10\right)$

如果是使用PCA方法进行主成分分解，则即提取前m个重要的特征向量作 为子词典的原子项顺序排列一起构成了稀疏子词典subD_{i_j}，如图4所示意。

在步骤210中，经过式(10)处理得到每个二级聚类所对应的稀疏子词典 subD_{i_j}后，它们的全集由图3所示意即共同组成了具有二级层级的结构化稀疏词 典。

也就是说，这个稀疏词典具有两级检索维度，检索索引i，j的定义空间为 1≤j≤K_{2_i}，1≤i≤K₁，而每个稀疏子词典subD_{i_j}又由m个主成分分量作为原子项顺 序排列组成。

值得注意的是，本发明用于视频图像恢复增强的结构化稀疏词典的构造方 法可以离线处理完成，最终得到一个具有二级层级的结构化稀疏词典，为随后 在线处理输入的图像视频做准备。

在得到结构化稀疏词典后，需要在其基础上，任意图像视频信号进行协同 层级稀疏建模，从而求得其稀疏系数向量。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的 技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本 技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的 本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明 创造均在保护之列。