基于凸优化理论的视频联合去噪及超分辨率方法和系统

摘要

本发明提出一种基于凸优化理论的视频联合去噪及超分辨率方法，包括以下步骤：根据稀疏编码理论，基于图像块，从多个清晰图像中学习，得到一组过完备低分辨率基和过完备高分辨率基；分别建立关于噪声、重建系数矩阵和原始信号的约束式；根据约束式建立目标函数；利用增广拉格朗日优化方法对目标函数求解，得到原始信号和重建系数矩阵；利用重建系数矩阵和过完备高分辨率基进行超分辨率操作，得到去噪后的清晰高分辨率视频。本发明可以有效对进行信号相关去噪与超分辨率操作，得到清晰图像与视频，算法通用性强，视频优化效果明显。本发明还公开了一种基于凸优化理论的视频联合去噪及超分辨率系统。

说明书

技术领域

本发明涉及计算摄像学领域，特别涉及一种基于凸优化理论的视频联合去噪及超分 辨率方法和系统。

背景技术

近年来，信号相关噪声的去噪及图像超分辨率一直都是计算摄像学和计算机视觉中的研 究热点。

传统去噪方面的研究主要集中于与信号无关的噪声去噪，但是这与实际的拍摄系统不相 符。Alessandro Foi等人的研究表明，原始信号与CCD拍摄噪声均值之间存在平方关系。现 在信号相关的去噪越来越成为计算机视觉与计算摄像学中的研究热点。下面列举一些主流的 与信号相关的去噪方法：

（一）、Danielyan与G.Boracchi等人提出的将原始图像中的像素块通过信号变换转换至 频域进行去噪处理。

（二）、Li Zhang与Sundeep Vaddadi等人提出的运用主成分分析与张量分析的方法实现 多张噪声图像的去噪。

（三）、Keigo Hirakawa与Thomas W.Parks等人将原始信号看作一系列噪声像素块的组 合，提出一种概率型的去噪方法。

图像超分辨率方面已经有许多较为成熟的方法，总的来说可以概括为基于空域内插、基 于频域处理、基于正则化和基于学习基四大类。与其余三类方法比较，基于学习基的方法在 输入图像和优化模型方面具有较少的约束限制。最近的研究结果表明，自然图像像素块可以 用一组过完备基和稀疏线性矩阵重建表示，因此基于学习基的方法需要学习一组低分辨率的 过完备基和对应的一组高分辨过完备基用于超分辨率。由于需要较少的约束条件，目前此方 法吸引了越来越多研究者的兴趣。Emmanuel Candes、Jianchao Yang和Jinjun Wang等人已成 功验证了此方法的可实施性。

在高速摄像与高帧率视频中，高噪声与低分辨率一直是两个最需解决的问题。如何同时 解决这两个问题十分关键。在噪声为高斯分布假设下，Yi Xu与M.B.Chappalli等人首先将信 号转换到频域，并利用频域方法完成了图像去噪与超分辨率。Dekeyser等人利用空域方法同 时对图像进行了去噪与超分辨率。

但是，目前还没有人提出一种有效的方法，可以对含有信号相关噪声的图像与视频同时 进行去噪与超分辨率。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。

为此，本发明的一个目的在于提出一种基于凸优化理论的视频联合去噪及超分辨率方 法，可以有效对进行信号相关去噪与超分辨率操作，得到清晰图像与视频，算法通用性强， 视频优化效果明显。

本发明的第二个目的在于提出一种基于凸优化理论的视频联合去噪及超分辨率系统。

为达到上述目的，本发明第一方面的实施例提出了一种基于凸优化理论的视频联合去噪 及超分辨率方法，包括以下步骤：根据稀疏编码理论，基于图像块，从多个清晰图像中学习， 得到一组过完备低分辨率基和过完备高分辨率基；分别建立关于噪声、重建系数矩阵和原始 信号的约束式；根据所述约束式建立目标函数；利用增广拉格朗日优化方法对所述目标函数 求解，得到所述原始信号和所述重建系数矩阵；利用所述重建系数矩阵和所述过完备高分辨 率基进行超分辨率操作，得到去噪后的清晰高分辨率视频。

根据本发明实施例的基于凸优化理论的视频联合去噪及超分辨率方法可以有效对高帧 率视频同时进行信号相关去噪与超分辨率操作，得到清晰图像与视频，算法通用性强，对自 然场景下的高帧率视频都适用，在优化过程中同时做到信号相关去噪与超分辨率，减少了偏 差迭代的可能性，视频优化效果明显好于其他方法，本方法以稀疏编码理论、凸优化理论为 支撑，从软件方面较好地解决高速相机拍摄视频噪声高、带宽小的问题。

在本发明的一个实施例中，所述得到一组所述过完备低分辨率基和所述过完备高分辨率 基进一步包括：从多个所述清晰图像中选出多个像素块，采用sparse coding在多个所述像素 块中学习，得到所述过完备低分辨率基和所述过完备高分辨率基，其中，多个所述清晰图像 包括多个高分辨率图像和对应的低分辨率图像。

在本发明的一个实施例中，根据所述过完备高分辨率基和所述过完备低分辨率基，利用 所述重建系数矩阵重建得到对应的所述低分辨率图像和所述高分辨率图像。

在本发明的一个实施例中，所述过完备低分辨率基和所述过完备高分辨率基在统计意义 下对自然场景普适。

在本发明的一个实施例中，所述根据所述约束式建立所述目标函数进一步包括：对所述 原始信号利用光流算法通过相对位移进行光流对齐，得到拍摄数据。

在本发明的一个实施例中，所述约束式包括：所述拍摄数据由原始信号和拍摄噪声组成。

在本发明的一个实施例中，所述约束式包括：所述摄噪声在以所述原始信号为均值的3δ 范围内。

在本发明的一个实施例中，所述约束式包括：所述原始信号可用所述过完备低分辨率基 重建表示。

在本发明的一个实施例中，所述约束式包括：如果两个所述像素块有重叠，则所述像素 块重叠部分相同。

在本发明的一个实施例中，所述得到所述原始信号和所述重建系数矩阵进一步包括：利 用所述增广拉格朗日优化方法，将所述目标函数分解为所述原始信号的迭代优化和所述重建 系数的迭代优化，并改变相应的参数。

在本发明的一个实施例中，所述增广拉格朗日优化方法包括将所述约束条件进行增广拉 格朗日展开，得到可解目标函数，并采用凸优化理论进行迭代求解。

在本发明的一个实施例中，所述超分辨率操作进一步包括：将得到的所述重建系数矩阵 与所述过完备高分辨率基相乘，得到对应的所述超分辨率图像与视频。

在本发明的一个实施例中，根据所述相对位移对所述超分辨率图像与视频实施反光流算 法，得到去噪后的所述清晰高分辨率视频。

本发明第二方面的实施例提出了一种基于凸优化理论的视频联合去噪及超分辨率系统， 包括过完备基学习模块、约束式模块、目标函数模块、求解模块、结果生成模块和重建模块。

其中，过完备基学习模块用于根据稀疏编码理论，基于图像块，从多个清晰图像中学习， 得到一组过完备低分辨率基和过完备高分辨率基；约束式模块用于分别建立关于噪声、重建 系数矩阵和原始信号的约束式；目标函数模块用于根据所述约束式建立目标函数；求解模块 用于利用增广拉格朗日优化方法对所述目标函数求解，得到所述原始信号和所述重建系数矩 阵；结果生成模块用于利用所述重建系数矩阵和所述过完备高分辨率基进行超分辨率操作， 得到去噪后的清晰高分辨率视频。

根据本发明实施例的基于凸优化理论的视频联合去噪及超分辨率系统可以有效对高帧 率视频同时进行信号相关去噪与超分辨率操作，得到清晰图像与视频，算法通用性强，对自 然场景下的高帧率视频都适用，在优化过程中同时做到信号相关去噪与超分辨率，减少了偏 差迭代的可能性，视频优化效果明显好于其他系统，本系统以稀疏编码理论、凸优化理论为 支撑，从软件方面较好地解决高速相机拍摄视频噪声高、带宽小的问题。

在本发明的一个实施例中，过完备基学习模块还用于从多个所述清晰图像中选出多个像 素块，采用sparse coding在多个所述像素块中学习，得到所述过完备低分辨率基和所述过完 备高分辨率基，其中，多个所述清晰图像包括多个高分辨率图像和对应的低分辨率图像。

在本发明的一个实施例中，还包括重建模块，用于根据所述过完备高分辨率基和所述过 完备低分辨率基，利用所述重建系数矩阵重建得到对应的所述低分辨率图像和所述高分辨率 图像。

在本发明的一个实施例中，所述过完备低分辨率基和所述过完备高分辨率基在统计意义 下对自然场景普适。

在本发明的一个实施例中，目标函数模块还用于，对所述原始信号利用光流算法通过相 对位移进行光流对齐，得到拍摄数据。

在本发明的一个实施例中，所述约束式包括：所述拍摄数据由原始信号和拍摄噪声组成。

在本发明的一个实施例中，所述约束式包括：所述摄噪声在以所述原始信号为均值的3δ 范围内。

在本发明的一个实施例中，所述约束式包括：所述原始信号可用所述过完备低分辨率基 重建表示。

在本发明的一个实施例中，所述约束式包括：如果两个所述像素块有重叠，则所述像素 块重叠部分相同。

在本发明的一个实施例中，所述求解模块还用于，利用所述增广拉格朗日优化方法，将 所述目标函数分解为所述原始信号的迭代优化和所述重建系数的迭代优化，并改变相应的参 数。

在本发明的一个实施例中，所述增广拉格朗日优化方法包括将所述约束条件进行增广拉 格朗日展开，得到可解目标函数，并采用凸优化理论进行迭代求解。

在本发明的一个实施例中，所述结果生成模块还用于，将得到的所述重建系数矩阵与所 述过完备高分辨率基相乘，得到对应的所述超分辨率图像与视频。

在本发明的一个实施例中，所述结果生成模块还用于，根据所述相对位移对所述超分辨 率图像与视频实施反光流算法，得到去噪后的所述清晰高分辨率视频。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和 容易理解，其中：

图1是根据本发明实施例的基于凸优化理论的视频联合去噪及超分辨率方法的流程 图；

图2a是根据本发明实施例的过完备低分辨率基的结构示意图；

图2b是根据本发明实施例的过完备高分辨率基的结构示意图；

图3是根据本发明实施例的迭代优化过程中参数及迭代结果变化示意图；

图4是根据本发明实施例的不同程度拍摄噪声下的优化结果示意图；

图5是根据本发明实施例的不同自然场景实验结果数据分析对比示意图；

图6是根据本发明实施例的实际拍摄视频的优化结果示意图；和

图7是根据本发明实施例的基于凸优化理论的视频联合去噪及超分辨率系统的结构示 意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或 类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的 实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

下面参考图1描述根据本发明实施例的基于凸优化理论的视频联合去噪及超分辨率方 法，包括以下步骤：

步骤S110：根据稀疏编码理论，基于图像块，从多个清晰图像中学习，得到一组过完 备低分辨率基和过完备高分辨率基。

得到一组过完备低分辨率基和过完备高分辨率基进一步包括：从多个清晰图像中选出多 个像素块，采用sparse coding在多个像素块中学习，得到过完备低分辨率基和过完备高分辨 率基，其中，多个清晰图像包括多个高分辨率图像和对应的低分辨率图像。

其中，过完备低分辨率基和过完备高分辨率基在统计意义下对自然场景普适。

步骤S120：分别建立关于噪声、重建系数矩阵和原始信号的约束式。

步骤S130：根据约束式建立目标函数。

根据约束式建立目标函数进一步包括：对原始信号利用光流算法通过相对位移进行光流 对齐，得到拍摄数据。

约束式包括：拍摄数据由原始信号和拍摄噪声组成；摄噪声在以原始信号为均值的3δ范 围内；原始信号可用过完备低分辨率基重建表示;如果两个像素块有重叠，则像素块重叠部 分相同。

步骤S140：利用增广拉格朗日优化方法对目标函数求解，得到原始信号和重建系数矩 阵。

得到原始信号和重建系数矩阵进一步包括：利用增广拉格朗日优化方法，将目标函数分 解为原始信号的迭代优化和重建系数的迭代优化，并改变相应的参数。

其中，增广拉格朗日优化方法包括将约束条件进行增广拉格朗日展开，得到可解目标函 数，并采用凸优化理论进行迭代求解。

步骤S150：利用重建系数矩阵和过完备高分辨率基进行超分辨率操作，得到去噪后的 清晰高分辨率视频。

超分辨率操作进一步包括：将得到的重建系数矩阵与过完备高分辨率基相乘，得到对应 的超分辨率图像与视频。根据相对位移对超分辨率图像与视频实施反光流算法，得到去噪后 的清晰高分辨率视频。

在本发明的一个实施例中，根据过完备高分辨率基和过完备低分辨率基，利用重建系数 矩阵重建得到对应的低分辨率图像和高分辨率图像。

下面举例对本方法进行说明，可以理解的是，下述说明仅出于示例目的，根据本发明的 实施例不限于此。

步骤S210：根据稀疏编码理论，基于图像块，在多个清晰图像数据中学习，得到一组 过完备低分辨率基和高分辨率基。其中，过完备低分辨率基和高分辨率基在统计意义下对自 然场景普适。

其中，将过完备低分辨率基记做B_L，高分辨率基记做B_H，拍摄图像在B_L上的投影系数 具有稀疏属性，并可以利用B_H进行超分辨率。多个清晰图像包括多个高分辨率图像和对应 的多个低分辨率图像。

对于多个清晰图像中的多个像素块，采用sparse coding进行学习，得到过完备低分辨率 基和过完备高分辨率基。同时，根据过完备高分辨率基和过完备低分辨率基，利用对应的 系数矩阵重建得到对应的低分辨率与高分辨率图像。

利用光流算法对输入数据，如高帧率视频相邻帧进行光流对齐，在输出数据之前对结果 进行对应的反光流操作。利用光流算法进行光流对齐可以得到优化算法的输入数据，从而满 足输入数据矩阵地址的条件。

步骤S220：分别建立关于噪声N、重建系数矩阵A和原始信号L的约束式。

约束式包括：拍摄视频由原始信号和拍摄噪声组成；原始信号和拍摄噪声均值存在平方 的关系，故根据3δ准则，拍摄噪声在以原始信号为均值的3δ范围内；

原始信号可用低分辨率过完备基重建表示；如果两个像素块有重叠，则两个像素块重叠 部分相同。

步骤S230：生成原始信号低秩，并根据约束式和重建系数稀疏的特点，建立目标函数。 目标函数将去噪与超分辨率同时纳入同一个优化框架中。

步骤S240：利用增广拉格朗日优化方法对目标函数进行求解，得到原始信号L和重建系 数A；

得到原始信号和重建系数进一步包括：利用增广拉格朗日优化方法，将目标函数分解为 原始信号的迭代优化和重建系数矩阵的迭代优化，并改变相应的参数，得到原始信号和重建 系数。将重建系数矩阵与拍摄噪声分离。

增广拉格朗日优化方法包括将约束条件进行增广拉格朗日展开，得到可解的目标函数， 并采用凸优化理论进行迭代求解。

步骤S250：利用重建系数A和过完备高分辨率基B_H进行超分辨率操作，得到清晰的高 分辨率图像与视频。

将得到的重建系数与过完备高分辨率基相乘，得到对应的对齐的超分辨率图像与视频。 利用上述光流得到的相对位移，对对齐的超分辨率图像与视频做反光流算法，得到最终去噪 后的清晰高分辨率视频。

下面为本说明的具体示例，可以理解的是，本发明并不局限于以下实例。

图2为通过sparse coding学习得到的一组低分辨率过完备基和对应的过完备高分辨率 基。图2a为低分辨率基，7×7pixels，图2b为高分辨率基，21×21pixels。如图2所示， 为了使用同样的重建系数矩阵来重建图像与视频，过完备高分辨率基与低分辨率过完备基要 保持空间位置上的对应。

利用光流算法对拍摄得到的数据进行光流对齐，得到拍摄数据，表示为D。并根据原始 信号L、拍摄噪声N、过完备高分辨率基B_H、过完备低分辨率基B_L、重建系数矩阵A建立 如下优化模型：

$\min {\left|\right|L\left|\right|}_{*}+\lambda {\left|\right|A\left|\right|}_1$

$s.t.\left(\begin{array}{c}D=L+N\\ L=B_{L}A\\ \mathrm{IL}=C\\ N^2\le \mathrm{\alpha L}+\beta \end{array}\right)$

其中C为常数矩阵，α、β均为常数；D=L+N表示拍摄得到的数据由原始信号L与 拍摄噪声N构成。L=B_LA表示原始信号L可以用低分辨率的过完备基B_H重建；IL=C表示 相邻像素块的重叠部分是相同的，此限制条件是为了消除重建结果中的块效应。N²≤αL+β 表明拍摄噪声N与原始信号L间的非线性关系。

基于凸优化理论，利用增广拉格朗日优化方法对上述模型进行迭代求解。上述模型转化 为增广拉格朗日函数为：

$\mathrm{Lag}={\left|\right|L\left|\right|}_{*}+<Y_1,D-L-N>+\frac{\mu }{2}{\left|\right|D-L-N\left|\right|}_F^2$

$+\lambda {\left|\right|A\left|\right|}_1+<Y_2,L-\mathrm{BA}>+\frac{\mu }{2}{\left|\right|L-\mathrm{BA}\left|\right|}_F^2$

$+<{\lambda }_1,\mathrm{IL}-C>+\frac{\mu }{2}{\left|\right|\mathrm{IL}-C\left|\right|}_F^2$

$+<{\lambda }_2,N^2-(\mathrm{kL}+\mathrm{con})+ϵ·^2>+\frac{\mu }{2}{\left|\right|N-(\mathrm{kL}+\mathrm{con})+ϵ.^2\left|\right|}_F^2$

在每次迭代过程中重要参数的更新规则如下：

（一）、更新L：

$L^{n+1}=\arg {\min }_L{\left|\right|L\left|\right|}_{*}+\frac{{\mu }_1}{2}{\left|\right|L-(x-{{\mu }_1}^{-1}▿f_1\left(x\right))\left|\right|}_F^2$

$={\mathrm{Us}}_{{{\mu }_1}^{-1}}[L\_\mathrm{temp}]V^T$

其中UL_tempV^T是$x-{{\mu }_1}^{-1}{▿f}_1\left(x\right)$的SVD分解形式，$S_{{{\mu }_1}^{-1}}\left[x\right]=\left(\begin{array}{cc}x-{{\mu }_1}^{-1},& \mathrm{ifx}>{{\mu }_1}^{-1}\\ x+{{\mu }_1}^{-1},& \mathrm{ifx}<-{{\mu }_1}^{-1}\\ 0,& \mathrm{others},\end{array}\right)$

$▿f_1\left(x\right)=\mathrm{\mu x}-\mu (D-N+{\mu }^{-1}{Y}_1)$

$+\mathrm{\mu x}-\mu (B_{L}A-{\mu }^{-1}{Y}_2)$

$+{\mathrm{\mu I}}^T\mathrm{Ix}-\mu I^T(C-{\mu }^{-1}{\lambda }_1)$

$+{\mathrm{\mu \alpha }}^{2}x-\mathrm{\mu \alpha }(N^2-\beta +ϵ.^2+{\mu }^{-1}{\lambda }_2),$x表示上次迭代得到的L。

（二）、更新A：

$A^{n+1}=\mathrm{ar}g{\min }_A\lambda {\left|\right|A\left|\right|}_1+\frac{\mu }{2}{\left|\right|B_{L}A-(L+{\mu }^{-1}{Y}_2)\left|\right|}_F^2$

$=\arg {\min }_A\lambda {\left|\right|A\left|\right|}_1+\frac{{\mu }_2}{2}(A-(x-{{\mu }_2}^{-1}▿f_2\left(x\right)))$

$=s_{{\lambda /\mu }_2}[x-{{\mu }_2}^{-1}▿f_2\left(x\right)]$

其中${▿f}_2\left(x\right)={{\mathrm{\mu B}}_L}^T{B}_{L}x-{{\mathrm{\mu B}}_L}^T(L+{\mu }^{-1}{Y}_2),$x表示上次迭代得到的A。

（三）、更新N：N为$2N.^3+(1-2(\mathrm{kL}+\mathrm{con}-ϵ·^2-{\mu }^{-1}{\lambda }_2))·*N-(D-L+{\mu }^{-1}{Y}_1)=0$次方程的正数解。

（四）、更新参数ε：ε方程$ϵ.^3=(\mathrm{\alpha L}+\beta -N^2-{\mu }^{-1}{\lambda }_2)·*ϵ$的正数解。

图3显示了迭代过程中重要参数及迭代结果的变化。由图可见随着迭代次数的增加， 目标函数逐渐变小，约束条件误差逐渐变小，表明优化迭代方法可以有效地求解此模型。

按照上述迭代更新规则进行模型求解，可得到优化后的重建系数矩阵A。利用A与过完 备高分辨率基B_H相乘即可得到对其的高分辨率视频帧。利用之前光流得到的相对位移对这 些对齐视频帧做反光流算法，便可得到最终去噪后的清晰高分辨率视频。

图4为不同程度拍摄噪声下的优化结果。由图可见，当输入图像序列噪声较小时，本方 法可以将噪声完全去除；当输入噪声序列噪声较大时，本方法求解结果噪声有一定程度的增 大，但仍可去除大部分的噪声。图5为本方法对不同自然场景求解结果数据分析对比示意图。 在算法参数相同设置的情况下，横向比较可见本算法对不同的自然场景都可得到较好的结 果，说明本算法鲁棒性较强；纵向比较可见在图像信噪比低至11时，本文算法仍可大幅度 提升信噪比，说明本文算法对提高图像的质量是十分有效的。图6为实际拍摄视频的优化结 果示意图，由(e)中的细节对比图可见本文方法可以有效提高实际拍摄视频的信噪比与分辨 率，大大提高了拍摄视频的质量。

根据本发明实施例的基于凸优化理论的视频联合去噪及超分辨率方法利用了高帧率视 频相邻帧变化较少、过完备基重建图像时重建系数矩阵稀疏等特点，将信号相关噪声去噪与 超分辨率置于同一个优化框架中，通过sparse coding学习得到一组过完备低分辨率基与一组 对应的过完备高分辨率基。基于凸优化理论，利用增广拉格朗日优化方法对目标函数进行求 解，从而恢复出的清晰低分辨率视频与清晰的高分辨视频。本方法可以有效去除信号相关噪 声，得到清晰图像与视频；算法通用性强，对自然场景下的高帧率视频都适用；同时做到信 号相关去噪与超分辨率，视频优化效果明显好于其他方法。

下面参考图7描述根据本发明实施例的基于凸优化理论的视频联合去噪及超分辨率系统 100，包括过完备基学习模块110、约束式模块120、目标函数模块130、求解模块140、结 果生成模块150和重建模块160。

过完备基学习模块110用于根据稀疏编码理论，基于图像块，从多个清晰图像中学习， 得到一组过完备低分辨率基和过完备高分辨率基；约束式模块120用于分别建立关于噪声、 重建系数矩阵和原始信号的约束式；目标函数模块130用于根据约束式建立目标函数；求解 模块140用于利用增广拉格朗日优化方法对目标函数求解，得到原始信号和重建系数矩阵； 结果生成模块150用于利用重建系数矩阵和过完备高分辨率基进行超分辨率操作，得到去噪 后的清晰高分辨率视频。

过完备基学习模块110还用于从多个清晰图像中选出多个像素块，采用sparse coding在 多个像素块中学习，得到过完备低分辨率基和过完备高分辨率基，其中，多个清晰图像包括 多个高分辨率图像和对应的低分辨率图像。

重建模块160用于根据过完备高分辨率基和过完备低分辨率基，利用重建系数矩阵重建 得到对应的低分辨率图像和高分辨率图像。

其中，过完备低分辨率基和过完备高分辨率基在统计意义下对自然场景普适。

目标函数模块130还用于对原始信号利用光流算法通过相对位移进行光流对齐，得到拍 摄数据。

约束式包括：拍摄数据由原始信号和拍摄噪声组成；摄噪声在以原始信号为均值的3δ范 围内；原始信号可用过完备低分辨率基重建表示；如果两个像素块有重叠，则像素块重叠部 分相同。

求解模块140还用于，利用增广拉格朗日优化方法，将目标函数分解为原始信号的迭代 优化和重建系数的迭代优化，并改变相应的参数。增广拉格朗日优化方法包括将约束条件进 行增广拉格朗日展开，得到可解目标函数，并采用凸优化理论进行迭代求解。

结果生成模块150还用于，将得到的重建系数矩阵与过完备高分辨率基相乘，得到对应 的超分辨率图像与视频。根据相对位移对超分辨率图像与视频实施反光流算法，得到去噪后 的清晰高分辨率视频。

下面举例对本方法进行说明，可以理解的是，下述说明仅出于示例目的，根据本发明的 实施例不限于此。

过完备基学习模块110根据稀疏编码理论，基于图像块，在多个清晰图像数据中学习， 得到一组过完备低分辨率基和高分辨率基。其中，过完备低分辨率基和高分辨率基在统计意 义下对自然场景普适。

其中，将过完备低分辨率基记做B_L，高分辨率基记做B_H，拍摄图像在B_L上的投影系数 具有稀疏属性，并可以利用B_H进行超分辨率。多个清晰图像包括多个高分辨率图像和对应 的多个低分辨率图像。

具体地，过完备基学习模块110对于多个清晰图像中的多个像素块，采用sparse coding 进行学习，得到过完备低分辨率基和过完备高分辨率基。根据过完备高分辨率基和过完备低 分辨率基，重建模块160利用对应的系数矩阵重建得到对应的低分辨率与高分辨率图像。

过完备基学习模块110利用光流算法对输入数据，如高帧率视频相邻帧进行光流对齐， 在输出数据之前对结果进行对应的反光流操作。利用光流算法进行光流对齐可以得到优化算 法的输入数据，从而满足输入数据矩阵地址的条件。

约束式模块120分别建立关于噪声N、重建系数矩阵A和原始信号L的约束式。

约束式包括：拍摄视频由原始信号和拍摄噪声组成；原始信号和拍摄噪声均值存在平方 的关系，故根据3δ准则，拍摄噪声在以原始信号为均值的3δ范围内；

原始信号可用过完备低分辨率基重建表示；如果两个像素块有重叠，则两个像素块重叠 部分相同。

根据原始信号低秩、约束式和重建系数稀疏的特点，目标函数模块130建立目标函数。 目标函数将去噪与超分辨率同时纳入同一个优化框架中。

求解模块140利用增广拉格朗日优化方法对目标函数进行求解，得到原始信号L和重建 系数A；

其中，求解模块140得到原始信号和重建系数进一步包括：利用增广拉格朗日优化方法， 将目标函数分解为原始信号的迭代优化和重建系数矩阵的迭代优化，并改变相应的参数，得 到原始信号和重建系数。将重建系数矩阵与拍摄噪声分离。

增广拉格朗日优化方法包括将约束条件进行增广拉格朗日展开，得到可解的目标函数， 并采用凸优化理论进行迭代求解。

结果生成模块150利用重建系数A和过完备高分辨率基B_H进行超分辨率操作，得到清 晰的高分辨率图像与视频。

结果生成模块150将得到的重建系数与过完备高分辨率基相乘，得到对应的对齐的超分 辨率图像与视频。利用上述光流得到的相对位移，对对齐的超分辨率图像与视频做反光流算 法，得到最终去噪后的清晰高分辨率视频。

下面为本说明的具体示例，可以理解的是，本发明并不局限于以下实例。

图2为过完备基学习模块110通过sparse coding学习得到的一组过完备低分辨率基和对 应的过完备高分辨率基。图2a为低分辨率基，7×7pixels，图2b为高分辨率基，21×21pixels。 如图2所示，为了使用同样的重建系数矩阵来重建图像与视频，过完备高分辨率基与过完备 低分辨率基要保持空间位置上的对应。

过完备基学习模块110利用光流算法对拍摄得到的数据进行光流对齐，得到拍摄数据， 表示为D。约束式模块120和目标函数模块130根据原始信号L、拍摄噪声N、过完备高分 辨率基B_H、过完备低分辨率基B_L、重建系数矩阵A建立如下优化模型：

$\min {\left|\right|L\left|\right|}_{*}+\lambda {\left|\right|A\left|\right|}_1$

$s.t.\left(\begin{array}{c}D=L+N\\ L=B_{l}A\\ \mathrm{IL}=C\\ N^2\le \mathrm{\alpha L}+\beta \end{array}\right)$

其中C为常数矩阵，α、β均为常数；D=L+N表示拍摄得到的数据由原始信号L与 拍摄噪声N构成。L=B_LA表示原始信号L可以用低分辨率的过完备基B_H重建；IL=C表示 相邻像素块的重叠部分是相同的，此限制条件是为了消除重建结果中的块效应。N²≤αL+β 表明拍摄噪声N与原始信号L间的非线性关系。

基于凸优化理论，求解模块140利用增广拉格朗日优化方法对上述模型进行迭代求解。 上述模型转化为增广拉格朗日函数为：

$\mathrm{Lag}={\left|\right|L\left|\right|}_{*}+<Y_1,D-L-N>+\frac{\mu }{2}\left|\right|D-L-N{\left|\right|}_F^2$

$+\lambda {\left|\right|A\left|\right|}_1+<Y_2,L-\mathrm{BA}>+\frac{\mu }{2}{\left|\right|L-\mathrm{BA}\left|\right|}_F^2$

$+<{\lambda }_1,\mathrm{IL}-C>+\frac{\mu }{2}{\left|\right|\mathrm{IL}-C\left|\right|}_F^2$

$+<{\lambda }_2,N^2-(\mathrm{kL}+\mathrm{con})+ϵ·^2>+\frac{\mu }{2}{\left|\right|N-(\mathrm{kL}+\mathrm{con})+ϵ.^2\left|\right|}_F^2$

求解模块140在每次迭代过程中重要参数的更新规则如下：

（一）、更新L：

$L^{n+1}=\arg {\min }_L{\left|\right|L\left|\right|}_{*}+\frac{{\mu }_1}{2}{\left|\right|L-(x-{{\mu }_1}^{-1}▿f_1\left(x\right))\left|\right|}_F^2$

$={\mathrm{Us}}_{{{\mu }_1}^{-1}}[L\_\mathrm{temp}]V^T$

其中UL_tempV^T是$x-{{\mu }_1}^{-1}{▿f}_1\left(x\right)$的SVD分解形式，$S_{{{\mu }_1}^{-1}}\left[x\right]=\left(\begin{array}{cc}x-{{\mu }_1}^{-1},& \mathrm{ifx}>{{\mu }_1}^{-1}\\ x+{{\mu }_1}^{-1},& \mathrm{ifx}<-{{\mu }_1}^{-1}\\ 0,& \mathrm{others},\end{array}\right)$

${▿f}_1\left(x\right)=\mathrm{\mu x}-\mu (D-N+{\mu }^{-1}{Y}_1)$

$+\mathrm{\mu x}-\mu (B_{L}A-{\mu }^{-1}{Y}_2)$

${+\mathrm{\mu I}}^T\mathrm{Ix}-{\mathrm{\mu I}}^T(C-{\mu }^{-1}{\lambda }_1)$

$+{\mathrm{\mu \alpha }}^{2}x-\mathrm{\mu \alpha }(N^2-\beta +ϵ·^2+{\mu }^{-1}{\lambda }_2),$x表示上次迭代得到的L。

（二）、更新A：

$A^{n+1}=\arg {\min }_A\lambda {\left|\right|A\left|\right|}_1+\frac{\mu }{2}{\left|\right|B_{L}A-(L+{\mu }^{-1}{Y}_2)\left|\right|}_F^2$

$=\arg {\min }_A\lambda {\left|\right|A\left|\right|}_1+\frac{{\mu }_2}{2}(A-(x-{{\mu }_2}^{-1}{▿f}_2\left(x\right)))$

$=S_{\lambda /{\mu }_2}[x-{{\mu }_2}^{-1}{▿f}_2\left(x\right)]$

其中${▿f}_2\left(x\right)={{\mathrm{\mu B}}_L}^T{B}_{L}x-{{\mathrm{\mu B}}_L}^T(L+{\mu }^{-1}{Y}_2),$x表示上次迭代得到的A。

（三）、更新N：N为$2N.^3+(1-2(\mathrm{kL}+\mathrm{con}-ϵ·^2-{\mu }^{-1}{\lambda }_2))·*N(D-L+{\mu }^{-1}{Y}_1)=0$三 次方程的正数解。

（四）、更新参数ε：ε方程$ϵ·^3=(\mathrm{\alpha L}+\beta -N^2-{\mu }^{-1}{\lambda }_2)·*ϵ$的正数解。

图3显示了迭代过程中重要参数及迭代结果的变化。由图可见随着迭代次数的增加， 目标函数逐渐变小，约束条件误差逐渐变小，表明优化迭代方法可以有效地求解此模型。

按照上述迭代更新规则进行模型求解，可得到优化后的重建系数矩阵A。结果生成模块 150利用A与过完备高分辨率基B_H相乘即可得到对其的高分辨率视频帧。利用之前光流得到 的相对位移对这些对齐视频帧做反光流算法，便可得到最终去噪后的清晰高分辨率视频。

图4为不同程度拍摄噪声下的优化结果。图5为人工合成数据实验结果。如图6为实际 拍摄视频的优化结果。

根据本发明实施例的基于凸优化理论的视频联合去噪及超分辨率系统利用了高帧率视 频相邻帧变化较少、过完备基重建图像时重建系数矩阵稀疏等特点，将信号相关噪声去噪与 超分辨率置于同一个优化框架中，通过sparse coding学习得到一组过完备低分辨率基与一组 对应的过完备高分辨率基。基于凸优化理论，利用增广拉格朗日优化方法对目标函数进行求 解，从而恢复出的清晰低分辨率视频与清晰的高分辨视频。本方法可以有效去除信号相关噪 声，得到清晰图像与视频；算法通用性强，对自然场景下的高帧率视频都适用；同时做到信 号相关去噪与超分辨率，视频优化效果明显好于其他方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、 或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含 于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的 是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或 多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在 不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型， 本发明的范围由所附权利要求及其等同限定。