首页> 中国专利> 一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其系统

一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其系统

摘要

本发明涉及一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其系统,与现有技术相比解决了超分辨率重建技术无法适用于所有的视频且重建的视频图像会出现失真的缺陷。本发明包括以下步骤:初始化视频特征分析;利用向量连分式插值进行图像的放大;利用稀疏表达精细模板进行图像的重建;利用放大图像和评估图像构建超分辨率图像;检查视频是否读取完毕,若读取完毕,则完成视频超分辨率重建;若未读取完毕,则继续进行利用向量连分式插值进行图像的放大操作。本发明提高了视频图像重建的质量和效率,提升了超分辨率重建技术在不同视频中的应用程度。

著录项

  • 公开/公告号CN104463793A

    专利类型发明专利

  • 公开/公告日2015-03-25

    原文格式PDF

  • 申请/专利权人 合肥工业大学;

    申请/专利号CN201410637818.4

  • 发明设计人 檀结庆;何蕾;霍星;

    申请日2014-11-12

  • 分类号G06T5/00;

  • 代理机构合肥天明专利事务所;

  • 代理人张祥骞

  • 地址 230009 安徽省合肥市屯溪路193号

  • 入库时间 2023-12-18 08:10:40

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-08-04

    授权

    授权

  • 2015-04-22

    实质审查的生效 IPC(主分类):G06T5/00 申请日:20141112

    实质审查的生效

  • 2015-03-25

    公开

    公开

说明书

技术领域

本发明涉及视频图像处理技术领域,具体来说是一种基于稀疏表达与极坐 标下的向量连分式插值的视频超分辨率重建方法及其系统。

背景技术

图像、视频超分辨率重建是计算机视觉领域中的一个重要的研究方向,并且 在实际的应用中,如医疗诊断、高清电视、遥感图像的分析、车牌的识别等,都 起着至关重要的作用。现阶段有很多研究人员已经提出了不同的超分辨率重建 方法,并在不同的应用场景下取得了一定的成功。但是这些超分辨率重建方法 的实施均需要从一些高清图像中获得先验信息,这并不现实,并且重建后的视 频或多或少的会出现各种失真问题,主要原因是每种方法对其使用环境都有其 针对性,并不能适用于所有的视频。针对各种超分辨率重建技术存在的局限性, 在现有的硬件条件下,如何设计出一种高效、实用的超分辨率重建方法已经成 为当今急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中超分辨率重建技术无法适用于所有的 视频且重建的视频图像会出现失真的缺陷,提供一种基于稀疏表达与极坐标下 的向量连分式插值的视频超分辨率重建方法及其系统来解决上述问题。

为了实现上述目的,本发明的技术方案如下:

一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方 法,包括以下步骤:

初始化视频特征分析,读取视频的第一帧图像,通过对第一帧图像进行分 析,判断该视频是灰度视频还是彩色视频;若为彩色视频,将彩色视频沿着R、 G、B三个颜色通道分别按照灰度视频的方式执行;

利用向量连分式插值进行图像的放大,通过读取视频下一帧图像,构造向 量控制网格,由向量控制网格结合极坐标下的连分式有理插值构造出有理插值 曲面,通过有理插值曲面的采样进行图像的放大,得到放大图像I1

利用稀疏表达精细模板进行图像的重建,更新数据字典、正则化参数和稀 疏代码,将稀疏代码和数据字典用来进行图像的重建,得到评估图像

利用放大图像I1和评估图像构建超分辨率图像,将放大图像I1和评估图像 分别赋予不同的加权因子,得到该帧的超分辨率结果,其公式如下:

new=(1-ϵ)*I1+ϵ*X^,(0ϵ1),

其中I1为放大的图像,权因子为1-ε,为评估的图像,权因子为ε;

检查视频是否读取完毕,若读取完毕,则完成视频超分辨率重建;若未读 取完毕,则继续进行利用向量连分式插值进行图像的放大操作。

所述的利用向量连分式插值进行图像的放大包括以下步骤:

读取视频的下一帧图像,得到输入图像Y的尺寸为m×n,输入放大倍数k, 则放大的图像长为m×k、宽为n×k;

根据放大倍数k,利用映射关系找到放大后图像的一点(i1,j1)对应到输入图 像Y中的位置(i,j),其中i=i1/k,j=j1/k;

求出该点(i,j)在极坐标下的位置(r,θ),计算公式如下:

r=i2+j2,θ=arctg(j/i);

构建3×3的向量控制网格Vm×n,对于极坐标下的每一个待求像素点(r,θ)沿着 其半径和角度方向分别拓展出另外8个像素点,构成3×3的向量控制网格Vm×n, 用表示图像的第i行第j列像素的灰度值向量;

极坐标下的连分式有理插值计算,构造一个极坐标下的二元向量有理插值 函数Rm,n(r,θ),满足求出该点(r,θ)的二元向量有理函数值,其为 放大后图像的一点(i1,j1)的像素值,构造二元Newton-Thiele有理插值曲面,从而 构建出放大图像I1

所述的利用稀疏表达精细模板进行图像的重建包括以下步骤:

读取输入的图像Y,将图像Y分割成多个6×6图像块,针对每一个图像块找 到其相似的其他的图像块组成一个簇;

针对每一个簇计算主成分分析;

对于每一个簇运用主成分分析来学习数据字典,使用数据字典对簇中的图 像块进行编码;

计算稀疏系数αY,使用数据字典φ和稀疏系数αY构造出评估的图像其 公式如下:采用迭代方法更新数据字典φ、正则化参数λi和γi,进而 更新稀疏系数αY,通过更新的φ和αY构造出最优的评估图像

所述的构建3×3的向量控制网格Vm×n包括以下步骤:

将(r,θ)沿着其半径和角度方向进行扩展,得到另外8个像素点,其中(r11)即 为点(r,θ),9个像素点排列如下所示:

(r00)  (r01)  (r02)

(r10)  (r11)  (r12)

(r20)  (r21)  (r22);

给定d维有限值向量将(rij)由矩阵形式表示为向 量形式,排列如下所示:

所述的极坐标下的连分式有理插值计算包括以下步骤:

极坐标下的二元向量Newton-Thiele有理插值格式定义为:

Rm,n(r,θ)=T0(θ)+(r-r0)T1(θ)+(r-r0)(r-r1)T2(θ)+...                                                                  , +(r-r0)(r-r1)...(r-rm-1)Tm(θ)

其中,Ti(θ)=p(r0,...,ri;θ0)+θ-θ0p(r0,...,ri;θ0,θ1)+θ-θ1p(r0,...,ri;θ0,θ1,θ2)+...+θ-θn-1p(r0,...,ri;θ0,...,θn),i=0,1,...,m;

其中p(r0,...,ri;θ0,...,θj)是混合差商,定义如下:

p(ri;θj)=f(ricosθj,risinθj),(i=0,1,...,m;j=0,1...,n),

p(ri,rj;θk)=p(rj,θk)-p(ri,θk)rj-ri,

p(rp,...,rq,ri,rj;θk)=p(rp,...,rq,rj;θk)-p(rp,...,rq,ri;θk)rj-ri,

p(rp,...,rq;θk,θl)=θl-θkp(rp,...,rq;θl)-p(rp,...,rq;θk),

p(rp,...,rq;θr,...,θs,θk,θl)=θl-θkp(rp,...,rq;θr,...,θs,θl)-p(rp,...,rq;θr,...,θs,θk);

构造的二元向量有理函数Rm,n(r,θ)满足:Rm,n(rij)=f(ricosθj,risinθj), (ri,θj)Πr,θm,n,其中Πr,θm,n={(ri,θj)|i=0,1,...,m;j=0,1,...,n};

对图像中的每一个点按照从上到下、从左到右的顺序,使用向量控制网格 和二元向量有理函数Rm,n(r,θ)进行计算,检查所有图像点是否处理完毕,若处理 完毕,则完成该阶段的放大工作,若未处理完,则继续进行图像的放大工作, 最终得到放大的图像I1

所述的计算主成分分析包括以下步骤:

假设其中一个簇L包括s个相似的图像块,表示为L=[l1,...,ls]∈Rh×s,其中 h和s分别为簇的尺寸大小;

计算线性子空间W*,其计算公式如下

W*=argmaxW||WTYYTW||2=||WTY||22,且WTW=Ih

构造数据字典包括以下步骤:

给定视频中当前帧的图像及其分割后的图像块;

将主成分分析应用于每一个簇,得到多个线性子空间W*

由多个线性子空间W*构成集合φ,φ即为该图像块的数据字典,

φ={di|i=1:K},

其中,di为第i个线性子空间,K为线性子空间个数。

计算稀疏系数包括以下步骤:

使用最小化的方式计算出稀疏系数,其公式如下:

其中:θ=α-E[α],E[α]为所有α的平均值,φ为数据字典,αY为稀疏系数,Y 为输入的图像,D为下采样倍数,H为模糊核,λi和γi分别为正则化参数;

将上述稀疏系数的计算公式采用拉普拉斯分布来表示,满足

其中σi和δi是αi和θi的标准偏差。

一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建系 统,包括:

初始化视频输入模块,用于确定输入视频的类型,启动视频超分辨率重建 系统,实时重建视频图像;

向量控制网格模块,用于对输入的图像进行分割,产生多个3×3的图像块;

图像放大模块,用于通过向量控制网格模块构建有理插值曲面,进行图像 放大,获得放大图像;

图像评估模块,用于获得评估图像,包括主成分分析模块、数据字典模块 和稀疏系数模块;主成分分析模块,用于获得最大数量的线性子空间,并应用 于数据字典模块;数据字典模块,用于通过主成分分析模块获得数据字典;稀 疏系数模块,用于联合数据字典模块得到的数据字典来获得评估的图像;主成 分分析模块与数据字典模块模块相连,稀疏系数模块与主成分分析模块相连;

图像叠加重建模块,用于将放大图像和评估图像叠加成超分辨率图像;

所述的初始化视频输入模块分别与向量控制网格模块的输入端和图像评估 模块的输入端相连,所述的向量控制网格模块的输出端与图像放大模块相连, 图像评估模块与图像放大模块分别与图像叠加重建模块的输入端相连。

有益效果

本发明的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率 重建方法及其系统,与现有技术相比提高了视频图像重建的质量和效率,提升 了超分辨率重建技术在不同视频中的应用程度。利用向量控制网格与极坐标下 的连分式有理插值可以快速的重建出放大的图像,利用主成分分析、稀疏系数 和数据字典等一系列步骤,可以评估出重建的图像,获取视频图像丰富的纹理 细节,从而得到最后超分辨率视频图像。整个重建过程,仅仅利用了一幅低分 辨率的输入图像进行重建,突破了其他现有技术重建时需要额外的先验信息的 缺陷。通过不同视频的处理,都能得到良好的重建效果,突破了其他现有技术 重建时只适用部分特殊视频的缺陷。

附图说明

图1为本发明的方法流程图;

图2为本发明的系统结构图;

图3a为低分辨率视频序列car的第1帧;

图3b为低分辨率视频序列car的第8帧;

图3c为低分辨率视频序列car的第29帧;

图4a为经过LSS方法处理后的第1帧;

图4b为经过LSS方法处理后的第8帧;

图4c为经过LSS方法处理后的第29帧;

图5a为经过本发明方法处理后的第1帧;

图5b为经过本发明方法处理后的第8帧;

图5c为经过本发明方法处理后的第29帧;

图6为本发明与LSS方法的峰值信噪比的比较图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以 较佳的实施例及附图配合详细的说明,说明如下:

如图1所示,本发明所述的一种基于稀疏表达与极坐标下的向量连分式插 值的视频超分辨率重建方法,包括以下步骤:

第一步,初始化视频特征分析。读取视频的第一帧图像,通过对第一帧图 像进行分析,判断该视频是灰度视频还是彩色视频。若为彩色视频,根据彩色 图像的特点,将彩色视频沿着R、G、B三个颜色通道分别按照灰度视频的方式 执行;若为灰色视频,则直接进行后期处理。

第二步,利用向量连分式插值进行图像的放大。通过读取视频下一帧图像, 构造向量控制网格,由向量控制网格结合极坐标下的连分式有理插值构造出有 理插值曲面,通过有理插值曲面的采样进行图像的放大,得到放大图像I1。其具 体步骤如下:

(1)读取视频的下一帧图像,得到输入图像Y的尺寸为m×n,输入放大倍 数k,则放大的图像长为m×k、宽为n×k。

(2)根据放大倍数k,利用映射关系找到放大后图像的一点(i1,j1)对应到输 入图像Y中的位置(i,j),进行放大后图像与原图像之间的对应,其中 i=i1/k,j=j1/k。

求出该点(i,j)在极坐标下的位置(r,θ),计算公式如下:

r=i2+j2,θ=arctg(j/i).

(3)构建3×3的向量控制网格Vm×n,根据极坐标的特性,按照待插值点在 极坐标中的位置,分别沿着半径和角度方向进行拓展,得到另外8个像素点的 坐标,由这9个像素点构造出向量控制网格。对于极坐标下的每一个待求像素 点(r,θ)沿着其半径和角度方向分别拓展出另外8个像素点,构成3×3的向量控制 网格Vm×n,用表示图像的第i行第j列像素的灰度值向量,其 具体步骤如下:

(31)将(r,θ)沿着其半径和角度方向进行扩展,得到另外8个像素点,其中 (r11)即为点(r,θ),9个像素点排列如下所示:

(r00)  (r01)  (r02)

(r10)  (r11)  (r12)

(r20)  (r21)  (r22)。

(32)给定d维有限值向量将(rij)由矩阵形式表示为 向量形式,排列如下所示:

(4)极坐标下的连分式有理插值计算,构造一个极坐标下的二元向量有理 插值函数Rm,n(r,θ),满足求出点(r,θ)的二元向量有理函数值,其 为放大后图像的一点(i1,j1)的像素值。使用同样的方法来处理图像中的其他像素 点,即使用向量控制网格和极坐标下的Newton-Thiele有理插值理论构造出有理 插值曲面。对输入的图像进行采样,获取像素信息,并结合有理插值曲面进行 图像的放大,构建出放大图像I1。其具体步骤如下:

(41)极坐标下的二元向量Newton-Thiele有理插值格式定义为:

Rm,n(r,θ)=T0(θ)+(r-r0)T1(θ)+(r-r0)(r-r1)T2(θ)+...                                                                 , +(r-r0)(r-r1)...(r-rm-1)Tm(θ)

这里Rm,n(r,θ)表示沿着半径r方向进行Newton插值计算,沿着角度θ方向进 行Thiele插值;

其中,Ti(θ)=p(r0,...,ri;θ0)+θ-θ0p(r0,...,ri;θ0,θ1)+θ-θ1p(r0,...,ri;θ0,θ1,θ2)+...+θ-θn-1p(r0,...,ri;θ0,...,θn),i=0,1,...,m,

这里Ti(θ)为第i个Thiele有理展开式;

其中p(r0,...,ri;θ0,...,θj)是混合差商,定义如下:

p(ri;θj)=f(ricosθj,risinθj),(i=0,1,...,m;j=0,1...,n),

p(ri,rj;θk)=p(rj,θk)-p(ri,θk)rj-ri,

p(rp,...,rq,ri,rj;θk)=p(rp,...,rq,rj;θk)-p(rp,...,rq,ri;θk)rj-ri,

p(rp,...,rq;θk,θl)=θl-θkp(rp,...,rq;θl)-p(rp,...,rq;θk),

p(rp,...,rq;θr,...,θs,θk,θl)=θl-θkp(rp,...,rq;θr,...,θs,θl)-p(rp,...,rq;θr,...,θs,θk);

构造的二元向量有理函数Rm,n(r,θ)满足:Rm,n(rij)=f(ricosθj,risinθj), (ri,θj)Πr,θm,n,其中Πr,θm,n={(ri,θj)|i=0,1,...,m;j=0,1,...,n}.

(42)对图像中的每一个点按照从上到下、从左到右的顺序,使用向量控 制网格和二元向量有理函数Rm,n(r,θ)进行计算,检查所有图像点是否处理完毕, 若处理完毕,则完成该阶段的放大工作,若未处理完,则继续进行图像的放大 工作,最终得到放大的图像I1

第三步,利用稀疏表达精细模板进行图像的重建。更新数据字典、正则化 参数和稀疏代码,将稀疏代码和数据字典用来进行图像的重建,得到评估图像 其具体步骤如下:

(1)读取输入的图像Y,将图像Y分割成多个6×6图像块,针对每一个图 像块找到其相似的其他的图像块组成一个簇(集合)。

(2)针对每一个簇计算主成分分析,构造出主成分分析后则可以利用主成 分分析构建数据字典,其具体步骤如下:

(21)假设某个簇L包括s个相似的图像块,表示为L=[l1,...,ls]∈Rh×s,其 中h和s分别为簇的尺寸大小。

(22)计算线性子空间W*,使用最优问题的解决方法来得到一个d(<h)维 的线性子空间,从而使得输入图像的方差是最大的,其计算公式如下:

W*=argmaxW||WTYYTW||2=||WTY||22,且WTW=Ih

(3)对于每一个簇运用主成分分析来学习数据字典,使用数据字典对簇中 的图像块进行编码。其具体步骤如下:

(31)给定视频中当前帧的图像及其分割后的图像块。

(32)将主成分分析应用于每一个簇,得到多个线性子空间W*

(33)由多个线性子空间W*构成集合φ,φ即为该图像块的数据字典, φ={di|i=1:K},

其中,di为第i个线性子空间,K为线性子空间个数。

(4)计算稀疏系数αY,使用数据字典φ和稀疏系数αY构造出评估的图像其公式如下:

其具体步骤如下:

(41)计算稀疏系数,使用最小化的方式计算出稀疏系数,其公式如下:

其中:θ=α-E[α],E[α]为所有α的平均值,φ为数据字典,αY为稀疏系数,Y 为输入的图像,D为下采样倍数,H为模糊核,λi和γi分别为正则化参数;

(42)将上述稀疏系数的计算公式采用拉普拉斯分布来表示,满足

其中σi和δi是αi和θi的标准偏差。

(43)利用迭代方法更新数据字典φ、正则化参数λi和γi,进而更新稀疏系 数αY,通过更新的φ和αY构造出评估的图像更新的方法可以对利用稀 疏表达精细模板进行图像的重建的整个步骤(第三步的所有步骤)进行迭代处 理,达到更新操作的目的。

第四步,利用放大图像I1和评估图像构建超分辨率图像。将放大图像I1和 评估图像分别赋予不同的加权因子,得到该帧的超分辨率结果,其公式如下:

new=(1-ϵ)*I1+ϵ*X^,(0ϵ1),

其中I1为放大的图像,权因子为1-ε,为评估的图像,权因子为ε。通过 实验的效果来调节权因子,实验结果证明当ε为0.2时效果最好。

第五步,检查视频是否读取完毕。若读取完毕,则完成视频超分辨率重建; 若未读取完毕,则继续进行利用向量连分式插值(第二步)进行图像的放大操 作。

如图2所示,基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率 重建系统,包括:

初始化视频输入模块,用于确定输入视频的类型,启动视频超分辨率重建 系统,实时重建视频图像。向量控制网格模块,用于对输入的图像进行分割, 产生多个3×3的图像块。图像放大模块,用于通过向量控制网格模块构建有理插 值曲面,进行图像放大,获得放大图像。图像评估模块,用于获得评估图像, 包括主成分分析模块、数据字典模块和稀疏系数模块;主成分分析模块,用于 获得最大数量的线性子空间,并应用于数据字典模块;数据字典模块,用于通 过主成分分析模块获得数据字典;稀疏系数模块,用于联合数据字典模块得到 的数据字典来获得评估的图像;主成分分析模块与数据字典模块模块相连,稀 疏系数模块与主成分分析模块相连。图像叠加重建模块,用于将放大图像和评 估图像叠加成超分辨率图像。

所述的初始化视频输入模块分别与向量控制网格模块的输入端和图像评估 模块的输入端相连,向量控制网格模块的输出端与图像放大模块相连。图像放 大模块针对向量控制网格模块划分过后的图像块进行处理,得到放大的图像I1, 图像评估模块直接对图像进行处理,得到评估图像图像评估模块与图像放 大模块分别与图像叠加重建模块的输入端相连,对放大图像I1和评估图像构建 超分辨率图像new。

如图3a、图3b和图3c所示,选取退化的视频序列car视频,其共有32帧, 我们可以选取任何一帧。在此,我们从32帧的超分辨率结果中取出第1帧、第 8帧、第29帧。通过使用LSS方法(即目前流行的局部结构相似性的方法,具 体详见文献[1])处理后,文献[1]:

[1]Gilad Freedman,Raanan Fattal,Image and Video Upscaling from  Local Self-Examples,ACM Transactions on Graphics 30(2)(2011)1-11。

如图4a-图4c所示,对画面分辨率和质量有所提升,虽然边界明显,但是 图像色彩不真实,尤其是图像的细节丢失了,而图像的细节特征是重建结果评 估的很重要的一点。如图5a-图5c所示,采用本发明的方法进行重建后,明显 画面分辨率和质量较LSS方法有更大程度的优化和提升,特别是图像的细节特 征保持的较好。

从客观角度出发进行比较可以发现, 根据公式PSNR=(-1)×10×log10Σi,j=1,1m,n(f(i,j)-f^(i,j))2m×n×max2,这里m×n为矩阵的大小, max=255,f(i,j)为原始图像,为重建后的图像,利用此公式计算出峰值信 噪比PSNR的值。峰值信噪比越大,表明重建后的图像和原始图像越接近,即 重建的图像视觉效果越好,分辨率越高。

如图6所示,重建的car灰度视频每一帧的峰值信噪比的比较图,可以发 现本发明重建后的car灰度视频每一帧的峰值信噪比较现有技术的方法明显要 高出很多,图像分辨率和质量更高。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业 的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中 描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有 各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明 要求的保护范围由所附的权利要求书及其等同物界定。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号