法律状态公告日
法律状态信息
法律状态
2017-08-04
授权
授权
2015-04-01
实质审查的生效 IPC(主分类):H04N5/14 申请日:20141112
实质审查的生效
2015-03-04
公开
公开
技术领域
本发明涉及视频图像处理技术领域,具体来说是一种基于极坐标下的向量 连分式插值的视频缩放方法及其系统。
背景技术
图像、视频缩放是数字图像处理中必不可少的工具,其实质是对图像进行 重采样,以实现图像的分辨率转换或尺度变换。目前,商业软件中所提供的缩 放方法采用的是经典的线性插值方法,如PHOTOSHOP、Firework、Soft等。这 些软件所使用的方法简单并且快速,但是由于是采用的线性插值技术,所以在 放大的图像边缘会出现马赛克、锯齿状等各种失真的现象。现阶段很多研究人 员已经提出了不同的缩放策略,取得了一定的成功,但是这些方法的实现需要 一些高清图像的先验信息,并且方法的执行时间较长,故不能用于实际的应用 中。针对各种缩放技术存在的局限性,在现有的硬件条件下,如何设计出一种 有效、快速的缩放方法已经成为当今急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中缩放结果出现失真和效率低下的缺 陷,提供一种基于极坐标下的向量连分式插值的视频缩放方法及其系统来解决 上述问题。
为了实现上述目的,本发明的技术方案如下:
一种基于极坐标下的向量连分式插值的视频缩放方法,包括以下步骤:
初始化视频特征分析,读取视频的第一帧图像,通过对第一帧图像进行分 析判断该视频是灰度视频还是彩色视频,若为彩色视频,将彩色视频沿着R、G、 B三个颜色通道分别按照灰度视频的方式执行;
进行向量连分式插值缩放,通过读取视频下一帧图像,构造向量控制网格, 由向量控制网格结合极坐标下的连分式有理插值构造出有理插值曲面,通过插 值曲面的采样实现图像的缩放,计算出NT缩放图像R1和TN缩放图像R2;
获取缩放结果,设α为平衡因子,计算缩放结果Y,其计算公式如下:
Y=αR1+(1-α)R2,
其中,R1为NT缩放图像,R2为TN缩放图像;
检查视频是否读取完毕,若读取完毕,则完成视频缩放,若未读取完毕, 则继续进行向量连分式插值缩放的操作。
所述的进行向量连分式插值缩放包括以下步骤:
读取视频的下一帧图像,得到输入图像X的尺寸为m×n,输入缩放倍数k, 则缩放的图像长为m×k,宽为n×k;
利用映射关系找到缩放后图像中一点(i1,j1)对应到输入图像中的位置(i,j), 其中i=i1/k,j=j1/k;
求出该点(i,j)在极坐标下的位置(r,θ),其计算公式如下:
构造向量控制网格,对极坐标下的待求像素点(r,θ)沿着其半径和角度方向 分别拓展出另外8个像素点,构成3×3的向量控制网格Vm×n,用表示图像的第i行第j列像素的灰度值向量;
构造极坐标下的Newton-Thiele有理插值函数满足求出该点(r,θ)的二元向量有理函数值,即为缩放的图像某点(i1,j1)的像素值;将 应用到向量控制网格Vm×n中,构造m×n个3×3的二元Newton-Thiele有理 插值曲面,得到一个缩放的图像R1;
构造极坐标下的Thiele-Newton有理插值函数满足求出该点(r,θ)的二元向量有理函数值,即为缩放的图像某点(i1,j1)的像素值;将 应用到向量控制网格Vm×n中,构造m×n个3×3的二元Thiele-Newton有理 插值曲面,得到一个缩放的图像R2。
所述的获取缩放结果还包括缩放结果优化,缩放结果优化包括以下步骤:
输入原始图像R和缩放结果Y,计算SSIM值,其公式如下:
SSIM=L(R,Y)×C(R,Y)×S(R,Y),
其中L(R,Y)为亮度比较函数,C(R,Y)为对比度比较函数,S(R,Y)为结构相似 性比较函数;
其中,L(R,Y)的计算公式如下:
其中表示原始图像R的平均亮度,表示比 较图像Y的平均亮度,M、N是图像的尺寸;
C(R,Y)的计算公式如下:
其中表示原始图像R的标准差,
S(R,Y)的计算公式如下:
设平衡因子α的初始值为0,最大值为1,以α每次增加0.1为基准循环计 算缩放结果Y和SSIM的值;
提取SSIM的值为最大时的平衡因子α,其对应的缩放结果Y为最优缩放图 像。
所述的构造向量控制网格包括以下步骤:
将拓展后的9个像素点排列如下所示,其中(r1,θ1)为点(r,θ):
(r0,θ0) (r0,θ1) (r0,θ2)
(r1,θ0) (r1,θ1) (r1,θ2)
(r2,θ0) (r2,θ1) (r2,θ2);
给定d维有限值向量每个(ri,θj)排列形式如下:
所述的构造极坐标下的Newton-Thiele有理插值函数包括以下步骤:
极坐标下的二元向量Newton-Thiele有理插值格式定义为:
其中,
其中p(r0,…,ri;θ0,…,θj)是混合差商,定义如下:
p(ri;θj)=f(ricosθj,risinθj),(i=0,1,…,m;j=0,1…,n),
构造的二元向量有理函数满足:
按照从上到下、从左到右的顺序,将图像的每一个像素点进行二元向量有 理函数的计算,检查图像中所有的点是否处理完毕,若处理完毕,则 完成了该阶段的缩放工作,得到NT缩放图像R1,若未处理完,则继续进行。
所述的构造极坐标下的Thiele-Newton有理插值包括以下步骤:
极坐标下的二元向量Thiele-Newton有理插值格式定义为:
其中,
其中p(r0,…,ri;θ0,…,θj)是混合差商,定义如下:
构造的二元向量有理函数满足:
按照从上到下,从左到右的顺序,对图像的每一个像素点进行二元向量有 理函数的计算,得到TN缩放图像R2。
一种基于极坐标下的向量连分式插值的视频缩放系统,包括:
初始化视频输入模块,用于确定视频类型,启动视频缩放系统;
向量控制网格模块,用于对输入的图像进行分割,产生多个3×3的图像块;
极坐标下的Newton-Thiele有理插值模块,用于通过向量控制网格模块构 建基于Newton-Thiele的有理插值曲面;
极坐标下的Thiele-Newton有理插值模块,用于通过向量控制网格模块构 建基于Thiele-Newton的有理插值曲面;
SSIM计算模块,用于选择出最优的平衡因子从而得到最好的缩放结果;
所述的初始化视频输入模块与向量控制网格模块的输入端相连,所述的向 量控制网格模块的输出端分别与极坐标下的Newton-Thiele有理插值模块和极 坐标下的Thiele-Newton有理插值模块相连,极坐标下的Newton-Thiele有理 插值模块和极坐标下的Thiele-Newton有理插值模块分别与SSIM计算模块的输 入端相连。
有益效果
本发明的一种基于极坐标下的向量连分式插值的视频缩放方法及其系统, 与现有技术相比提高了视频图像缩放的质量和效率。利用向量控制网格分别与 两个不同的极坐标下的连分式有理插值函数的应用可以快速的插值出缩放的图 像;利用SSIM数值的约束,可以选择出最优的平衡因子,从而得到最优的缩放 结果。整个缩放过程仅仅利用了插值技术和一幅输入的图像,突破了现有技术 缩放时需要额外的多幅图像的先验信息的缺陷,通过多个视频的处理和速度的 比较,突破了其他现有技术缩放时只适用部分特殊视频并且速度慢的缺陷。
附图说明
图1为本发明的方法流程图;
图2为本发明的系统结构连接图;
图3a、图4a和图5a分别为待处理的退化图像;
图3b为图3a使用LSS方法放大2倍后的图像;
图4b和5b分别为图4a和5a使用LSS方法放大3倍后的图像;
图3c为图3a使用本发明的方法放大2倍后的图像;
图4c和5c分别为图4a和5a使用本发明的方法放大3倍后的图像。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以 较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的一种基于极坐标下的向量连分式插值的视频缩 放方法,包括以下步骤:
第一步,初始化视频特征分析。读取视频的第一帧图像,通过对第一帧图 像进行分析判断该视频是灰度视频还是彩色视频。若为彩色视频,将彩色视频 沿着R、G、B三个颜色通道分别按照灰度视频的方式执行;若为灰度视频,则 直接对图像进行处理。
第二步,进行向量连分式插值缩放,通过读取视频下一帧图像,构造向量 控制网格,由向量控制网格结合极坐标下的连分式有理插值。鉴于Newton-Thiele 和Thiele-Newton有理函数处理图像时可以很好的保持图像的边缘和细节信息, 而两者结合处理图像又可以互补图像缩放过程中丢失的像素信息,所以此处采 用极坐标下的Newton-Thiele有理插值函数和极坐标下的Thiele-Newton有理插 值函数同时构造出有理插值曲面,通过插值曲面的采样实现图像的缩放,计算 出NT缩放图像R1和TN缩放图像R2。其具体要求步骤如下:
(1)读取视频的下一帧图像,得到输入图像X的尺寸为m×n,输入缩放 倍数k,其可以为缩小倍数,也可以为放大倍数,则缩放的图像长为m×k,宽为 n×k。
(2)利用映射关系找到缩放后图像中一点(i1,j1)对应到输入图像中的位置 (i,j),其中i=i1/k,j=j1/k;
求出该点(i,j)在极坐标下的位置(r,θ),其计算公式如下:
(3)构造向量控制网格,对极坐标下的每一个待求像素点(r,θ)沿着其半 径和角度方向分别拓展出另外8个像素点,构成3×3的向量控制网格Vm×n,用 表示图像的第i行第j列像素的灰度值向量。构成3×3的向量 控制网格Vm×n的具体步骤如下:
(31)将拓展后的9个像素点排列如下所示,其中(r1,θ1)即为点(r,θ):
(r0,θ0) (r0,θ1) (r0,θ2)
(r1,θ0) (r1,θ1) (r1,θ2)
(r2,θ0) (r2,θ1) (r2,θ2)。
(32)给定d维有限值向量每个(ri,θj)排列形式如 下:
(4)构造极坐标下的Newton-Thiele有理插值函数满足 求出该点(r,θ)的二元向量有理函数值,即为缩放的图像某点(i1,j1) 的像素值。采用同样的方式,将应用到向量控制网格Vm×n中,构造m×n个 3×3的二元Newton-Thiele有理插值曲面,即针对图像的每一个像素点进行二元 向量有理函数值的计算,得到一个缩放的图像R1。其具体步骤如下:
(41)极坐标下的二元向量Newton-Thiele有理插值格式定义为:
这里表示沿着半径r方向进行Newton插值计算,沿着角度θ方向进 行Thiele插值;
其中,
这里Ti(θ)为第i个Thiele有理展开式;
其中p(r0,…,ri;θ0,…,θj)是混合差商,定义如下:
p(ri;θj)=f(ricosθj,risinθj),(i=0,1,…,m;j=0,1…,n),
构造的二元向量有理函数满足:其中
(42)按照从上到下、从左到右的顺序,将图像的每一个像素点按照如上 步骤进行计算,检查图像中所有的像素点是否处理完毕,若处理完毕,则完成 了该阶段的缩放工作,得到NT缩放图像R1,若未处理完,则继续进行。
(5)构造极坐标下的Thiele-Newton有理插值函数满足 求出该点(r,θ)的二元向量有理函数值,即为缩放的图像某点(i1,j1) 的像素值。采用同样的方式,将应用到向量控制网格Vm×n中,构造m×n个 3×3的二元Thiele-Newton有理插值曲面,即针对图像的每一个像素点进行二元 向量有理函数值的计算,得到一个缩放的图像R2。其具体步骤如下:
(51)极坐标下的二元向量Thiele-Newton有理插值格式定义为:
这里表示沿着角度θ方向进行Newton插值计算,沿着半径r方向进 行Thiele插值;
其中,
这里Ni(θ)为第i个Newton有理展开式;
其中p(r0,…,ri;θ0,…,θj)是混合差商,定义如下:
构造的二元向量有理函数满足:
(52)按照从上到下,从左到右的顺序,对图像的每一个像素点进行二元 向量有理函数的计算,得到TN缩放图像R2。
第三步,获取缩放结果,通过NT缩放图像R1和TN缩放图像R2叠加得到 缩放结果Y。其其计算公式如下:
Y=αR1+(1-α)R2
其中,α为平衡因子,R1为NT缩放图像,R2为TN缩放图像。
第四步,检查视频是否读取完毕,若读取完毕,则完成视频缩放,若未读 取完毕,则继续进行向量连分式插值缩放的操作,继续进行NT缩放图像R1和 TN缩放图像R2的计算和叠加工作。
在此,缩放结果Y通过NT缩放图像R1和TN缩放图像R2叠加所得,但这里 所得到的缩放结果并不是最优结果,为了获得最优结果,还可以通过针对缩放 结果Y的平衡因子α进行迭代处理的方法并结合SSIM(结构相似性)的最大化 模型来获得一个最优的平衡因子α,从而得到最后的缩放结果。获取缩放结果还 可以包括缩放结果优化的步骤,缩放结果优化包括以下步骤:
第一步,输入原始图像R和缩放结果Y,计算SSIM值,其公式如下:
SSIM=L(R,Y)×C(R,Y)×S(R,Y),
其中L(R,Y)为亮度比较函数,C(R,Y)为对比度比较函数,S(R,Y)为结构相似 性比较函数;
其中,L(R,Y)的计算公式如下:
其中表示原始图像R的平均亮度,表示比 较图像Y的平均亮度,M、N是图像的尺寸。
C(R,Y)的计算公式如下:
其中表示原始图像R的标准差,
S(R,Y)的计算公式如下:
第二步,设平衡因子α的初始值为0,最大值为1。针对缩放结果Y进行迭 代处理,每次迭代过程中,以α每次增加0.1为基准循环计算缩放结果Y和SSIM 的值。提取SSIM的值为最大时的平衡因子α,其对应的缩放结果Y为最优缩放 图像,将此缩放结果Y保存为最终缩放结果。
如图2所示,一种基于极坐标下的向量连分式插值的视频缩放系统,包括:
初始化视频输入模块,用于确定视频类型,启动视频缩放系统。
向量控制网格模块,用于对输入的图像进行分割,产生多个3×3的图像块。
极坐标下的Newton-Thiele有理插值模块,用于通过向量控制网格模块构 建基于Newton-Thiele的有理插值曲面。
极坐标下的Thiele-Newton有理插值模块,用于通过向量控制网格模块构 建基于Thiele-Newton的有理插值曲面。
SSIM计算模块,用于选择出最优的平衡因子从而得到最好的缩放结果。
所述的初始化视频输入模块与向量控制网格模块的输入端相连,将图像划 分成图像块,以便进行有理插值曲面处理。向量控制网格模块的输出端分别与 极坐标下的Newton-Thiele有理插值模块和极坐标下的Thiele-Newton有理插 值模块相连,分别计算出NT缩放图像R1和TN缩放图像R2。极坐标下的 Newton-Thiele有理插值模块和极坐标下的Thiele-Newton有理插值模块分别与 SSIM计算模块的输入端相连,针对NT缩放图像R1和TN缩放图像R2进行叠加处 理获得缩放结果Y。
如图3a、4a和5a所示,分别选取视频中的某一帧作为输入的退化图像, 图3b、4b和5b分别为采用LSS方法放大后的图像(即目前流行的局部结构相 似性的方法,具体详见文献[1]([1]Gilad Freedman,Raanan Fattal,Image and Video Upscaling from Local Self-Examples,ACM Transactions on Graphics 30(2)(2011)1-11),其中图3b为放大2倍的结果,图4b和5b为 放大3倍的结果。图3c、4c和5c分别为采用本发明的方法放大后的图像,其 中图3c为放大2倍的结果,图4c和5c为放大3倍的结果。
从图3b、4b和5b可以看到使用LSS方法放大后的图像基本能保持图像的 视觉效果,但是细节部分处理的很模糊,特别是小女孩脸颊上的斑点和植物边 界部分没有得到很好的处理。而从图3c、4c和5c可以看到本发明的方法能更 好的处理细节和边界部分,保持更好的视觉效果。
从客观角度出发进行比较可以发现,
根据公式
表1图3a、图4a、图5a使用LSS方法和本发明方法的峰值信噪比的对比表
表1为图3a、图4a、图5a使用LSS方法和本发明方法的峰值信噪比的对 比表,如表1所示,从放大后的图像的峰值信噪比的比较可以发现,本发明的 方法相比现有技术的方法在处理人物和植物等不同的物体时都能保证峰值信噪 比要高的多,图像的分辨率和质量更高。
表2为图3a、图4a、图5a使用LSS方法和本发明方法的运行时间对比表
表2为图3a、图4a、图5a使用LLS方法和本发明方法的运行时间对比表, 从表2的时间运行效率来看,本发明的方法相比于现有技术的方法在放大图像 时处理的时间更短,即效率更高。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业 的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中 描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有 各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明 要求的保护范围由所附的权利要求书及其等同物界定。
机译: 基于对称多相滤波的插值实现图形和视频缩放算法的系统和方法
机译: 基于对称多相滤波的插值实现图形和视频缩放算法的系统和方法
机译: 基于对称多相滤波的插值实现图形和视频缩放算法的系统和方法