首页> 中国专利> 用于将低分辨率图像转换为高分辨率图像的方法

用于将低分辨率图像转换为高分辨率图像的方法

摘要

本发明公开了一种用于将低分辨率图像转换为高分辨率图像的方法,本发明根据给定的一幅输入的低分辨率图像根据相似度量,从样本集中匹配得到了一个图像块集;利用纹理先验知识取出最好的图像块,产生纹理梯度函数Ut(p)。本发明对插值生成保留方向的Is图像且用学习到的边缘函数ft(vl)来生成边缘梯度函数Ue(p),利用加权函数W(p)对Ut(p)与Ue(p)加权生成梯度函数U,从而得到放大S倍的高分辨率图像本发明具有重建的高分辨率图像质量高,更真实的特点。

著录项

  • 公开/公告号CN103632358A

    专利类型发明专利

  • 公开/公告日2014-03-12

    原文格式PDF

  • 申请/专利权人 浙江师范大学;

    申请/专利号CN201310450986.8

  • 发明设计人 郑忠龙;付芳梅;贾泂;

    申请日2013-09-27

  • 分类号G06T5/50(20060101);G06T3/40(20060101);

  • 代理机构33109 杭州杭诚专利事务所有限公司;

  • 代理人尉伟敏

  • 地址 321004 浙江省金华市婺城区迎宾大道688号

  • 入库时间 2024-02-19 23:10:49

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-09-23

    未缴年费专利权终止 IPC(主分类):G06T 5/50 专利号:ZL2013104509868 申请日:20130927 授权公告日:20170329

    专利权的终止

  • 2017-03-29

    授权

    授权

  • 2014-04-09

    实质审查的生效 IPC(主分类):G06T5/50 申请日:20130927

    实质审查的生效

  • 2014-03-12

    公开

    公开

说明书

技术领域

本发明涉及于图像处理技术领域,特别是涉及一种能够重建出高质量的,更真实的超分辨率图像的基于样本与先验知识的用于将低分辨率图像转换为高分辨率图像的方法。

背景技术

图像的超分辨率技术在视频、遥感、医学和安全监控等领域具有十分重要的应用,同时也逐步扩展到其它各个领域。就目前而言,获取高分辨率图像的最直接办法是通过高精准的光学设备等相关仪器,但是高精准的设备仪器往往体积笨重且价格昂贵,实用性不强。因此,在实际的应用过程中,人们更多的是希望利用软件程序来获得一般物理硬件所达不到的高分辨率图像。

图像的超分辨率技术研究可分为3个主要范畴:基于插值、基于重建和基于学习的方法。基于插值的这类超分算法快速易行,但因为不能引入额外有用的高频信息,也没有考虑到低分辨率图像的像素值并不是高分辨率图像的理想采样值,因而很难在超分图像中得到锐化的效果,且容易出现锯齿现象。基于重建的算法的主要缺点是如果没有足够的约束条件或超分的倍数过高,得到的高分辨率图像的效果明显下降。

基于学习的超分算法,根据实时性,单帧图像的超分成为研究的热点。单帧图像的超分辨率问题(Single Image Super Resolution,SISR)是指通过对一幅低分辨率图像(Low Resolution,LR)的处理,重建出视觉效果较好的高分辨率图像(High Resolution,HR)。这个问题具有一定的挑战性且是一个不适定问题,因为低分辨率图像与高分辨率图像之间的联系存在不确定性,不同的高分辨率图像下采样后可能产生相似的低分辨率图像。也就是说,高分辨率图像到低分辨率图像的映射是多对一,即仅根据一幅低分辨率图像重建出HR图像的过程是不确定的、不可逆的。

现有的算法中,存在的如下难题:第一,大量SISR算法都需要借助额外的信息,比如样本图像和先验知识。样本图像包含大量的数据,能从中学到足以重建出高分辨率图像的信息。第二,因为基于样本学习先验知识,需要处理大量的数据,增加了计算负担。第三,现有的SISR算法只考虑了边缘的突出性,没有考虑有向性,也没有考虑图像的具体结构模型(比如边缘的有向性),且不能有效的重建其它细节(比如纹理)。第四,当超分倍数过大时,算法的有效性和鲁棒性减弱。

中国专利授权公开号:CN1985188A,授权公开日2007年6月20日,公开了一种提供用于构建目标物体区域的高分辨率图像的图像数据的方法,包括:从辐射源发出至所述目标物体的入射辐射;通过至少一个检测器来检测由所述目标物体散射的辐射强度;提供对应所述检测的强度的所述图像数据,而无须对所述入射辐射或目标物体后的光圈进行高分辨率的定位。不足之处是,该发明对设备要求较高,价格较为昂贵,且数据采集期间,容易被破坏。

发明内容

本发明的发明目的是为了解决现有图像的超分辨率技术中,出现锯齿、计算效率低、没有考虑图像的结构信息等问题,而给出一种能够重建出高质量的,更具真实性的高分辨率图像的算法。本发明基于样本与先验知识,考虑了纹理和边缘信息,增加了算法的有效性。

为了解决上述技术问题,本发明公开了一种用于将低分辨率图像转换为高分辨率图像的方法,包括如下步骤:

(1-1)在计算机中输入一幅低分辨率图像和由若干幅高分辨率图像Ih组成的样本集{Ih};设定b1,b2,...,bn是n个阈值,i=1,2,...,n;

(1-2)计算机根据{Ih}计算纹理函数

(1-2-1)计算机利用公式计算{Ih}中每一幅高分辨率图像Ih对应的低分辨率图像Il,并由各个Il组成图像集合{Il};其中,为卷积算子,G为高斯核,σ为高斯宽度,x为Ih的任一个像素值,xc为Ih的中心像素,↓表示下采样操作,图像尺寸缩小s倍;

(1-2-2)计算机根据{Il}和{Ih}计算得到若干个特征对(vl,vh):

设定p1为图像Il中的任一个像素,利用公式计算p1的像素Il(p1)与的qk像素Il(qk)的方差和的开平方SRSSD,将SRSSD设为p1的特征值vl,qk为p1周围的8个像素点;

由步骤(1-2-1)可知,图像Ih的尺寸是Il的s倍,所以在Ih中与p1像素相对应的是s×s的像素块,找出这样的像素块,并计算像素块中每个像素的SRSSD值,且求其平均值SRSSD平均,将SRSSD平均设为像素块的特征值vh,s为常数;将vl和与vl相对应的vh组成特征对(vl,vh);

(1-2-3)将满足bi-1≤vl<bi的所有特征对(vl,vh)组成集合Si,计算每个Si中vh的平均值定义纹理函数

(1-3)设定两个图像块的相似性匹配度量函数:

(1-3-1)设定P、Q为两个图像块,利用步骤(1-2-2)计算得到P、Q相对应的特征值Vp、Vq;设定m(P,Q,b)为P与Q的最大匹配数,>m(P,Q,b)=maxi{vpj=vqj,ji},>其中,分别是Vp和Vq的第j个元素;

(1-3-2)设定B={b1,b2,...,bn},定义P和Q的相似性匹配度量函数>S(P,Q)=maxbBf1(b)f2(m(P,Q,b)),>其中f1(b)与f2(m(P,Q,b))是两个严格递增函数;

(1-4)计算并得到纹理梯度函数Ut(p):

(1-4-1)计算机从输入的低分辨率图像中选取图像块Pt,把样本集{Il}中的图像分为m个与Pt尺寸相同的图像块Ql,利用步骤(1-3),计算图像块Pt与每个Ql的相似度S(Pt,Ql),按照图像块Ql的相似度从大至小的顺序依次选取m个图像块Ql中的m′个图像块Ql′,m′<m,l′=1,2....,m′,将m′个图像块Ql′组成图像块集合A;

(1-4-2)设定图像块Pt的中心像素的SRSSD值为利用纹理函数计算

(1-4-3)从高分辨率图像样本集{Ih}中,选取与A相对应的高分辨率图像块集合{Hl′},按照下述步骤从{Hl′}中,选出Pt对应的高分辨率图像块Hl′

依次计算每个Hl′图像块中,s×s中心像素块的SRSSD平均,将SRSSD平均设为Hl′的特征值

的K-近邻,即从中,找出与个距离最近的值,则将Hl′选定;

(1-4-4)利用公式

>i*=argmaxlΣj,kS(Pt,Ql)S(Pt,Fj)S(Fj,Ej,k)S(Hl,Rj,k),>

计算得到高分辨率图像序号i*,得到高分辨率图像块图像中s×s中心像素的梯度设为纹理梯度函数Ut(p)的值;其中,Fj是图像中与图像块Pt最相似的图像块,Ej,k是样本集{Il}中与Fj相似的若干个图像块,Rj,k是样本集{Ih}中与Ej,k相对应的高分辨率图像块;

S(Pt,Ql′)和S(Fj,Ej,k)反映重建得到的高分辨率图像的自相似性,S(Pt,Fj)和S(Hl′,Rj,k)分别反映了低分辨率图像、高分辨率图像的自相似性。

(1-5)计算保留图像Il方向的高分辨率图像Is

(1-5-1)P′是图像Il中以像素p1为中心的块,Q′是p1沿着方向k移动一个像素的块,用公式Lk(p1)=e-||P′-Q′||/γ,计算p1像素的相似方向函数Lk(p1),这里k=1,…,L,L为方向的总数;γ是实参数;

(1-5-2)利用双三次插值算法对图像Il进行运算,得到图像I:

双三次插值算法:通过双三次插值创造一个像素,而该像素的像素值是由它附近的4×4个邻近像素值计算出来的,计算公式为其中I(u,v)表示图像I中(u,v)位置对应的像素值,auv表示(u,v)位置对应像素值的权重,且该算法计算精确高;

(1-5-3)利用公式>Is=argminI||(IG)S-Il||2+βΣk=1K||Lk(I)-Hk||2>计算保留图像Il方向的高分辨率图像Is,其中β是平衡参数,Lk(I)是从图像I计算得到的方向相似函数;

(1-6)建立边缘先验函数fe(Tp,Tr,d):

(1-6-1)利用公式计算高分辨率图像集{Ih}中每一幅图像Ih相对应的低分辨率图像Il,重复步骤(1-5)得到保留Il方向的高分辨率图像IS,设定p3位图像IS中的任一个像素,并利用公式计算IS的每个像素点对应的SRSSD值;qk′为p3周围的8个像素点;

设定脊函数:

设定图像I中任一像素p2最大改变方向为k*(p2),>k*(p2)=argmaxk{1,2,...,L}|kI(p2)|,>其中,为k方向的差分算子,反方向标号为kinverse,且满足δ是阈值,是像素p2在方向k*上的相邻像素,是k*反方向上的像素;

(1-6-2)在距离为d的范围内选取距离像素p3最近的脊像素r;将Ih中与像素p3相对应的高分辨率图像块的SRSSD值像素p3对应的SRSSD值最近的脊像素r对应的SRSSD值Tr和d组成图像Ih的样本特征点各个样本特征点构成样本特征点集将d值相同的样本特征点分一组,计算每组中的平均值定义先验函数使

(1-7)建立边缘梯度函数Ue(p):

(1-7-1)由步骤(1-5)得到保留测试图像方向的高分辨率图像Is

(1-7-2)设定p为Is图像中的任一个像素,计算得到p像素的Tp,Tr和d,利用公式Sp=fe(Tp,Tr,d)计算Sp;利用公式计算边缘梯度函数Ue(p),Us(p)为Is图像的梯度函数;

(1-8)建立整体梯度U:

利用公式W(p)=min{Spe-d,1}计算Is图像中每个像素的权值W(p),利用U(p)=W(p)Ue(p)+(1-W(p))Ut(p)计算每个像素的梯度值,由每个像素的梯度值组成Is图像的整体梯度U;

(1-9)利用公式计算得到一幅与低分辨率图像相对应的高分辨率图像其中,

综述所述,本发明根据给定的一幅输入的低分辨率图像根据一种新的相似度量(1-3),从样本集中匹配得到了一个图像块集;利用纹理先验知识(1-2)取出最好的图像块,按照步骤(1-4)来产生纹理梯度函数Ut(p)。另一方面,沿着强边缘方向去找有效的图像块是很难的,所以本发明按照步骤(1-5)对插值生成保留方向的Is图像且用学习到的边缘函数fe(Tp,Tr,d)来生成边缘梯度函数Ue(p)。通过加权函数W对Ut(p)与Ue(p)加权生成梯度函数U,然后通过步骤(1-9)超分得到放大S倍的高分辨率图像

作为优选,所述n为6,所述b1,b2,....bn分别为256,128,64,32,16,8。

作为优选,所述f1(b)=0.5+0.5(1og2(b)-3)/5。

作为优选,所述>f2(m(P,Q,b))=0.9+0.1(m-9)/16m90.5m/9m<9.>f2(m(P,Q,b))的设置可以保证至少9个像素是匹配的。

作为优选,所述Pt尺寸为5×5、6×6、7×7或8×8。

作为优选,所述L为8至16。

作为优选,所述s为3至8。

作为优选,d为

因此,本发明具有如下有益效果:

(1)重建出的高分辨率图像具有更为丰富的细节信息和突出有向的边缘信息,缓解了锯齿现象;

(2)提出了一种新的块相似度量,提高样本匹配的效率,减轻了计算负担;

(3)根据图像的相似性,通过学习梯度函数保留了图像的结构信息;

(4)基于边缘的先验知识,学到具有突显性和有向性的边缘梯度函数,重建出高质量的更具真实性的高分辨率图像。

附图说明

图1是本发明的实施例的一种流程图;

图2是用本发明的算法,输入小孩的图像,超分得到对应的高分辨率图像;

图3是用本发明的算法,输入直升飞机的图像,超分得到对应的高分辨率图像;

图4是用本发明的算法,输入猩猩的图像,超分得到对应的高分辨率图像;

图5是用本发明的算法,输入山的图像,超分得到对应的高分辨率图像;

图6是用本发明的算法,输入狼的图像,超分得到对应的高分辨率图像。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图1所示的实施例是一种用于将低分辨率图像转换为高分辨率图像的方法,包括如下步骤:

步骤100,在计算机中输入一幅低分辨率图像和由若干幅高分辨率图像Ih组成的样本集设定b1,b2,...,b6是6个阈值,i=1,2,...,6;b1,b2,....bn分别为256,128,64,32,16,8;利用计算机M A T L A B软件进行下述步骤的处理:

步骤200,根据计算纹理函数

步骤201,利用公式计算{Ih}中每一幅高分辨率图像Ih对应的低分辨率图像Il,并由各个Il组成图像集合{Il};其中,为卷积算子,G为高斯核,σ为高斯宽度,x为Ih的任一个像素值,xc为Ih的中心像素,↓表示下采样操作;

步骤202,根据{Il}和{Ih}计算得到若干个特征对(vl,vh):

设定p1为图像Il中的任一个像素,利用公式计算p1的像素Il(p1)与的qk像素Il(qk)的方差和的开平方SRSSD,将SRSSD设为p1的特征值vl,qk为p1周围的8个像素点;

在Ih图像中,找到与p1相对应的4×4的像素块,计算像素块中每个像素的SRSSD值,计算各个像素的SRSSD值的平均值SRSSD平均,将SRSSD平均设为像素块的特征值vh,将vl和与vl相对应的vh组成特征对(vl,vh);

步骤203,将满足bi-1≤vl<bi的所有特征对(vl,vh)组成集合Si

计算每个Si中vh的平均值定义纹理函数

步骤300,设定两个图像块的相似性匹配度量函数:

步骤301,设定P、Q为两个图像块,利用步骤202计算得到P、Q相对应的特征值Vp、Vq;设定m(P,Q,b)为P与Q的最大匹配数,>m(P,Q,b)=maxi{vpj=vqj,ji},>其中,分别是Vp和Vq的第j个元素;

步骤302,设定B={b1,b2,...,bn},定义P和Q的相似性匹配度量函数>S(P,Q)=maxbBf1(b)f2(m(P,Q,b)),>其中f1(b)与f2(m(P,Q,b))是两个严格递增函数;

f1(b)=0.5+0.5(1og2(b)-3)/5

>f2(m(P,Q,b))=0.9+0.1(m-9)/16m90.5m/9m<9;>

步骤400,计算并得到纹理梯度函数Ut(p):

步骤401,计算机从输入的低分辨率图像中选取图像块Pt,把样本集{Il}中的图像分为m个与Pt尺寸相同的图像块Ql,利用步骤(1-3),计算图像块Pt与每个Ql的相似度S(Pt,Ql),按照图像块Ql的相似度从大至小的顺序依次选取m个图像块Ql中的m′个图像块Ql′,m′<m,l′=1,2....,m′,将m′个图像块Ql′组成图像块集合A;Pt尺寸为5×5;

步骤402,设定图像块Pt的中心像素的SRSSD值为利用纹理函数计算

步骤403,从高分辨率图像样本集{Ih}中,选取与A对应的高分辨率图像块{Hl′},按照下述步骤从{Hl′}中,选出Pt对应的高分辨率图像块Hl′

依次计算每个Hl′图像块中,s×s中心像素块的SRSSD平均,将SRSSD平均设为Hl′的特征值

的K-近邻,则将Hl′选定;

步骤404,利用公式

>i*=argmaxlΣj,kS(Pt,Ql)S(Pt,Fj)S(Fj,Ej,k)S(Hl,Rj,k),>

计算得到高分辨率图像序号i*,得到高分辨率图像块图像中s×s中心像素的梯度设为纹理梯度函数Ut(p)的值;其中,Fj是图像中与图像块Pt最相似的图像块,Ej,k是样本集{Il}中与Fj相似的图像块,Rj,k是样本集{Ih}中与Ej,k相对应的高分辨率图像块;

步骤500,计算保留图像Il方向的高分辨率图像Is

步骤501,P′是图像Il中以像素p1为中心的块,Q′是p1沿着方向k移动一个像素的块,用公式Lk(p1)=e-||P′-Q′||/γ,计算p1像素的相似方向函数Lk(p1),这里k=1,…,L,L为方向的总数,L=16,γ是实参数;

步骤502,利用双三次插值算法对图像Il进行运算,得到图像I:

步骤503,利用公式

>Is=argminI||(IG)S-Il||2+βΣk=1K||Lk(I)-Hk||2>计算保留图像Il方向的高分辨率图像Is,其中β是平衡参数,Lk(I)是从图像I计算得到的方向相似函数;

步骤600,建立边缘先验函数fe(Tp,Tr,d):

步骤601,利用公式计算高分辨率图像集{Ih}中每一幅图像Ih相对应的低分辨率图像Il,重复步骤500得到保留Il方向的高分辨率图像IS,设定p3位图像IS中的任一个像素,并利用公式计算IS的每个像素点对应的SRSSD值;Il(p3)为p3的像素值,Il(qk′)为qk′的像素值,qk′为p3周围的8个像素点

设定脊函数:

设定图像I中任一像素p2最大改变方向为k*(p2),>k*(p2)=argmaxk{1,2,...,L}|kI(p2)|,>其中,为k方向的差分算子,反方向标号为kinverse,且满足δ是阈值,是像素p2在方向k*上的相邻像素,是k*反方向上的像素;

步骤602,在距离为d的范围内选取距离像素p3最近的脊像素r;将Ih中与像素p3相对应的高分辨率图像块的SRSSD值,像素p3对应的SRSSD值最近的脊像素r对应的SRSSD值Tr和d组成图像Ih的样本特征点各个样本特征点构成样本特征点集将d值相同的样本特征点分一组,计算每组中的平均值定义先验函数使>fe(Tp3,Tr,d)=Sp3;>本实施例中,d为

步骤700,建立边缘梯度函数Ue(p):

步骤701,由步骤500得到保留测试图像方向的高分辨率图像Is;(1-7-2)设定p为Is图像中的任一个像素,计算得到p像素的Tp,Tr和d,利用公式Sp=fe(Tp,Tr,d)计算Sp;利用公式计算边缘梯度函数Ue(p),Us(p)为Is图像的梯度函数;

步骤800,建立整体梯度U:

利用公式W(p)=min{Spe-d,1}计算Is图像中每一个像素的权值W(p),利用U(p)=W(p)Ue(p)+(1-W(p))Ut(p)计算每个像素p的梯度值,由每个像素p的梯度值组成一副图像的整体梯度U;

步骤900,利用公式计算得到一幅与低分辨率图像相对应的高分辨率图像其中,>(IG)S=Ilt.>

性能分析:

本发明的计算机的配置为2.8G的四核CPU,输入图像大小为80×120,超分倍数为S为4,生成高分辨率图像需要花费6分钟。如果用配置更好的机器,花费的时间可以更少。使用同样的计算机,基于示例学习的算法大致需要花费10分钟处理大小为80×120的输入图像。说明本发明的计算速度快,减轻计算负担,且配置要求低。

对于彩色图像,本发明仅在灰度通道上使用本发明,其它通道上的采用双三次插值算法,因为人的视觉对亮度的改变更为敏感。本发明从Berkeley数据集取300幅图像进行先验知识的学习,其它200幅图像做测试,超分倍数为4,高斯宽度设为1.6。提出快速的图像块恢复,设大小为5×5的块包含有效的图像信息,{b1,b2,...,bn}依次为{256,128,64,32,16,8},且f1(b)=0.5+0.5(log2(b)-3)/5。函数f2(m),当m≥9时,设为0.9+0.1(m-9)/16;当m<9时,定义为0.5m/9,保证至少9个像素是匹配的。提出算法中的保留方向的上采样函数,本发明考虑16个方向(即L=16)。

如表1所示的本发明与经典算法的对比结果。

算法PSNRSSIMDIIVINEIrani25.010.703655.49Sun24.540.669559.29Shan23.470.636760.62Yang24.310.620543.70Wang24.320.650550.32Freedman22.220.617345.54Glasner25.200.706444.06本发明24.380.636729.26

表1

定量分析:表1显示200幅自然图像量化估计的平均值。PSNR(峰值信噪比)和SSIM(结构相似性)反映了与原始图像的失真度,DIIVINE index反映一幅图像包含的细节丰富与否,DIIVINE index值越小,说明结果越好。如表1所示,本发明提出的算法得到DIIVINEindex的平均值最小,因为纹理信息保证了重建得到的高分辨率图像具有更丰富的细节。

定性分析:如图2-6所示,本发明与现有的其它技术进行比较的结果。对于边缘,本发明得到的高频信息与用双三次插值重建出的高频信息进行比较(如图2(a)和图3(a)(b)),观察到本发明的保留方向的上采样没有出现锯齿的虚幻边缘(如图2(d)和图3(d))。基于样本自相似的其它算法产生了突出的边缘但过于突出。(如图2(b)(c)和图3(c))。相反,本发明提出的算法保留了突出的边缘且没有产生虚假的边缘。

对于纹理,其它算法只考虑统计上的先验知识可能产生过度光滑的纹理,因为具有高频信息的样本没有被使用,如图4(c),5(c),6(c)所示。其它算法采用输入的低分辨率图像自身生成样本集,同样也存在纹理过于平滑的现象,因为重叠块的使用减少了高频信息,如图2(b)(c)和4(a)(b)所示。

本发明是进一步挖掘纹理的先验知识,而不是通过重叠块来得到高频信息,因此得到了更好的结果。对于使用稀疏字典对,来产生高分辨率图像细节的两种SR算法,增加一个LR/HR稀疏系数的转换矩阵,得到了更好的边缘且减少了块的虚幻,如图5(a)(b)和6(a)(b)所示。然而,训练块是随机从自然图像中选择的,自然图像大部分区域是平滑的。所以训练字典更好的重建出平滑的块而不是像纹理这样的高频信息。相反地,本发明快速的图像块匹配算法直接得到是低分辨率图像块对应的高频纹理块,且通过保留块的相似性来确保纹理的高频信息。

基于样本和先验知识,本发明提出了一种新的图像的超分算法。重建出的高分辨率图像具有丰富的纹理信息和突出的边缘,超分得到视觉上效果更好的高分辨率图像,带有更突出的边缘和富足的纹理信息。通过大量的实验,与现有的算法进行定量定性的比较,证明了本发明算法的稳定性和有效性。

应理解,本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号