首页> 中国专利> 高分辨率图像复原的奇异谱函数获取方法及系统

高分辨率图像复原的奇异谱函数获取方法及系统

摘要

本发明提供了一种高分辨率图像复原的奇异谱函数获取方法及系统。所述方法包括:获取高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据;根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据;对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像;根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数,能够在高频频谱数据缺失的情况下,快速高效地获取高分辨率图像复原的奇异谱函数以供高分辨率图像的复原。

著录项

  • 公开/公告号CN103208098A

    专利类型发明专利

  • 公开/公告日2013-07-17

    原文格式PDF

  • 申请/专利权人 上海交通大学;

    申请/专利号CN201310074176.7

  • 发明设计人 骆建华;敬忠良;

    申请日2013-03-07

  • 分类号

  • 代理机构上海思微知识产权代理事务所(普通合伙);

  • 代理人郑玮

  • 地址 200240 上海市闵行区东川路800号

  • 入库时间 2024-02-19 19:02:27

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-03-10

    未缴年费专利权终止 IPC(主分类):G06T5/00 授权公告日:20160831 终止日期:20190307 申请日:20130307

    专利权的终止

  • 2016-08-31

    授权

    授权

  • 2013-08-14

    实质审查的生效 IPC(主分类):G06T5/00 申请日:20130307

    实质审查的生效

  • 2013-07-17

    公开

    公开

说明书

技术领域

本发明涉及一种高分辨率图像复原的奇异谱函数获取方法及系统。

背景技术

卫星遥感具有覆盖面大、持续时间长、实时性强、不受国界、地域限制等独特优势,广泛地应用于资源开发、环境监测、灾害研究、全球变化分析等领域,深受各国的高度重视。卫星图像的空间分辨率是衡量卫星遥感能力的一项主要指标,也是衡量一个国家航天遥感水平的重要标志。提高卫星观测空间分辨率已成为卫星工程技术研究热点。卫星获取图像过种中,有很多因素会导致图像质量下降,大气扰动、运动、散焦、传输和噪声都会直接影响到图像分辨率下降,特别是卫星截荷所限使光学系统截止频率有限高,及其CCD芯片像元尺寸有限小,限止了卫星图像空间高频分量,使得图像分辨率不够高。

根据光学傅里叶频谱理论,光学系统存在截止频率cf=(D-l)(2fλ),其中D为等效透镜直径,l为CCD芯片尺寸,f为透镜焦距和λ为光波长。若CCD芯片的像元尺寸为w,则按采样定理,也有截止频率为uw=1(2w)。被摄物中,只有同时小于uw和cf的空间频率分量才能获取并成像,若cf≠uw,则导致采样资源或光学成像资源浪费。设卫星与被拍摄物的距离为R,则卫星图像的可分辨距离△x=wRf=λR(D-l)。若减少CCD芯片的像元尺寸提高uw,并且光学截止频率也随之提高cf=uw,则可以提高图像的空间分辨率(目前最小值为50μm2),但是CCD芯片像元尺寸w太小,信噪比太低,以至无法正常使用。因此,卫星图像的高频分量缺失是一个绕不开的科学难题。传统的高分辨率(参考文献1:J.L.Harris,Diffraction and resolving power,J.Opt.Soc.Amer.,54(7):931-133,1964和文献2:W.Lukosz,Optical systems with resolving power exceeding the classicallimit.J.Opt.Soc.Amer.,56(11):1463-1471,1966)是指对超出光学系统截止频率cf而被丢失的图像高频信息进行恢复,这种方法称为高分辨率复原技术。多数人认为要准确恢复截止频率之外的频谱信息是不可能的,并称此为高分辨率神话。

当可以获得多幅同一场景的图像序列时,可以建立数学模型:gi=Hsi+ni,i=1,2,...,k,其中gi,si,ni分别表第i帧低分辨率图像、高分辨率图像和噪声图像,H表示各种导致图像低分辨率的各种因素。通过多帧插值方法(参见文献3:L.Zhang,X.Wu,An Edge-Guided Image Interpolation Algorithm viaDirectional Filtering and Data Fusion,IEEE Transaction on image processing,15(8):2226-2238,2006,文献4:D.Rajan D,S.Chaudhuri,Generalized interpolationand its application in super-resolution imaging,Image and Vision Computing,19(13):957-969,2001,文献5:A.Sánchez-Beato and G.Pajares,Non-iterativeinterpolation-based super-resolution minimizing aliasing in the reconstructed image,IEEE Trans.Image Process.,17(10),pp.1817–1826,2008,文献6:S.Lertrattanapanich,N.K.BOSE,High resolution image formation from low resolutionframes using Delaunay triangulation,IEEE Transaction on Image Processing,11(12):1427-1441,2002和文献7F.Zhou,W.Yang,and Q.Liao,Interpolation-Based ImageSuper-Resolution Using Multisurface Fitting,IEEE Transaction on Image Processing,21(7):3312-28,2012)、利用先验知识进行优化求解(参见文献8:X.Gao,K.Zhang,D.Tao and X.Li,Image Super-Resolution With Sparse Neighbor Embedding,I IEEETrans.on Image Processing,Vol.21,No.7,pp.3194-3205,2012,文献9:Z.M.Wang and W.W.Wang,Fast and Adaptive Method for SAR Superresolution ImagingBased on Point Scattering Model and Optimal Basis Selection,IEEE Tran.on ImageProcessing,18(7):1477-1486,2009,文献10:A.Marquina and S.J.Osher,Imagesuper-resolution by TV regularization and Bregman iteration,Journal of ScientificComputing,vol.37,no.3,pp.367–382,2008和文献11:J.Yang,J.Wright,T.S.Huang and Y.Ma,“Image super-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861–2873,2010)、基于学习方法(参见文献11,文献12:T.Goto,Y.Kawamoto,Y.Sakuta,A.Tsutsui and M.Sakurai,Learning-based Super-resolution Image Reconstruction on Multi-core Processor,IEEE Transactions on Consumer Electronics,58(3):941~946,2012,文献13:P.Purkait and B.Chanda,Super Resolution Image Reconstruction Through BregmanIteration Using Morphologic Regularization,IEEE Trans.on Image Processing,21(9):4029~4040,2012,文献14:P.P.Gajjar and M.V.Joshi,New learning basedsuper-resolution:Use of DWT and IGMR-F prior,IEEE Trans.on Image Processing,Vol.19,No.5,pp.1201-1213,2010,文献15:M.S.Crouse,R.D.Nowak,R.GBaraniuk,Wavelet-based statistical signal processing using hidden Markov models,IEEE Transactions on Signal Processing,46(4):886-902,1998和文献16:M N Do,M.Vetterli,The contourlet transform:An efficient directional multi-resolution imagerepresentation,IEEE Transactions on Image Processing,14(12):2091-2106,2005)等等(参见文献17:D.D.-Y Po and DO M.N.Do,Directional multi-scale modelingof images using the contourlet transform,IEEE Transactions on Image Processing,15(6):1610-1620,2006和文献18:W.Dong,L.Zhang,G.Shi and X.Wu,Imagedeblurring and superresolution by adaptive sparse domain selection and adaptiveregularization,IEEE Trans.Image Process.,vol.20,no.7,pp.533–549,Jul.2011)获取高分辨率图像,改善欠采样而导致的图像质量退化。但在卫星观测摄像中,同一视场的多帧图像采集是极浪费资源且难做到的,单帧图像超分辨复原技术才是遥感图像超分辨复原的关键技术,但至今没有实质性突破。为研究单帧图像的高分辨率复原,我们考虑以下低分辨率图像形成机制的数学模型.

若不考虑干扰因素,对于一个成像系统其成像过程可用下式加以描述为:

g(x,y)=p(x,y)*s(x,y)

这里g(x,y),p(x,y),s(x,y)分别表示遥感图像,视场和成像系统点扩散函数,*表示卷积运算。对图像频谱函数为:G(u,v)=P(u,v)S(u,v),点扩散函数的频谱函数P(u,v)=1,|u|<cf&|v|<cf是有限带宽的矩形窗。当实际视场截止频率cs大于光学成像系统截止频率cf时,视场的cf以外的高频分量丢失,成为低分辨率图像。传统习惯认为在光学成像系统截止频率之外cf频谱是不可以复原的。但根据解析延拓定理:若解析在某一有限区间上为已知,就可以唯一地延拓到全部区域。也就说"如果两个解析函数在任一给定的区域上完全一致"则它们一定在整体上完全一致"即为同一函数(参见文19:E.B.Saff and A.D.Snider,Fundamentals ofComplex Analysis with Applications to Engineering and Science,2003,PearsonEducation)。视场可以看作是一个有界定义域上的函数,其谱函数是一个解析函数。因此,按照解析延拓定理,可以由图像频谱数据G(u,v)=P(u,v)S(u,v),|u|<cf&|v|<cf,延拓到整个频谱空间,截止频率cf=∞。早期研究从单帧图像进行高分辨率复原主要方法是频谱外推(参见文献20:H.Greenspan,C.H.Anderson,S.Akber,Image enhancement by nonlinear extrapolationin frequency space,IEEE Trans.Im age Processing,vol.9,no6,pp.1035—1048,2000),长椭球波函数法(参见文献21:H.A.Brown,Effect of Truncation on ImageEnhancement by Prolate Spheroidal Functions,Journal of the Optical Society ofAmerica,Vol.59,no2,pp.228-229,1969),迭加正弦模板法(参见文献22:S.Wadaks,T.Sato,Superresolution in Incoherent Imaging System,Journal of theOptical Society of America,65(3):354-355,1975)、插值方法(参见文献3)等超分辨复原技术。但是这些方法充分利用低分辨率图像中隐含着图像高分辨率信息,没有理解和运用解析延拓定理数学原理,从而无法或很少研究从低分辨图像获取高频信息方法,因而效果十分有限(参见文献23:S.C.Park,M.K.Park,M.G.Kang,Super-resolution image reconstruction:a technical overview,IEEE Signal Processing Magazine,Vol.20,no.3,pp.21-36,May2003)。

发明内容

本发明的目的在于提供一种高分辨率图像复原的奇异谱函数获取方法及系统,能够在高频频谱数据缺失的情况下,快速高效地获取高分辨率图像复原的奇异谱函数以供高分辨率图像的复原。

为解决上述问题,本发明提供一种高分辨率图像复原的奇异谱函数获取方法,包括:

获取高分辨率图像的横向或纵向像素点个数待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据;

根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据;

对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像;

根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数。

进一步的,在上述方法中,获取高分辨率图像的横向或纵向像素点个数待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据的步骤中,

一幅低分辨率图像gl(i,j),i,j=0,1,...,l要复原到高分辨率图像g(i,j),i,j=0,1,...,N,N>>l,g(i,j)图像的频谱数据表示为G(kx,ky),kx,ky∈Ω,Ω为所述高分辨率图像的频谱空间,l表示低分辨率图像的横向或纵向像素点个数,N表示待复原的高分辨率图像的横向或纵向像素点个数,低分辨率图像的频谱数据表示为Gl(kx,ky),则g(i,j)图像的低频频谱数据表示为

G(kx,ky)=(N/l)2Gl(kx,ky),-l/2≤kx,ky<l/2。

进一步的,在上述方法中,根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据的步骤中,

所述高分辨率图像的补零法频谱数据表示为G(kx,ky)P(kx,ky),其中,

进一步的,在上述方法中,对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像的步骤中,

所述高分辨率图像的低频频谱数据补零法图像表示为

进一步的,在上述方法中,根据所述低频频谱数据补零法图像获取最佳奇异化算子的步骤包括:

初始化:其中,其中,“*”表示卷积,δ(i,j)为二维狄拉克函数;

记四个基本奇异化算子为:

φ1(i,j)=φi,j-(i,j)=δ(i,j)-δ(i,j-1),φ2(i,j)=φi-,j-(i,j)=δ(i,j)-δ(i-1,j-1),

φ3(i,j)=φi+,j-(i,j)=δ(i,j)-δ(i+1,j-1),φ4(i,j)=φi-,j(i,j)=δ(i,j)-δ(i-1,j);

执行>I=argmaxi=1,2,3,4{|φi(i,j)*g~φ(i,j)|1},>判断是否>|φI(i,j)*g~φ(i,j)|1<mx,>

若是,则将赋值给并将φ(i,j)*φI(i,j)赋值给φ(i,j)后,重复所述执行和判断是否>|φI(i,j)*g~φ(i,j)|1<mx>的步骤;

若否,则输出最佳奇异化算子φ(i,j)。

进一步的,在上述方法中,根据所述最佳奇异化算子获取奇异函数的步骤包括:

根据差分方程φ(i,j)*h(i,j)=δ(i,j)的零状态的解获取奇异函数h(i,j)。

进一步的,在上述方法中,根据所述奇异函数获取奇异谱函数的步骤中,奇异谱函数为

根据本发明的另一面,提供一种高分辨率图像复原的奇异谱函数获取系统,包括:

低频频谱数据模块,用于获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据;

补零法频谱数据模块,用于根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据;

补零法图像模块,用于对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像;

奇异谱函数模块,用于根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数。

进一步的,在上述系统中,所述低频频谱数据模块用于将一幅低分辨率图像表示为gl(i,j),i,j=0,1,...,l,将要复原到高分辨率图像表示为g(i,j),i,j=0,1,...,N,N>>l,g(i,j)图像的频谱数据表示为G(kx,ky),kx,ky∈Ω,Ω为所述高分辨率图像的频谱空间,l表示低分辨率图像的横向或纵向像素点个数,N表示待复原的高分辨率图像的横向或纵向像素点个数,低分辨率图像的频谱数据表示为则g(i,j)图像的低频频谱数据表示为

G(kx,ky)=(N/l)2Gl(kx,ky),-l/2≤kx,ky<l/2。

进一步的,在上述系统中,所述补零法频谱数据模块将所述高分辨率图像的补零法频谱数据表示为G(kx,ky)P(kx,ky),其中,

进一步的,在上述系统中,所述补零法图像模块将所述高分辨率图像的低频频谱数据补零法图像表示为

进一步的,在上述系统中,所述奇异谱函数模块,用于

初始化:φ(i,j)=δ(i,j),其中,“*”表示卷积,δ(i,j)为二维狄拉克函数;

记四个基本奇异化算子为:

φ1(i,j)=φi,j-(i,j)=δ(i,j)-δ(i,j-1),φ2(i,j)=φi-,j-(i,j)=δ(i,j)-δ(i-1,j-1),

φ3(i,j)=φi+,j-(i,j)=δ(i,j)-δ(i+1,j-1),φ4(i,j)=φi-,j(i,j)=δ(i,j)-δ(i-1,j);

执行>I=argmaxi=1,2,3,4{|φi(i,j)*g~φ(i,j)|1},>判断是否>|φI(i,j)*g~φ(i,j)|1<mx,>

若是,则将赋值给并将φ(i,j)*φI(i,j)赋值给φ(i,j)后,重复所述执行和判断是否>|φI(i,j)*g~φ(i,j)|1<mx>的步骤;

若否,则输出最佳奇异化算子φ(i,j)。

进一步的,在上述系统中,所述奇异谱函数模块根据差分方程φ(i,j)*h(i,j)=δ(i,j)的零状态的解获取奇异函数h(i,j)。

进一步的,在上述系统中,所述奇异谱函数模块根据获取奇异谱函数。

与现有技术相比,本发明通过获取高分辨率图像的横向或纵向像素点个数待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据;根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据;对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像;根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数,能够在高频频谱数据缺失的情况下,快速高效地获取高分辨率图像复原的奇异谱函数以供高分辨率图像的复原。

附图说明

图1a是本发明一实施例的高分辨率图像复原的流程图;

图1b是图1a中步骤S4的详细流程图;

图1c是是图1a中步骤S5的详细流程图;

图2是本发明一实施例的一幅256X256的低分辨率图像复原到512X512的高分辨率图像的原理图;

图3a是本发明一实施例的用于仿真的参照图像;

图3b是本发明一实施例的截止频率为32~96的低分辨图像,经Sinc插值、TV正则化和SSIT方法复原图像的误差峰值信噪比;

图4是本发明一实施例的截止频率为64的高分辨率图像复原实验原理图;

图5a是以图3a为参照图像的复原误差峰值信噪比随噪声大小的变化

图5b是以加入噪声后图像为参照图像的复原误差峰值信噪比随噪声大小的变化;

图6a是本发明一实施例的加入噪声参照图像的频谱图;

图6b是本发明一实施例的Sinc方法复原图像的频谱图;

图6c是本发明一实施例的TV方法复原图像的频谱图;

图6d是本发明一实施例的SSIT方法复原图像的频谱图;

图7a是本发明一实施例的用于测试的第一参照图像;

图7b是本发明一实施例的用于测试的第二参照图像;

图7c是本发明一实施例的用于测试的第三参照图像;

图7d是本发明一实施例的用于测试的第四参照图像;

图7e是本发明一实施例的用于测试的第五参照图像;

图7f是本发明一实施例的用于测试的第六参照图像;

图8a是本发明一实施例的128X128的低分辨率图像;

图8b是本发明一实施例的Sinc方法高分辨率复原后的256X256图像;

图8c是本发明一实施例的TV方法高分辨率复原后的256X256图像;

图8d是本发明一实施例的SSIT方法高分辨率复原后的256X256图像;

图8e是图8b的频谱图;

图8f是图8c的频谱图;

图8g是8d的频谱图;

图9是本发明一实施例的将左下角的一幅128X128的低分辨率图像用SSTI方法高分辨率复原的512X512图像;

图10是本发明一实施例的低频频谱数据补零法图像获取系统的模块示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示,本发明提供一种高分辨率图像复原的奇异谱函数获取方法,包括:

实施例一

如图1a所示,本发明提供一种高分辨率图像复原的奇异谱函数获取方法包括:

步骤S1,获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据。

优选的,所述步骤S1中,一幅低分辨率图像gx(i,j),i,j=0,1,...,l要复原到高分辨率图像g(i,j),i,j=0,1,...,N,N>>l,g(i,j)图像的频谱数据表示为G(kx,ky),具体G(kx,ky)可包括低频频谱数据和高频频谱数据,kx,ky∈Ω,Ω为所述高分辨率图像的频谱空间,l表示低分辨率图像的横向或纵向像素点个数,N表示待复原的高分辨率图像的横向或纵向像素点个数,低分辨率图像的频谱数据表示为Gl(kx,ky),则g(i,j)图像的低频频谱数据表示为

G(kx,ky)=(N/l)2Gl(kx,ky),-l/2≤kx,ky<l/2,具体的,每幅图像的横向或纵向像素点个数相等,每幅图像的像素点个数为横向像素点个数X纵向像素点个数,如256X256,512X512,即l2或N2

步骤S2,根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据。

优选的,步骤S2中,所述高分辨率图像的补零法频谱数据表示为G(kx,ky)P(kx,ky),其中,

具体的,如图2所示,(b)中的512X512的待复原的高分辨率图像的补零法频谱数据中的低频频谱数据来自于图2中(a)的256X256的低分辨率图像的频谱数据,高分辨率图像的补零法频谱数据中的高频频谱数据部分用零填补的补零频谱数据。

步骤S3,对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像。

优选的,步骤S3中,所述高分辨率图像的低频频谱数据补零法图像表示为

步骤S4,根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数。具体的,每幅图像都有其最佳奇异化算子,即使变成为低分辨率图像,最佳奇异化算子是不会改变的。奇异化算子决定奇异谱函数,最佳奇异化算子可以得到图像的最简奇异信息数学模型。

优选的,如图1b所示,步骤S4中,根据所述低频频谱数据补零法图像获取最佳奇异化算子的步骤包括:

步骤S41,初始化:

φ(i,j)=δ(i,j),其中,“*”表示卷积,δ(i,j)为二维狄拉克函数,具体的,如图2所示,(c)为所述低频频谱数据补零法图像被所述最佳奇异化算子卷积后的图像

步骤S42,记四个基本奇异化算子为:

φ1(i,j)=φi,j-(i,j)=δ(i,j)-δ(i,j-1),φ2(i,j)=φi-,j-(i,j)=δ(i,j)-δ(i-1,j-1),

φ3(i,j)=φi+,j-(i,j)=δ(i,j)-δ(i+1,j-1),φ4(i,j)=φi-,j(i,j)=δ(i,j)-δ(i-1,j);

步骤S43,执行>I=argmaxi=1,2,3,4{|φi(i,j)*g~φ(i,j)|1},>判断是否>|φI(i,j)*g~φ(i,j)|1<mx,>若是,则转到步骤S44,若否,即则转到步骤S45。

步骤S44,将赋值给并将φ(i,j)*φI(i,j)赋值给φ(i,j)即后,转到步骤S43。

步骤S45,输出最佳奇异化算子φ(i,j)。

优选的,步骤S4中,根据所述最佳奇异化算子获取奇异函数的步骤包括:

根据差分方程φ(i,j)*h(i,j)=δ(i,j)的零状态的解获取奇异函数h(i,j),具体的,“*”表示卷积,δ(i,j)为二维狄拉克函数,若把最佳奇异化算子看成系统,则奇异函数h(i,j)是最佳奇异化算子φ(i,j)的单位冲激响应。

优选的,步骤S4中,根据所述奇异函数获取奇异谱函数的步骤中,奇异谱函数为具体的,根据最佳奇异化算子φ(i,j)生成的奇异谱函数H(kx,ky),使得奇异信息数学模型参数尽量少

>G(kx,ky)=Σc=1qace-2πN(kxic+kyjc)-1H(kx,ky),kx,kyΩ,>

其中H(kx,ky)称为奇异谱函数,(ac,ic,jc),c=1,2,...,q为待定模型参数,q<<N2为信息量,要求尽量小;Ω为高分辨率图像频谱空间,奇异函数h(i,j)为奇异谱函数的原函数,

后续高分辨率图像复原方法(奇异信息论频谱延拓方法,SSIT)中可根据高分辨率图像复原的奇异谱函数获取方法得到的结果进行步骤S5~步骤S7。

步骤S5,根据所述最佳奇异化算子并运用点扩散函数层析法获取高分辨率图像复原的坐标参数。具体的,点扩散函数定义为其中,这里kx,ky表示可以从所述低分辨率图像中估计的频谱空间点。

优选的,如图1c所示,步骤S5包括:

步骤S51,初始化:c=1,

步骤S52,计算:>(ic,jc)=argmaxi,j1,2,...,N{|g~φ(i,j)|},>>b=g~φ(ic,jc)/p(0,0),>将>g~φ=(i,j)-bp(i-ic,j-jc)>赋值给>g~φ(i,j)g~φ(i,j)-bp(i-ic,j-jc),>c=c+1其中,(ic,jc)表示所述坐标参数,c=1,2,...,q,所述坐标参数为非零坐标,所述坐标参数的集合为χ={(i1,j1),(i2,j2)...,(iq,jq)};

步骤S53,判断是否其中,||·||2表示二次范数,若是,则转到步骤S52,若否,即则转到步骤S54;

步骤S54,q=c,输出坐标参数{(ic,jc),c=1,2,...,q}。

步骤S6,根据所述奇异谱函数和所述坐标参数获取高分辨率图像复原的加权参数。

优选的,步骤S6中,根据解析延拓定理构造奇异信息数学模型

>G(kx,ky)=Σc=1qace-2πN(kxic+kyjc)-1H(kx,ky),P(kx,ky)=0,>其中,e=2.718281828459;

用伪逆矩阵方法获得高分辨率图像复原的加权参数ac,c=1,2,...,q,具体的,加权参数ac,c=1,2,...,q为函数中的非零值。

步骤S7,根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据,并根据所述完整频谱数据输出所述高分辨率图像。

优选的,步骤S7中,根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据的步骤包括:

根据奇异信息数学模型>G(kx,ky)=Σc=1qace-2πN(kxic+kyjc)-1H(kx,ky),P(kx,ky)=0>延拓所述高分辨率图像的高频频谱数据,具体的,图2中的(d)为用点扩散函数层析得奇异信息坐标参数(ic,jc),及解奇异信息数学模型获的奇异信息图;

根据所述高分辨率图像的低频频谱数据和高频频谱数据获取所述完整频谱数据G(kx,ky)。具体的,图2中的(e)是完整频谱数据的图像。

优选的,步骤S7中,根据所述完整频谱数据输出所述高分辨率图像的步骤中,根据所述完整频谱数据G(kx,ky)输出所述高分辨率图像g(i,j),具体的,图2中的(f)为复原后的512X512的高分辨率图像。

更详细的,为验证本发明的高分辨率图像复原方法即奇异信息论频谱延拓方法(SSIT)的有效性,先用仿真实验进行研究,确定方法有效性。仿真实验方案为:根据丢失高频频谱分量导致低分辨率图像的机制,对高分辨率图像的截止频率以外的高频频谱数据去掉,获得低分辨率图像,然后运用sinc插值方法、TV正则化方法和本发明方法(SSIT)进行高分辨率图像复原。仿真实验如下:

实验一、考察截止频率对算法的影响。

用如图3a中国上海虹桥机场的256X256尺寸,灰度范围(0~255)的遥感图像为参照图像,取截止频率范围为(32~96),生成尺寸为64x64~192x192的低分辨图像,分别用sinc插值方法、TV正则化方法和SSIT方法进行高分辨率复原。各复原图像与参照图像的误差峰值信噪比如图3b所示。总体上看,各种方法的误差峰值信噪比(PSNR)都随着截止频率(Cut Frequency)提高而提高,SSIT方法在各种截止频率下,超分辨复原图像精度都高于sinc和TV方法。SSIT方法在截止频率为45左右,PSNR值已达30dB以上。

图4是本发明一实施例的截止频率为64的高分辨率图像复原实验原理图,在截止频率为64时,128X128低分辨率图像见图4中(a)即为128X128低分辨率图像,用Sinc、TV和SSIT方法复原的图像如图4中的(b)即为Sinc方法复原的图像、(c)即为TV方法复原的图像和(d)即为SSIT方法复原的图像所示,它们的误差峰值信噪比分别PSNR=32.2分贝、32.8分贝和33.6分贝。虽然PSNR相差不多,但图像差异较为明显。Sinc方法的图像比较模糊,在两架飞机旁可以清楚地发现截断伪影。TV方法的图像有少量伪影。SSIT方法的图像和参照图像最为接近,几乎没有伪影。三种方法的图像分别与参照图像的误差图像可更容易看出彼此间的差别,如图4中的(e)即为图4中(b)与图3a的误差图、(f)即为图4中(c)与图3a的误差图和(g)即为图4中(d)与图3a的误差图所示,Sinc方法伪影显著,TV方法次之,SSIT方法的伪影最少,显示的误差范围均为-31%~31%。

实验二、考察噪声对复原算法影响

为了考察噪声对本发明方法的高分辨率复原精度的影响,对参照图像3a加入零均值的高斯白噪声,均方差分别为1~10,取截止频率为64的低分辨率128X128图像,分别用Sinc插值、TV正则化和SSIT方法进行高分辨率复原,并分别以图2和加噪声后图像为参照图像计算复原误差峰值噪声比,结果见图5a和5b。三种方法随着噪声(Noise Level)的增加,以PSNR值都下降趋势,相比较以图2中的(a)为参照图像的PSNR下降较慢,也就是说复原图像更接近于加噪声前的图像,说明三种方法都具有去噪声功效。PSNR随着噪声增加而下降,意味着噪声破坏了图像的细节,影响三种方法的复原精度。在各级噪声情况下,SSIT方法的PSNR总是高于Sinc和TV方法,从定量指标PSNR上看,SSIT方法的复原精度优于Sinc和TV方法。

从图像频谱图也可以看出,SSIT方法比Sinc和TV方法有更高的复原精度。图6a、6b、6c和6d分别是10级噪声下,加入噪声参照图像的频谱图、Sinc方法复原图像的频谱图、TV方法复原图像的频谱图和SSIT方法复原图像的频谱图。图6b中,Sinc方法复原图像的频谱图没有观察到截止频率以外的高频分量,说明Sinc插值复原到尺寸为256X256图像,没有给图像增加任何高频信息,即图像细节。图6c中,TV方法复原图像的频谱图,在截止频率以外有部分频谱分量,但与参照图像的频谱图相比截止频率以外频谱显得很少,误差很大。图6d中,SSIT复原的频谱图在截止频率以外频谱与截止频率以内的频谱都和参照图像的频谱图相当接近,说明对应的图像也与参照图像接近。这也从频谱角度说明了SSIT方法的精度高于TV和Sinc方法。

实验三、考察图像结构对算法的影响。

为考察图像结构、灰度分布特性对复原算法的影响,我们选择图7a、7b、7c、7d、7e和7f为参照图像,尺寸都为256X256,分别以截止频率为64,生成低分辨率128X128图像,然后分别用sinc插值、TV正则化和SSIT方法进行高分辨率复原,并将复原后图像分别与图7a、7b、7c、7d、7e和7f计算误差峰值信噪比PSNR,结果见下表:

图像序号abcdefSinc34.033.430.132.229.127.1TV34.434.329.932.829.327.8

SSIT34.735.531.433.629.728.2

根据上表,可以得出Sinc方法没有复原高频分量的能力,用Sinc方法得到高PSNR的图像,说明图像本身高频分量较少。从上表可以看出六幅参照图像中的高频分量按7a、7b、7d、7c、7e和7f顺序地依次增加。TV方法对7a、7b、7d、7e和7f参照图像的复原提高了PSNR,改善了图像质量,但对7c参照图像复原却降低了PSNR,说明TV方法对某些结构的图像会导到不如Sinc插值。SSIT方法在各种图像结构情况下都有较好地复原图像高频分量。

实验四、实际高分辨率复原实验

通过实验一、二和三的仿真实验,检验了SSIT方法能复原高频频谱。本实验直接从图3a)中取二幅如图9a的左下角和8a的128X128图像,将其频谱作为256复原图像的截止频率为64的低频频谱数据,然后分别以Sinc、TV和SSIT方法复原到256X256图像。复原的图像及其频谱图分别在图9除左下角以外的图像和图8和所示。如图8b,Sinc方法复原的图像有伪影,如图8c,TV方法的图像也有少许伪影,而如图8d,SSIT方法的图像几乎没有伪影。这和仿真实验一的结果相一致。从三种方法的频谱图8e、8f和8g看,也是Sinc方法的图像只有截止频率以下的低频频谱,TV方法的图像在截止频率以外有少许频谱,只有SSIT方法的图像在截止频谱以外的频谱比较丰富,截止频率以内频谱分布形态上相一致,从形态上可以看出截止频率以外的频谱是截止频率以内频谱的延拓,说明SSIT方法正真复原了截止频率以外高频分量。在图9中同样可以发现类似结果。这个实验结果表明低分辨图像频谱可以看作是高分辨图像的低频频谱,用这个些低频频谱可以延拓出高分辨率图像的高频频谱,从而达到超分图像复原。

SSIT是一种有效的高分辨率复原新方法。实验结果表明:SSIT的复原精度在各种截止频率下,各种噪声情况下和各种图像结构下,SSIT方法都比Sinc和TV方法的复原图像有更高的精度。但是,SSIT和Sinc、TV方法一样,其复原精度随低分辨率图像高频信息损失增大而降低,随低分辨率图像的噪声增大而降。前者是因为截止频率以外高频信息丢失过多,后者是因为噪声破坏了图像的高频信息,使得图像的奇异信息难以准确检测,从而导致SSIT方法复原图像精度下降。实验结果表明低分辨图像频谱可以看作是高分辨图像的低频频谱,用这个些低频频谱可以延拓出高分辨率图像的高频频谱,从而达到超分图像复原。

实施例二

如图10所示,本发明还提供另一种高分辨率图像复原的奇异谱函数获取系统,包括低频频谱数据模块1、补零法频谱数据模块2、补零法图像模块3、奇异谱函数模块4。

低频频谱数据模块1,用于获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据。

优选的,所述低频频谱数据模块1用于将一幅低分辨率图像表示为gl(i,j),i,j=0,1,...,l,将要复原到高分辨率图像表示为g(i,j),i,j=0,1,...,N,N>>l,g(i,j)图像的频谱数据表示为G(kx,ky),kx,ky∈Ω,Ω为所述高分辨率图像的频谱空间,l表示低分辨率图像的横向或纵向像素点个数,N表示待复原的高分辨率图像的横向或纵向像素点个数,低分辨率图像的频谱数据表示为Gl(kx,ky),则g(i,j)图像的低频频谱数据表示为

G(kx,ky)=(N/l)2Gl(kx,ky),-l/2≤kx,ky<l/2。

优选的,补零法频谱数据模块2,用于根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据。

所述补零法频谱数据模块将所述高分辨率图像的补零法频谱数据表示为G(kx,ky)P(kx,ky),其中,

补零法图像模块3,用于对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像。

优选的,所述补零法图像模块3将所述高分辨率图像的低频频谱数据补零法图像表示为

奇异谱函数模块4,用于根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数。

优选的,所述奇异谱函数模块4,用于

初始化:φ(i,j)=δ(i,j),其中,“*”表示卷积,δ(i,j)为二维狄拉克函数;

记四个基本奇异化算子为:

φ1(i,j)=φi,j-(i,j)=δ(i,j)-δ(i,j-1),φ2(i,j)=φi-,j-(i,j)=δ(i,j)-δ(i-1,j-1),

φ3(i,j)=φi+,j-(i,j)=δ(i,j)-δ(i+1,j-1),φ4(i,j)=φi-,j(i,j)=δ(i,j)-δ(i-1,j);

执行>I=argmaxi=1,2,3,4{|φi(i,j)*g~φ(i,j)|1},>判断是否>|φI(i,j)*g~φ(i,j)|1<mx,>

若是,则将赋值给并将φ(i,j)*φI(i,j)赋值给φ(i,j)后,重复所述执行和判断是否>|φI(i,j)*g~φ(i,j)|1<mx>的步骤;

若否,则输出最佳奇异化算子φ(i,j)。

优选的,所述奇异谱函数模块4根据差分方程φ(i,j)*h(i,j)=δ(i,j)的零状态的解获取奇异函数h(i,j)。

优选的,所述奇异谱函数模块4根据获取奇异谱函数。

后续一坐标参数模块5可根据奇异谱函数模块4得到的所述最佳奇异化算子并运用点扩散函数层析法获取高分辨率图像复原的坐标参数。

优选的,所述坐标参数模块5,用于

初始化:c=1,

计算:>(ic,jc)=argmaxi,j1,2,...,N{|g~φ(i,j)|},>>b=g~φ(ic,jc)/p(0,0),>将>g~φ=(i,j)-bp(i-ic,j-jc)>值给其中(ic,jc)表示所述坐标参数,c=1,2,...,q,所述坐标参数为非零坐标;

判断是否>||g~φ(i,j)||2||g~φ(i,j)-bp(i-ic,j-jc)||2,>其中,||·||2表示二次范数,

若是,则重复所述计算的步骤;

若否,则q=c,输出坐标参数{(ic,jc),c=1,2,...,q}。

加权参数模块6,用于根据所述奇异谱函数和所述坐标参数获取高分辨率图像复原的加权参数。

优选的,所述加权参数模块6,用于根据解析延拓定理构造奇异信息数学模型>G(kx,ky)=Σc=1qace-2πN(kxic+kyjc)-1H(kx,ky),P(kx,ky)=0,>其中,

e=2.718281828459;

用伪逆矩阵方法获得高分辨率图像复原的加权参数ac,c=1,2,...,q。

复原模块7,用于根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据,并根据所述完整频谱数据输出所述高分辨率图像。

优选的,所述复原模块7,用于根据奇异信息数学模型>G(kx,ky)=Σc=1qace-2πN(kxic+kyjc)-1H(kx,ky),P(kx,ky)=0>延拓所述高分辨率图像的高频频谱数据;

根据所述高分辨率图像的低频频谱数据和高频频谱数据获取所述完整频谱数据G(kx,ky);

根据所述完整频谱数据G(kx,ky)输出所述高分辨率图像g(i,j),

实施例二的详细内容具体可参照实施例一中的对应部分。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号