法律状态公告日
法律状态信息
法律状态
2016-04-13
授权
授权
2014-03-19
实质审查的生效 IPC(主分类):G06T5/00 申请日:20131017
实质审查的生效
2014-02-19
公开
公开
技术领域
本发明属于图像处理技术领域,具体的说是一种图像的分辨方法,该方法可用于对输 入的低分辨率图像进行超分辨,获得高分辨率图像。
背景技术
图像超分辨技术是为了获得更准确的图像信息,而通过多种技术手段提高图像的清 晰度,抑制噪声的一门学科。它是图像处理中重要而又富有挑战性的研究内容。对于图像 超分辨问题,研究者已经提出了很多方法。
2008年Yang等人提出一种基于样例学习的图像超分辨重建方法,见J.Yang,J.Wright, T.Huang,and Y.Ma,“Image super-resolution as sparse representation of raw image patches”,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2008,pp.1-8.这种方法的基本思想是从一 些高分辨率图像中随机选取一些块组成一个过完备的高分辨词典Dh,再用同样的方法组成 一个低分辨字典Do,通过训练两个字典Do和Dh,得到在低分和高分字典下的低分辨和 高分辨图像块的相似稀疏表示。因此低分辨图像块的稀疏表示同高分辨字典Dh相乘可以得 到高分辨图像块。该方法的缺陷就在于过完备字典的选择,随机的选择只能实现特定领域 的图像的超分辨率,对于通用图像的超分辨率效果较差。
2011年Gilad提出基于局部自相似性的算法,利用迭代放大的方法对图像进行超分辨 重建,并且证明了在较小的放大因子下,局部极小块与放大后图像的局部极小块存在极强 的相似性。见Gilad.Freedman,R Fattal,“Image and Video Upscaling from Local Self-examples”,ACM Transaction on Graphics(TOG),april2011,30(2).其基本思想是将低分辨 图像X进行较小因子的放大,获得预放大图像Yo,同时对低分辨图像进行滤波,得到X的 高频图像Xh和低频图像Xo,取预放大图像Yo中的图像块,找到其在Xo中最相似的块,并 在Xh中找到与之相应的匹配高频块,最终将查找到的高频块迭加在预放大图像块上。但该 方法由于只查找一个相似高频图像块,对匹配准则的依赖性过高,容易产生误差,得到的 高分辨图像边缘模糊,视觉效果不好。
发明内容
本发明的目的在于针对已有技术的不足,提出了一种基于改进的非局部约束和局部自 相似性的图像超分辨方法,以在匹配时找到更多的相似高频图像块,获取更多的高频信息, 得到边缘清晰,视觉效果好的高分辨图像。
实现本发明目的的技术关键是:直接从输入的低分辨图像内部寻找高频细节信息,并 以输入的低分辨图像作为训练字典,不需要外部的训练图像,克服现有算法对训练字典的 敏感性,且在匹配时通过找到更多的相似高频图像块,获取更多的高频信息,其具体步骤 包括如下
(1)输入低分辨率图像X,并将其进行双三次插值放大,放大因子λ=1.25,获得预放 大图像Yo;
(2)通过高通滤波器对低分辨图像X进行滤波,将其分解为高频分量Xh和低频分量 Xo;
(3)利用高频分量Xh,低频分量Xo和预放大图像Yo对输入的低分辨图像X进行超分 辨重建:
3a)在低频分量Xo中提取低频图像块j=1,...,M,M为低频图像块的数目,在 预放大图像Yo中提取预放大图像块i=1,...,N,N为预放大图像块的数目;
3b)对提取的低频图像块进行k-means聚类,将其分成20类,得到每一类的聚 类中心;
3c)用预放大图像块Yoi中的每一个图像块与上步获得的聚类中心作比较,找到与其 最为相似的那一类,并在这一类中找到与预放大图像块Yoi最相似的3个近邻低频图像块 k=1,...,3,k为最相似的近邻块的数目;
3d)利用上步的最相似的低频图像块在高频分量Xh中找到其相对应的高频图 像块并对这些高频图像块进行非局部加权,得到合成的高频图像块Yfi:
其中,为非局部加权系数;
3e)根据合成的高频图像块Yfi和预放大图像块Yoi,得到高分辨图像块
3f)将高分辨图像块Yhi按照排列顺序,放到相应的位置处,得到初步的高分辨图像 Yp:
(4)将步骤3获得的初步高分辨图像Yp作为步骤1的输入图像X,迭代重复步骤1~ 步骤3,直至达到预期设定的放大倍数m,获得最终的超分辨图像Yh。
本发明与现有的技术相比具有以下优点:
本发明用k-means算法对提取的低频图像块进行聚类,得到多块与预放大图像块相似 的图像块,解决了只查找一个相似块,对匹配准则依赖性高的难题;
本发明利用非局部约束对得到的相似块进行加权重构,能够锐化图像边缘,且能够恢 复更多的图像细节;
附图说明
图1是本发明的实现流程图;
图2是本发明与现有的两种方法在仿真实验中应用的Lena高分辨率图像;
图3是本发明与现有两种方法在仿真实验中应用的Lena低分辨率图像;
图4是用现有基于样例学习法在仿真实验中得到的Lena高分辨率图像;
图5是用现有基于局部自相似性的方法在仿真实验中得到的Lena高分辨率图像。
图6是本发明在仿真实验中得到的Lena高分辨率图像;
具体实施方式
参照图1,本发明的实现步骤如下:
步骤1,输入低分辨率图像X,并对其进行插值放大。
输入如图3所示的低分辨图像X,设放大因子λ=1.25,对该低分辨图像X进行双三 次插值放大,获得预放大图像Yo
步骤2,对低分辨图像X进行滤波。
使用高斯高通滤波器对输入的低分辨图像X进行滤波,将其分解为高频分量Xh和低 频分量Xo。
步骤3,利用高频分量Xh、低频分量Xo和预放大图像Yo,对输入的低分辨图像X进 行超分辨重建。
3a)在低频分量Xo中提取低频图像块Xoj,j=1,...,M,M为低频图像块的数目,在预 放大图像Yo中提取预放大图像块Yoi,i=1,...,N,N为预放大图像块的数目,其中图像块大 小均为5×5,重叠块大小均为4×4;
3b)对提取的低频图像块Xoj进行k-means聚类,将低频图像块Xoj分成20类,得到 每一类的聚类中心Vu,u=1,...,20;
3c)对于预放大图像Yo中的每一个图像块Yoi,将其与上步得到的聚类中心Vu作比较, 找到与其最为相似的那一类,即先计算预放大图像块Yoi与每个聚类中心的均方差,再从这 些均方差中找出最小值,该最小值所对应的聚类中心就是与预放大图像块Yoi最相似的块, 包含这个最相似块的类即为最相似的那一类;再在这一类中找到与预放大图像块Yoi最相似 的3个近邻低频图像块k=1,...,3,k为最相似的近邻块的数目;
3d)利用最相似的低频图像块在高频分量Xh中找到其相对应的高频图像块并对这些高频图像块进行非局部加权,得到合成的高频图像块Yfi:
其中,为非局部加权系数:
其中ci为归一化参数,
3e)根据合成的高频图像块Yfi和预放大图像块Yoi,得到高分辨图像块
3f)将高分辨图像块Yhi按照排列顺序,放到相应的位置处,得到初步的高分辨图像Yp:
步骤4,将步骤3获得的初步高分辨图像Yp作为步骤1的输入图像X,迭代重复步 骤1~步骤3,直至达到预期设定的放大倍数m,其中m=2,获得最终的超分辨图像Yh, 如图6所示。
本发明的效果可以通过下面的仿真实验进一步说明:
1、实验条件与内容
实验条件为:Intel Core2Duo CPU E6550@2.33GHZ、2GB RAM,编程平台为MATLAB R2010a。实验所用到的图像来源于标准图像库,分别为Cameraman,Lena,Boats,大小 均为256×256,其中原始的高分辨率图像如图2所示,低分辨率图像如图3所示。
实验内容:分别为现有的基于样例学习的图像超分辨方法,现有的基于局部自相似性 的图像超分辨方法和本发明方法,其中前两种方法都是基于学习的超分辨重构中的经典方 法。
实验中,应用峰值信噪比PSNR值评价指标来评价超分辨结果的优劣,PSNR值的定 义为:
其中:x为原始的高分辨率图像,x为仿真实验中得到的高分辨率图像,U和V为图 像的行数和列数。
2、仿真内容与结果
本发明将图3所示的Lena图像作为输入的低分辨率图像,大小为256×256。
仿真一,用现有的基于样例学习的方法对图3进行超分辨重建,结果如图4所示。
由图4可见,该方法能够较好的恢复出图像的细节信息,但同时在图像的边界处产生 了阶梯效应;
仿真二,用现有的基于局部自相似性的方法对图3进行超分辨重建,结果如图5所示。
由图5可见,该方法重建的图像视觉效果较好,能够很好地保持边界区域信息,但对 非边界区域的保持则不够好,存在过平滑现象;
仿真三,用本发明对图3进行超分辨重建,结果如图6所示。
由图6可见,本发明的超分辨重建结果有最好视觉效果,同时保留了更多的图像边缘 和细节信息。
本发明与两种对比方法在实验中获取的PSNR值如表1所示,其中,Alg1是基于样例 学习的方法,Alg2是基于局部自相似性的方法,Alg3是本发明的方法。
表1.本发明和对比方法在实验设置下得到的PSNR值
从表1中可以看出,本发明比其它两种对比方法具有更高的PSNR值,有更好的超分 辨结果。
机译: 基于非局部性的超分辨率重建方法及装置
机译: 基于L1区间比例尺的局部图像相似性测量方法,该方法会自动根据L1距离的相似度标准估算随机变差水平中的阈值
机译: 非局部意味着使用自相似性驱动融合来保留细节的图像去噪