法律状态公告日
法律状态信息
法律状态
2019-07-05
专利权的转移 IPC(主分类):G06T7/00 登记生效日:20190614 变更前: 变更后: 申请日:20141028
专利申请权、专利权的转移
2017-04-19
授权
授权
2015-04-08
实质审查的生效 IPC(主分类):G06T7/00 申请日:20141028
实质审查的生效
2015-03-11
公开
公开
技术领域
本发明涉及图像质量评估领域,特别涉及模糊鉴别与复原图像质量评估领域。
背景技术
在数码相机成像时,镜头和成像场景之间的相对运动或者镜头散焦均会导致采集到的图像或视频模糊,造成图像的对比度降低、边缘和内部细节信息减弱,影响图像质量,使得视觉直观以及数字图像信息处理系统难以准确地检测出图像中的感兴趣区域,严重影响对所获取的图像和视频信息的分析和理解。一般通过数字模糊图像复原系统可以在一定程度上改善图像质量,恢复出一部分边缘和图像内部细节信息。但在很多情况下,受制于图像先验信息的缺乏以及复原算法的缺陷,这种复原过程可能产生更多如振铃效应等的人工痕迹,导致经过数字复原处理后的图像质量甚至不如未处理的图像。因此,对于一个具有真正实用性的数字图像复原系统,在对成像模糊图像进行数字复原前后,必须实施两个关键性的处理环节,即对获取的图像是否存在成像模糊进行鉴别,同时在对模糊图像进行复原处理后进行图像质量评价,确保图像复原以后得到质量更好的图像或视频。前述两个信息处理环节能否有效工作对于数字成像模糊复原方法能否真正应用实际系统具有重要作用,在民用智能视频监控系统、智能交通管理系统等以及军事应用中如成像侦察系统、空间光学遥感和导弹成像制导领域中都具有重要的应用价值。
在现有的数字图像模糊复原系统以及正在研究的图像模糊复原方法中,几乎都没有模糊鉴别这一步骤,通常都是直接对图像进行复原,这样会存在如下两个问题:
1)在实时视频处理中,每一帧的图像受帧率限制只有极短的处理时间,民用领域一般帧率在20~30之间,即每帧只有30~50ms的处理时间,而军用领域帧率为50~60,每帧只有15~20ms的处理时间。而现有的复原算法大多采用迭代的方式进行,实时性差,即使优化得较好的复原算法对同样尺寸的视频每帧的处理时间也接近40ms,实际应用中图像模糊复原一般只是作为预处理环节,在每一帧图像的处理时间中还要进行如目标检测、识别、跟踪等任务,如果进行模糊鉴别则可以将图像模糊的复原时间用于后续任务,更利于实时视频处理任务的实现(而不是提高单帧处理速度),如果不加判别就对图像进行处理将会造成计算资源的极大浪费,很难达到实时性要求。
2)在实际的视频处理中,并非每一帧图像都是模糊的,对于清晰图像,如果进行模糊复原处理,反而会引入如振铃效应等部分人工痕迹,处理后的图像帧质量相对于未处理时反而下降,严重影响模糊复原系统的有效性和可靠性。
在图像模糊复原过后,为了评价复原算法效果,需要对复原图像进行质量评估,从而确保得到质量提高的复原图像。由于没有清晰图像作为参考图像,只能进行无参考图像质量评价。目前无参考图像质量评价主要有两类方法,一是简单的计算图像的梯度信息,如梯度幅值、边缘宽度、边缘锐度等,这类指标由于没有综合考虑图像亮度、对比度等因素,评价结果比较片面,特别是对复原图像的振铃效应很难识别;二是采用学习机制,通过大量的样本进行训练,得出评价结果,由于样本不可能包括所有情况,这种方法的性能取决于样本大大小,一旦样本较少就会出现数据欠拟合的情况,如果训练中对分类精度要求较高则会出现数据的过拟合,不管出现那种情况,都会导致图像评价结果不准确,模糊复原处理后输出结果不稳定,不能用于实际系统。
中国专利CN101996406A提出了一种基于结构清晰度的指标来进行无参考质量评价,这种指标是在结构相似度指标上进行改进,结构相似度是一种全参考图像质量评价指标,通过计算两幅图像在亮度、对比度和结构度三个方面的信息对两幅图像的相似度进行衡量,如果其中一幅图像为清晰图像,则可得出另一幅图像的评价质量,但这种指标没有考虑梯度信息,无法用于模糊图像的质量评价。该专利通过计算梯度图像的结构相似度来刻画边缘的影响,但由于三项指标均用的梯度图像,反映的是梯度图像相似信息,并不能很好的评价原图像的相似性,也就得不到一个客观的评价结果。
一种典型的无参考图像质量评价指标为平均灰度梯度GMG(Gray Mean Gradients),这种方法通过计算灰度图像的平均梯度值作为衡量图像质量的标准,这种方法计算指标单一,没有考虑图像的亮度、对比度等信息,也没有考虑像素之间的相关性。另外,当图像中出现人工痕迹如振铃效应等情况时,会导致图像的平均梯度变大,而事实是图像质量下降,也就得不到一个客观的评价结果,GMG指标不能处理这类在模糊复原中经常遇到的情况。
发明内容
本发明的目的是为了解决目前现有方法实时性能差,不能对模糊图像和清晰图像进行有效鉴别,不能对图像复原结果进行有效评价,模糊复原处理后输出结果不稳定的问题,而提出一种快速数字成像模糊鉴别与复原图像质量评估方法。
上述的发明目的是通过以下技术方案实现的:
步骤一:输入灰度模糊图像F(i,j),获得灰度模糊图像F(i,j)的尺寸M×N,计算灰灰度模糊图像F(i,j)的水平梯度图像Gx(i,j)和垂直梯度图像和Gy(i,j),从而获得梯度图像G(i,j);其中,M为图像的宽度,N为图像的高度;
步骤二:计算图像F(i,j)的平均灰度梯度值GMG;
步骤三:计算梯度图像G(i,j)的直方图h,通过对直方图h进行遍历,获得梯度图像的统计分布信息NGN;
步骤四:根据步骤二及步骤三得到的GMG和NGN进行乘积运算,得到综合的模糊鉴别指标BIM;对得到的BIM进行阈值判定,如果BIM大于预定的阈值T,则判定为清晰图像直接输出;如果BIM小于预定的阈值T,则将F(i,j)转入步骤五;其中,阈值T根据对清晰图像和模糊图像统计分析得到;
步骤五:对灰度模糊图像F(i,j)采用典型的图像盲复原算法进行复原操作,得到复原图像D(i,j);
步骤六:使用大小为m×m,方差为σ2的高斯模糊核对灰度模糊图像F(i,j)和复原图像D(i,j)进行二次模糊生成F(i,j)的参考图像F1和D(i,j)的参考图像D1;其中,二次模糊使用高斯模糊,m为模糊核的尺寸;
步骤七:根据F(i,j)、F1、D(i,j)和D1计算参考图像和待评价图像的亮度相似度、对比度相似度和结构相似度;其中,待评价图像为F(i,j)和D(i,j);参考图像为F1和D1;参考图像和待评价图像的亮度相似度包括l(F(i,j),F1)和l(D(i,j),D1);参考图像和待评价图像的对比度相似度c(F(i,j),F1)和c(D(i,j),D1);参考图像和待评价图像的结构相似度s(F(i,j),F1)和s(D(i,j),D1);l(F(i,j),F1)为两幅图像F(i,j)和F1的亮度相似度、l(D(i,j),D1)为两幅图像D(i,j)和D1的亮度相似度、c(F(i,j),F1)为两幅图像F(i,j)和F1的对比度相似度;c(D(i,j),D1)为两幅图像D(i,j)和D1的对比度相似度;s(F(i,j),F1)为两幅图像F(i,j)和F1的结构相似度;s(D(i,j),D1)为两幅图像D(i,j)和D1的结构相似度;
步骤八:分别计算参考图像和待评价图像的梯度图像gF,gF1,gD,gD1,利用梯度图像分别计算两幅图像的梯度相似度g(F(i,j),F1)和g(D(i,j),D1);其中,gF为F(i,j)的梯度图像,gF1为F1的梯度图像,gD为D(i,j)的梯度图像;gD1为D1的梯度图像; g(F(i,j),F1)为两幅图像F(i,j)和F1梯度相似度;g(D(i,j),D1)为两幅图像D(i,j)和D1的梯度相似度;
步骤九:根据参考图像和待评价图像的亮度相似度、对比度相似度、结构相似度和梯度相似度计算改进的结构相似度指标ISSIM,将改进的结构相似度指标ISSIM分块求得M个ISSIM指标再取其平均值得到MISSIM,根据MISSIM计算得到无参考图像评价指标INRSS;其中,得到的MISSIM具体包括MISSIM(F(i,j),F1)和MISSIM(D(i,j),D1);改进的结构相似度指标ISSIM包括两幅图像F(i,j)和F1的梯度相似度指标ISSIM(F(i,j),F1)和两幅图像D(i,j)和D1的梯度相似度指标ISSIM(D(i,j),D1);
所述的改进的结构相似度指标ISSIM的计算公式为:
ISSIM(F(i,j),F1)=[l(F(i,j),F1)]α[c(F(i,j),F1)]β[s(F(i,j),F1)]γ[g(F(i,j),F1)]λ;
ISSIM(D(i,j),D1)=[l(D(i,j),D1)]α[c(D(i,j),D1)]β[s(D(i,j),D1)]γ[g(D(i,j),D1)]λ
其中,α,β,γ,λ为各项权重;
步骤十:根据步骤九得到的无参考图像评价指标INRSS进行判断,INRSS1>INRSS2则说明质量没有改善,则模糊复原系统输出灰度模糊图像F(i,j),否则说明图像质量得到改善输出复原图像D(i,j);其中,>即完成了一种快速数字成像模糊鉴别与复原图像质量评估方法。
发明效果
本发明是一种针对目前模糊图像复原技术的改进,既可用于单幅图像的模糊鉴别和复原图像质量评价工作,也可用于实时视频处理,进行更加有效的视频复原过程。
本发明是针对灰度模糊图像的,对于彩色图像,只需将各个通道的分量提取出来分别进行处理,最后再对指标求平均值即可;是针对现有数字模糊视频及图像复原系统存在的问题,引入模糊鉴别模块对待处理图像进行模糊鉴别,在典型的4GB内存、2.5GHz处理器的PC平台上,模糊鉴别过程耗时低于1ms,如果图像判定为清晰图像,在军用领域则可以将每一帧15~20ms的时间用于相关后续的图像处理,为相关视频实时处理提供了条件。同时提出一套对图像结构信息以及图像细节和边缘信息能综合评估的图像质量评估方法对模糊复原后的图像进行质量评价,避免通过图像复原算法引入的人工痕迹导致复原图像质量劣于原始图像仍输出给用户或视频及图像信息处理系统下一环节的问题,特别是所提图像质量评估方法能有效鉴别出振铃效应及边缘模糊等不利影响因素,从而对于基于图像的目 标识别和跟踪系统有效工作具有重要价值。
并且针对现有模糊复原系统存在的不足,本专利主要解决如下技术问题:
1)针对目前数字成像模糊复原系统不具有模糊鉴别能力导致对清晰图像也进行去模糊复原处理,从而使得复原图像质量退化及浪费信息处理资源的问题,对模糊图像复原系统增加了模糊鉴别模块,提出了有效的模糊鉴别算法,使之能鉴别出需要进行模糊复原的图像帧,加入模糊鉴别模块有利于实时视频处理的实现,具有很强的实用性;如图2(a)、图2(b)、图3(a)和图3(b);
2)采用自然清晰图像先验分布的统计规律来进行模糊鉴别算法设计,同时模糊鉴别算法具有尺度不变性,具有广泛的适用范围,此外该算法计算过程简单,可实施性强;
3)针对模糊图像复原过程中引入的人工痕迹导致复原图像质量恶化的问题,提出了一种新型改进的无参考图像质量评估方法,从而可对复原图像质量进行准确有效的评估,避免复原输出图像质量比初始输入模糊图像质量差的问题如图2(a)和图2(b);保证了图像复原系统的可靠性,如果对一幅清晰图像进行复原处理,则有可能导致图3(a)和图3(b),所示的效果,很明显处理后的图像质量低于处理前的质量,由于处理后的图像中有明显的振铃效应,GMG等基于单一梯度信息的评价指标会得出更高的评价值,导致得到错误的输出结果。而采用本发明所提指标,由于考虑了图像像素之间的相关性,指标结果会得到一个倾向于模糊的值,因为梯度越大的地方相邻像素间的相关性越小,得到的结构相似度越小,通过这种差异鉴别出振铃效应。
4)所提的图像质量评估方法通过引入图像的结构、边缘及内部细节信息,增强复原图像质量评估的准确性,特别对复原图像存在的振铃效应有很好的鉴别能力,保证了图像质量评价的客观性即本发明的INRSS(改进的基于结构相似度的无参考图像质量评价指标)的变化为-37.8%,较GMG的变化为-15.0%的变化率较大。使得本发明保证了图像复原系统的可靠性;
5)针对全参考图像质量评价方法只能针对有清晰图像作为参考的情形,本发明通过对全参考图像质量评价方法进行改进用于无参考图像质量评价,具有更广泛的实际适用性。
本发明能鉴别振铃效应主要是针对GMG指标而言,因为评价指标考虑了图像的结构信息,梯度信息只是作为指标的一部分刻画边缘,而不是将梯度作为唯一指标。图像的结构信息主要通过计算像素间的相关性来进行刻画,梯度越大的地方像素的相关性越小,这样就能抵消一部分振铃对评价结果的影响,起到一定的鉴别作用。
本发明提供一种基于模糊鉴别和复原质量评价的模糊复原系统,属于图像和视频处理领域。具体来说,本发明可以用来提高数字成像模糊复原系统的工作效率、提高数字成像 模糊复原系统的信息处理速度并且对数字成像模糊复原效果进行有效的评估。可应用于民用数字照相摄像、智能视频监控、光学成像遥感、军事成像侦察和导弹成像制导等领域。
本发明首次将模糊鉴别步骤引入数字图像模糊复原系统中,相比于与传统数字模糊图像复原系统大大的节省了处理时间,为实时视频处理任务提供了更多计算资源。同时,为了保证复原结果的鲁棒性,本发明引进了复原图像的质量评价步骤,使得输出图像质量不低于输入图像,保证了模糊复原系统的可靠性。在图像模糊鉴别中,本发明引入了图像梯度幅值和梯度分布两方面指标,更准确地刻画了清晰图像的特征,鉴别更准确。在复原图像质量评价中,对现有的基于结构相似度的图像质量评价方法进行改进,加入刻画图像边缘和细节信息的梯度相似度指标,能够更好地评估出复原图像中的振铃效应及边缘不清晰等不利影响因素,更客观地反映复原图像质量。使用本专利可以明显提高数字模糊视频及图像复原系统的实时性和可靠性,使得的开发出相应系统更满足相关军用和民用系统的实际应用要求。
附图说明
图1一种快速数字成像模糊鉴别与复原图像质量评估方法流程图;
图2(a)为灰度模糊图像;
图2(b)为经过模糊复原质量评价后的得到改善的图像;
图3(a)经过模糊鉴别模块鉴别为清晰图像,不需要进行模糊处理的清晰图像;
图3(b)为未经过模糊鉴别模块鉴别,经传统方法对清晰图像进行复原得到的质量下降的图像;
图4为改进的无参考图像质量评价指标INRSS计算流程图。
具体实施方式
具体实施方式一:本实施方式的一种快速数字成像模糊鉴别与复原图像质量评估方法,具体是按照以下步骤制备的:
步骤一:输入灰度模糊图像F(i,j),获得灰度模糊图像F(i,j)的尺寸M×N,计算灰灰度模糊图像F(i,j)的水平梯度图像Gx(i,j)和垂直梯度图像和Gy(i,j),从而获得梯度图像G(i,j);其中,M为图像的宽度,N为图像的高度;
步骤二:计算图像F(i,j)的平均灰度梯度值GMG(Gray Mean Gradients),该指标反映了图像的模糊鉴别指标的梯度幅值特性;
步骤三:对梯度图像进行直方图统计,即计算梯度图像G(i,j)的直方图h,通过对直 方图h进行遍历,获得梯度直方图h对应的非零灰度等级数NGN(Non-zero Gray Gradient Number),即获得梯度图像的统计分布信息NGN;
步骤四:根据步骤二及步骤三得到的GMG和NGN进行乘积运算(BIM=NGN×GMG),得到综合的模糊鉴别指标BIM(Blur Identification Metric);对得到的BIM进行阈值判定,如果BIM大于预定的阈值T,则判定为清晰图像直接输出;如果BIM小于预定的阈值T,则将F(i,j)转入步骤五;其中,阈值T根据对清晰图像和模糊图像统计分析得到,即通过对不同场景图像进行分析综合,得出模糊阈值T,在实际应用中也可根据能容忍的模糊程度改变阈值,使该指标具有很好的适应性,确定阈值后即可进行模糊判定;
步骤五:对灰度模糊图像F(i,j)采用典型的图像盲复原算法如Tikhonov正则化、全变分正则化等方法进行复原操作,得到复原图像D(i,j);
步骤六:使用大小为m×m,方差为σ2的高斯模糊核对灰度模糊图像F(i,j)和复原图像D(i,j)进行二次模糊生成F(i,j)的参考图像F1和D(i,j)的参考图像D1;其中,二次模糊使用高斯模糊,m为模糊核的尺寸;
步骤七:根据F(i,j)、F1、D(i,j)和D1计算参考图像和待评价图像的亮度相似度、对比度相似度和结构相似度;其中,待评价图像为F(i,j)和D(i,j);参考图像为F1和D1;参考图像和待评价图像的亮度相似度包括l(F(i,j),F1)和l(D(i,j),D1);参考图像和待评价图像的对比度相似度c(F(i,j),F1)和c(D(i,j),D1);参考图像和待评价图像的结构相似度s(F(i,j),F1)和s(D(i,j),D1);l(F(i,j),F1)为两幅图像F(i,j)和F1的亮度相似度、l(D(i,j),D1)为两幅图像D(i,j)和D1的亮度相似度、c(F(i,j),F1)为两幅图像F(i,j)和F1的对比度相似度;c(D(i,j),D1)为两幅图像D(i,j)和D1的对比度相似度;s(F(i,j),F1)为两幅图像F(i,j)和F1的结构相似度;s(D(i,j),D1)为两幅图像D(i,j)和D1的结构相似度;
步骤八:分别计算参考图像和待评价图像的梯度图像gF,gF1,gD,gD1,利用梯度图像分别计算两幅图像的梯度相似度g(F(i,j),F1)和g(D(i,j),D1);其中,gF为F(i,j)的梯 度图像,gF1为F1的梯度图像,gD为D(i,j)的梯度图像;gD1为D1的梯度图像;g(F(i,j),F1)为两幅图像F(i,j)和F1梯度相似度;g(D(i,j),D1)为两幅图像D(i,j)和D1的梯度相似度;
步骤九:根据参考图像和待评价图像的亮度相似度、对比度相似度、结构相似度和梯度相似度计算改进的结构相似度指标ISSIM(Improved Structural Similarity),为减小局部差异,将改进的结构相似度指标ISSIM分块求得M个ISSIM指标再取其平均值得到MISSIM(Mean of Improved Structural Similarity),根据MISSIM计算得到无参考图像评价指标INRSS(Improved No-Reference Structural Similarity),即模糊图像和复原图像质量的综合评价结果包含亮度、对比度、结构度和边缘信息;步骤六~九流程图如图4;其中,得到的MISSIM具体包括MISSIM(F(i,j),F1)和MISSIM(D(i,j),D1);改进的结构相似度指标ISSIM包括两幅图像F(i,j)和F1的梯度相似度指标ISSIM(F(i,j),F1)和两幅图像D(i,j)和D1的梯度相似度指标ISSIM(D(i,j),D1);
所述的改进的结构相似度指标ISSIM的计算公式为:
ISSIM(F(i,j),F1)=[l(F(i,j),F1)]α[c(F(i,j),F1)]β[s(F(i,j),F1)]γ[g(F(i,j),F1)]λ;
ISSIM(D(i,j),D1)=[l(D(i,j),D1)]α[c(D(i,j),D1)]β[s(D(i,j),D1)]γ[g(D(i,j),D1)]λ
其中,α,β,γ,λ为各项权重;
步骤十:根据步骤九得到的无参考图像评价指标INRSS进行判断,INRSS1>INRSS2则说明质量没有改善,为保证复原结果的稳定性,则模糊复原系统输出灰度模糊图像F(i,j),否则说明图像质量得到改善输出复原图像D(i,j),其中, >如图1即完成了一种快速数字成像模糊鉴别与复原图像质量评估方法。
具体实施方式二:本实施方式与具体实施方式一不同的是:步骤一中获得梯度图像G(i,j),计算公式如下:
>其中,i,j分别为图像像素点对应的横、纵坐标值。其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是:步骤二中计算图像F(i,j)的平均灰度梯度值GMG公式如下:
>
其中,M灰度模糊图像F(i,j)长度,N灰度模糊图像F(i,j)的宽度。其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是:步骤三中获得h中的非零灰度等级数NGN,计算公式如下:
h=hist(G(i,j))
NGN=num(hi≠0)
式中,hist表示直方图运算;hi为h中第i个灰度级对应的像素数,通过计算NGN指标,刻画图像拖尾分布中的拖尾部分,用以鉴别图像的模糊程度。其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是:步骤五中对灰度模糊图像F(i,j)采用典型的图像盲复原算法即全变分正则化方法进行盲复原,当然也可以采用其他盲复原方法,其复原目标函数如下:
>
其中,k为未知模糊核,f为未知清晰图像,
具体实施方式六:本实施方式与具体实施方式一至五之一不同的是:步骤七中计算参 考图像和待评价图像的亮度相似度、对比度相似度和结构相似度的具体过程为:
分别对F(i,j)、F1、D(i,j)和D1计算改进的结构相似度的前三项,即亮度相似度l(F(i,j),F1),l(D(i,j),D1)、对比度相似度c(F(i,j),F1),c(D(i,j),D1)和结构相似度s(F(i,j),F1),s(D(i,j),D1),计算公式如下:
>
>
>
其中,μF为F(i,j)图像灰度值的均值,μF1为F1图像灰度值的均值,μD为D(i,j)图像灰度值的均值,μD1为D1图像灰度值的均值,σF为F(i,j)图像灰度值的的方差,σF1为F1图像灰度值的的方差,σD为D(i,j)图像灰度值的的方差,σD1为D1图像灰度值的的方差,σFF1为F(i,j)和F1图像的灰度值的协方差,σDD1为D(i,j)图像和D1图像灰度值的协方差,C1=(k1×L)2,C2=(k2×L)2,k1=0.01,k2=0.03,L为像素灰度级。其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七:本实施方式与具体实施方式一至六之一不同的是:步骤八中分别计算参考图像和待评价图像的梯度图像gF,gF1,gD,gD1,利用梯度图像分别计算两幅图像的梯度相似度g(F(i,j),F1)和g(D(i,j),D1)具体过程为:
分别对F(i,j),F1和D(i,j),D1计算梯度图像gF,gF1,gD,gD1,再计算梯度图像gF,gF1,gD,gD1的梯度相似度,计算公式如下:
>
>
其中,C4=(k4×L)2,k4=0.03,L为像素灰度级,C4为一常数,确保分母不为零;通过这一步骤将图像的边缘信息也考虑进相似度指标评价中,能够更好地评价模糊图像的质量;同时相比于其他清晰度评价指标,能够更好地鉴别出模糊复原效果较差时引入的振铃效应,从而保证复原系统的稳定性。其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八:本实施方式与具体实施方式一至七之一不同的是:步骤九中根据MISSIM计算得到无参考图像评价指标INRSS相关计算公式如下:
(1)根据实际需要调节;在实际计算时,将图像分为M块分别得到其ISSIM指标;求得平均值MSSIM,即采用下式计算:>
Fi为灰度模糊图像F(i,j)中第i个子图像,Di复原后的图像D(i,j)中第i个子图像;F1i为参考图像F1中第i个子图像;D1i参考图像D1中第i个子图像;
(2)获得改进的无参考评价指标INRSS,计算公式如下:
>其它步骤及参数与具体实施方式一至七之一相同。
采用以下实施例验证本发明的有益效果:
实施例一:
本实施例一种快速数字成像模糊鉴别与复原图像质量评估方法,具体是按照以下步骤制备的:
步骤一:输入灰度模糊图像F(i,j),获得灰度模糊图像F(i,j)的尺寸M×N,计算灰灰度模糊图像F(i,j)的水平梯度图像Gx(i,j)和垂直梯度图像和Gy(i,j),从而获得梯度图像G(i,j);其中,M为图像的宽度,N为图像的高度;
获得梯度图像G(i,j),计算公式如下:
>其中,i,j分别为图像像素点对应的横、纵坐标值;
步骤二:计算图像F(i,j)的平均灰度梯度值GMG(Gray Mean Gradients),该指标反 映了图像的模糊鉴别指标的梯度幅值特性;
计算图像F(i,j)的平均灰度梯度值GMG公式如下:
>
其中,M灰度模糊图像F(i,j)长度,N灰度模糊图像F(i,j)的宽度。
步骤三:对梯度图像进行直方图统计,即计算梯度图像G(i,j)的直方图h,通过对直方图h进行遍历,获得梯度直方图h对应的非零灰度等级数NGN(Non-zero Gray Gradient Number),即获得梯度图像的统计分布信息NGN;
获得h中的非零灰度等级数NGN,计算公式如下:
h=hist(G(i,j))
NGN=num(hi≠0)
式中,hist表示直方图运算;hi为h中第i个灰度级对应的像素数,通过计算NGN指标,刻画图像拖尾分布中的拖尾部分,用以鉴别图像的模糊程度。
步骤四:根据步骤二及步骤三得到的GMG和NGN进行乘积运算(BIM=NGN×GMG),得到综合的模糊鉴别指标BIM(Blur Identification Metric);对得到的BIM进行阈值判定,如果BIM大于预定的阈值T,则判定为清晰图像直接输出;如果BIM小于预定的阈值T,则将F(i,j)转入步骤五;其中,阈值T根据对清晰图像和模糊图像统计分析得到,即通过对不同场景图像进行分析综合,得出模糊阈值T,在实际应用中也可根据能容忍的模糊程度改变阈值,使该指标具有很好的适应性,确定阈值后即可进行模糊判定,一般取值为700~900;
步骤五:对灰度模糊图像F(i,j)采用典型的图像盲复原算法即全变分正则化方法进行盲复原,当然也可以采用其他盲复原方法,其复原目标函数如下:
>
其中,k为未知模糊核,f为未知清晰图像,
步骤六:使用大小为m×m,方差为σ2的高斯模糊核对灰度模糊图像F(i,j)和复原图像D(i,j)进行二次模糊生成F(i,j)的参考图像F1和D(i,j)的参考图像D1;这里使用m×m大小为7×7,方差为6的高斯模糊核进行二次模糊处理,为保证二次模糊效果,m和σ2一般分别取值为5~8;其中,二次模糊使用高斯模糊,m为模糊核的尺寸;
步骤七:根据F(i,j)、F1、D(i,j)和D1计算参考图像和待评价图像的亮度相似度、对比度相似度和结构相似度具体过程为:
分别对F(i,j)、F1、D(i,j)和D1计算改进的结构相似度的前三项,即亮度相似度l(F(i,j),F1),l(D(i,j),D1)、对比度相似度c(F(i,j),F1),c(D(i,j),D1)和结构相似度s(F(i,j),F1),s(D(i,j),D1),计算公式如下:
>
>
>
其中,μF为F(i,j)图像灰度值的均值,μF1为F1图像灰度值的均值,μD为D(i,j)图像灰度值的均值,μD1为D1图像灰度值的均值,σF为F(i,j)图像灰度值的的方差,σF1为F1图像灰度值的的方差,σD为D(i,j)图像灰度值的的方差,σD1为D1图像灰度值的的方差,σFF1为F(i,j)和F1图像的灰度值的协方差,σDD1为D(i,j)图像和D1图像灰度值的协方差,C1=(k1×L)2,C2=(k2×L)2,k1=0.01,k2=0.03,L为像素灰度级,一般为255。待评价图像为F(i,j)和D(i,j);参考图像为F1和D1;参考图像和待评价图像的亮度相似度包括l(F(i,j),F1)和l(D(i,j),D1);参考图像和待评价图像的对比度相似度 c(F(i,j),F1)和c(D(i,j),D1);参考图像和待评价图像的结构相似度s(F(i,j),F1)和s(D(i,j),D1);l(F(i,j),F1)为两幅图像F(i,j)和F1的亮度相似度、l(D(i,j),D1)为两幅图像D(i,j)和D1的亮度相似度、c(F(i,j),F1)为两幅图像F(i,j)和F1的对比度相似度;c(D(i,j),D1)为两幅图像D(i,j)和D1的对比度相似度;s(F(i,j),F1)为两幅图像F(i,j)和F1的结构相似度;s(D(i,j),D1)为两幅图像D(i,j)和D1的结构相似度;
步骤八:分别计算参考图像和待评价图像的梯度图像gF,gF1,gD,gD1,利用梯度图像分别计算两幅图像的梯度相似度g(F(i,j),F1)和g(D(i,j),D1);
分别对F(i,j),F1和D(i,j),D1计算梯度图像gF,gF1,gD,gD1,再计算梯度图像gF,gF1,gD,gD1的梯度相似度,计算公式如下:
>
>
其中,C4=(k4×L)2,k4=0.03,L为像素灰度级,一般为255,C4为一常数,确保分母不为零。通过这一步骤将图像的边缘信息也考虑进相似度指标评价中,能够更好地评价模糊图像的质量。同时相比于其他清晰度评价指标,能够更好地鉴别出模糊复原效果较差时引入的振铃效应,从而保证复原系统的稳定性。gF为F(i,j)的梯度图像,gF1为F1的梯度图像,gD为D(i,j)的梯度图像;gD1为D1的梯度图像;g(F(i,j),F1)为两幅图像F(i,j)和F1梯度相似度;g(D(i,j),D1)为两幅图像D(i,j)和D1的梯度相似度;
步骤九:根据参考图像和待评价图像的亮度相似度、对比度相似度、结构相似度和梯度相似度计算改进的结构相似度指标ISSIM(Improved Structural Similarity),为减小局部差异,将改进的结构相似度指标ISSIM分块求得M个ISSIM指标再取其平均值得到MISSIM(Mean of Improved Structural Similarity),根据MISSIM计算得到无参考图像评价指标INRSS(Improved No-Reference Structural Similarity),即模糊图像和复原图像质量的 综合评价结果包含亮度、对比度、结构度和边缘信息;M∈(1,12)步骤六~九流程图如图4;其中,得到的MISSIM具体包括MISSIM(F(i,j),F1)和MISSIM(D(i,j),D1);改进的结构相似度指标ISSIM包括两幅图像F(i,j)和F1的梯度相似度指标ISSIM(F(i,j),F1)和两幅图像D(i,j)和D1的梯度相似度指标ISSIM(D(i,j),D1);
所述的改进的结构相似度指标ISSIM的计算公式为:
ISSIM(F(i,j),F1)=[l(F(i,j),F1)]α[c(F(i,j),F1)]β[s(F(i,j),F1)]γ[g(F(i,j),F1)]λ;
ISSIM(D(i,j),D1)=[l(D(i,j),D1)]α[c(D(i,j),D1)]β[s(D(i,j),D1)]γ[g(D(i,j),D1)]λ
其中,α,β,γ,λ为各项权重;
(1)根据实际需要调节;在实际计算时,将图像分为M块分别得到其ISSIM指标;求得平均值MSSIM,即采用下式计算:>
Fi为灰度模糊图像F(i,j)中第i个子图像,Di复原后的图像D(i,j)中第i个子图像;F1i为参考图像F1中第i个子图像;D1i参考图像D1中第i个子图像;
(2)获得改进的无参考评价指标INRSS,计算公式如下:
INRSS1=1-MISSIM(F(i,j),F1)
INRSS2=1-MISSIM(D(i,j),D1)
对图2a和图2b两幅图像得到的INRSS评价结果如下表所示:
对图3(a)和图3(b)两幅图像得到INRSS指标和GMG指标对比结果如下表所示:
结果表明INRSS对图像具有较好的评价效果,并且能够更有效地区分出人工痕迹对复原结果的影响。
步骤十:根据步骤九得到的无参考图像评价指标INRSS进行判断,INRSS1>INRSS2则说明质量没有改善,为保证复原结果的稳定性,则模糊复原系统输出灰度模糊图像 F(i,j),否则说明图像质量得到改善输出复原图像D(i,j),其中, >如图1即完成了一种快速数字成像模糊鉴别与复原图像质量评估方法。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
机译: 一种用于生成标准化成像数据的图像质量评估方法
机译: 一种用于生成标准化成像数据的图像质量评估方法
机译: 一种计算需求最少的数字支票图像质量和可用性评估方法