公开/公告号CN114897811A
专利类型发明专利
公开/公告日2022-08-12
原文格式PDF
申请/专利权人 北方夜视科技(南京)研究院有限公司;
申请/专利号CN202210490621.7
申请日2022-05-07
分类号G06T7/00(2017.01);G06T5/00(2006.01);G06F17/16(2006.01);G06N3/04(2006.01);G06N3/08(2006.01);
代理机构南京行高知识产权代理有限公司 32404;南京行高知识产权代理有限公司 32404;
代理人王培松;王菊花
地址 211106 江苏省南京市江宁区秣陵街道康平街2号
入库时间 2023-06-19 16:22:17
法律状态公告日
法律状态信息
法律状态
2022-08-30
实质审查的生效 IPC(主分类):G06T 7/00 专利申请号:2022104906217 申请日:20220507
实质审查的生效
技术领域
本发明属于图像增强处理技术领域,具体涉及一种基于卷积梯度优化的图像Retinex增强方法。
背景技术
高清晰度、高可见性的图像是成像技术永恒的目标,但是由于特殊的应用场景和传感器本身属性的限制,常常会使所拍摄的图像具有亮度低、动态范围窄、对比度低等缺点。因此,需要有优质的图像灰度增强方法来改善图像质量。
Retinex分解为光照估计和反射率恢复提供了基础。使用高斯滤波器获得照明层,SSR将反射率视为期望的增强结果。MSR可以看作是多个不同尺度SSR的加权组合。SSR和MSR被广泛应用于灰度图像的增强。但是,由于对低光照条件下的成像模型没有给予足够的重视,因此无法有效地增强低光图像。反射层和亮度层同步估计方法(SRIE)提供了同时优化图像亮度层和反射层的算法架构,实现了低光图像有效增强(X.Fu,D.Zeng,Y.Huang,X.-P.Zhang,and X.Ding,“A weighted variational model for simultaneous reflectanceand illumination estimation,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2016,pp.2782-2790.)。基于SRIE,Guo等人提出了一种基于亮度映射图估计的低光图像增强方法(LIME),引入了最大RGB先验以提高亮度层估计的性能(X.-J.Guo,Y.Li,and H.-B.Ling,“LIME:Low-light image enhancementvia illumination mapestimation,”IEEE Trans.Image Process.,vol.26,no.2,pp.982-993,Feb.2017)。LR3M可以通过低秩先验来抑制低照度图像增强结果中的噪声(X.-T.Ren,W.-H.Yang,W.-H.Cheng,and J.-Y.Liu,“LR3M:robust low-light enhancement via low-rank regularizedRetinex model,”IEEE Trans.Image Process.,vol.29,pp.5862-5876,Apr.2020.)。
在基于Retinex分解的图像增强算法中,通过同时估计反射率和照度进行反射率恢复是一种流行且有效的方法。但是同时求解两个未知量属于病态问题,将Retinex分解转化为多块优化问题,需要利用交替方向技术(例如交替方向乘子法)才能解优化,这造成了增强算法模型和结构越来越复杂、实现难度大大提高的问题。许多研究人员已经意识到了这个问题,因此许多基于SRIE的增强方法都有自己的加速策略。然而,多块凸优化的复杂性使得低照度图像增强的实际应用面临着巨大的困难。
发明内容
针对上述不足,本发明提供一种基于卷积梯度优化的图像Retinex增强方法。
根据本发明目的的第一方面提出一种基于卷积梯度优化的图像Retinex增强方法,所述方法包括如下步骤:
步骤一、对输入图像进行对数变换;
步骤二、对经对数变换的图像进行粗糙模糊滤波;
步骤三、基于对数变换图像和粗糙模糊图像,利用梯度下降法进行Retinex分解优化,估计出最优的反射层卷积模型;
步骤四、对最优的反射层模型进行校正;
步骤五、从校正之后的反射模型中恢复出反射层,得到最终增强图像。
步骤一所述的对图像进行对数变换的公式如下:
其中L为输入图像,
在步骤二,所述的粗糙模糊滤波包括如下步骤:
1)对
2)在经高斯模糊的
在步骤三,所述的反射层卷积模型Γ为如下形式:
其中X和Y分别表示输入图像中每个像素的归一化横坐标加1和归一化纵坐标加1之后所形成的坐标矩阵,与输入图像维度一致。ω
在步骤三,所述的Retinex分解优化使用如下目标函数:
其中
在步骤三,所述的利用梯度下降法进行Retinex分解优化中,目标函数一阶导数形式如下:
其中Ω
在步骤四,所述的对反射层模型进行如下形式的校正:
其中Γ
在步骤五,所述的从校正之后的反射模型中恢复出反射层,得到最终增强图像,使用公式如下:
其中R表示最终增强图像。π为矩阵r=(1-exp{Γ
与现有技术相比,本发明提出的图像Retinex细节增强方法,具有如下显著优点:
本发明的方法使用基于高斯场的目标函数和粗糙模糊滤波,将Retinex分解转化为一个无约束优化问题,只需采用简单的梯度优化技术(如拟牛顿法)即可从输入图像中恢复出反射层,大大降低了算法实现难度。
同时,利用卷积运算构建反射层模型,提高模型非线性程度,使得反射层模型可以同时保留图像中亮区域和暗区域丰富的细节纹理,有效减少暗区域细节丢失和亮区域细节过曝的情况。
附图说明
图1为本发明示例性实施例的基于卷积梯度优化的图像Retinex增强方法的流程图。
图2a、2b、2c为利用本发明Retinex增强方法的三组图像增强结果对比示意图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。
结合图1所示示例的基于卷积梯度优化的图像Retinex增强方法,其包括:对输入图像进行对数变换处理;对经对数变换的图像进行粗糙模糊滤波处理;基于对数变换图像和粗糙模糊图像,利用梯度下降法进行Retinex分解优化处理,估计出最优的反射层卷积模型;对最优的反射层模型进行校正处理;最后,从校正之后的反射模型中恢复出反射层,得到最终增强图像。
下面我们将结合附图所示的流程,更加具体的阐述本发明的前述实施例的实施过程。
步骤一、对输入图像进行对数变换
根据本发明的一种具体实施方式,首先对可见光图像进行灰度线性拉伸,使灰度值范围缩放至[0,1],然后计算每一个像素值所对应的自然对数,构成可见光对数图像,公式如下所示:
其中L为输入图像,
步骤二、对经对数变换的图像进行粗糙模糊滤波
根据本发明的一种具体实施方式,粗糙模糊滤波包括如下步骤:
步骤201:对
步骤202:在经高斯模糊的
步骤三、基于对数变换图像和粗糙模糊图像,利用梯度下降法进行Retinex分解优化,估计出反射层卷积模型
本实施例中,具体的方法包括以下步骤:
步骤301:定义反射层卷积模型Γ为如下形式:
其中X和Y分别表示输入图像中每个像素的归一化横坐标加1和归一化纵坐标加1之后所形成的坐标矩阵,与输入图像维度一致。ω
步骤302:定义Retinex分解优化使用的目标函数如下:
其中
其中σ为尺度系数;λ为稳定调节系数;
步骤303:确定步骤302中所定义的目标函数的一阶导数形式如下:
其中Ω
步骤304:基于公式(3)和公式(4),利用拟牛顿方法对目标函数进行优化,得到最优的暗通道卷积核
步骤四、对反射层模型进行校正。
根据本发明的一种具体实施方式,将步骤304所得最优的暗通道卷积核
其中Γ
步骤五、从校正之后的反射模型中恢复出反射层,得到最终增强图像
根据本发明的一种具体实施方式,使用如下公式恢复反射层:
其中R表示最终增强图像。π为矩阵r=(1-exp{Γ
在可选的实施例中,优选地设定λ=0.02,对应地设定σ=0.4。
在另外的实施例中,本发明还可以配置成以基于卷积梯度优化的图像Retinex增强系统的方式实施,其包括:
一个或多个处理器;
存储器,存储可被操作的指令,所述指令在被所述一个或多个处理器执行时实现前述任意实施例的基于卷积梯度优化的图像Retinex增强方法。
在另外的实施例中,本发明还可以配置成以一种存储计算机程序的计算机可读取介质的方式实施,其中的计算机程序包括能被一个或多个计算机执行的指令,所述指令在被所述一个或多个计算机执行时实现前述任意实施例的基于卷积梯度优化的图像Retinex增强方法。
结合以上实施例的细节优化增强设计以及对应的参数设定,在图2a、2b、2c中展示了本发明灰度增强效果,其中每个附图分别包括三组图像,每组图像从左至右分别是:输入图像、反射层卷积模型结果、最终增强图像。从附图可以看出,通过本发明的细节增强,不仅显著提升了暗区域亮度,而且保持并增强了亮区域的细节。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。
机译: 基于卷积神经网络的图像识别系统,方法和非暂时性计算机可读存储介质
机译: 基于卷积神经网络的图像识别系统,方法和非暂态计算机可读存储介质
机译: 用于开发数据流程序的方法和数据处理系统,用户界面,用于执行数据流程序的数据处理系统,用于执行数据流程序的计算机可读介质存储命令,用于执行数据流程序的方法,用于数据流程序的方法和系统,用于优化数据流的程序用于执行优化方法的计算机可读介质存储命令