技术领域
本发明属于图像处理技术领域,具体涉及一种基于Retinex和四元数的雾霾天图像识别方法。
背景技术
近年来,我国环境污染较为严重,全国各地多处出现雾霾、沙尘暴等恶劣天气状况。在视频监控系统中普遍存在有图像模糊和图像污染的问题。若发生不良事件,而采集到的视频图像模糊不清或被污染,是无法从已有的视频中获取有用信息,导致大量视频图像线索无法使用,影响着安全防范系统的高效管理。虽然设备在不断精确化,但是高像素的设备需要较高的成本,经济性较差。而且在很多领域中需要对采集到的视频图像进行信息提取,为了提取更多有价值的信息,就需要对图像进行清晰化处理。因此,对图像去雾算法的研究是必不可少的。
目前,图像去雾算法主要有Retinex算法,Retinex算法可以对雾、烟、水下和夜晚图像进行增强,将其移植到DSP图像增强系统中处理分辨率为256×256的灰度图像效率达到30帧/s,基本能够满足小分辨率下的实时性要求。但是该算法处理得到的部分图像像素存在过饱和现象,另外需要人为调整参数,限制了上述算法的应用价值。
发明内容
本发明的目的是提供一种基于Retinex和四元数的雾霾天图像识别方法,解决了现有技术中存在的Retinex算法处理图像像素存在过饱和的问题。
本发明所采用的技术方案是,一种基于Retinex和四元数的雾霾天图像识别方法,具体按照以下步骤实施:
步骤1,在码本算法中调入含噪声的视频图像;
步骤2,提取视频图像中雾霾的特征表现,形成四元数矩阵,分类图像雾霾噪声与前景,得到单帧图像;
步骤3,对单帧图像进行增强处理后,获得增强后的视频图像。
本发明的特点还在于:
步骤2具体为,
步骤2.1,采用码本算法预处理所有含噪声的视频图像,提取视频图像中雾霾的特征表现,形成四元数矩阵;
步骤2.2,将彩色视频图像的四元数矩阵作为网络的输入层,并将CNN的空间卷积层扩展为四元数空间卷积层;
步骤2.3,在四元数空间卷积层提取相邻视频帧的动态信息,分类图像雾霾噪声与前景,得到单帧图像。
步骤2.1中的视频图像是由N个二维图像按照时间序列排列而成;每一张二维图像为一个视频帧。
雾霾的特征表现为视频帧的零阶、一阶以及二阶的边缘梯度信息。
步骤2.3中,动态信息包括视频帧的可见度、暗通道强度和图像的对比强度。
步骤3具体为:
步骤3.1,将每幅单帧图像从RGB颜色空间转换到HSV颜色空间,获得H分量、S分量和V分量;
步骤3.2,H分量维持不变,对S分量进行线性拉伸校正;
步骤3.3,将新Retinex算法和MSR结合后对V分量进行增强;
步骤3.4,将增强后的每幅单帧图像从HSV空间映射到RGB空间,得到增强后的视频图像。
新Retinex算法是在双边滤波增加修正函数τ,将新Retinex算法的权重因子作为MSR算法的中心环绕函数,其表达式具体如下:
式(1)中,(x
新Retinex算法表达式具体如下:
式(2)中,H
本发明的有益效果是:
本发明一种基于Retinex和四元数的雾霾天图像识别方法,CNN的空间卷积层扩展为四元数空间卷积层,并在时间卷积层提取相邻帧的动态信息,相邻帧之间可通过亮度值先验转换为当前帧,联合帧间相关信息可有效避免闪烁效应;本发明一种基于Retinex和四元数的雾霾天图像识别方法,将彩色图像的四元数矩阵形式作为网络的输入,局部极值约束透射率的局部一致性,可以有效抑制透射率的估计噪声,利用双边纠正线性单元,在双边约束的同时保证局部的线性,解决了现有技术中存在的Retinex算法处理图像像素存在过饱和的问题。
附图说明
图1是本发明一种基于Retinex和四元数的雾霾天图像识别方法的流程图;
图2是原始图像;
图3是采用直方图均衡化清晰度方法对原始图像处理后的视频图像;
图4是采用MSR方法对原始图像处理后的视频图像;
图5是采用暗通道算法对原始图像处理后的视频图像;
图6是采用本发明一种基于Retinex和四元数的雾霾天图像识别方法对原始图像处理后的视频图像。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于Retinex和四元数的雾霾天图像识别方法,如图1所示,具体按照以下步骤实施:
步骤1,在码本算法中调入含噪声的视频图像;
步骤2,提取视频图像中雾霾的特征表现,形成四元数矩阵,分类图像雾霾噪声与前景,得到单帧图像;
步骤2具体为,
步骤2.1,采用码本算法预处理所有含噪声的视频图像,提取视频图像中雾霾的特征表现,形成四元数矩阵;
步骤2.2,将彩色视频图像的四元数矩阵作为网络的输入层,并将CNN的空间卷积层扩展为四元数空间卷积层;
步骤2.3,在四元数空间卷积层提取相邻视频帧的动态信息,分类图像雾霾噪声与前景,得到单帧图像;
其中,步骤2.1中的视频图像是由N个二维图像按照时间序列排列而成;每一张二维图像为一个视频帧;
步骤2.3中,动态信息包括视频帧的可见度、暗通道强度和图像的对比强度;
雾霾的特征表现为视频帧的零阶、一阶以及二阶的边缘梯度信息;
步骤3,对单帧图像进行增强处理后,获得增强后的视频图像。
步骤3具体为:
步骤3.1,将每幅单帧图像从RGB颜色空间转换到HSV颜色空间,获得H分量、S分量和V分量;
其中,HSV色彩空间由三个属性分量组成,分别是色调(Hue),饱和度(Saturation)和亮度(Value)分量,HSV模型是更能反映出视觉效果的模型,颜色空间转换(RGB到HSV)的公式为:
V=max (3),
式(1)、(2)和(3)中,max和min分别是RGB中的最大值和最小值;亮度V分量为颜色明亮的程度,通常取值范围为0~100%;饱和度S分量为一比例值,取值0~100%之间,饱和度S分量值越大,色彩越纯,反之逐渐变灰;H分量为色调,取值为0°~360°,红,绿,蓝(R,G,B)分别间隔120°,互补色差相差180°;
步骤3.2,H分量维持不变,对S分量进行线性拉伸校正;
其中,对S分量进行线性拉伸校正的表达式为:
S
式(4)中,S
步骤3.3,将新Retinex算法和MSR结合后对V分量进行增强;
具体为:
将V分量提取出来,根据得到的原始图像I
式(5)中,log(I
步骤3.4,将增强后的每幅单帧图像从HSV空间映射到RGB空间,得到增强后的视频图像。
新Retinex算法是在双边滤波增加修正函数τ,将新Retinex算法的权重因子作为MSR算法的中心环绕函数,其表达式具体如下:
式(6)中,(x
τ作为修正函数,判断像素点与中心点灰度值的相似度;若像素点与中心点灰度值之差不大于σ
新Retinex算法表达式具体如下:
式(7)中,H
H
实验验证
为了检验本发明一种基于Retinex和四元数的雾霾天图像识别方法,分别将其与直方图均衡化、MSR方法、暗通道去雾方法对同一雾霾图像(如图2所示)进行识别处理,如图6、3、4、5所示。数据见表1;采用峰值信噪比(PSNR)和熵作为图像质量的评价标准。
表1、上述4种方法对同一雾霾图像进行识别处理的数据
PSNR是客观评价图像失真和噪声的常用衡量标准,其值越大表示图像的修复质量越高;熵值体现了图像的综合特征,熵值越大,图像的信息量越大。从表1可以看出,直方图均衡化清晰度方法虽然可以在一定程度上增强图像的对比度和亮度,但整体图像较暗,图像的细节信息没有得到很好的突出。经过MSR清晰度处理后,目标之间的边界不清晰,部分区域存在严重的失真。暗通道算法具有较好的清洁效果,但图像较暗。而本发明一种基于Retinex和四元数的雾霾天图像识别方法处理过雾霾图像后,具有较好的视觉效果。因此,采用改进的Retinex算法对图像增强后,其在亮度、对比度、去除噪声和抗失真方面得到明显提升。
机译: 使用一般字典基于Retinex的增强图像的装置和方法
机译: 基于Retinex的渐进图像增强方法
机译: 基于retinex的微光图像增强方法及装置