低照度场景下基于背景建模的图像亮度提升方法及装置

摘要

本发明公开了一种低照度场景下基于背景建模的图像亮度提升方法及装置。本发明提供的方法及装置分别通过对高照度（例如白天）的场景进行背景建模（例如采用高斯分布）以及对低照度场景（例如夜间）进行运动检测背景建模，并用得到的白天背景对夜间背景进行修正，并在将夜间场景的运动目标提取出来之后，再将所述运动目标融合进修正后的夜间背景之中，完成修正后的夜间场景下的视频图像。采用本发明，可以使得视频监控摄像机在夜间无法捕捉的细节得以恢复，从而使得视频监控的夜间画面亮度显著提高，细节辨识度增加，进而便于人工判读。

说明书

技术领域

本发明涉及视频监控技术领域，具体而言，涉及一种低照度场景下基于背景建模的图像亮度提升方法及装置。

背景技术

在低照度场景下，例如在夜晚等照度较低的情况之下，视频监控摄像机传回的视频图像的亮度通常较低，对比度也随之下降，不便于人工判读。现有技术中通常采用直方图变换法以及Retinex算法进行图像亮度的增强处理，其中：

直方图变换法，通过加大直方图的动态范围使夜间画面对比度增加，从而使画面细节辨识度增加，但该算法由于仅仅利用当前帧图像信息，无法恢复由于照度过低损失的细节。

Retinex算法，其相应的Retinex理论指出物体的颜色是由物体对不同波段光线的反射能力决定的，而不是由物体在光源照射下反射光强度的绝对值决定的。该算法通过计算图像像素之间的相对亮度和色彩关系，对图像中的像素点颜色值进行校正，从而恢复物体本身的颜色，该算法比直方图变换法更符合人眼的视觉特点，但该算法同样地也只是利用了当前帧图像信息，并不能改善因为照度过低、信息不足的画面细节。

由此可见，上述直方图变换法以及Retinex算法在进行图像亮度增强时，仅仅利用图像本身的信息进行亮度增强，在图像本身包含有效信息的情况下其能有效改善图像亮度，但是对那些本身就信息不足的细节，由于没有足够的信息，此时采用上述两种图像增强处理方法就无法有效地进行亮度提升。

发明内容

为了解决视频监控摄像机在环境照度不足的情况下，例如夜间，传回的监控画面亮度较暗，不便于人工判读的问题，本发明实施例的目的在于提供一种低照度场景下基于背景建模的图像亮度提升方法及装置。

为了达到本发明的目的，本发明实施例采用以下技术方案实现：

一种低照度场景下基于背景建模的图像亮度提升方法，其包括：

在环境照度高于预设的第一门限值时，采集至少一帧第一图像，并依据该第一图像进行背景建模，得到高照度背景图像，以及，在环境照度低于预设的第二门限值时，采集至少一帧第二图像，并依据该第二图像进行背景建模，得到低照度背景图像；

将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间，并利用高照度背景图像修正低照度背景图像；

依据至少一预设的运动目标分割算法得到所述第二图像中的运动目标信息；

将所述运动目标信息融合叠加至所述修正后的低照度背景图像之上，得到低照度场景下的亮度增强处理图像。

优选地，依据所述第一图像进行背景建模得到高照度背景图像的步骤包括：

对采集的N帧第一图像的每个像素点分别计算其亮度值Y(i,j)，并统计其亮度值Y(i,j)等于亮度变量γ的次数k(γ)。

采用如下数学式计算像素点的亮度值Y(i,j)等于亮度变量γ的概率密度p(Y(i,j)=γ)：

$>p(Y(i,j)=\gamma )=\frac{k\left(\gamma \right)}{N};$>

在概率密度p(Y(i,j)=γ)取得最大值时，将对应的亮度变量γ确认为每个像素点(i,j)的高照度场景背景值BrightBG(i,j)，以此得到高照度背景图像BrightBG。

优选地，依据第二图像进行背景建模得到低照度背景图像的步骤包括：

对第二图像的每一个像素点，采用如下数学式计算第k帧和第k-1帧的RGB差值S：

S=NightI^k(i,j)-NightI^k-1(i,j)；

其中，NightI^k(i,j)、NightI^k-1(i,j)分别为像素点(i,j)在第k帧和第k-1帧的RGB值；

若所述RGB差值S的绝对值小于预设的差值阈值T，则判定该像素点为背景像素点，否则，判定该像素点为前景像素点，以此得到低照度背景图像。

优选地，将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间，并利用高照度背景图像修正低照度背景图像的步骤包括：

将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间；

在色彩HSV空间中，对低照度背景图像的每个像素点，用高照度背景图像采用如下数学式对低照度背景图像进行修正，以得到修正后的低照度背景明度NightBGV(i,j)'：

$>\mathrm{NightBGV}{(i,j)}^{\prime }=\left(\begin{array}{cc}\mathrm{NightBGV}(i,j)& \mathrm{NightBGV}(i,j)\ge \mathrm{BightBGV}(i,j)\\ \mathrm{NightBGV}(i,j)+\log (\mathrm{BrightBGV}(i,j)-\mathrm{NightBGV}(i,j))& \mathrm{NightBGV}(i,j)<\mathrm{BightBGV}(i,j)\end{array}\right);$>

其中，NightBGV(i,j)和BrightBGV(i,j)分别为低照度场景及高照度场景下的的背景明度；

依据所述低照度背景明度NightBGV(i,j)'得到修正后的低照度背景图像，并将其转换到RGB色彩空间。

优选地，采用如下运动目标分割算法得到所述第二图像中的运动目标信息：

对所述第二图像的每个像素点的RGB值NightI(i,j)，计算其与低照度背景图像在每个相应像素点的RGB值NightBG(i,j)之间的差值的绝对值；

若所述差值的绝对值大于预设的RGB阈值P，则确定该像素点为运动目标像素点；

依据被确认的多个运动目标像素点得到所述第二图像中的运动目标NightMotion(i,j)。

一种低照度场景下基于背景建模的图像亮度提升装置，包括：

数据采集模块，用于在环境照度高于预设的第一门限值时，采集至少一帧第一图像；以及进一步用于在环境照度低于预设的第二门限值时，采集至少一帧第二图像；

背景建模模块，用于依据所述第一图像进行背景建模，得到高照度背景图像；以及进一步用于依据所述第二图像进行背景建模，得到低照度背景图像；

图像修正模块，用于将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间，并利用高照度背景图像修正低照度背景图像；

运动目标提取模块，用于依据至少一预设的运动目标分割算法得到所述第二图像中的运动目标信息；

数据融合模块，用于将所述运动目标信息融合叠加至所述修正后的低照度背景图像之上，得到低照度场景下的亮度增强处理图像。

优选地，背景建模模块依据所述第一图像进行背景建模得到高照度背景图像的方法为：

对采集的N帧第一图像的每个像素点分别计算其亮度值Y(i,j)，并统计其亮度值Y(i,j)等于亮度变量γ的次数k(γ)。

采用如下数学式计算像素点的亮度值Y(i,j)等于亮度变量γ的概率密度p(Y(i,j)=γ)：

$>p(Y(i,j)=\gamma )=\frac{k\left(\gamma \right)}{N};$>

在概率密度p(Y(i,j)=γ)取得最大值时，将对应的亮度变量γ确认为每个像素点(i,j)的高照度场景背景值BrightBG(i,j)，以此得到高照度背景图像BrightBG。

优选地，背景建模模块依据第二图像进行背景建模得到低照度背景图像的方法为：

对第二图像的每一个像素点，采用如下数学式计算第k帧和第k-1帧的RGB差值S：

S=NightI^k(i,j)-NightI^k-1(i,j)；

其中，NightI^k(i,j)、NightI^k-1(i,j)分别为像素点(i,j)在第k帧和第k-1帧的RGB值；

若所述RGB差值S的绝对值小于预设的差值阈值T，则判定该像素点为背景像素点，否则，判定该像素点为前景像素点，以此得到低照度背景图像。

优选地，图像修正模块将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间，并利用高照度背景图像修正低照度背景图像的方法为：

将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间；

在色彩HSV空间中，对低照度背景图像的每个像素点，用高照度背景图像采用如下数学式对低照度背景图像进行修正，以得到修正后的低照度背景明度NightBGV(i,j)'：

$>\mathrm{NightBGV}{(i,j)}^{\prime }=\left(\begin{array}{cc}\mathrm{NightBGV}(i,j)& \mathrm{NightBGV}(i,j)\ge \mathrm{BightBGV}(i,j)\\ \mathrm{NightBGV}(i,j)+\log (\mathrm{BrightBGV}(i,j)-\mathrm{NightBGV}(i,j))& \mathrm{NightBGV}(i,j)<\mathrm{BightBGV}(i,j)\end{array}\right);$>

其中，NightBGV(i,j)和BrightBGV(i,j)分别为低照度场景及高照度场景下的的背景明度；

依据所述低照度背景明度NightBGV(i,j)'得到修正后的低照度背景图像，并将其转换到RGB色彩空间。

优选地，运动目标提取模块采用如下运动目标分割算法得到所述第二图像中的运动目标信息：

对所述第二图像的每个像素点的RGB值NightI(i,j)，计算其与低照度背景图像在每个相应像素点的RGB值NightBG(i,j)之间的差值的绝对值；

若所述差值的绝对值大于预设的RGB阈值P，则确定该像素点为运动目标像素点；

依据被确认的多个运动目标像素点得到所述第二图像中的运动目标NightMotion(i,j)。

通过上述本发明实施例提供的技术方案可以看出，本发明提供的方法及装置分别通过对高照度（例如白天）的场景进行背景建模（例如采用高斯分布）以及对低照度场景（例如夜间）进行运动检测背景建模，并用得到的白天背景对夜间背景进行修正，并在将夜间场景的运动目标提取出来之后，再将所述运动目标融合进修正后的夜间背景之中，完成修正后的夜间场景下的视频图像。采用本发明，可以使得视频监控摄像机在夜间无法捕捉的细节得以恢复，从而使得视频监控的夜间画面亮度显著提高，细节辨识度增加，进而便于人工判读。

附图说明

图1为本发明实施例提供的低照度场景下基于背景建模的图像亮度提升方法流程示意图；

图2为本发明实施例提供的低照度场景下基于背景建模的图像亮度提升装置结构示意图。

本发明目的的实现、功能特点及优异效果，下面将结合具体实施例以及附图做进一步的说明。

具体实施方式

下面结合附图和具体实施例对本发明所述技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，本发明实施例提供的一种低照度场景下基于背景建模的图像亮度提升方法，其包括：

S10、在环境照度高于预设的第一门限值时，采集至少一帧第一图像，并依据该第一图像进行背景建模，得到高照度背景图像，以及，在环境照度低于预设的第二门限值时，采集至少一帧第二图像，并依据该第二图像进行背景建模，得到低照度背景图像；

S20、将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间，并利用高照度背景图像修正低照度背景图像；

S30、依据至少一预设的运动目标分割算法得到所述第二图像中的运动目标信息；

S40、将所述运动目标信息融合叠加至所述修正后的低照度背景图像之上，得到低照度场景下的亮度增强处理图像。

本实施例中，对于所述步骤S10，在针对低照度的场景进行背景建模的过程中，例如在本实施例中，所述低照度场景均指环境照度较低的夜间场景，背景颜色出现的概率最大，而汽车等前景运动目标只会停留很短的时间，因此本实施例中根据这个特点将背景分离出来。

具体地，本发明实施例中，依据所述第一图像进行背景建模得到高照度背景图像的步骤包括：

S101、对采集的N帧第一图像的每个像素点分别计算其亮度值Y(i,j)，并统计其亮度值Y(i,j)等于亮度变量γ的次数k(γ)。

S102、采用如下数学式计算像素点的亮度值Y(i,j)等于亮度变量γ的概率密度p(Y(i,j)=γ)：

$>p(Y(i,j)=\gamma )=\frac{k\left(\gamma \right)}{N};$>

S103、在概率密度p(Y(i,j)=γ)取得最大值时，将对应的亮度变量γ确认为每个像素点(i,j)的高照度场景背景值BrightBG(i,j)，其中：

BrightBG(i,j)=γ|_{max(p(Y(i,j)=γ))}；

以此得到高照度背景图像BrightBG。

在上述步骤中，通过对N帧第一图像的每个像素点都进行上述计算，得到每个像素点(i,j)的高照度场景背景值BrightBG(i,j)，因此本领域的技术人员可以依据该得到的高照度场景背景值BrightBG(i,j)结合本领域的公知常识而得到高照度背景图像BrightBG。

在本实施例中，依据第二图像进行背景建模得到低照度背景图像的步骤包括：

S104、对第二图像的每一个像素点，采用如下数学式计算第k帧和第k-1帧的RGB差值S：

S=NightI^k(i,j)-NightI^k-1(i,j)；

其中，NightI^k(i,j)、NightI^k-1(i,j)分别为像素点(i,j)在第k帧和第k-1帧的RGB值；

S105、参考如下数学式，若所述RGB差值S的绝对值小于预设的差值阈值T，则判定该像素点为背景像素点，否则，判定该像素点为前景像素点，以此得到低照度背景图像：

$>\mathrm{NightBGMask}(i,j)=\left(\begin{array}{cc}0& |{\mathrm{NightI}}^k(i,j)-{\mathrm{NightI}}^{k-1}(i,j)|<T\\ 1& |{\mathrm{NightI}}^k(i,j)-{\mathrm{NightI}}^{k-1}(i,j)|\ge T\end{array}\right);$>

其中，NightBGMask(i,j)的值用于指示像素点(i,j)是否为背景像素点，当NightBGMask(i,j)=0时，则指示像素点(i,j)是背景像素点，当NightBGMask(i,j)=1时，则指示像素点(i,j)是前景像素点。

在本实施例中，对于所述步骤S20，在对低照度背景图像进行修正时，如果直接将白天背景用于夜间场景图像的修正会有所失真，这是因为夜间被监控场景下存在多种干扰因素，例如通常会有灯光亮起等，为了使夜间背景看起来清晰而不失真实性，本发明实施例采用如下方法对夜间背景进行校正：将白天背景图像BightBG(i,j)和夜间背景图像从RGB空间转换到HSV空间，之后再用白天背景校正夜间背景。

具体地，本实施例中，将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间，并利用高照度背景图像修正低照度背景图像的步骤包括：

S201、将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间；

S202、在色彩HSV空间中，对低照度背景图像的每个像素点，用高照度背景图像采用如下数学式对低照度背景图像进行修正，以得到修正后的低照度背景明度NightBGV(i,j)'：

$>\mathrm{NightBGV}{(i,j)}^{\prime }=\left(\begin{array}{cc}\mathrm{NightBGV}(i,j)& \mathrm{NightBGV}(i,j)\ge \mathrm{BightBGV}(i,j)\\ \mathrm{NightBGV}(i,j)+\log (\mathrm{BrightBGV}(i,j)-\mathrm{NightBGV}(i,j))& \mathrm{NightBGV}(i,j)<\mathrm{BightBGV}(i,j)\end{array}\right);$>

其中，NightBGV(i,j)和BrightBGV(i,j)分别为低照度场景及高照度场景下的的背景明度；

S203、依据所述低照度背景明度NightBGV(i,j)'得到修正后的低照度背景图像，并将其转换到RGB色彩空间。

本实施例中，对于所述步骤S30，在对运动目标进行分离时，由于在夜间场景下，运动目标与夜间背景的RGB值相差很大，因此本发明实施例据此来确定夜间场景下的运动目标，具体地，本发明实施例采用如下运动目标分割算法得到所述第二图像中的运动目标信息：

S301、对所述第二图像的每个像素点的RGB值NightI(i,j)，计算其与低照度背景图像在每个相应像素点的RGB值NightBG(i,j)之间的差值的绝对值；

S302、若所述差值的绝对值大于预设的RGB阈值P，则确定该像素点为运动目标像素点；

S303、采用如下公式，依据被确认的多个运动目标像素点得到所述第二图像中的运动目标NightMotion(i,j)：

$>\mathrm{NightMotion}(i,j)=\left(\begin{array}{cc}0& |\mathrm{NightI}(i,j)-\mathrm{NightBG}(i,j)|<P\\ \mathrm{NightI}(i,j)& |\mathrm{NightI}(i,j)-\mathrm{NightBG}(i,j)|\ge P\end{array}\right).$>

本实施例中，对于所述步骤S40，依据如下数学式，将夜间运动目标信息叠加到修正后的夜间背景之上，达到夜间场景图像亮度提升的效果。

NightI(i,j)'=NightMotion(i,j)+NightBG(i,j)'；

其中，NightI(i,j)'为最终亮度提升后的夜间场景。

如图2所示，相应地，本发明实施例还提供了一种低照度场景下基于背景建模的图像亮度提升装置，在实际应用当中，所述装置可以被部署在歌中视频监控摄像机之中，除此之外，其他各类摄像机或者照相机等摄像摄影装置均可部署该装置，具体地，本发明实施例提供的该装置包括：

数据采集模块100，用于在环境照度高于预设的第一门限值时，采集至少一帧第一图像；以及进一步用于在环境照度低于预设的第二门限值时，采集至少一帧第二图像；

背景建模模块200，用于依据所述第一图像进行背景建模，得到高照度背景图像；以及进一步用于依据所述第二图像进行背景建模，得到低照度背景图像；

图像修正模块300，用于将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间，并利用高照度背景图像修正低照度背景图像；

运动目标提取模块400，用于依据至少一预设的运动目标分割算法得到所述第二图像中的运动目标信息；

数据融合模块500，用于将所述运动目标信息融合叠加至所述修正后的低照度背景图像之上，得到低照度场景下的亮度增强处理图像。

本实施例中，背景建模模块200依据所述第一图像进行背景建模得到高照度背景图像的方法为：

1）对采集的N帧第一图像的每个像素点分别计算其亮度值Y(i,j)，并统计其亮度值Y(i,j)等于亮度变量γ的次数k(γ)。

2）采用如下数学式计算像素点的亮度值Y(i,j)等于亮度变量γ的概率密度p(Y(i,j)=γ)：

$>p(Y(i,j)=\gamma )=\frac{k\left(\gamma \right)}{N};$>

3）在概率密度p(Y(i,j)=γ)取得最大值时，将对应的亮度变量γ确认为每个像素点(i,j)的高照度场景背景值BrightBG(i,j)，以此得到高照度背景图像BrightBG。

本实施例中，背景建模模块200依据第二图像进行背景建模得到低照度背景图像的方法为：

1）对第二图像的每一个像素点，采用如下数学式计算第k帧和第k-1帧的RGB差值S：

S=NightI^k(i,j)-NightI^k-1(i,j)；

其中，NightI^k(i,j)、NightI^k-1(i,j)分别为像素点(i,j)在第k帧和第k-1帧的RGB值；

2）若所述RGB差值S的绝对值小于预设的差值阈值T，则判定该像素点为背景像素点，否则，判定该像素点为前景像素点，以此得到低照度背景图像。

本实施例中，图像修正模块300将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间，并利用高照度背景图像修正低照度背景图像的方法为：

1）将所述高照度背景图像以及低照度背景图像分别转换到HSV色彩空间；

2）在色彩HSV空间中，对低照度背景图像的每个像素点，用高照度背景图像采用如下数学式对低照度背景图像进行修正，以得到修正后的低照度背景明度NightBGV(i,j)'：

$>\mathrm{NightBGV}{(i,j)}^{\prime }=\left(\begin{array}{cc}\mathrm{NightBGV}(i,j)& \mathrm{NightBGV}(i,j)\ge \mathrm{BightBGV}(i,j)\\ \mathrm{NightBGV}(i,j)+\log (\mathrm{BrightBGV}(i,j)-\mathrm{NightBGV}(i,j))& \mathrm{NightBGV}(i,j)<\mathrm{BightBGV}(i,j)\end{array}\right);$>

其中，NightBGV(i,j)和BrightBGV(i,j)分别为低照度场景及高照度场景下的的背景明度；

3）依据所述低照度背景明度NightBGV(i,j)'得到修正后的低照度背景图像，并将其转换到RGB色彩空间。

本实施例中，运动目标提取模块400采用如下运动目标分割算法得到所述第二图像中的运动目标信息：

1）对所述第二图像的每个像素点的RGB值NightI(i,j)，计算其与低照度背景图像在每个相应像素点的RGB值NightBG(i,j)之间的差值的绝对值；

2）若所述差值的绝对值大于预设的RGB阈值P，则确定该像素点为运动目标像素点；

3）依据被确认的多个运动目标像素点得到所述第二图像中的运动目标NightMotion(i,j)。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。