基于非经典感受野复合调制的夜视图像显著轮廓提取方法

摘要

本发明公开了一种基于非经典感受野复合调制的夜视图像显著轮廓提取方法，根据一种非经典感受野复合调制模型构建多尺度迭代注意方法，在迭代过程中动态变化非经典感受野复合调制的尺度因子，计算出输入的夜视图像的复合调制结果；在每步迭代过程中，针对输入图像中各像素点，首先采用多维特征对比度MFC加权抑制模型计算各像素点的抑制结果，然后基于编组兴奋投票GEV易化模型计算各像素点的易化结果，最终获得非经典感受野复合调制输出。本发明方法解决了微光、红外图像中的噪声、纹理抑制，以及由成像特性、环境抑制、噪声干扰导致的轮廓间断问题。

说明书

技术领域

本发明属于夜视图像理解领域，特别是一种基于视觉建模的复杂场景下夜视图像显著轮廓提取方法。

背景技术

轮廓提取在夜视图像(微光、红外图像)理解分析方面发挥着重要作用。目前夜视目标探测识别方面的应用大部分是针对户外场景的，因此夜视图像中包含了大量的自然纹理（例如树和草）。传统的边缘检测算子的作用结果保留大量非轮廓的边缘成分（canny算子），如何针对微光和红外图像特征，去除这些由纹理场所产生的局部非兴趣边缘，并且保持轮廓的完整性是夜视图像轮廓检测主要面临的问题。

针对复杂场景的轮廓提取问题提出了诸多解决方法，其中基于生物视觉机理的非经典感受野模型的轮廓提取在高质量可见光图像中获得了显著效果。视皮层(V1)神经元感受野(CRF)的大外周(非经典感受野nCRF)对CRF起调制作用，这种调制主要是抑制性的，能够使得孤立的边缘要比群体边缘更为显著。基于侧抑制区的仿生模型，较好地去除了背景纹理产生的边缘，如图1所示。在环境抑制方面Grigorescu等人(Contour detection based on Nonclassical Receptive Field inhibition)利用非经典感受野的抑制特性进行轮廓检测，利用环境对中心的方向抑制，减少了环境纹理的影响，并提出各向异性抑制和各向同性抑制模型；桑农等人(基于初级视皮层抑制的轮廓检测方法)根据非经典感受野刺激方位与感受野刺激方位差异，对抑制作用加权，建立了基于侧抑制区的蝶形模型，减小共线抑制的作用。一些生理学实验发现，V1区神经元不但受到非经典感受野的抑制，同时也受到非经典感受野的易化作用。Tang等人(Extraction of salient contours from cluttered scenes)在非经典感受野抑制模型中，加入共线易化特性，采用曲率判别标准来确定易化作用的大小，使得轮廓点上的输出更大。

但是上述非经典感受野模型对夜视图像的轮廓检测效果不佳，如图2所示。相对于高质量的可见光图像，微光图像噪声干扰严重，轮廓局部空间频率不突出；红外图像轮廓模糊，局部对比度不显著。一方面高噪声、低对比度导致夜视图像轮廓提取不准确、背景纹理无法抑制。另一方面抑制作用削弱轮廓强度，轮廓受到周边背景纹理的抑制，容易出现断裂，影响后续的目标识别。

发明内容

为解决夜视图像环境抑制不准确的问题，本发明在nCRF抑制模型基础上，引入多特征分析，针对夜视图像多维特征差异对比度对抑制作用加权，以提高环境抑制的准确率，实现更彻底的背景纹理、噪声抑制；为解决轮廓断裂的问题，本发明在nCRF抑制模型基础上，引入具有轮廓编组功能的易化机制，使弱轮廓得以增强、间裂轮廓得以连接，从而可以保持夜视图像轮廓的完整性，以提高目标检测的性能。

实现本发明目的的技术解决方案为：一种基于非经典感受野复合调制的夜视图像显著轮廓提取方法，根据一种非经典感受野复合调制模型构建多尺度迭代注意方法，在迭代过程中动态变化非经典感受野复合调制的尺度因子，计算出输入的夜视图像的复合调制结果；在每步迭代过程中，针对输入图像中各像素点，首先采用多维特征对比度MFC加权抑制模型计算各像素点的抑制结果，然后基于编组兴奋投票GEV易化模型计算各像素点的易化结果，最终获得非经典感受野复合调制输出。

具体实现步骤如下：

步骤1，输入夜视图像，夜视图像为微光图像或红外图像；

步骤2，设置迭代过程的非经典感受野复合调制模型参数：响应方位数                                               ，长宽比，空间频率带宽，非经典感受野nCRF和经典感受野CRF区域半径比，特征空间欧式距离权重，MFC权值随多特征对比度的衰减度，像素点偏好方位误差，曲率和弧长调节系数，复合调制系数，，，迭代次数上限，高斯标准差迭代初值，高斯标准差的迭代步长；根据【1】及上述参数计算CRF和nCRF区域圆形半径和；

                                                             【1】

步骤3，逐行扫描各个像素点，计算各像素点的个方向上的Gabor能量，；由【2】计算nCRF区域内的距离加权函数；

                       【2】

步骤4，针对微光图像高噪声、红外图像模糊的特点，结合空间频率、对比度、同质共生特性和相关共生特性构建特征向量：

计算各像素点CRF特征向量和nCRF特征向量，其中，、、和为CRF区域内归一化的空间频率、对比度、同质共生特性和相关共生特性；、、和为nCRF区域内归一化的空间频率、对比度、同质共生特性和相关共生特性；采用多维特征对比度MFC加权抑制模型即【3】计算特征空间差异对抑制加权，该加权的抑制对图像各像素点方向的作用结果为

                           【3】

步骤5，建立编组兴奋投票GEV易化模型【4】，根据【4】计算图像各像素点方向的GEV易化输出，像素点设为A

                             【4】

其中，，像素点A的nCRF区域内任意像素点的实际偏好方位应满足，并且满足共圆约束，像素点A的nCRF区域内任意像素点设为B；分别为像素A与B的y方向和x方向距离，为像素A与B的共圆夹角；

步骤6，由非经典感受野复合调制模型【5】计算复合调制输出

       【5】

步骤7，若迭代次数没有超出步骤2中的迭代次数上限，将本次调制输出作为新的输入图像，更新尺度因子，转至步骤2继续执行；否则转步骤8；

步骤8，对输出进行非极大值抑制，设置灰度阈值和轮廓长度阈值，对非极大值抑制结果进行二值化，得到最终的轮廓输出。

本发明与现有技术相比，其显著优点：（1）本发明针对夜视图像特征并结合生物解剖理论修正了视觉感受野模型，提出一种非经典感受野复合调制模型，该模型能够从复杂场景下微光、红外图像中有效抑制噪声和纹理，提取出光滑连续的显著轮廓。（2）本发明针对微光、红外图像多维特征构建特征向量，提出一种多维特征对比度加权抑制模型，有效的削弱细节的同时，更精确的降低轮廓元素间的相互抑制减少轮廓间断的可能性。（3）本发明在共圆约束基础上考虑曲率和距离投票，为各像元提出编组显著度的概念，提出一种编组兴奋投票易化模型，实现了更加精确平滑的曲线连接，更加符合Gestalt规则。并且根据投票特征修正了共圆约束几何关系，减少计算处理量。（4）本发明提出一种具有视觉启发的多尺度迭代注意方法，在迭代过程中动态变化尺度因子，实现从细节到主体轮廓的层次注意方法。 

附图说明

图1是不同方法的可见光自然图像的轮廓提取比较：列向从左到右分别是原图、canny、各向异性抑制、各向同性抑制、蝶形抑制输出。

图2是基于蝶形抑制nCRF模型的夜视图像轮廓提取：列向从左到右分别是微光图像、远景红外和近景红外图像。

图3是本发明提出的模型算法流程图。

图4是环境抑制的距离加权函数。

图5是多维特征对比度分析：列向从左到右分别是原图、放大的像素红框区域图及其各像素的MFC权值网格图。

图6是基于MFC抑制模型的夜视图像环境抑制效果：行向从上到下分别是方向加权、MFC加权抑制结果。

图7是共圆约束几何关系。

图8是视空间离散兴奋连接投票：二维小线段的投票场合投票强度分布。

图9是基于GEV易化模型的模拟数据结构易化效果。列向从左到右分别是模拟图像、易化输出和二值输出。

图10是基于GEV易化模型的夜视图像结构易化效果。

图11是模拟数据的迭代注意结果。

图12是夜视图像的迭代注意结果。

具体实施方式

本发明提出了一种非经典感受野复合调制模型，实现复杂自然场景的夜视图像显著轮廓提取。针对夜视图像特征提出了一系列仿生视觉模型，包括一种多维特征对比度加权抑制模型；编组兴奋投票易化模型；多尺度迭代注意方法。算法结构如图3所示。

一、环境抑制：

二维Gabor函数能有效地描述视皮层简单细胞的感受野剖面，通过奇偶对简单感受野滤波器的反应模（Gabor能量），能很好地模拟典型复杂细胞的基本特性。这些复杂细胞可以看成局部方位能量算子，用复杂细胞活动的最大值可以对图形边与线进行准确定位，因此本发明通过Gabor能量来模拟复杂细胞的响应。二维Gabor滤波器表示如下。

.                                       【1】

其中，,，是CRF的偏好方位；是相差；由和分别表示奇偶Gabor滤波器；长宽比决定高斯椭圆的离心率；是波长；高斯标准差是决定了CRF区域面积；表示空间频率带宽。

简单细胞的响应为Gabor函数与输入图像的卷积。由正交简单细胞响应定义CRF刺激的神经元响应。

.                      【2】

                         .                    【3】

其中Gabor能量被分为个响应方位：。我们取经验值，，，选择作为自变量。CRF的响应输出为各方位Gabor能量极值。

.                  【4】

生物研究表明V1区细胞的nCRF主要是抑制性的，这种环境抑制作用旨在分离同质区域，突显轮廓。在nCRF模型中采用距离加权函数描述环境抑制的空间结构。定义为半波校正和L1规范的同轴高斯差函数。

.          【5】

.                  【6】

抑制形式定义为环形背景中各像元的加权局部方向能量。

.                      【7】

如图4所示，确保只作用于环境区域。和分别决定了CRF面积与nCRF面积。生理实验表明nCRF直径能够达到CRF直径的2-5倍，因此取。通过，可以得到CRF半径，以及nCRF半径。

.                           【8】

多维特征对比度（MFC）加权抑制模型

上述各向同性的环形抑制结构会导致轮廓元素之间相互抑制，容易破坏轮廓完整性。蝶形抑制模型就是采用一种相关方位对比度加权，在抑制纹理细节的同时减少轮廓成份间的相互作用。其对可见光图像轮廓提取性能明显优于各向同性、各向异性模型，但是应用于夜视图像效果不佳。相比于可见光图像，微光图像噪声严重、信噪比低无明显方向性，但是轮廓局部空间频率仍比均匀噪声背景突出；红外图像反应目标和环境的热辐射，轮廓模糊，方向性弱，但是轮廓局部对比度较背景环境显著。因此只具有方向差加权的蝶形抑制无法很好提取夜视图像轮廓。

生物实验表明当CRF和nCRF内的图形特征一致时抑制作用最强，而两者存在差异时抑制作用减弱或消失，这种相关特征包括方位、空间频率、对比度和灰度共生统计特性。因此本申请提出一种多维特征对比度加权抑制模型，即在抑制过程中引入特征向量，使得NCRF与CRF组成一个特征选择单元，计算其在特征空间的差异，通过CRF和nCRF的相互作用来检测夜视图像各种特征差异。

MFC抑制模型基于估计CRF与NCRF中多维特征的差异性来判别各像元点与环境的差异程度。定义、表示CRF和nCRF特征向量，、、、、、、和分别表示CRF区域与nCRF区域内的归一化的空间频率、对比度、同质共生特性和相关共生特性。MFC权值取决于特征空间的方位与能力差异，即特征向量夹角和欧式距离。

.                     【9】

, .                     【10】

这里欧式距离的权重，高斯标准差决定MFC权值随多特征对比度的衰减程度。

考虑到抑制强度随方位对比度以及距离CRF中心长度衰减，将【7】修订如下：

.           【11】

二、编组结构易化：

与抑制作用不同，易化调制旨在解决两方面问题：微光图像中连贯结构受随机杂乱环境干扰；红外图像中由成像特性或纹理抑制造成的轮廓间断，以实现平滑连续的轮廓提取。

心理学Gestalt原理，即人类视觉系统趋于根据某种准则将所提取到的图像特征按照某种规律编组为更高层的结构，这些规律总体上可归纳为：曲率恒定性，曲线延伸部分的曲率和原曲率一样；小曲率延伸，倾向于用小曲率曲线连接曲线片段；邻近性，与距离成反比的原则。Geisler等人通过对自然图像的边缘共生统计表明：共圆约束(即两个成分与同一个圆相切)为自然场景中轮廓聚集确定了一个最大可能性的局部聚集函数。属于同一物理轮廓上的边缘成分在很大程度上满足共圆约束，与曲率恒定性一致，共圆约束要求两个元素正切于同一圆。如图7所示，如果A的偏好方位为()，那么的B的方位()根据共圆几何关系应满足：

.                         【12】

然而B的实际响应方位很难严格满足【12】，因此在实际应用中给出一个适应范围，即约定该范围内的满足共圆约束，是误差量取值。

本申请基于这种共圆约束并结合视觉感知对低曲率邻近的偏好等特性提出了一种具有编组功能的轮廓整合方法：编组兴奋投票易化模型。通过CRF与nCRF相互作用，增强具有一致排列的局部元素的连接响应，实现间隙填充并进一步降噪。

编组兴奋投票（GEV）易化模型

根据上述轮廓编组原理，考虑一种曲线概率连接方法，将nCRF中所有元素对中心元素进行兴奋连接投票，通过曲线倾向性叠加，决策出CRF中心元素的编组显著度。根据Gestalt原理，兴奋连接投票的大小应该为与局部邻近性、低曲率性和共圆性有关的函数，随着投票点距离受票点的远近和曲率的大小变化而衰减，因此兴奋连接投票定义如下。兴奋连接投票值越大，A、B的连接概率越大。

.                  【13】

.                         【14】

投票矢量，投票矢量值，投票方向()，A、B的空间距离，弧长，曲率，是调节系数，调节距离与曲率对投票大小的影响比例；尺度因子影响投票域的大小。

为实现尽可能平滑的曲线延伸或连接，新的延伸和连接方向应保持原始曲线的切线方向。因此定义曲线倾向性：B对A的连接概率投票矢量在A的偏好方向的倾向性。

.                【15】

这里决定了B满足共圆约束的准确率。是A偏好方向与投票方向的夹角。

.                      【16】

对于二维空间中的点A来说，只要点A处在nCRF的投票场尺度范围内，该投票单元就对点A进行曲线兴奋连接投票。每个投票都可以看成是一个矢量，矢量的倾向和模值给出了这次投票的方向和强度信息。如图8的兴奋连接，投票值大小随着光滑路径的长度而衰减，倾向于保持直线方向的连续性。这里约定当时，投票者就不会对接受者投票，因此【12】修订如下。

.        【17】

由【18】计算而得。

.         【18】

对多个投票矢量在A点的投票强度和曲线倾向性进行叠加得到A点的编组显著度，投票点B应在nCRF的投票场内，并且满足【17】的约束条件。这叠加的过程实际上属于投票累积过程。此外，要求各投票点在其响应方向处有较大的Gabor能量，以排除均匀区域点的投票干扰。因此我们利用编组结构和图像局部方向能量定义编组显著度。

.              【19】

最终的易化输出取决于各中心像元的轮廓编组显著度和其Gabor能量：

.                       【20】

三、多尺度迭代注意方法

生理学研究表明，视皮层的神经元是以一种动态和灵活的方式实现某种特殊视觉任务。并且长时间刺激经典感受野外的区域，可以使经典感受野的面积增加很多倍，最大可达到100倍。受这种生物特性启发，本申请提出一种迭代注意方法，利用迭代计算实现非经典感受野的动态调制。

感受野的面积取决于变量，而从上面的分析可以看出尺度是整个过程唯一的自由变量。在抑制作用中，大尺度下的 Gabor 能量体现了主体的轮廓，而小尺度下Gabor 能量则表现了更多的细节，其中包括了纹理和噪声；同时不同尺度下方位、对比度、空间频率、同质共生特性和相关共生特性差异。易化作用中，大尺度可以使相互作用的范围变大，对光滑性提出了更高的要求，从而有利于去噪，小尺度使得投票过程更局部化，有利于保持一些细节的信息。

定义迭代方程，用代替，随迭代次数t增加。初值为，在每步迭代输出是各方向调制结果的极值。

.             【21】

.                       【22】

下面结合附图对本发明作进一步详细描述。

参照流程图3，本发明的具体实现步骤如下：

步骤1，输入夜视图像，包括微光或红外图像；

步骤2，设置迭代过程的非经典感受野复合调制模型参数：响应方位数，长宽比，空间频率带宽，非经典感受野(nCRF)和经典感受野(CRF)区域半径比，特征空间欧式距离权重，MFC权值随多特征对比度的衰减度，像素点偏好方位误差，曲率和弧长调节系数，迭代次数上限，复合调制系数，，，高斯标准差迭代初值，高斯标准差的迭代步长。根据【23】及参数计算CRF和nCRF区域圆形半径和；

                                                            【23】

步骤3，逐行扫描各个像素点，计算各像素点的个方向上的Gabor能量，；由【24】计算nCRF区域内的距离加权函数；

                          【24】

步骤4，针对微光图像高噪声、红外图像模糊的特点，结合空间频率、对比度、同质共生特性和相关共生特性构建特征向量。计算各像素点CRF特征向量和nCRF特征向量，其中，、、和为CRF区域内归一化的空间频率、对比度、同质共生特性和相关共生特性；、、和为nCRF区域内归一化的空间频率、对比度、同质共生特性和相关共生特性。本发明提出一种多维特征对比度(MFC)加权抑制模型，计算特征空间差异对抑制加权。方向的MFC加权抑制输出由【25】计算。

                          【25】

步骤5，本发明在共圆约束基础上考虑曲率和距离投票，并结合投票者的投票值、该投票在受票者偏好方向（原曲线方向）的倾向性、以及两者的方向能量为各像元提出编组显著度的概念，提出一种编组兴奋投票(GEV)易化模型。图像各像素点(设为A)方向的GEV易化输出根据【26】计算。

                            【26】

其中，，像素点A的nCRF区域内任意像素点(设为B)的实际偏好方位应满足。分别为像素A与B的y方向和x方向距离，为像素A与B的共圆夹角。并且满足共圆约束：

   【27】

                                            【28】

步骤6，本发明在nCRF抑制模型基础上，提出一种nCRF复合调制模型，结合纹理抑制和轮廓易化。复合调制输出由【5】计算。

      【29】

步骤7，本申请提出一种具有视觉启发的多尺度迭代注意方法，在迭代过程中动态变化尺度因子。即判断是否迭代结束，若超出迭代次数转步骤8；否则将本次调制输出作为新的输入图像，更新迭代因子，转步骤2。

步骤8，对输出进行非极大值抑制，设置灰度阈值和轮廓长度阈值，对非极大值抑制结果进行二值化，得到最终的轮廓输出。

本发明的效果可以通过以下仿真结果进一步说明：

1、  由图5可见，在强噪声(b1)和低对比度(b2)情况下轮廓点的MFC权值仍较突出(c1,c2)。本实验中取，，微光图像，红外图像。

2、  由图6可见，MFC加权抑制模型对夜视图像具有更高的鲁棒性，在有效去除纹理边缘的同时，能够更大程度抑制由噪声引起的虚假边缘以及降低轮廓成份的相互抑制。本实验中取，，微光图像，红外图像。

通过中心和环境相互作用，具有相似特征的元素相互抑制在同质区产生弱响应；而轮廓部分由于特征向量差异导致抑制权值相对较低，从而获得突出的轮廓响应。与方向抑制模型相比，MFC加权抑制由于考虑了偏好方向、空间频率、对比度和灰度共生统计特性多维特征，能够更有效抑制噪声和纹理，突显轮廓的同时产生较少的虚假边界，因此其在夜视图像中的应用具有更高的鲁棒性。而且多特征的引入能够更精确的降低轮廓元素的相互抑制，提高轮廓响应幅值。

3、  如图9所示，相比于背景曲线上点具有较大Gabor能量，因此曲线内和端点的主要有效投票点仍在曲线上；这些投票点的投票以曲线切线方向为主，因此有较大的倾向性，所以投票累积值和编组显著度高。而对于曲线连接点，其在曲线切线的相似方位上拥有更多有效投票值和倾向性，相似方向、一致排列曲线之间点获得的投票累积值明显高于随机取向曲线之间的连接点，因此编组显著度也较突出。本实验中取，。 

4、  如图10所示，对于分割区域内部点，因为各向同性它们及它们投票点的Gabor能量都较低，也就导致编组显著度低、易化响应弱。而区域边界点本身Gabor能量高，其有效投票点来自同一轮廓且Gabor能量高投票方位一致，故编组显著度高、易化响应强。本实验中取，微光图像与红外图像。

由图9和图10可见，通过易化作用相似空间编组的局部边缘满足Gestalt规则而整合为整体轮廓，而由噪声导致的随机分布边界，因为不满足共圆约束且由于各向同性Gabor能量低而被排除，这就有利于保持一致排列的边缘，进一步去除噪声干扰。并且低对比度的边缘提取难度大，易于产生轮廓间断，而编组兴奋连接投票致力于增强低对比度导致的弱边缘响应，提高轮廓完整性。因此编组结构易化调制在降噪和视空间整合中起到了重要作用。

图11和图12显示了模拟数据和夜视图像的迭代注意过程。其中采用非极大值抑制并根据调制响应强度和边缘长度二值化给出最终轮廓提取结果，参数取值分别为和。结果表明多尺度迭代的复合调制作用具有较高的鲁棒性。在纹理细节丰富的自然场景下，本发明提出的方法无论在严重噪声干扰的微光图像中显著目标轮廓提取方面，还是红外图像间断轮廓的平滑连接方面均表现出较高的性能。