基于复眼仿生视觉的水下构筑物表面裂缝检测装置及方法

摘要

本发明公开了一种基于复眼仿生视觉的水下构筑物表面裂缝检测装置及方法，能有效克服单孔径成像系统在成像过程中视场与分辨率的矛盾，对同一目标多幅图像的超分辨率重建过程能利用每张图像中的互补信息，有效应对水下复杂光线环境和噪声干扰，得到细节丰富清晰的高分辨率图像，利用基于灰度图的水下构筑物表面裂缝自适应检测方法，可以更有效的提取图像中前景信息，缩小裂缝检测范围，大幅降低水下噪声对裂缝检测的影响，提高裂缝检测精度，具有良好的应用前景。

说明书

技术领域

本发明涉及一种基于复眼仿生视觉的水下构筑物表面裂缝检测装置及方法，属于仿生和视频分析技术领域。

背景技术

水下构筑物，包括水库大坝、桥墩等，作为经济发展过程中的重要产物，是一个国家的基本建设设施，是关系到国计民生的重要工程，在农业、交通等方面发挥着重要作用。这些水下构筑物在发挥巨大效益的同时，也存在着发生事故的风险。究其原因，裂缝是造成水下构筑物重大事故的罪魁祸首。水下构筑物构表面的裂缝是使用过程中内部损伤的积累达到一定程度后的外部集中表现，如果能够及时了解裂缝的特征并加以跟踪监测，将能够有效保护公共财产和人民生命财产安全。

目前，水下图像是对水下构筑物进行无损探伤的重要途径。但是，由于水下光线环境的复杂性，光线散射、吸收更加严重，噪声也更加难以去除，所以对水下计算机的视觉系统提出了严峻的挑战。因此，传统的大气成像系统很难直接应用于水下环境。随着仿生技术，尤其是视觉仿生技术的发展，仿昆虫复眼的多孔径视觉成像系统已经被应用到雷达、导弹等领域，能有效解决视场与分辨率的矛盾。

因此，如何将基于复眼仿生视觉机制的多孔径成像系统应用到水下环境探测中去，以便应对水下复杂光环境，减少水下噪声干扰，提 升图像分辨率，从而提高水下构筑物裂缝检测精度，是当前急需解决的问题。

发明内容

本发明目的是为了现有的大气光学成像系统在水下环境探测中容易遭遇的光线散射、衰减严重，噪声难去除等困难，而且造成的图像分辨率下降的问题。

为了达到上述目的，本发明所采用的技术方案是：

一种基于复眼仿生视觉的水下构筑物表面裂缝检测装置，其特征在于：包括封装在防水仓内部的复眼阵列、LED辅助光源和嵌入式处理机，

所述复眼阵列，用于对水下构筑物进行视频图像拍摄，包括七个CCD摄像机，其中六个CCD摄像机呈正六角形排列，第七个CCD摄像机位于等边六角形的中心，所述七个CCD摄像机均位置固定，对同一方向且同时进行视频图像拍摄，

所述LED辅助光源，用于为复眼阵列提供光照补偿，包括若干颗LED灯珠，各LED灯珠围成圆环形，并固定在第七个CCD摄像机的周圈，

所述嵌入式处理机，用于对复眼阵列拍摄的水下构筑物图像进行处理，

所述复眼阵列内的各CCD摄像机的输出端均与嵌入式处理机相连接，所述LED辅助光源与嵌入式处理机相连接，通过嵌入式处理机控制其内的各颗LED灯珠的通断。

前述的基于复眼仿生视觉的水下构筑物表面裂缝检测装置，其特征在于：所述防水仓的一面为平面玻璃面，其余面为钢板面，所述复眼阵列通过平面玻璃面获取水下构筑物的视频图像，所述防水仓的防水水深为100米。

前述的基于复眼仿生视觉的水下构筑物表面裂缝检测装置，其特征在于：所述复眼阵列内六个CCD摄像机呈正六角形排列，且按照昆虫复眼的正六边形排列，相邻的两个CCD摄像机光轴之间的间距为10厘米。

前述的基于复眼仿生视觉的水下构筑物表面裂缝检测装置，其特征在于：所述LED灯珠的数量为16颗。

前述的基于复眼仿生视觉的水下构筑物表面裂缝检测装置，其特征在于：所述嵌入式处理机包括ARM子系统、DSP子系统、电源模块、视频图像接口模块、DDR存储模块、Flash存储模块、数据输出模块、调试接口模块，所述电源模块为整个水下构筑物表面裂缝检测装置供电，所述视频图像接口模块用于提供复眼阵列与嵌入式处理机之间的数据接口，所述DDR模块用于存储复眼阵列采集的视频图像信息，并为ARM子系统、DSP子系统提供数据源，所述Flash存储模块用于存储程序代码，所述数据输出模块用于从嵌入式处理机中导出处理后的数据，所述调试接口模块用于程序代码调试时使用，所述ARM子系统、DSP子系统构成嵌入式处理机的主处理系统，所述主处理系统，用于对复眼阵列采集的视频图像信息进行超分辨率重构、水下构筑物裂缝检测分析以及LED辅助光源内LED灯珠的开启或关 闭。

前述的基于复眼仿生视觉的水下构筑物表面裂缝检测装置，其特征在于：所述防水仓采用拖缆沉入水下或者搭载于水下机器人进入水下。

基于上述的基于复眼仿生视觉的水下构筑物表面裂缝检测装置的水下构筑物表面裂缝检测方法，其特征在于：包括以下步骤，

步骤(A)，初始化水下构筑物表面裂缝检测装置

将复眼阵列、嵌入式处理机进行初始化设置，并整个水下构筑物表面裂缝检测装置密封在防水仓内，通过拖缆沉入水下或者搭载于水下机器人进入水下，使水下构筑物表面裂缝检测装置开始工作；

步骤(B)，获得复眼阵列图像序列及存储

通过复眼阵列获得复眼阵列图像序列，进行传输，并存储到嵌入式处理机内的DDR存储模块中；

步骤(C)，复眼阵列图像的预处理

从DDR存储模块中获取复眼阵列图像，通过嵌入式处理机对复眼阵列图像进行超分辨率重构，得到水下构筑物的高分辨率图像；

步骤(D)，水下构筑物表面裂缝检测分析及数据存储

根据步骤(C)得到水下构筑物的高分辨率图像，利用灰度形态学梯度和自适应灰度阈值的方法对疑似裂缝区域进行分割提取，并将标注过疑似裂缝区域的高分辨率图像存储到DDR存储模块中；

步骤(F)，水下构筑物表面裂缝检测数据的输出

水下构筑物表面裂缝检测装置完成水下作业后，用户通过数据输 出模块读取原始的复眼阵列图像和标注疑似裂缝区域的高分辨率图像，进行水下构筑物表面裂缝检测数据的输出，完成水下构筑物表面裂缝检测。

前述的基于复眼仿生视觉的水下构筑物表面裂缝检测装置的水下构筑物表面裂缝检测方法，其特征在于：步骤(C)通过嵌入式处理机对复眼阵列图像进行超分辨率重构，包括以下步骤，

(C1)从DDR存储模块读取复眼阵列图像序列；

(C2)对复眼阵列图像序列进行配准，使复眼阵列中同一时刻各CCD摄像机获取的图像已经对齐，设参考图像为f(x′,y′)，待配准的复眼阵列图像为g(x,y)，x，y)和(x’，y’)为含有相同信息的像素点分别在待配准的复眼阵列图像为g(x,y)和参考图像f(x′,y′)中的坐标，第七个CCD摄像机所产生的图像为序列同一时刻其他六个CCD摄像机所产生图像的参考图像，待配准的复眼阵列图像是图像序列中除参考图像外的其余所有图像；

则两者关系式，如公式(1)所示，

g(x,y)＝f(x+a₁x+a₂y+a₃,y+a₁y-a₂x+a₄)(1)

其中，x′＝x+a₁x+a₂y+a₃,y′＝y+a₁y-a₂x+a₄a₁，a₂，a₃，a₄是四个待确定的参数，a₃为水平位移量，a₄为垂直位移量，旋转角度为对参考图像f(x′,y′)做泰勒展开并保留第一项，求得误差函数E，对误差函数E关于a₁，a₂，a₃，a₄分别求偏导，并令其偏导为零，得到a₁，a₂，a₃，a₄对应的值，即可得到复眼阵列图像序列的水平位移量、垂直位移量和旋转角度的估计值；

(C3)对配准后的复眼阵列图像序列进行图像重构，根据(C2)得到的复眼阵列图像对应的位移分量和旋转角度的的估计值，做为复眼阵列图像待重构图像的输入量；

(C4)图像重构时采用结构自适应归一化卷积法，对多帧低分辨率图像进行重构，从而获得高分辨率图像。

前述的基于复眼仿生视觉的水下构筑物表面裂缝检测装置的水下构筑物表面裂缝检测方法，其特征在于：(C4)图像重构时采用结构自适应归一化卷积法，对多帧低分辨率图像进行重构，包括以下步骤，

(1)根据噪声鲁棒性分析多帧低分辨率图像，估计噪声像素；

(2)得到噪声像素后，将改变多帧低分辨率图像的尺寸以及用于归一化卷积的高斯滤波器方向，得到细节锐利的高分辨率重构图像。

前述的基于复眼仿生视觉的水下构筑物表面裂缝检测装置的水下构筑物表面裂缝检测方法，其特征在于：步骤(D)利用灰度形态学梯度和自适应灰度阈值的方法对疑似裂缝区域进行分割提取，并将标注过疑似裂缝区域的高分辨率图像存储到DDR存储模块中，包括以下步骤，

(D1)对水下构筑物的高分辨率图像进行双阈值分割，得到相应的目标区域M_high和M_low，从高分辨率图像中分割出水下构筑物主体，去除背景区域，进一步减少水下生物以及垃圾噪声对裂缝识别的影响；

(D2)对双阈值分割后的水下构筑物的高分辨率图像进行直方图反投影，计算两个目标区域M_high和M_low的灰度值重合比例，当比例高 于阈值ξ时，则该灰度对应的像素点为图像的前景区域，即为水下构筑物主体F，计算公式如公式(2)所示，

$F=\left(\begin{array}{cc}r& if(\frac{H_{high}\left(r\right)}{H_{low}\left(r\right)}>\xi )\\ 0& otherwise\end{array}\right)---\left(2\right)$

其中，H_high(r)和H_low(r)分别为两个目标区域M_high和M_low的灰度直方图，r为灰度值，阈值ξ是在实验过程中对灰度值重合比例进行观察所得到的经验值，取0.8；

(D3)结合分割出水下构筑物主体F，根据裂缝的表征特性自动识别高分辨率图像的疑似裂缝区域，根据高分辨率图像中的低频条状连通域来检测疑似裂缝区域，检测出疑似裂缝区域后，用红色最小外接椭圆标记；

(D4)将标记疑似裂缝区域的高分辨率图像输出，并进行存储到DDR存储模块。

本发明的有益效果是：本发明的基于复眼仿生视觉的水下构筑物表面裂缝检测装置及方法，能有效克服单孔径成像系统在成像过程中视场与分辨率的矛盾，对同一目标多幅图像的超分辨率重建过程能利用每张图像中的互补信息，有效应对水下复杂光线环境和噪声干扰，得到细节丰富清晰的高分辨率图像，利用基于灰度图的水下构筑物表面裂缝自适应检测方法，可以更有效的提取图像中前景信息，缩小裂缝检测范围，大幅降低水下噪声对裂缝检测的影响，提高裂缝检测精度，具有良好的应用前景。

附图说明

图1是本发明的基于复眼仿生视觉的水下构筑物表面裂缝检测装 置的系统框图。

图2是本发明的复眼阵列及辅助光源的排列方式示意图。

图3是本发明的嵌入式处理机的系统框图。

图4是本发明的基于复眼仿生视觉的水下构筑物表面裂缝检测方法的流程图。

具体实施方式

下面将结合说明书附图，对本发明做进一步说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，本发明的基于复眼仿生视觉的水下构筑物表面裂缝检测装置，包括封装在防水仓内部的复眼阵列、LED辅助光源和嵌入式处理机，

所述复眼阵列，用于对水下构筑物进行视频图像拍摄，包括七个CCD摄像机，其中六个CCD摄像机呈正六角形排列，第七个CCD摄像机位于等边六角形的中心，所述七个CCD摄像机均位置固定，对同一方向且同时进行视频图像拍摄，

所述LED辅助光源，用于为复眼阵列提供光照补偿，包括若干颗LED灯珠，各LED灯珠围成圆环形，并固定在第七个CCD摄像机的周圈，

所述嵌入式处理机，用于对复眼阵列拍摄的水下构筑物图像进行处理，

所述复眼阵列内的各CCD摄像机的输出端均与嵌入式处理机相 连接，所述LED辅助光源与嵌入式处理机相连接，通过嵌入式处理机控制其内的各颗LED灯珠的通断。

所述防水仓的一面为平面玻璃面，其余面为钢板面，所述复眼阵列通过平面玻璃面获取水下构筑物的视频图像，所述防水仓的防水水深为100米，所述防水仓采用拖缆沉入水下或者搭载于水下机器人进入水下，可根据水体的环境进行选择，若流动性比较大的水体(水体环境复杂恶劣)，可选择搭载于水下机器人进入水下。

如图2所示，所述复眼阵列内六个CCD摄像机呈正六角形排列，且按照昆虫复眼的正六边形排列，相邻的两个CCD摄像机光轴之间的间距d为10厘米，所述LED灯珠的数量为16颗，可使复眼阵列在光线不足时仍能获得亮度合适的图像。

如图3所示，所述嵌入式处理机包括ARM子系统、DSP子系统、电源模块、视频图像接口模块、DDR存储模块、Flash存储模块、数据输出模块、调试接口模块，所述电源模块为整个水下构筑物表面裂缝检测装置供电，所述视频图像接口模块用于提供复眼阵列与嵌入式处理机之间的数据接口，所述DDR模块用于存储复眼阵列采集的视频图像信息，并为ARM子系统、DSP子系统提供数据源，所述Flash存储模块用于存储程序代码，所述数据输出模块用于从嵌入式处理机中导出处理后的数据，所述调试接口模块用于程序代码调试时使用，所述ARM子系统、DSP子系统构成嵌入式处理机的主处理系统，所述主处理系统，用于对复眼阵列采集的视频图像信息进行超分辨率重构、水下构筑物裂缝检测分析以及LED辅助光源内LED灯珠的开启 或关闭。

如图4所示，本发明的基于复眼仿生视觉的水下构筑物表面裂缝检测装置的水下构筑物表面裂缝检测方法，包括以下步骤，

步骤(A)，初始化水下构筑物表面裂缝检测装置(硬件初始化)

将复眼阵列、嵌入式处理机进行初始化设置(完成各个摄像机内部参数的设置、检查嵌入式处理机各个模块工作是否正常，为复眼成像做准备)，并整个水下构筑物表面裂缝检测装置密封在防水仓内，通过拖缆沉入水下或者搭载于水下机器人进入水下，使水下构筑物表面裂缝检测装置开始工作；

步骤(B)，获得复眼阵列图像序列及存储

通过复眼阵列获得复眼阵列图像序列，进行传输，并存储到嵌入式处理机内的DDR存储模块中；

步骤(C)，复眼阵列图像的预处理

从DDR存储模块中获取复眼阵列图像，通过嵌入式处理机对复眼阵列图像进行超分辨率重构，得到水下构筑物的高分辨率图像，包括以下步骤，

(C1)从DDR存储模块读取复眼阵列图像序列；

(C2)对复眼阵列图像序列进行配准，使复眼阵列中同一时刻各CCD摄像机获取的图像已经对齐，设参考图像为f(x′,y′)，待配准的复眼阵列图像为g(x,y)，(x，y)和(x’，y’)为含有相同信息的像素点分别在待配准的复眼阵列图像为g(x,y)和参考图像f(x′,y′)中的坐标，第七个CCD摄像机所产生的图像为序列同一时刻其他六个CCD摄像 机所产生图像的参考图像，待配准的复眼阵列图像是图像序列中除参考图像外的其余所有图像；

则两者关系式，如公式(1)所示，

g(x,y)＝f(x+a₁x+a₂y+a₃,y+a₁y-a₂x+a₄)(1)

其中，x′＝x+a₁x+a₂y+a₃,y′＝y+a₁y-a₂x+a₄，a₁，a₂，a₃，a₄是四个待确定的参数，a₃为水平位移量，a₄为垂直位移量，旋转角度为对参考图像f(x′,y′)做泰勒展开并保留第一项，求得误差函数E，对误差函数E关于a₁，a₂，a₃，a₄分别求偏导，并令其偏导为零，得到a₁，a₂，a₃，a₄对应的值，即可得到复眼阵列图像序列的水平位移量、垂直位移量和旋转角度的估计值；

这里为提高配准精度，还可以将参考图像f(x′,y′)根据已经求得的位移和旋转参数进行变换，得到新的参考图像f′，替代上述步骤中的参考图像f(x′,y′)，进行迭代，并更新待配准图像相对于原始参考图像f的位移和旋转参数，迭代过程的中止是由预设的阈值和最大迭代次数控制的，如果估计的运动参数的绝对值之和大于预设的阈值或迭代次数达到最大迭代次数，则中止迭代过程，本发明中，阈值被设定为为10^-1，最大迭代次数为10²。

在传统的的超分辨率重构算法中，“参考图像”为图像序列中的任意一幅，为计算方便，通常选择第一幅图像，在本发明中，因为有多个摄像机同时成像，所以选择第七个CCD摄像机所产生的图像序为同一时刻其他六个CCD摄像机所产生图像的参考图像，“待配准的复眼阵列图像”是图像序列中除参考图像外的其余所有图像，在本发 明中，是指同一时刻，其他六个CCD摄像机所产生的图像，图像配准过程是要得到待配准图像相对于参考图像的位移量(包括水平位移量、垂直位移量)和旋转量，所以在配准完成后，复眼图像序列产生的图像并没有改变，得到的是各幅待配准图像相对于参考图像的位移和旋转量，这两个参数将在超分辨率重构步骤中，也就是(C3)中用到，用于将复眼图像序列向参考图像对齐，再进行重构；

(C3)对配准后的复眼阵列图像序列进行图像重构，根据(C2)得到的复眼阵列图像对应的位移分量和旋转角度的的估计值，做为复眼阵列图像待重构图像的输入量；

(C4)图像重构时采用结构自适应归一化卷积法，对多帧低分辨率图像进行重构，从而获得高分辨率图像，其包括以下步骤，

(1)根据噪声鲁棒性分析多帧低分辨率图像，估计噪声像素，能够大大减少对噪声的影响；

(2)得到噪声像素后，将改变多帧低分辨率图像的尺寸以及用于归一化卷积的高斯滤波器方向，得到细节锐利的高分辨率重构图像；

步骤(D)，水下构筑物表面裂缝检测分析及数据存储

根据步骤(C)得到水下构筑物的高分辨率图像，利用灰度形态学梯度和自适应灰度阈值的方法对疑似裂缝区域进行分割提取，并将标注过疑似裂缝区域的高分辨率图像存储到DDR存储模块中，包括以下步骤，

(D1)对水下构筑物的高分辨率图像进行双阈值分割，得到相应的目标区域M_high和M_low，从高分辨率图像中分割出水下构筑物主体， 去除背景区域，进一步减少水下生物以及垃圾噪声对裂缝识别的影响；

(D2)对双阈值分割后的水下构筑物的高分辨率图像进行直方图反投影，计算两个目标区域M_high和M_low的灰度值重合比例，当比例高于阈值ξ时，则该灰度对应的像素点为图像的前景区域，即为水下构筑物主体F，计算公式如公式(2)所示，

$F=\left(\begin{array}{cc}r& if(\frac{H_{high}\left(r\right)}{H_{low}\left(r\right)}>\xi )\\ 0& otherwise\end{array}\right)---\left(2\right)$

其中，H_high(r)和H_low(r)分别为两个目标区域M_high和M_low的灰度直方图，r为灰度值，阈值ξ是在实验过程中对灰度值重合比例进行观察所得到的经验值，取0.8；

(D3)结合分割出水下构筑物主体F，根据裂缝的表征特性自动识别高分辨率图像的疑似裂缝区域，根据高分辨率图像中的低频条状连通域来检测疑似裂缝区域，检测出疑似裂缝区域后，用红色最小外接椭圆标记；

(D4)将标记疑似裂缝区域的高分辨率图像输出，并进行存储到DDR存储模块；

步骤(F)，水下构筑物表面裂缝检测数据的输出

水下构筑物表面裂缝检测装置完成水下作业后，用户通过数据输出模块读取原始的复眼阵列图像和标注疑似裂缝区域的高分辨率图像，进行水下构筑物表面裂缝检测数据的输出，完成水下构筑物表面裂缝检测。

综上所述，本发明的基于复眼仿生视觉的水下构筑物表面裂缝检测装置及方法，能有效克服单孔径成像系统在成像过程中视场与分辨 率的矛盾，对同一目标多幅图像的超分辨率重建过程能利用每张图像中的互补信息，有效应对水下复杂光线环境和噪声干扰，得到细节丰富清晰的高分辨率图像，利用基于灰度图的水下构筑物表面裂缝自适应检测方法，可以更有效的提取图像中前景信息，缩小裂缝检测范围，大幅降低水下噪声对裂缝检测的影响，提高裂缝检测精度，具有良好的应用前景。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。