一种道路路基塌陷和边坡坍塌的自动检测方法及系统

摘要

本发明提出了一种道路路基塌陷和边坡坍塌的自动检测方法及系统，该方法包括如下步骤：读取道路图像；对道路图像进行分割，分割出路面图像、边坡图像以及路基图像；进行特征提取，选取基于GLCM的特征，基于Tamura的特征，statxture特征，分形特征，灰度图像的主轴方向特征和图像的空间特征这六种特征作为所述路面图像、边坡图像以及路基图像的特征；对经过特征提取后的图像进行识别分类，将有问题的区域定位出来并计算出包括塌陷面积和坍塌体堆积物方量的参数指标。本发明根据道路的彩色图像能够自动检测路基塌陷和边坡坍塌，效率高，检测准确。

说明书

技术领域

本发明涉及图像处理技术领域，具体涉及一种道路路基塌陷和边坡坍塌的 自动检测方法及系统。

背景技术

随着道路交通运输业的飞速发展，道路运输通道在当今社会经济中发挥着 越来越重要的作用。交通建设是国家的基础产业和经济发展的先行行业，道路 建设改善了我国道路网结构，促进了区际和区域各地区的经济联系有效拉动内 需，刺激高速道路附近地区的经济繁荣和发展，对区域经济发展和空间格局演 化具有重要作用，同时为人们的生活也提供了重要的便利条件。

道路交通运输业的飞速发展，不仅促进经济的繁荣昌盛，更为人们的出行 带来了便利与快捷，但同时也给道路路面质量养护提出了更高要求。众所周知， 道路路面质量对行车的舒适性、经济性、安全性以及道路使用周期都有着重要 的影响，路基的病害对路面工作状况有直接影响。如今各种道路路基病害对于 交通运输的安全性和及时性产生了重大的负面影响。因此，道路路基病害的检 测和养护成为当今交通运输发展中一个亟待解决的问题。

用人工方式对道路路基病害进行监控和检测是一项耗时的工作，且检测人 员的主观因素影响了病害检测的精度。除此之外，由于人工检测的不及时和病 害处理的延迟为运输带来了安全隐患，并且造成巨大的经济损失。道路路基病 害自动检测技术可以有效地提高病害的检测效率，减少人工的参与。因此大量 的物理设备引入病害的自动检测系统中，包括雷达、激光和超声波等。但是部 分物理设备还是需要人工的操作，且需要大量的物理设备的支持，大大提高了 费用。近几年来对于基于图像处理、机器视觉的智能检测方法的研究越来越多， 但是只是局限于道路路基、边坡和防护结构裂缝的检测，而对其他的病害检测， 则很少关注。而道路路基灾害如路基塌陷和边坡坍塌处理的不及时可以导致交 通阻塞并造成重大的经济损失。并且当前很多道路的图像处理技术都是针对灰 度图像，且整个检测过程不能实现完整的自动化，同时由于道路特征丰富，当 前很多的特征降维方法不能很好地反映道路图像的实际情况。因此，研发基于 彩色图像的道路塌陷和边坡坍塌的检测系统，对道路运输的安全和有效性具有 重大的现实意义和实用价值。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种道路路基 塌陷和边坡坍塌的自动检测方法及系统。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一 种道路路基塌陷和边坡坍塌的自动检测方法，其包括如下步骤：

S1，读取道路图像；

S2，对所述道路图像进行分割，分割出路面图像、边坡图像以及路基图像；

S3，进行特征提取，选取基于GLCM的特征，基于Tamura的特征，statxture 特征，分形特征，灰度图像的主轴方向特征和图像的空间特征这六种特征作为 所述路面图像、边坡图像以及路基图像的特征；

S4，对步骤S3中经过特征提取后的图像进行识别分类，将有问题的区域定 位出来并计算出包括塌陷面积和坍塌体堆积物方量的参数指标。

本发明的道路路基塌陷和边坡坍塌的自动检测方法根据道路的彩色图像 能够自动检测路基塌陷和边坡坍塌，效率高，检测准确。

本发明能够应用与野外环境下，路面环境不规范、路面背景复杂的情况。

本发明提供对公路障碍的定位以及路基塌陷面积或边坡坍塌体积的计算， 这样当公路发生障碍时，相关负责人不仅能直观的获知道路障碍状况，还能及 时的了解障碍的程度以及严重性，从而有针对性的、有效的进行抢救决策，

在本发明的一种优选实施方式中，在所述步骤S2中，对所述道路图像进行 分割的步骤为：

对所述道路图像进行分割的步骤为：

S21，图像分割，分割出道路路面、路基和边坡区域，具体步骤为：

S211，去除图像中的绿色区域，对于绿色的植物，根据绿色的特征，即绿 色的G分量大于其R值分量或者是B分量，处理公式如下：

$\mathrm{Ig}(i,j)=\left(\begin{array}{cc}\mathrm{Io}(i,j)& \mathrm{ifR}>\mathrm{GorB}>G\\ 0& \mathrm{otherwise}\end{array}\right)$

其中，Io(i,j)为原道路图像；R、G、B依次为像素点的红，绿、蓝色度分量；Ig(i,j) 为去除绿色区域之后的图像；

S212，将所述Ig(i,j)图像从RGB空间转换到HSI空间：

$H=\left(\begin{array}{cc}\theta & ,B\le G\\ 360-\theta & ,B>G\end{array}\right)$$\mathrm{where\theta }={\cos }^{-1}\left\{\frac{\frac{1}{2}[(R-G)+(R-B)]}{{[{(R-G)}^2+(R-B)(G-B)]}^{\frac{1}{2}}}\right\}$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]$

$I=\frac{1}{3}(R+G+B)$

其中H为HIS的Hue值；I为HIS的Intensity值；S为HIS的Saturation值；

S213，将图片转换到HSI空间之后，利用道路路基和边坡区域S值的统计特 征进行道路路基和边坡区域的分割，具体是当S值不大于阈值时，为道路路基 和边坡区域，像素点像素值保持原来的像素值；当S值大于阈值时，不为道路 路基和边坡区域，像素点像素值为黑色；

S22，进行K-means聚类，将步骤S21产生的图像的黑色部分设置为大于255 的值，用K-means将图像聚类为四类，并求每一类的最大连通区域，将其它连 通区域去掉；检验每一类的特征，如果此类的像素均值大于255或者此类的面 积小于原始图像面积的1/25则将其标签设置为0，否则保持原有的聚类标签。

S23，去掉天空区域，找到步骤S23处理后标签不为0的类，如果其在步骤 S22获得的图像所对应的二值图像中的值为1且从图像的第一行开始第一行为1 的像素数量大于列宽的λ倍，所述λ为大于0且小于1的正数，则将此区域的标 签设置为0，否则保持原有的标签不变；在输出中如果标签不为0则为道路路面、 路基和边坡区域。

本发明通的道路图像分割方法能够去除绿色区域和天空区域，只留下道路 路面、路基和边坡区域等感兴趣的区域。有利于提高检测速度和准确度。

在本发明的另一种优选实施方式中，在所述步骤S3中，特征提取的步骤为：

S31，将步骤S2处理后的彩色道路图像灰度化，将彩色图像转化为灰度图 像，使得R＝G＝B，并采用加权平均法，对三个颜色分量赋予不同的权值进行加 权平均，

Gray＝(W_RR+W_GG+W_BB)/(W_R+W_G+W_B)

f(i,j)＝0.299R(i,j)+0.587G(i,j)+0.144B(i,j)

其中，Gray为灰度图像，W_R、W_G和W_B依次为红绿蓝颜色分量的权值，f(i,j)为 红绿蓝颜色分量的权值依次为0.299、0.587、0.144时的灰度值；

S32，对步骤S31处理后的道路图像进行特征提取，选取基于GLCM的特征， 基于Tamura的特征，statxture特征，分形特征，灰度图像的主轴方向特征和 图像的空间特征这六种特征中作为所述道路图像的特征。

本发明利用多种特征提取方法进行道路纹理特征的筛选，能够准确检测道 路图像塌陷和堆积物表面特性。

GLCM(灰度共生矩阵)的特征提取方法为：对灰度共生矩阵作正规化处理， p(i,j,d,θ)＝p(i,j,d,θ)/R，

其中，i，j为像素点的坐标，d为像素间距，θ为方向，R是正规化常数，是 灰度共生矩阵中全部元素之和,灰度共生矩阵的大小N²，获得灰度共生矩阵的 如下参数作为道路图像的特征：

a.对比度其中|i-j|＝n，其中Ng为矩阵的大小，

b.相关

$\mathrm{CORRLN}=\frac{1}{{\sigma }_x{\sigma }_y}\{\underset{i=1}{\overset{N_g}{\Sigma }}\underset{j=1}{\overset{N_g}{\Sigma }}i·j·p(i,j,d,\theta )-{\mu }_x{\mu }_y\},$

其中：

${\mu }_x=\underset{i=1}{\overset{N_g}{\Sigma }}i\underset{j=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta ),$

${\mu }_y=\underset{i=1}{\overset{N_g}{\Sigma }}j\underset{j=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta ),$

${\sigma }_x^2=\underset{i=1}{\overset{N_g}{\Sigma }}{(i-{\mu }_x)}^2\underset{j=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta ),$

${\sigma }_y^2=\underset{i=1}{\overset{N_g}{\Sigma }}{(i-{\mu }_y)}^2\underset{j=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta ),$

c.熵

$\mathrm{ENT}=-\underset{j=1}{\overset{N_g}{\Sigma }}j\underset{i=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta )\log \left[p(i,j,d,\theta )\right],$

d.逆差距

$\mathrm{IDM}=\underset{i=1}{\overset{N_g}{\Sigma }}\underset{j=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta )/[1+{(i-j)}^2].$

所述基于Tamura的特征提取方法为：

a.粗糙度，

粗糙度反映了纹理的粒度，对具备不同结构的纹理模式来说，基元尺寸越 大或重复次数越少，则越粗糙。其计算方法如下：首先计算图像中2K×2K个 像素活动窗口中像素的亮度均值,如下式所示，其中(x,y)为选定区域在图像 中的位置，g(i,j)表示选定区域中的第(i,j)点的像素亮度值，像素的范围通 过k确定，例如1×1，2×2，3×3…，32×32，

$A_k(x,y)=\underset{i=x-2^{k-1}}{\overset{x+2^{k-1}}{\Sigma }}\underset{j=y-2^{k-1}}{\overset{y+2^{k-1}-1}{\Sigma }}g(i,j)/2^{2k}$

对每个像素点在水平和垂直方向上互不重叠的活动窗口间的平均强度差 进行计算，具体公式为：

E_k,h＝|A_k(x+2^k-1,y)-A_k(x-2^k-1,y)|

E_k,y＝|A_k(x,y+2^k-1)-A_k(x,y-2^k-1)|

其中对于每个像素，能使E值达到最大的k值用来设置最佳尺寸S_best(x,y)。 最后，粗糙度可以通过计算整幅图像中S_best的平均值来得到，

取水平和垂直方向上的最大均差值为当前像素的邻域均值插值，即

E_k＝E_max＝_max(E₁,E₂,…,E_hx

对每个像素，从多邻域尺寸中设置最佳尺寸，为

S_best(x,y)＝2^k+1

计算整幅图像S_best的平均值为纹理粗糙程度F_crs，m和n表示宽度和高度：

$F_{\mathrm{crs}}=\frac{1}{m\times n}\underset{i=i}{\overset{m}{\Sigma }}\underset{j=i}{\overset{n}{\Sigma }}{S}_{\mathrm{best}}(i,j)$

b.对比度，

$F_{\mathrm{con}}=\frac{\sigma }{{{\alpha }_4}^{1/4}},$

α₄＝μ₄/σ⁴，

其中，σ为图像灰度的标准方差，α₄为图像灰度值的峰态；μ₄为四阶矩均值， σ²为图像灰度值的方差；

c.方向度，

$F_{\mathrm{dir}}=\underset{p}{\overset{n_p}{\Sigma }}\underset{\phi \in w_p}{\Sigma }{(\phi -{\phi }_p)}^2{H}_D\left(\phi \right)$

其中，H_D是θ角对应每个区域内相应的|ΔG|大于给定阈值的像素数目，n_p为 所构造的直方图，φ_p是该直方图中峰值的位置，其中p表示某个峰值，w_p表 示谷之间该峰值的范围。

其中：

|ΔG|＝(|ΔH|+|ΔV|)/2

$\theta ={\tan }^{-1}(\mathrm{\Delta V}/\mathrm{\Delta H})+\frac{\pi }{2}$

|ΔH|和|ΔV|分别是通过图像卷积第一操作符和第二操作符所得的水平和垂直方 向上的变化量，所述第一操作符和第二操作符的大小均为3×3，所述第一操 作符的第一列、第二列、第三列的数据依次为“-1,-1，-1”，“0,0,0”，“1，1， 1”，所述第二操作符的第一行、第二行、第三行的数据依次为“1，1，1”， “0,0,0”，“-1，-1，-1”。

所述statxture特征提取方法为：

根据图像灰度直方图，即图像灰度值的统计特征，统计图像的纹理信息， 其中z_i表示道路图像灰度级的随机变量，p(z_i)为对应区域中灰度的像素分布， i＝0,1,…,L-1，L是可区分的灰度级数，

这些统计特性包括:

a.灰度的平均值，

b.标准差，μ₂(z)表示灰度级随机变量的二阶矩阵；

c.平滑度$R=1-\frac{1}{1+{\sigma }^2\left(z\right)};$

d.三阶矩$e=\underset{i=0}{\overset{L-1}{\Sigma }}p\left(z_i\right)\mathrm{lbp}\left(z_i\right);$

e.一致性$U=\underset{i=0}{\overset{L-1}{\Sigma }}{p}^2\left(z_i\right);$

f.熵$e=\underset{i=0}{\overset{L-1}{\Sigma }}p\left(z_i\right)\mathrm{lbp}\left(z_i\right).$

所述灰度图像的主轴方向特征提取方法为：

惯性主轴方向θ定义为惯性矩I(θ)为最小的方向，首先对目标质心、中 心距和惯性矩进行定义，

目标的质心定义为目标像素坐标的均值，为：

$\bar{y}=\frac{1}{N}\underset{(x,y)}{\Sigma }\underset{\in R}{\Sigma }\mathrm{yf}(x,y)$

其中R为图象中目标区域，N为目标像素总数，f(x,y)为(x,y)点的像 素值，

中心矩mi,j定义如式，其中i，j分别为x轴和y轴方向的阶数，为：

$m_{i,j}=\underset{(x,y)}{\Sigma }\underset{\in R}{\Sigma }{(x-\bar{x})}^i{(y-\bar{y})}^{j}f(x,y)$

目标的惯性矩定义如下式所示：

$I\left(\theta \right)=\underset{(x,y)}{\Sigma }\underset{\in R}{\Sigma }{\overline{\mathrm{AC}}}^{2}f(x,y)=\underset{(x,y)}{\Sigma }\underset{\in R}{\Sigma }2{[(y-\bar{y})\cos \theta +(\bar{x}-x)\sin \theta ]}^{2}f(x,y)$

对上式的I(θ)求导数，令倒数为0得到两个解

${\theta }_1=\frac{1}{2}{\mathrm{tg}}^{-1}\left[\frac{{2m}_{\mathrm{1,1}}}{m_{\mathrm{2,0}}-m_{\mathrm{0,2}}}\right]$

${\theta }_2=\frac{1}{2}{\mathrm{tg}}^{-1}\left[\frac{{2m}_{\mathrm{1,1}}}{m_{\mathrm{2,0}}-m_{\mathrm{0,2}}}\right]+\frac{\pi }{2}$

为区分最大和最小值，对I(θ)求二阶导，得

I″＝[2(m_2,0-m_0,2)cos2θ+4m_1,1sin2θ]·f(x,y)

I″(θ_i)>0

将θ1和θ2分别代入上中，i＝1,2时，θi为所求惯性主轴方向。

在发明的一种优选实施方式中，所述步骤S4具体包括如下步骤：

S41，将步骤S3中经过特征提取后的图像进行道路塌陷和边坡坍塌图像分 类，详细步骤如下：

S411，将经过特征提取后的图像作为待测样本库，作为训练集，将已知的 道路塌陷和边坡坍塌图像作为已知样本库，作为验证集；

S412，按照四比一的比例划分训练集和验证集，将训练集循环五次划分。

S413，通过一对一的三个二分类模型进行三分类模型的构建，根据不同类 别样本的误分代价分别设定塌陷、坍塌和正常样本的惩罚因子，采用网格搜索 算法对SVM权重因子、径向基函数关键参数进行寻优，通过样本集的总体识别 正确率，以及每类样本的识别正确率来判别得到最优的参数；

S414，交叉验证训练分类器，用划分好的训练集训练分类模型，用验证集 进行分类模型的测试，循环五次，求出每个分类模型及其对应的分类准确率， 通过分类器识别的总体准确率，塌陷样本和坍塌样本的识别准确率和召回率， 以及Sensitivity，Specificity，G-mean值对分类性能进行评估，

S415，选择最优分类器，选择五次交叉验证过程中分类性能最优的模型作 为最终的预测模型；

S416，将待测样本点代入到经过训练的SVM最优模型的每一个线性分类函 数中进行计算，求出该样本点所属的一个类别；

S417，统计待测样本所属类别的标记数最大的类为待测样本所属类别，从 而判别出待测样本是正常、塌陷还是坍塌；

S42，塌陷、坍塌区域定位和塌陷面积、坍塌体积的计算。

本发明选择最优分类器，对道路塌陷和边坡坍塌图像分类方法准确快速。

8、所述步骤S42中塌陷、坍塌区域定位和塌陷面积、坍塌体积的计算的具 体步骤如下：

S421，对道路塌陷和边坡坍塌样本感兴趣区域进行K-means聚类；

S422，计算每一类的最大连通区域，去掉其中的较小连通区域；

S423，每个区域分别进行GLCM特征提取；

S424，比较各区域GLCM特征中的熵特征，选取最大熵所属的那一块区域 进行标记，即为塌陷和坍塌的区域；

S425，计算图像中塌陷区域的外界矩形的面积，并根据摄像头参数计算出 塌陷的面积的实际大小；

S426，将图像中扇形堆积体简化为三菱体进行体积计算，并根据摄像头参 数计算出堆积物方量的实际大小。

本发明提供对公路障碍的定位以及路基塌陷面积或边坡坍塌体积的计算， 这样当公路发生障碍时，相关负责人不仅能直观的获知道路障碍状况，还能及 时的了解障碍的程度以及严重性，从而有针对性的、有效的进行抢救决策。

9、所述步骤S41之前还具有如下步骤：

将步骤S3中经过特征提取后的图像进行不平衡数据预处理，步骤如下：

S401，对少数类样本进行过抽样处理获得新的少数类样本集，根据样本不 平衡率设置抽样倍率N，计算每个少数类样本在样本集中的K近邻，并根据K 近邻中多数类样本的占比将样本划分为安全样本、边界样本和孤立样本，然后 分别对其进行过抽样；

S402，对样本集中的多数类样本进行数据约减，获得新的多数类样本集；

S403，将新生成的少数类样本集和多数类样本集归并为新的样本集。 通过对图像进行不平衡数据预处理，防止数据集出现不平衡现象，提高了计算 的准确性。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一 种道路路基塌陷和边坡坍塌的自动检测系统，其包括摄像装置、远程服务器、 远程数据库、道路图像检测装置和显示终端，所述摄像装置摄像定时获取道路 图像信息并通过无线传输将道路图像传至远程服务器，远程服务器收集图片并 传入远程数据库，道路图像检测装置定时从远程数据库中读取道路图片并利用 本发明的道路路基塌陷和边坡坍塌的自动检测方法对道路进行分析，若有异 常，则将异常信息存入远程数据库、通过显示终端显示并报警。

本发明的道路路基塌陷和边坡坍塌的自动检测系统，不同于已有的主要针 对具有明显公路特征的道路进行检测，本发明能够应用与野外环境下，路面环 境不规范、路面背景复杂的情况，应用范围广，检测准确。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的 描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中 将变得明显和容易理解，其中：

图1是本发明道路路基塌陷和边坡坍塌的自动检测方法的流程图；

图2是本发明一种优选实施方式中对图像进行识别分类，将有问题区域定 位并计算相关参数的流程图；

图3是本发明道路路基塌陷和边坡坍塌的自动检测系统的框架图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自 始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元 件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能 理解为对本发明的限制。

本发明提供了一种道路路基塌陷和边坡坍塌的自动检测方法，如图1所 示，包括如下步骤：

第一步，读取道路图像，在本实施方式中，采用摄像装置获取道路图像。

第二步，对采集到的道路图像进行分割，分割出路面图像、边坡图像以及 路基图像，由于发明的目的是路基塌陷和边坡坍塌体堆积物识别，所以兴趣区 域为公路路面、路基和边坡。因此，图像分割的主要目标是分割出上述的兴趣 区域。本发明的分割算法主要基于图像的RGB颜色特征，采用聚类的算法，结 合图像中的几何特征，实现兴趣区域的提取。

在本实施方式中，对道路图像进行分割的步骤为：

S21，图像分割，分割出道路路面、路基和边坡区域，具体步骤为：

S211，去除图像中的绿色区域，对于绿色的植物，根据绿色的特征，即绿 色的G分量大于其R值分量或者是B分量，处理公式如下：

$\mathrm{Ig}(i,j)=\left(\begin{array}{cc}\mathrm{Io}(i,j)& \mathrm{ifR}>\mathrm{GorB}>G\\ 0& \mathrm{otherwise}\end{array}\right)$

其中，Io(i,j)为原道路图像；R、G、B依次为像素点的红，绿、蓝色度分量；Ig(i,j) 为去除绿色区域之后的图像；

S212，将所述Ig(i,j)图像从RGB空间转换到HSI空间：

$H=\left(\begin{array}{cc}\theta & ,B\le G\\ 360-\theta & ,B>G\end{array}\right)$$\mathrm{where\theta }={\cos }^{-1}\left\{\frac{\frac{1}{2}[(R-G)+(R-B)]}{{[{(R-G)}^2+(R-B)(G-B)]}^{\frac{1}{2}}}\right\}$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]$

$I=\frac{1}{3}(R+G+B)$

其中H为HIS的Hue值；I为HIS的Intensity值；S为HIS的Saturation值；

S213，将图片转换到HSI空间之后，利用道路路基和边坡区域S值的统计特 征进行道路路基和边坡区域的分割，具体是当S值不大于阈值时，为道路路基 和边坡区域，像素点像素值保持原来的像素值；当S值大于阈值时，不为道路 路基和边坡区域，像素点像素值为黑色；

S22，进行K-means聚类，将步骤S21产生的图像的黑色部分设置为大于255 的值，用K-means将图像聚类为四类，并求每一类的最大连通区域，将其它连 通区域去掉；检验每一类的特征，如果此类的像素均值大于255或者此类的面 积小于原始图像面积的θ倍则将其标签设置为0，否则保持原有的聚类标签， 其中，θ为大于0且小于1的正数，在本发明的一种优选实施方式中，θ取值为 1/25。

S23，去掉天空区域，找到步骤S23处理后标签不为0的类，如果其在步 骤S22获得的图像所对应的二值图像中的值为1且从图像的第一行开始第一行 为1的像素数量大于列宽的λ倍，λ为大于0且小于1的正数，则将此区域的 标签设置为0，否则保持原有的标签不变；在输出中如果标签不为0则为道路 路面、路基和边坡区域，在本实施方式中λ为1/13。

在本实施方式中，步骤S22获得的图像对应的二值图像，用二值图像判断 天空区域，在二值图像中，天空是白色的，即值为1，具体的获取二值图像的 方法可按照现有技术中的方法进行。

本发明通的道路图像分割方法能够去除绿色区域和天空区域，只留下道路 路面、路基和边坡区域等感兴趣的区域。有利于提高检测速度和准确度。

第三步，公路图像塌陷和堆积物表面并不是均匀的，它包含颜色、形状、 方向等各个方面不同却又特定相似的信息，无法根据经验直接判定哪些特征对 其具有最好的表征，因此需要进行特征提取，选取基于GLCM的特征，基于 Tamura的特征，statxture特征，分形特征，灰度图像的主轴方向特征和图像 的空间特征这六种特征中的至少一种或者任意组合作为所述路面图像、边坡图 像以及路基图像的特征。

在本发明的另一种优选实施方式中，特征提取的步骤为：

S31，将第二步处理后的彩色道路图像灰度化，将彩色图像转化为灰度图 像，使得R＝G＝B，并采用加权平均法，对三个颜色分量赋予不同的权值进行加 权平均，

Gray＝(W_RR+W_GG+W_BB)/(W_R+W_G+W_B)

f(i,j)＝0.299R(i,j)+0.587G(i,j)+0.144B(i,j)

其中，Gray为灰度图像，W_R、W_G和W_B依次为红绿蓝颜色分量的权值，f(i,j)为 红绿蓝颜色分量的权值依次为0.299、0.587、0.144时的灰度值；

S32，提取公路的纹理、形状、几何等特征，本发明选择对整块道路图像 感兴趣区域进行整体特征的提取。对步骤S31处理后的道路图像进行特征提 取，选取基于GLCM的特征，基于Tamura的特征，statxture特征，分形特征， 灰度图像的主轴方向特征和图像的空间特征这六种特征作为所述道路图像的 特征。

本发明利用多种特征提取方法进行道路纹理特征的筛选，能够准确检测道 路图像塌陷和堆积物表面特性。

基于GLCM的特征提取方法为：灰度共生矩阵是通过计算图像中有某种位 置关系的两点灰度之间的相关性来反映图像的纹理特征。考虑到正常路段与异 常路段在纹理的对比度，相关性，复杂程度方面都会有着较大的差异，这里主 要提取它的四个不相关的统计特征，该灰度共生矩阵是建立在估计图像的二阶 组合条件概率密度函数基础上的。图像的灰度矩阵反映的是图像的视觉信息, 灰度共生矩阵反映的则是图像关于方向、相邻间隔、变化幅度的综合信息。分 析灰度共生矩阵可以分析图像的局部模式和排列规则。首先对灰度共生矩阵作 正规化处理，令

p(i,j,d,θ)＝p(i,j,d,θ)/R

其中，i，j为像素点的坐标，d为像素间距，θ为方向，R是正规化常数，是 灰度共生矩阵中全部元素之和,灰度共生矩阵的大小N²，获得灰度共生矩阵的 如下参数作为道路图像的特征：

a.对比度其中|i-j|＝n，Ng为矩阵大小， 对比度越大，纹理基元对比越强烈，沟纹越深，反之亦然。

b.相关，度量灰度共生矩阵元素在行列方向的相似程度，公式为，

$\mathrm{CORRLN}=\frac{1}{{\sigma }_x{\sigma }_y}\{\underset{i=1}{\overset{N_g}{\Sigma }}\underset{j=1}{\overset{N_g}{\Sigma }}i·j·p(i,j,d,\theta )-{\mu }_x{\mu }_y\},$

其中：

${\mu }_x=\underset{i=1}{\overset{N_g}{\Sigma }}i\underset{j=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta ),$

${\mu }_y=\underset{i=1}{\overset{N_g}{\Sigma }}j\underset{j=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta ),$

${\sigma }_x^2=\underset{i=1}{\overset{N_g}{\Sigma }}{(i-{\mu }_x)}^2\underset{j=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta ),$${\sigma }_y^2=\underset{i=1}{\overset{N_g}{\Sigma }}{(i-{\mu }_y)}^2\underset{j=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta ),$

c.熵，表征纹理的复杂程度，公式为，

$\mathrm{ENT}=-\underset{j=1}{\overset{N_g}{\Sigma }}j\underset{i=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta )\log \left[p(i,j,d,\theta )\right],$

d.逆差距，表征纹理的规则程度，公式为，

$\mathrm{IDM}=\underset{i=1}{\overset{N_g}{\Sigma }}\underset{j=1}{\overset{N_g}{\Sigma }}p(i,j,d,\theta )/[1+{(i-j)}^2].$

基于Tamura的特征提取方法为：

a.粗糙度，粗糙度反映了纹理的粒度，对具备不同结构的纹理模式来 说，基元尺寸越大或重复次数越少，则越粗糙。其计算方法如下：首先计算图 像中2K×2K个像素活动窗口中像素的亮度均值,如下式所示，其中(x,y)为选 定区域在图像中的位置，g(i,j)表示选定区域中的第(i,j)点的像素亮度值， 像素的范围通过k确定，例如1×1，2×2，3×3…，32×32，

$A_k(x,y)=\underset{i=x-2^{k-1}}{\overset{x+2^{k-1}}{\Sigma }}\underset{j=y-2^{k-1}}{\overset{y+2^{k-1}-1}{\Sigma }}g(i,j)/2^{2k}$

对每个像素点在水平和垂直方向上互不重叠的活动窗口间的平均强度差 进行计算，具体公式为：

E_k,h＝|A_k(x+2^k-1,y)-A_k(x-2^k-1,y)|

E_k,y＝|A_k(x,y+2^k-1)-A_k(x,y-2^k-1)|

其中对于每个像素，能使E值达到最大的k值用来设置最佳尺寸S_best(x,y)。 最后，粗糙度可以通过计算整幅图像中S_best的平均值来得到，

取水平和垂直方向上的最大均差值为当前像素的邻域均值插值，即

E_k＝E_max＝max(E₁,E₂,…,E_h)

对每个像素，从多邻域尺寸中设置最佳尺寸，为

S_best(x,y)＝2^k+1

计算整幅图像S_best的平均值为纹理粗糙程度F_crs，m和n表示宽度和高度：

$F_{\mathrm{crs}}=\frac{1}{m\times n}\underset{i=i}{\overset{m}{\Sigma }}\underset{j=i}{\overset{n}{\Sigma }}{S}_{\mathrm{best}}(i,j)$

b.对比度，

$F_{\mathrm{con}}=\frac{\sigma }{{{\alpha }_4}^{1/4}},$

α₄＝μ₄/σ⁴，

其中，σ为图像灰度的标准方差，α₄为图像灰度值的峰态；μ₄为四阶矩均值， σ²为图像灰度值的方差；

c.方向度，

$F_{\mathrm{dir}}=\underset{p}{\overset{n_p}{\Sigma }}\underset{\phi \in w_p}{\Sigma }{(\phi -{\phi }_p)}^2{H}_D\left(\phi \right)$

其中，H_D是θ角对应每个区域内相应的|ΔG|大于给定阈值的像素数目，n_p为 所构造的直方图，φ_p是该直方图中峰值的位置，其中p表示某个峰值，w_p表 示谷之间该峰值的范围。

其中：

|ΔG|＝(|ΔH|+|ΔV|)/2

$\theta ={\tan }^{-1}(\mathrm{\Delta V}/\mathrm{\Delta H})+\frac{\pi }{2}$

|ΔH|和|ΔV|分别是通过图像卷积第一操作符和第二操作符所得的水平和垂直方 向上的变化量，所述第一操作符和第二操作符的大小均为3×3，所述第一操 作符的第一列、第二列、第三列的数据依次为“-1,-1，-1”，“0,0,0”，“1，1， 1”，所述第二操作符的第一行、第二行、第三行的数据依次为“1，1，1”， “0,0,0”，“-1，-1，-1”。

statxture特征提取方法为：

根据图像灰度直方图，即图像灰度值的统计特征，统计图像的纹理信息， 其中zi表示道路图像灰度级的随机变量，p(z_i)为对应区域中灰度的像素分布， i＝0,1,…,L-1，L是可区分的灰度级数，

这些统计特性包括:

a.灰度的平均值，

b.标准差，μ₂(z)表示灰度级随机变量的二阶矩阵；

c.平滑度$R=1-\frac{1}{1+{\sigma }^2\left(z\right)};$

d.三阶矩$e=\underset{i=0}{\overset{L-1}{\Sigma }}p\left(z_i\right)\mathrm{lbp}\left(z_i\right);$

e.一致性$U=\underset{i=0}{\overset{L-1}{\Sigma }}{p}^2\left(z_i\right);$

f.熵$e=\underset{i=0}{\overset{L-1}{\Sigma }}p\left(z_i\right)\mathrm{lbp}\left(z_i\right).$

灰度图像的主轴方向特征提取方法为：

惯性主轴方向θ定义为惯性矩I(θ)为最小的方向，首先对目标质心、中 心距和惯性矩进行定义，

目标的质心定义为目标像素坐标的均值，为：

$\bar{y}=\frac{1}{N}\underset{(x,y)}{\Sigma }\underset{\in R}{\Sigma }\mathrm{yf}(x,y)$

其中R为图象中目标区域，N为目标像素总数，f(x,y)为(x,y)点的像 素值，

中心矩mi,j定义如式，其中i，j分别为x轴和y轴方向的阶数，为：

$m_{i,j}=\underset{(x,y)}{\Sigma }\underset{\in R}{\Sigma }{(x-\bar{x})}^i{(y-\bar{y})}^{j}f(x,y)$

目标的惯性矩定义如下式所示：

$I\left(\theta \right)=\underset{(x,y)}{\Sigma }\underset{\in R}{\Sigma }{\overline{\mathrm{AC}}}^{2}f(x,y)=\underset{(x,y)}{\Sigma }\underset{\in R}{\Sigma }2{[(y-\bar{y})\cos \theta +(\bar{x}-x)\sin \theta ]}^{2}f(x,y)$

对上式的I(θ)求导数，令倒数为0得到两个解

${\theta }_1=\frac{1}{2}{\mathrm{tg}}^{-1}\left[\frac{{2m}_{\mathrm{1,1}}}{m_{\mathrm{2,0}}-m_{\mathrm{0,2}}}\right]$

${\theta }_2=\frac{1}{2}{\mathrm{tg}}^{-1}\left[\frac{{2m}_{\mathrm{1,1}}}{m_{\mathrm{2,0}}-m_{\mathrm{0,2}}}\right]+\frac{\pi }{2}$

为区分最大和最小值，对I(θ)求二阶导，得

I″＝[2(m_2,0-m_0,2)cos2θ+4m_1,1sin2θ]·f(x,y)

I″(θ_i)>0

将θ1和θ2分别代入上中，i＝1,2时，θi为所求惯性主轴方向。

另外，引入分形特征，分形特征分形维数作为图像表面不规则程度的度量， 道路图像的分形特征通过求纹理图像的分形维数来获得。分形维数值可表征道 路图像纹理形状、分布密度和均匀程度，纹理分布密度越高纹理宽度越大，分 形维数值越大；分布均匀程度越好，分形维数值越小。能够有力的描述自然道 路表面的复杂程度。

由于公路纹理变化相对平缓，而边坡、坍塌或者塌陷区域纹理变化剧烈， 同时正常边坡与道理存在有规律的空间位置关系，因此引入图像空间特征，图 像空间特征能够反应图像中物体的相对位置信息，可将特征正常道路区域与非 道路区域定位的相对关系来判断正常路段以及非正常路段。

第四步，如图2所示，对第三步中经过特征提取后的图像进行识别分类， 将有问题区域定位出来并计算出包括塌陷面积和坍塌体堆积物方量的参数指 标。

在发明的一种优选实施方式中，具体包括如下步骤：

S41，将第三步中经过特征提取后的图像进行道路塌陷和边坡坍塌图像分 类，详细步骤如下：

S411，将经过特征提取后的图像作为待测样本库，作为训练集，将已知的 道路塌陷和边坡坍塌图像作为已知样本库，作为验证集；

S412，按照四比一的比例划分训练集和验证集，将训练集循环五次划分。

S413，通过一对一的三个二分类模型进行三分类模型的构建，根据不同类 别样本的误分代价分别设定塌陷、坍塌和正常样本的惩罚因子，采用网格搜索 算法对SVM权重因子、径向基函数关键参数进行寻优，通过样本集的总体识别 正确率，以及每类样本的识别正确率来判别得到最优的参数；

S414，交叉验证训练分类器，用划分好的训练集训练分类模型，用验证集 进行分类模型的测试，循环五次，求出每个分类模型及其对应的分类准确率， 通过分类器识别的总体准确率，塌陷样本和坍塌样本的识别准确率和召回率， 以及Sensitivity，Specificity，G-mean值对分类性能进行评估，

S415，选择最优分类器，选择五次交叉验证过程中分类性能最优的模型作 为最终的预测模型，在本实施方式中，通过道路塌陷样本、边坡坍塌样本以及 正常样本各自的识别正确率进行综合评估。得到分类性能最优的模型。

S416，将待测样本点代入到经过训练的SVM最优模型的每一个线性分类函 数中进行计算，求出该样本点所属的一个类别；

S417，统计待测样本所属类别的标记数最大的类为待测样本所属类别，从 而判别出待测样本是正常、塌陷还是坍塌；

S42，塌陷、坍塌区域定位和塌陷面积、坍塌体积的计算。

本发明选择最优分类器，对道路塌陷和边坡坍塌图像分类方法准确快速。

所述步骤S42中塌陷、坍塌区域定位和塌陷面积、坍塌体积的计算的具体 步骤如下：

S421，对道路塌陷和边坡坍塌样本感兴趣区域进行K-means聚类；

S422，计算每一类的最大连通区域，去掉其中的较小连通区域；

S423，每个区域分别进行GLCM特征提取；

S424，比较各区域GLCM特征中的熵特征，选取最大熵所属的那一块区域 进行标记，即为塌陷和坍塌的区域；

S425，计算图像中塌陷区域的外界矩形的面积，并根据摄像头参数计算出 塌陷的面积的实际大小；

S426，将图像中扇形堆积体简化为三菱体进行体积计算，并根据摄像头参 数计算出堆积物方量的实际大小。

本发明提供对公路障碍的定位以及路基塌陷面积或边坡坍塌体积的计算， 这样当公路发生障碍时，相关负责人不仅能直观的获知道路障碍状况，还能及 时的了解障碍的程度以及严重性，从而有针对性的、有效的进行抢救决策。

在步骤S41之前还可以具有如下步骤：

将步骤S3中经过特征提取后的图像进行不平衡数据预处理，步骤如下：

S401，对少数类样本进行过抽样处理获得新的少数类样本集，根据样本不 平衡率设置抽样倍率N，计算每个少数类样本在样本集中的K近邻，并根据K 近邻中多数类样本的占比将样本划分为安全样本、边界样本和孤立样本，然后 分别对其进行过抽样，在本领域中，相比样本数最多的那类样本而言较少的样 本集称为少数类样本。本发明中将道路塌陷样本和边坡坍塌样本定义为少数类 样本。在本实施方式中，计算少数类样本集中每个样本的K近邻中多数类样 本的占比V，K为正整数，若0<＝V<0.5，则此样本为安全样本，若0.5<＝V<1， 则为边界样本，若V＝1，则为孤立点样本；

S402，对样本集中的多数类样本进行数据约减，获得新的多数类样本集， 在本实施方式中，对样本集中的多数类样本进行数据约减的方法为：计算总样 本集中每个样本的3近邻中多数类样本的比例V₁，对每个多数类样本，如果 其V₁<＝1/3，则从原样本集中删除该样本；对每个少数类样本，如果其V₁>＝2/3， 则从原样本集中删除该样本的3近邻中的多数类样本；

S403，将新生成的少数类样本集和多数类样本集归并为新的样本集。

通过对图像进行不平衡数据预处理，防止数据集出现不平衡现象，提高了 计算的准确性。

本发明还提供了一种道路路基塌陷和边坡坍塌的自动检测系统，如图3 所示，其包括摄像装置、远程服务器、远程数据库、道路图像检测装置和显示 终端，所述摄像装置摄像定时获取道路图像信息并通过无线传输将道路图像传 至远程服务器，远程服务器收集图片并传入远程数据库，道路图像检测装置定 时从远程数据库中读取道路图片并利用本发明的道路路基塌陷和边坡坍塌的 自动检测方法对道路进行分析，若有异常，则将异常信息存入远程数据库、通 过显示终端显示并报警。

本发明的道路路基塌陷和边坡坍塌的自动检测系统，不同于已有的主要针 对具有明显公路特征的道路进行检测，本发明能够应用与野外环境下，路面环 境不规范、路面背景复杂的情况，引用范围广，检测准确。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体 特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说 明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且， 描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例 中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理 解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、 修改、替换和变型，本发明的范围由权利要求及其等同物限定。