公开/公告号CN108764312A
专利类型发明专利
公开/公告日2018-11-06
原文格式PDF
申请/专利号CN201810475284.8
申请日2018-05-17
分类号G06K9/62(20060101);G06T7/00(20170101);
代理机构32204 南京苏高专利商标事务所(普通合伙);
代理人李玉平
地址 211100 江苏省南京市江宁区佛城西路8号
入库时间 2023-06-19 07:03:27
法律状态公告日
法律状态信息
法律状态
2019-04-05
授权
授权
2018-11-30
实质审查的生效 IPC(主分类):G06K9/62 申请日:20180517
实质审查的生效
2018-11-06
公开
公开
技术领域
本发明涉及一种基于DS优化多指标大坝缺陷图像检测方法,具体是一种对缺陷图像实现优化检测的方法,属于分布式数据融合领域。
背景技术
世界坝工有着悠久的历史,我国更是一个水利大国,目前已拥有水库大坝9.8万余座,是世界上水库大坝最多的国家。但随着时间的推移和坝龄的增长,受温度、环境压力等各种因素的影响,大坝的运行形态会发生变化,出现变形、裂缝、渗漏、钙化物析出等一系列大坝表观缺陷。
部署在大坝内部的图像采集装置定期对每个采集点位置的图像进行采集,由于采集点众多,短期内便可获得大量的图像数据。但由于原始采集图像中存在许多的冗余图像,人工检测耗时且费力,因而对原始采集图像进行初步筛选,去除大量冗余的正常图像对于准确提取缺陷图像信息是非常重要的一步。
发明内容
发明目的:针对多指标缺陷图像检测方法资源利用低,决策准确度低甚至决策错误的问题,本发明提供了基于DS优化多指标大坝缺陷图像检测方法,提高对多指标缺陷图像的检测效率,到更加准确的缺陷检测效果。
技术方案:一种基于DS优化多指标大坝缺陷图像检测方法,包括以下两个方面:
(1)多指标缺陷检测
(2)基于DS优化的融合决策
(1)多指标缺陷检测采用的如下:
多指标缺陷检测主要分为三个流程,分别是读入测点图像、查找历史图像数据、四种指标(平均信息熵、平均信噪比、平均梯度均值对比度以及平均灰度方差偏移量)对应的阈值评判。
①读入测点图像,从已有的样本库读取相应的测点图片。
②查找历史图像数据,从已有保存下来的数据库里面读取出相关历史的图像数据。
③四种指标(平均信息熵、平均信噪比、平均梯度均值对比度以及平均灰度方差偏移量)对应的阈值评判,通过对比历史图像数据和测试图像的特征量差异,设置四种指标(平均信息熵、平均信噪比、平均梯度均值对比度以及平均灰度方差偏移量)对应的评判阈值,最终得到检测结果。检测结果集包含三种情况:正常、存在缺陷、不确定。
如下算法1描述了多指标缺陷图像检测算法的第一阶段,即多指标检测的具体过程。算法输入为测试图像和各种既定阈值,输出为四种指标分别对应的检测结果类。
算法1 M-DDODS algorithm
(2)基于DS优化的融合决策
根据四个指标的检测结果,首先定义整个算法目标评价集(即焦元)Ω={A1,A2,A3}={正常、有缺陷、不确定},原始证据信息mj=V={H,MSE,SNR,G},因而将图像的缺陷检测转化为这四条证据信息的证据组合问题。具体流程图和步骤如下:
①计算各证据的平均冲突系数Wfi,l
计算四个证据的初始置信度(也即概率分配函数)和平均冲突系数Wfi,l,当图像的信息熵为H(x,y)时,图像中目标评价集Ω={A1,A2,A3}={正常、有缺陷、不确定}的基本概率赋值函数mass,m(A)是辨识框架Ω内的基本概率赋值函数。
m1(A1)=H′(x,y)(1-α)
m1(A2)=[1-H′(x,y)](1-α)
m1(A3)=α
其中α=0.1×H(x,y),H′(x,y)=H(x,y)/max(H(x,y))。m1(A1)表示在第一个证据,焦元为A1的情况下,它的基本概率赋值函数。
证据间的高冲突问题一般用冲突系数kil来衡量证据mi与ml间的冲突大小,公式如下:
其中,m2(Al)是在第二个证据,焦元分别为Ω={A1,A2,A3}={正常、有缺陷、不确定}情况下,它的基本概率赋值函数。
平均冲突系数Wfi,l公示如下:
m1与m2之间的距离。其中,是m1、m2的2N维列向量形式:
上式中:D是一个2N×2N矩阵,其中矩阵中的元素,对集合G和Y,有
表示的是焦元G和Y之间相似程度用式。
假设n是系统所收集的证据数目。因此,可以得到证据体mi和mj之间的距离,并且可以把这个距离表示成一个距离矩阵,如上式所示:
因而证据mi与其他证据间的平均冲突系数为:
基于经验估计,这里设定平均冲突系数的阈值ξ=0.9734。
②将平均冲突系数与既定阈值ξ进行比较,当得到的大于既定的阈值0.9734时,则需要进行基于Pignistic相似性的自适应加权
通过计算证据间的Pignistic相似度来赋予证据动态权重,将mass函数转换成Pignistic概率函数,该函数表示为BetPm。设m(A)是辨识框架Ω上的一个基本概率指标,那么它在辨识框架Ω下的Pignistic概率函数BetPm:Ω→[0,1]为:
其中|A|是集合A的势,Pignistic转换是m转换成BetPm的过程,Pignistic概率距离是Ω内距离最大的子集。
根据Pignistic概率距离进行m(A)到空间2Ω的Pignistic转换:
若以每个为坐标建立欧式空间Rn,可以得到一组表示Ω内对应元素的Pignistic概率。因而,Pignistic相似度表达式为:
其中,<·,·>表示点积,||·||表示范数。当和相交时,相似度为0,说明两证据完全冲突;当和重合时,相似度为1,说明两者对同一命题的支持度一致。
为了描述框架内其他证据对某一证据的支持程度,定义证据mj的支持度为:
归一化证据mj的支持度并计算置信度:
此时定义证据mj的自适应权重为其置信度与最大置信度之比:
从上述公式可以看出ωj仅由Pignistic相似度确定,能动态调整各证据的效度。
综上,原有的概率赋值函数结合Pignistic相似度确定的动态权重,可以得到新的基本概率赋值函数为:
m1(A1)=m1(A1)×ω1
m1(A2)=m1(A2)×ω2
m1(A3)=m1(A3)×ω3
同理,其他三个指标平均信息熵、平均信噪比、平均梯度均值对比度以及平均灰度方差偏移的基本概率分配函数和信息熵的计算方法相同,分别用m2(A1)、m2(A2)、m2(A3);m3(A1)、m3(A2)、m3(A3);和m4(A1)、m4(A2)、m4(A3)来表示。
③mass函数修正,组合四个指标证据,得到最终检测结果。
依据确定好的证据效度对经过修正的mass函数m1,m2,m3,m4进行计算正交和处理会得到一个新的信任函数从而实现对多个证据的合成判决:
其中,Wfi,l在第一步骤中详细介绍过,为平均冲突系数。决策融合后按照以下规则进行检测结果判别:
A.判定的检测结果的基本信度大于阈值T1。
B.判定的检测结果与其他检测结果的信度差值大于某一阈值T2。
C.不确定结果的信度值要小于阈值T3。
D.根据目标评价集(即焦元)Ω={A1,A2,A3}={正常、有缺陷、不确定}判定的评判结果的信度值要大于不确定结果的信度值。
④mass函数修正后,计算各证据的平均冲突系数Wfi,l,直至Wfi,l的值不大于既定的阈值0.9734,循环结束。
如下算法2实现了基于DS优化进行融合决策的具体过程。
算法2 ODS algorithm
附图说明
图1为本发明实施例的面向水工安全监测的基于DS优化多指标大坝缺陷图像检测方法(M-DDODS)的总体框架图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
对采集到的图像序列进行实验分析,发现在外部环境基本保持不变情况下,出现缺陷时,图像的多种特征量指标都有明显变化,而变化明显的有以下4个特征指标:平均信息熵、平均灰度方差偏移、平均梯度均值对比度、平均信噪比。仅仅依靠检测其中的一个特征参数去判定缺陷可能会造成比较大的检测偏差,所以综合考虑这4个特征指标的变化,在分别得出单个特征指标的缺陷检测结果后,进行决策层信息融合得到最终检测结果。
大坝缺陷图像包含很多有价值的信息,通过合适的预处理技术对图像中的特征信息进行提取和分析,能够从中得到大坝缺陷的情况,并进行标记和跟踪处理。大坝的缺陷分类识别是进行大坝缺陷描述的重要依据,而缺陷图像的特征提取又是大坝缺陷识别的基础。
图像特征参量是图像本身的一些特征参数,计算特征量值本质上仍为图像特征提取。本发明选取的图像数据特征量参数包括局部信息熵、局部梯度均值对比度、局部方差偏移以及局部方差对比度。
假设图像大小为M×N,f(x,y)为点(x,y)处的灰度值,下面对各图像特征量进行说明。
(1)图像信息熵(H):表示图像中灰度分布的聚集特征所包含的信息量,公式表示为:
其中表示图像中(x,y)处的像素灰度值所占的比例,信息熵反映了图像灰度的离散程度,熵值越大,图像复杂程度越高,目标缺陷区域与背景的差异也越大。
(2)峰值信噪比(SNR):通常用原图与处理后图像的统计误差来进行图像相似度的度量,公式表示为:
其中g(i,j)、f(i,j)分别表示原始图像和处理后图像的点(i,j)处的灰度值,信噪比越大,图像质量越好,与原图像的误差就越小。
(3)灰度均值方差(MSE):描述图像灰度值分布的均匀程度,公式表达如下:
其中X(i,j)、分别表示点(i,j)像素的灰度值和整个图像平均灰度值。图像灰度均值方差与对比度有很大关系,方差越大,对比度就越大。
(4)灰度梯度:假设图像为二维离散函数,对这个二维离散函数进行求导,可用于目标边缘检测,其剃度模值定义为:
其中,f(x,y)表示图像在点(x,y)处的灰度值,计算中,用差分代替微分。
图像数据在计算机中的存储是由一个个独立的像素点组成的,每个点都对应一个像素值,转化为灰度图又称为灰度值。图像的特征信息就蕴含在这每个点以及整个点阵的排列关系中。
图像的特征量计算是在计算每个像素点的灰度值的基础上进行的,是衡量图像不同特征的指标,能在一定程度上表征图像内部特征。因此在外部环境相同或是差别较小的情况下,采集图像的特征量保持不变。依据这一特性,观察大坝某一监测点不同时刻的图像本身特征量的变化,会发现正常的或是缺陷很小的监测点采集到的图像的特征量几乎保持不变,而在出现了缺陷的监测点采集的图像数据特征量会发生明显变化,分析这一变化的规律,就可以找到缺陷检测的依据,从而区分出有无缺陷的图像。
图1为本发明提供的基于DS优化多指标大坝缺陷图像检测方法(M-DDODS)的总体框架图,其工作过程如下所描述:
①读入测点图片,从已有的样本库读取相应的测点图片。
②查找历史图像数据,图像序列对应的特征量参数统计值表示为Xi(i=1…n),稳定值表示为为了方便计算,图像按时间编号,如表1给出了其中24幅图像的具体统计结果。
表1
③通过对输入图像的四大特征量参数(平均信息熵、平均信噪比、平均梯度均值对比度、平均灰度方差偏移)数值与既定阈值的比较分别得出有无缺陷的检测结果,并利用优化的DS算法对四个指标检测结果进行组合,最终得出输入图像有无缺陷的检测结果。检测结果集包含三种情况:正常、存在缺陷、不确定。让24幅图像按照以下步骤进行指标阈值的确定。
A.从特征量统计值序列中随机选取m个样本,计算均方误差
B.将样本数量加1,重新计算RMSE,如果减小,那么更新误差值,继续补充样本数量。计算过程中,若连续7次都没有更新RMSE,将每次实验成功概率设为1/2,依据伯努利实验概率计算,可以认为此后更新样本均方误差的概率为(1/2)8,即0.00391,发生的概率接近于0,所以有理由认为找到了相对稳定的样本特征参数序列;
C.均方误差稳定之后,所选取数据的平均值即为历史数据中较为稳定的特征量参数值结合误差,将阈值设置为σ1=2RMSE以及σ2=3RMSE;
根据以上步骤,能够得到四种指标的局部最优均方误差以及稳定(在这里认为是正常)情况下的特征参数均值,如表2所示。
表2
结合表2,假设测试图像的四种指标特征量为Xi(i=1,…,4),具体的缺陷评判准则为:
a.当时,图像检测结果判定为正常;
b.当时,图像检测结果判定为不确定;
c.当时,图像检测结果判定为存在缺陷。
算法1描述了多指标缺陷图像检测算法的第一阶段,即多指标检测的具体过程。算法输入为测试图像和各种既定阈值,输出为四种指标分别对应的检测结果类。
算法1M-DDODS算法
④计算各证据的平均冲突系数Wfi,l
计算四个证据的初始置信度(也即概率分配函数)和平均冲突系数Wfi,l,当图像的信息熵为H(x,y)时,图像中目标评价集Ω={A1,A2,A3}={正常、有缺陷、不确定}的基本概率赋值函数mass,m(A)是辨识框架Ω内的基本概率赋值函数。
m1(A1)=H′(x,y)(1-α)
m1(A2)=[1-H′(x,y)](1-α)
m1(A3)=α
其中α=0.1×H(x,y),H′(x,y)=H(x,y)/max(H(x,y))。m1(A1)表示在第一个证据,焦元为A1的情况下,它的基本概率赋值函数。
证据间的高冲突问题一般用冲突系数kil来衡量证据mi与ml间的冲突大小,公式如下:
其中,m2(Al)是在第二个证据,焦元分别为Ω={A1,A2,A3}={正常、有缺陷、不确定}情况下,它的基本概率赋值函数。
平均冲突系数Wfi,l公示如下:
m1与m2之间的距离。其中,是m1、m2的2N维列向量形式:
上式中:D是一个2N×2N矩阵,其中矩阵中的元素,对集合G和Y,有
表示的是焦元G和Y之间相似程度用式。
假设n是系统所收集的证据数目。因此,可以得到证据体mi和mj之间的距离,并且可以把这个距离表示成一个距离矩阵,如上式所示:
因而证据mi与其他证据间的平均冲突系数为:
基于经验估计,这里设定平均冲突系数的阈值ξ=0.9734。
⑤将平均冲突系数Wfi,l与既定阈值ξ进行比较,当得到的Wfi,l大于既定的阈值0.9734时,则需要进行基于Pignistic相似性的自适应加权
通过计算证据间的Pignistic相似度来赋予证据动态权重,将mass函数转换成Pignistic概率函数,该函数表示为BetPm。设m(A)是辨识框架Ω上的一个基本概率指标,那么它在辨识框架Ω下的Pignistic概率函数BetPm:Ω→[0,1]为:
其中|A|是集合A的势,Pignistic转换是m转换成BetPm的过程,Pignistic概率距离是Ω内距离最大的子集。
根据Pignistic概率距离进行m(A)到空间2Ω的Pignistic转换:
若以每个为坐标建立欧式空间Rn,可以得到一组表示Ω内对应元素的Pignistic概率。因而,Pignistic相似度表达式为:
其中,<·,·>表示点积,||·||表示范数。当和相交时,相似度为0,说明两证据完全冲突;当和重合时,相似度为1,说明两者对同一命题的支持度一致。
为了描述框架内其他证据对某一证据的支持程度,定义证据mj的支持度为:
归一化证据mj的支持度并计算置信度:
此时定义证据mj的自适应权重为其置信度与最大置信度之比:
从上述公式可以看出ωj仅由Pignistic相似度确定,能动态调整各证据的效度。
综上,原有的概率赋值函数结合Pignistic相似度确定的动态权重,可以得到新的基本概率赋值函数为:
m1(A1)=m1(A1)×ω1
m1(A2)=m1(A2)×ω2
m1(A3)=m1(A3)×ω3
同理,其他三个指标平均信息熵、平均信噪比、平均梯度均值对比度以及平均灰度方差偏移的基本概率分配函数和信息熵的计算方法相同,分别用m2(A1)、m2(A2)、m2(A3);m3(A1)、m3(A2)、m3(A3);和m4(A1)、m4(A2)、m4(A3)来表示。
⑥mass函数修正,组合四个指标证据,得到最终检测结果。
表3本发明实施例中实例得到的指标特征量计算结果,计算每个指标的基本概率函数,也即置信度分配
依据确定好的证据效度对经过修正的mass函数m1,m2,m3,m4进行计算正交和处理会得到一个新的信任函数从而实现对多个证据的合成判决:
其中,Wfi,l在第一步骤中详细介绍过,为平均冲突系数。决策融合后按照以下规则进行检测结果判别:
A.判定的检测结果的基本信度大于阈值T1。
B.判定的检测结果与其他检测结果的信度差值大于某一阈值T2。
C.不确定结果的信度值要小于阈值T3。
D.根据目标评价集(即焦元)Ω={A1,A2,A3}={正常、有缺陷、不确定}判定的评判结果的信度值要大于不确定结果的信度值。
⑦mass函数修正后,计算各证据的平均冲突系数Wfi,l,直至Wfi,l的值不大于既定的阈值0.9734,循环结束。
⑧DS证据组合规则融合。
⑨确定检测结果
如算法2实现了基于DS优化进行融合决策的具体过程。
算法2 ODS算法
根据以上实施例可知,针对多指标缺陷图像检测方法资源利用低,决策准确度低甚至决策错误的问题,本发明的方法,提升缺陷检测的效果,提高决策准确度。在此发明中,通过对输入图像的四大特征量参数(平均信息熵、平均信噪比、平均梯度均值对比度、平均灰度方差偏移)数值与既定阈值的比较分别得出有无缺陷的检测结果,并利用优化的DS算法对四个指标检测结果进行组合,最终得出输入图像有无缺陷的检测结果。其中,多指标缺陷检测过程是通过对比分析历史正常图像特征量参数(平均信息熵、平均信噪比、平均梯度均值对比度以及平均灰度方差偏移量)和测试图像特征量的差异来判断是否存在缺陷,这一阶段重点是每个指标阈值的设置;采用优化的DS算法组合四个指标的检测结果,输出最终检测结果。一般的DS证据理论对于不确定情况下证据间的高冲突问题无法很好地解决,很容易造成决策准确度降低甚至决策错误,为了减小证据冲突,改进的DS证据理论算法通过引入自适应权重定义各指标证据的效度,并修正证据概率函数分配,最终得到更加准确的缺陷检测效果。
机译: 基于指标的产品设计优化,以发现有缺陷和无缺陷的状态
机译: 基于加权Naive贝叶斯分类器和动态多目标优化将缺陷图像分离出缺陷图像的方法
机译: 基于特征提取和多目标优化的热图像序列缺陷图像分离方法