法律状态公告日
法律状态信息
法律状态
2018-11-16
专利权的转移 IPC(主分类):G06T7/277 登记生效日:20181026 变更前: 变更后: 申请日:20160725
专利申请权、专利权的转移
2018-09-21
授权
授权
2016-10-26
实质审查的生效 IPC(主分类):G06T7/20 申请日:20160725
实质审查的生效
2016-09-28
公开
公开
技术领域
本发明属于红外成像技术领域,尤其涉及一种基于核函数质心漂移的红外成像目标跟踪方法。
背景技术
近年来,红外成像技术取得了很大进步,在国防建设和国民经济领域得到广泛应用,特别是已成为军事侦察与预警中的核心技术和重要手段,针对红外成像的目标跟踪是非常重要的研究课题。有效的目标跟踪算法应能够对指定目标进行平稳跟踪,并能在目标发生遮挡、形变等情况时按照指定规则继续跟踪或发出警告信号后停止跟踪。
质心跟踪是一种重要的形心跟踪算法,它通过计算目标的能量矩确定目标在波门内位置,进而确定目标的运动状态,实现目标跟踪。传统质心跟踪首先对波门内像素进行阈值分割,保留灰度值高于阈值的像素点作为目标,计算目标区域的质心。质心跟踪具有方法简单,计算量小,不受大小、旋转变化影响等优点,是目前国内外一种重要的导弹制导跟踪方式。
传统质心跟踪一般基于三点假设:(1)波门足够大,能够框住目标;(2)波门内目标与背景之间灰度级高度可分;(3)目标周围背景灰度近似均匀。这三点假设直接决定了质心跟踪的稳定性、可靠性和精度。当满足上述三点假设时,能够通过图像分割的方法确定灰度阈值,利用灰度阈值实现对目标的检测,进而通过计算目标质心位置变化进行质心跟踪。质心跟踪方法的主要有一下几个缺点:(1)当跟踪目标较大,波门无法完全框住目标时,无法通过波门内外的灰度分布准确判断跟踪目标,如跟踪目标是桥梁、跑道等物体时;(2)当目标灰度与背景灰度相差较小时,灰度阈值的精确度直接影响目标跟踪的稳定性和精度;(3)当目标灰度分布范围较大时,灰度级高的部分在计算质心位置过程中影响较大,抗干扰能力较差;(4)当目标被遮挡或假目标出现时,容易出现跟踪丢失或出错的情况。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种算法简单、适用性强、效果良好、且适合硬件实时实现的基于核函数质心漂移的红外成像目标跟踪方法。具体包括如下步骤:
步骤1,通过红外探测器,输入红外图像;
步骤2,输入跟踪波门的初始位置坐标(x0,y0)、宽度M和高度N,作为跟踪起始,在当前帧红外图像中选取对应图像区域,获得模板图像Xtrg;
步骤3,统计目标图像灰度直方图,采用最大类间方差法将模板图像像素按照灰度分为两类,根据模板图像Xtrg中心位置灰度均值gcenter确定目标灰度分布范围,并获得目标二值化图像Btrg;
步骤4,利用目标灰度统计直方图构造核函数,将模板图像Xtrg映射转换为质量图像Mtrg,计算波门中质心位置,同时记录目标总质量msum;
步骤5,输入下一帧红外图像,在目标预测坐标位置(x0,y0)提取用于对比的波门图像Xcmp,利用迭代运算,计算最终波门位置坐标(xout,yout);
步骤6,利用步骤3中确定的目标灰度分布范围和步骤4中构造的核函数将迭代后的波门图像映射到质量图Mcmp'和二值图像Bcmp',计算跟踪结果与目标模板间的重合度和质量相似度,并更新目标图像;
步骤7,跳转至跟踪步骤5,直至收到停止跟踪指令。
其中,步骤2包括:
利用鼠标或手柄等控制平台,通过框选的方式输入跟踪波门及其初始位置坐标(x0,y0)、宽度M和高度N,(x0,y0)表示波门左上顶点在输入红外图像第x0行,第y0列。在输入红外图像中从坐标(x0,y0)开始取M行N列,获得模板图像Xtrg。
步骤3包括如下步骤:
步骤3-1,对模板图像Xtrg统计归一化的灰度直方图离散函数h(r)和累计直方图离散函数H(r):
其中,gmin为模板图像Xtrg灰度最小值,gmax为模板图像Xtrg灰度最大值,nr为模板图像Xtrg中灰度级为r的像素点个数,且有:
步骤3-2,利用灰度特征最大类间方差算法计算模板图像Xtrg的灰度阈值Tg(下标g为英语单词gray的缩写),即满足如下公式时,类间方差最大:
通过如下公式计算类间方差
其中,m(r)为灰度一阶矩,mG为最大灰度一阶矩,通过如下公式计算:
mG=m(gmax);(7)
步骤3-3,利用固定比例阈值法,设置固定阈值比例Trate∈(0,0.5),计算最小比例阈值T1和最大比例阈值T2:
H(r)表示灰度级r对应的直方图累计函数值。
步骤3-4,通过如下公式确定模板图像灰度阈值gthresh:
模板图像Xtrg的中心点坐标为统计中心点5×5区域内的灰度均值gcenter:
根据模板图像Xtrg中心灰度均值gcenter确定目标灰度分布范围[gL,gH]:
若gmin≤gcenter≤gthresh,则gL=gmin,gH=gthresh;
若gthresh<gcenter≤gmax,则gL=gthresh,gH=gmax。
由模板图像Xtrg到目标二值化图像Btrg的映射关系如下:
Xtrg(i,j)、Btrg(i,j)分别表示模板图像中坐标(i,j)处像素点的像素值和二值化图像中坐标(i,j)处像素点的像素值。
步骤4中包括如下步骤:
步骤4-1,质量图映射:统计灰度直方图离散函数h(r)在目标灰度分布范围[gL,gH]的最大值质量图像Ytrg内坐标点(i,j)的像素值Ytrg(i,j)由模板图像Xtrg中的对应点的像素值Xtrg(i,j)映射得到,映射关系如下:
步骤4-2,构造核函数:利用目标灰度分布范围,设计核函数k(x):
x为函数变量,在本发明中为各点像素值。
质量图像Ytrg经核变换后得到新的质量图像Mtrg,各点像素值通过如下公式计算:
步骤4-3,通过如下公式计算目标质心位置坐标(xt,yt):
坐标(xt,yt)表示质心处在波门图像第xt行、第yt列,
目标图像总质量msum为:
步骤5包括如下步骤:
步骤5-1,输入下一帧红外图像,在新输入的图像中,利用目标预测坐标(x0,y0)与波门大小,获取相应位置的新的波门图像Xcmp,利用公式(11)~(15),计算新波门图像的质量图Mcmp、质心位置(xp,yp);
步骤5-2,比较质量图像Mtrg与新波门图像的质量图Mcmp中质心位置,得到位置偏差矢量
步骤5-3,目标预测位置点更新为(x1,y1):
步骤5-4,迭代更新波门位置,重复步骤5-1~步骤5-3,直至满足如下条件:
其中,D为允许偏差,n为迭代次数,N为最大迭代次数,最终波门位置坐标记为(xout,yout)。
步骤6包括如下步骤:
步骤6-1,利用波门位置迭代结果(xout,yout)与波门大小获取迭代后波门图像Xcmp',根据公式(13)(14)计算迭代后波门图像Xcmp'的二值图像Bcmp'与总质量msum',通过如下公式计算跟踪结果与目标模板间的重合度ρoverlap和质量相似度ρm:
其中,Ntrg为二值图像Btrg中非零像素点数,Ncmp为Bcmp'中非零点数,Noverlap为Btrg、Bcmp'中非零区域的重合部分像素点数。
步骤6-2,计算目标可靠度ρ:
ρ=α×ρoverlap+β×ρm,(22)
其中,α和β为归一化系数,满足α+β=1;
步骤6-3,若ρ>ρtrust,则输出最终波门位置坐标(xout,yout);若ρ≤ρtrust,则判定跟踪目标可靠度较低,进入记忆跟踪状态,其中,ρtrust为经验参数,满足ρtrust∈(0,1)。
有益效果:本发明与现有技术相比,具有以下显著优点:(1)克服了现有质心跟踪技术多要求波门大于跟踪目标的缺点,本发明可以对小目标整体或大目标局部进行稳定跟踪。(2)采用灰度特征最大类间方差阈值与固定比例阈值相结合的全局阈值计算方法,提升对比度较低图像的目标分割的效果,降低由于目标灰度分布过度分散造成的阈值分割效果不理想的情况。(3)利用核函数变换将灰度集映射到质量级,充分结合目标灰度分布,极大的降低了辐射弥散导致的灰度分布不均匀带来的影响。(4)利用核函数变换将灰度集映射到质量级,充分结合目标灰度分布,能够较好的定位目标位置,同时提升了对于人工干扰影响的抑制能力。(5)基于目标重合度和质量相似度结合的可靠度设计,能够提高在形状旋转或灰度发生波动时跟踪能力。(6)采用波门内质心漂移的跟踪方式,算法运算量小,适合硬件实时实现。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是本发明基于核函数质心漂移的红外成像目标跟踪方法的流程图。
具体实施方式
本发明技术方案的实施步骤如下:
(1)输入跟踪指令,确定波门位置及大小;
(2)在当前帧图像中,利用波门获取模板图像;
(3)利用模板图像,提取目标信息;
(4)更新红外图像,利用质心跟踪计算目标位置变化;
(5)对比目标信息,确定跟踪可靠度;
(6)依据目标可靠度更新目标模板;
(7)输出目标位置信息,跳转至步骤(4),直至收到停止跟踪指令。
本发明基于核函数质心漂移的红外成像目标跟踪方法中,采用目标分割方法,提取待跟踪目标灰度特征,再通过核函数变换的方式计算出目标稳定的质心位置,同时比对目标形状特征,确定目标可靠度,实现目标的平稳跟踪。
本发明基于核函数质心漂移的红外成像目标跟踪方法中,目标分割采用了灰度特征最大类间方差法与固定比例阈值相结合的方法,将波门内像素集Y按灰度分为两个互补子集Y1和Y2。子集Y1和Y2分别为
Y1={(x,y)|gmin≤g(x,y)≤gthresh,(x,y)∈Y};
Y2={(x,y)|gthresh<g(x,y)≤gmax,(x,y)∈Y}。
其中,g(x,y)表示像素点(x,y)的灰度值,gthresh阈值在最大类间方差阈值Tg、最小比例阈值T1、最大比例阈值T2间选取,选取规则是:
本发明基于核函数质心漂移的红外成像目标跟踪方法中,前景背景判断采用波门中心点选择的方式。波门中心点处5×5区域内灰度均值为gcenter,若gcenter≤gthresh,则波门中灰度级较低部分Y1为跟踪目标。反之,若gcenter>gthresh,则灰度较高部分Y2为跟踪目标。记跟踪目标灰度范围为[gL,gH]。
本发明基于核函数质心漂移的红外成像目标跟踪方法中,采用模板图像直方图统计量作为各像素点(x,y)的质量m(x,y),统计量为0的像素点质量记为1,以低灰度跟踪目标为例,目标内各点由灰度集到质量集的映射方法是:
其中,hist(g(x,y))表示(x,y)点灰度值g(x,y)所对应目标区域直方图中的该灰度级统计个数。利用核函数变换理论对质量进行加权。核函数为
本发明基于核函数质心漂移的红外成像目标跟踪方法中,采用迭代跟踪方法对目标偏移进行跟踪。计算波门内目标质心相对于波门中心位置,作为参照位置。当下一帧图像进入时,计算预测点位置处波门质心,根据与参考位置间的偏差进行波门移动。通过迭代计算,当质心位置与参考位置重合时得到目标位置。
本发明基于核函数质心漂移的红外成像目标跟踪方法中,目标可靠度采用目标重合度和质量相似度结合,具体计算方法是:
ρ=α×ρoverlap+β×ρm
其中,ρoverlap表示模板内目标和跟踪结果波门内目标间的重合度,ρm表示表示模板目标总质量与跟踪结果波门内目标质量相似度,α、β为归一化系数,满足α+β=1。
结合图1,下面以实例来说明本发明基于核函数质心漂移的红外成像目标跟踪方法。红外探测器的帧频是50Hz,图像分辨率为320×256。红外图像传给DSP+FPGA架构的专用图像处理板,目标跟踪在DSP处理器中实现,满足实时处理的需求,具体实施步骤如下:
(1)输入原始红外图像Xraw,通过通信传入波门大小及位置,在当前帧红外图像中选取对应区域,得到模板图像Xtrg,波门大小为M×N。
(2)确定波门模板图像Xtrg灰度范围[gmin,gmax],计算灰度特征最大类间方差阈值Tg、最小比例阈值T1以及最大比例阈值T2。
首先统计归一化的灰度直方图离散函数h(r)和累计直方图离散函数H(r):
其中,nr为模板图像Xtrg中灰度级为r的像素点个数,且有
然后,利用灰度特征最大类间方差法计算Xtrg灰度全局阈值Tg,满足当灰度为公式Tg时,类间方差最大,即满足公式
类间方差计算方法为
其中,m(r)为灰度一阶矩
mG=m(gmax).
利用固定比例阈值法,计算最小比例阈值T1和最大比例阈值T2。设置固定阈值比例Trate∈(0,0.5),本例中取Trate=0.15则
H(r)表示灰度级r对应的直方图累计函数值。
最后,将灰度特征最大类间方差法与固定比例阈值相比较,确定模板图像全局阈值gthresh,计算方法为:
(3)根据波门中心点处5×5区域内灰度均值gcenter确定跟踪目标的灰度区间[gL,gH],利用目标灰度统计直方图构造核函数,将模板图像Xtrg映射为质量图像Ytrg,计算波门中质心位置坐标(xt,yt),同时记录图像总质量msum,以及目标模板二值图像Btrg。
目标灰度区间[gL,gH]确定方法如下,若gmin≤gcenter≤gthresh,则gL=gmin,gH=gthresh;若gthresh<gcenter≤gmax,则gL=gthresh,gH=gmax。
构造核函数方法如下,统计直方图离散函数h(r)在目标灰度区间[gL,gH]的最大值模板图像Xtrg到质量图像Ytrg、二值图Btrg的对应像素点(i,j)的像素值映射关系如下:
核变换后的质量图为:
模板图像Xtrg到二值图Btrg的映射关系如下:
质心位置坐标(xt,yt)计算如下:
目标总质量为:
(4)输入新一帧红外图像,在目标预测位置(x0,y0)提取用于对比的波门图像Xcmp,利用迭代运算,计算最终目标位置(xout,yout)。具体迭代流程如下:
利用核函数变换,将波门图像Xcmp映射到质量图像Ycmp,
利用核变换函数转换为Mcmp。
计算质量图像Mtrg中质心位置(xp,yp),与跟踪模板质心参考位置(xt,yt)比较,得到位置偏差矢量
预测点更新为(x1,y1):
迭代更新波门图像Xcmp,计算质心位置(xp,yp),直至满足条件:
其中,D为允许偏差,N为最大迭代次数,本例中D=2,N=10。最终位置坐标记为(xout,yout)。
(5)将迭代后波门图像Xcmp映射到质量图Mcmp和二值图Bcmp,计算跟踪结果与模板目标间的重合度ρoverlap和质量相似度ρm。计算公式如下:
其中,Ntrg为二值图像Btrg中非零像素点数,Ncmp为Bcmp'中非零点数,Noverlap为Btrg、Bcmp'中非零区域的重合部分像素点数。
二者结合,计算目标可靠度ρ:
ρ=α×ρoverlap+β×ρm
其中,α、β为归一化系数,满足α+β=1。
若ρ>ρtrust,则输出波门位置坐标(xout,yout);若ρ≤ρtrust,则跟踪目标可靠度较低,进入记忆跟踪状态。其中,ρtrust为经验参数,满足ρtrust∈(0,1),本例中ρtrust=0.8。
本发明提供了一种基于核函数质心漂移的红外成像目标跟踪方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
机译: 基于热成像相机的目标跟踪方法及装置
机译: 一种基于粒子滤波的鲁棒目标跟踪方法及系统
机译: 一种基于粒子滤波框架的鲁棒目标跟踪方法及系统