基于聚类子区域关联的稳定特征挖掘和目标跟踪方法

摘要

本发明公开了一种基于聚类子区域关联的稳定特征挖掘和目标跟踪方法，a)自适应检测目标运动区域，提取该运动区域的V色彩分量直方图峰轮廓，根据候选峰、区域峰和残余峰能量，获得聚类数；b)构建目标运动区域的S和V分量样本灰度矩阵，进行类数自适应的K-means聚类；c)对基于类的连通子区域进行标记并建立子区域模板、观测模型和增量模型描述；d)建立目标模板和当前观测模型子区域间关联，挖掘“模板-观测”稳定子区域特征对及模板特征变化率；e)加权融合模板各稳定子区域位移、目标检测区域中心和上一帧轨迹以定位目标当前轨迹，并根据稳定特征的加权平均增量及其变化率逐帧更新目标模板。

说明书

技术领域

本发明涉及一种基于聚类子区域关联的稳定特征挖掘和目标跟踪方法，属于视频 图像处理技术领域。

背景技术

目标的视觉特征建模是目标识别和跟踪领域的关键技术之一。目前国内外学者主 要关注的问题集中在目标姿态和尺度变化、场景光照变化和场景干扰等情况下的目标特征 模型的鲁棒性、准确性提高上。

基于目标内容信息的特征描述方法自报道以来，国内外均不断有改进该路线的专 利报道，归结大致有三类：1、基于目标自身空间特征信息的描述方法改进；2、融合目标自身 空间特征和场景空间信息的描述方法改进；3、融合目标自身空间特征、场景空间和时序信 息的描述方法改进。

通常基于目标自身空间特征的目标模型利用目标独特的内容或结构信息，如色 彩、边缘和形状上下文特征等进行描述，在增强目标描述力同时，描述算法的复杂度直接影 响目标识别和跟踪系统效率。采用聚类算法以降维色彩空间能有效提高目标外观色彩内容 信息的描述效率，但通常聚类结果受聚类数和初始聚类中心等因素影响，导致聚类结果不 稳定性。BhatiaA等在theNorthCarolinaStateUniversity博士学位论文 “HierarchicalChargedParticleFilterforMultipleTargetTracking”(2011:21- 37)中，采用类数自适应的DBSCAN算法聚类目标外观，并通过引入色彩相似度阈值将聚类过 程限制在二维坐标空间，以改善聚类效率。但是当类密度和类间距不均匀时，DBSCAN将面对 类数目增加、邻帧间对应目标局部区域聚类效果不稳定等问题，导致目标定位精度不高。

目标所处场景的空间和时序上下文信息能在目标尺度和姿态变化、场景干扰等情 况下，为目标识别和跟踪性能的提高提供额外观测支持。文献报道了多种基于场景上下文 协作的目标描述和跟踪方法。不同方法针对各自的目标对象，均可优化选择适合协作描述 的辅助目标及其特征参数、多观测支持融合算法以提高跟踪效率。如挖掘多辅助目标算法、 目标支持者学习算法等。YangM等在IEEETransonPatternAnalysisandMachine Intelligence(2009,31(7):1195-1209)发表的文章“Context-AwareVisualTracking”首 次提出在线自动挖掘多辅助目标以协作提供额外测量值的思想，利用Meanshift选择与 历史图像中具有高共生频率的片段区域作为候选辅助目标，并对被跟踪目标和辅助目标建 立相同的仿射运动观测模型，在混乱和遮挡场景单目标跟踪中取得良好跟踪效果。该方法 主要以目标局部区域为跟踪对象，辅助目标来自目标体的其它部位或场景中其它目标，若 跟踪较大目标、目标整体或多目标，挖掘和多观测融合决策过程势必影响跟踪实时性。

从连续帧间目标外观尺度、姿态或光照渐变的规律上看，短时间内目标体的一些 局部区域特征具有直接反映这种渐变规律的能力。通常基于增量计算的自适应模型更新方 法，如参考模型与最佳候选模型的线性加权更新、子空间增量学习和更新、滤波更新等大多 是基于这样的机理。JahandideH等在PatternRecognitionLetters(2012,33(16):2192- 2197)发表的文章“AHybridMotionandAppearancePredictionModelforRobust VisualObjectTracking”中利用KF(KalmanFilter)对目标外观色彩分布(每个色彩类质 心)进行预测，具有良好光照适应性能，相对于逐像素色彩或逐色彩箱格(bin)分配一个KF 进行更新的已有方法，明显降低了计算量。但是目标外观尺度和姿态等变化可能会引起部 分色彩类质心位置变化规律不一致，引起更新误差。从我们的跟踪实践看，挖掘数量较少但 却稳定的色彩类或色彩子区域，并据此获得高可靠度的模型增量，有利于提高模型更新和 目标轨迹定位的准确性和效率。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供一种基于聚类子区域关联的 稳定特征挖掘和目标跟踪方法，根据目标运动区域的V(Value)色彩分量直方图峰轮廓的确 定区域峰数目和残余峰能量自适应获得聚类数，并利用K-means聚类目标区域的S (Saturation)和V色彩，在降维色彩空间同时，提高聚类区域分布的可控制性；对目标建立 基于类的连通子区域模板、观测模型和增量模型描述，同时建立目标模板和当前观测模型 间子区域关联，以挖掘“模板-观测”稳定子区域特征对及模板特征变化率；融合各稳定子区 域位移获得目标当前轨迹，并根据模板稳定特征的加权平均增量变化率逐帧更新目标模 板，提高稳定特征挖掘和轨迹跟踪的对目标外观变化和场景干扰的自适应性能。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

步骤一：基于自适应背景差分和背景更新，检测目标运动区域，提取该区域的V色 彩分量直方图峰轮廓，并利用中值滤波平滑不重要的峰；根据相邻峰间V色彩差分阈值条件 计算候选峰和区域峰，并根据确定区域峰数目和余峰能量，获得聚类数。

步骤二：构建目标区域运动像素的S和V色彩矩阵，并进行K-means聚类；根据像素 坐标与上述色彩矩阵行间对应关系，重构聚类结果图像。

步骤三：查找对应每个类的4或8邻域连通子区域，并编号和标记形心位置；建立基 于子区域形心、面积、平均色彩特征的模板、观测模型，以及基于面积变化率和色彩变化率 的增量模型描述。

步骤四：根据目标模板与当前观测模型子区域间形心、面积和平均色彩距离阈值， 挖掘具有关联对应的稳定子区域，获得“模板-观测”子区域稳定特征对，以及模板特征变化 率。

步骤五：利用稳定子区域面积加权对应子区域形心位移，获得当前帧目标位移，再 融合当前检测区域中心和上一帧轨迹，获得目标当前轨迹；通过面积加权融合稳定子区域 特征变化获得模板平均增量及其变化率，以逐帧更新目标模板。

有益效果：本发明提供的基于聚类子区域关联的稳定特征挖掘和目标跟踪方法， 首先，根据目标运动区域的V色彩分量直方图峰轮廓的确定区域峰数目和残余峰能量获得 聚类数，有利于实现自适应K-means聚类，并使得连续帧序列中的目标聚类区域分布可控 制，有效突出目标外观结构；利用目标区域S和V色彩分量变化独立性特点进行聚类，不需要 事先判断H(Hue)色彩信息，有助于进一步提高聚类效率和自适应性。

其次，建立基于类的目标连通子区域模板、观测模型和增量模型描述，将目标描述 细化到局部特征及其增量变化，有利于在目标尺度和姿态变化、场景干扰等情况下，利用部 分稳定子区域观测和增量模型，获得可靠的目标运动轨迹和模型更新依据；通过关联目标 模板和当前观测模型间子区域，挖掘“模板-观测”局部稳定特征对及模板特征变化率，使跟 踪过程不受初始质心随机性引发的聚类结果不稳定的影响，提高了跟踪鲁棒性和准确性。

第三，加权融合各稳定子区域位移获得目标当前位移，赋予面积较大的子区域较 大的位移表决权，有利于抑制目标边缘处稳定小区域由于误关联引入的计算误差、降低时 耗和提高目标定位精度；根据稳定特征平均增量变化率逐帧更新目标模板，使不稳定子区 域的特征参数在无法获得自身对应的子区域特征对和增量变化率时，也可实现自更新，有 利于提高稳定特征挖掘和轨迹跟踪的对目标外观变化和场景干扰的自适应性。

本发明实现了目标外观变化和场景干扰等情况下的目标稳定特征挖掘和轨迹跟 踪，提高了跟踪鲁棒性、准确性和实时性。在视频图像处理领域具有广泛的应用前景，应用 于智能视频监控、视频图像理解和工业视觉伺服控制等领域。

附图说明

图1为本发明的工作流程图；

图2为本发明实施例的自适应背景差分检测到的目标运动区域图；

图3为本发明实施例的V色彩分量直方图轮廓中值滤波后的结果图；

图4为本发明实施例的视频序列230帧和239帧的原图和目标运动区域的自适应K- means聚类结果图；

图5为对应图4(b)和图4(d)中目标运动区域的类8邻域连通子区域标记结果图；

图6本发明实施例视频序列的目标模板及局部放大图；

图7为本发明视频序列的231帧、235帧、239帧、241帧、243帧的原图；

图8为图7对应原图的目标运动区域聚类和标记结果图；

图9为图8对应结果图的稳定子区域特征挖掘和目标轨迹跟踪结果图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示，基于聚类子区域关联的稳定特征挖掘和目标跟踪方法，具体实施步骤 如下：

步骤一：采用阈值和背景更新自适应的背景差分算法检测目标运动区域；根据目 标运动区域V色彩分量直方图的峰轮廓、候选峰、区域峰和残余峰能量，自适应获得聚类数。 聚类数计算具体步骤如下：

1a.提取目标运动检测区域的V色彩分量直方图峰轮廓；

1b.利用窗口长为n＝2，n∈[2,5]的中值滤波平滑峰轮廓，以突出主峰其中l1 ＝1,2…,L1为主峰的数目；

1c.将大于β倍主峰均值的作为候选峰如公式(1)，其中β＝1.38，β∈[1, 1.8]为尺度因子，l2＝1,2…,L2为候选峰数目；

1d.累加小于主峰均值的获得残余峰能量SUM_t和残余率RES_t，如公式(2)～(3)；

1e.当相邻候选峰和对应的V色彩分量差分满足时，和均被作为确定区域峰；当时，保留中较大峰作为临时区域峰，并将 序号赋值为l2+1，即重复该过程，依次将临时区域峰与下一相邻 峰进行比较，并重复max赋值过程，直到成立，此时的较大峰方 可被作为确定区域峰；确定区域峰数目即为聚类数K_t。当RES_t＞α₂时，增加一个聚类，即 其中阈值α₁≥10,α₂≥0.3，最为优选方案：α₁∈[15,20]，α₂∈[0.35,0.45]，计算 时可选α₁＝15α₂＝0.45。

步骤二：利用目标区域运动像素x处的S和V色彩分量S_t(x),V_t(x)构建M×2样本矩 阵进行自适应K-means聚类，获得聚类结果D_t(n)，如公式 (4)～(5)。其中C_t(1),C_t(2),…,C_t(k),…,C_t(K_t)为类质心强度，n∈[1,M]为运动像素数目。

步骤三：编号标记每个类对应的8邻域连通子区域，并建立子区域模板 观测(即：运动检测区域)模型$F_t^{s1}=\{F_{X,t}^{s1},F_{A,t}^{s1},F_{S,t}^{s1},F_{V,t}^{s1}\},$增量模型 “模板-观测”稳定子区域对模型：和 其中下标x,A,S,V,A_ratio和SV_ratio分别表示子区域形心、面积、S 色彩分量平均值、V色彩分量平均值、面积变化率和色彩变化率；r1∈[1,N1]、s1∈[1,N2]和 m∈[1,N3]分别为和的子区域序号和数目；和计算如公式(6 ～9)。其中为第r1个模板子区域对应的为第s1个观测 子区域对应的

步骤四：根据模板差分形心距离面积变化率和色彩变化率 建立目标模板和当前观测模型子区域间关联，挖掘“模板-观测”稳定子区域 特征对并获得模板稳定子区域增量如公式(10)～(14)。 其中λ₂∈(0,0.35]和λ₃∈(0,0.2]，作为优选λ₂∈[0.2,0.3]和λ₃∈ [0.1,0.15]，计算时可选λ₂＝0.3和λ₃＝0.1为阈值。

步骤五：根据目标模板稳定子区域的加权平均增量计算平均形心位移再融 合运动检测区域中心和上一帧轨迹x_t-1获得当前帧目标轨迹x_t，如公式(15)～(16)；并 根据平均面积变化率平均面积变化量平均色彩平移量和更新目标模板 获得如公式(17)～(21)。其中SIGN表示的正负符号，γ∈[0，1]，最为优选γ＝ 0.8为权值。

如图2～9所示，图2为自适应背景差分检测到的目标运动区域；由于目标阴影在目 标外观变化时可为目标提供有效的定位信息，这里阴影被视作目标体的一部分。

图3为图2的V色彩分量直方图轮廓中值滤波后的结果、一倍主峰均值和β倍主峰均 值；曲线表示滤波后的直方图轮廓，虚线和实线分别表示一倍和β倍主峰均值；残余峰能量 的残余率为RES_t＝0.25，聚类数为K_t＝3；

图4(a)、图4(b)、图4(c)、图4(d)、图5(a)和图5(b)体现和说明了目标聚类子区域 特征在序列帧间的变化规律和对应关系，其中符号'+'表示每个子区域形心位置；图5(a)和 图5(b)为视频序列的230帧和239帧的目标运动区域自适应聚类和类连通子区域标记结果 图，图6(a)和图6(b)为从230帧中选取的模板及局部放大图；目标模板尺度为85×59，包含3 个类和14个子区域；模板选自230帧原图；其中圆点符号表示初始目标轨迹。

图7(a)、图7(b)、图7(c)、图7(d)和图7(e)为视频序列的231帧、235帧、239帧、241 帧和243帧的原图；图8(a)、图8(b)、图8(c)、图8(d)和图8(e)为视频序列的231帧、235帧、 239帧、241帧和243帧的目标运动区域聚类和标记结果，图9(a)、图9(b)、图9(c)、图9(d)和 图9(e)为视频序列的231帧、235帧、239帧、241帧和243帧的稳定子区域特征挖掘和目标轨 迹跟踪结果。从图9(a)、图9(b)、图9(c)、图9(d)和图9(e)可知，对视频序列中目标运动区域 的聚类子区域进行实时关联，利用挖掘到的稳定子区域特征对目标轨迹定位，符合实际视 频中目标外观局部特征随目标外观和姿态渐变等变化的规律、以及子区域位移与目标轨迹 间的对应规律。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应 视为本发明的保护范围。