一种结合均值移动与粒子滤波的无人机目标跟踪方法

摘要

本发明提出一种结合均值移动与粒子滤波的无人机目标跟踪方法，包括以下步骤：在均值移动跟踪过程中，根据带宽矩阵构建基于带宽矩阵的均值移动跟踪算法，以在跟踪过程中自适应更新目标尺度窗口；根据均值移动跟踪算法和粒子滤波算法的检测结果建立加权和数据融合目标定位方法；根据加权和数据融合目标定位方法确定无人机目标位置；根据目标重收敛方法对粒子滤波算法中的粒子进行采样以生成基于目标重收敛的粒子滤波算法；根据目标重收敛的粒子滤波算法得到目标扩展搜索策略，并据此对目标进行跟踪。本发明的实施例能够实现动态场景、光照变化、尺度变化、遮挡等复杂情况下对目标实时定位与跟踪，具有实时性好、适应性强和可扩展性好等优点。

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种结合均值移动与粒子滤波的无 人机目标跟踪方法。

背景技术

目标跟踪在科学和工程中具有重要的研究价值。无人机跟踪目标飞行的过 程中，由于摄像机和目标之间的相对运动，应用场景的复杂多变，以及采集的 视频图像一般具有光照变化明显、图像中杂物或噪声显著、目标被部分遮挡或 完全遮挡、目标姿态变化大等特点，使基于序列图像的目标跟踪难以实现。

目标跟踪算法可分为确定性跟踪算法和随机性跟踪算法两类，均值移动算 法是一种确定性跟踪算法。这种跟踪算法通常可以转化为最优化问题，即寻找 目标的最优匹配。基于均值移动的目标跟踪算法简单、实时性好，但是易收敛 到局部极值点，不能对跟踪窗口进行自适应调节，当目标机动性较强，尺度变 化明显，存在不同程度的遮挡，或光照发生较强变化时，跟踪效果不理想。

粒子滤波跟踪算法是一种随机性跟踪算法，它采用多个粒子，有效地表达 了跟踪的不确定性，对非刚体目标的跟踪以及部分遮挡下的跟踪表现出较强的 鲁棒性，但是存在粒子退化现象，预测精度受累积误差效应的影响，并且计算 量比较大，实时性较差。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的目的在于提出一种可实现动态场景、光照变化、尺度变化、 遮挡等复杂情况下对目标实时定位与跟踪，具有实时性好、适应性强和可扩展 性好等优点的结合均值移动与粒子滤波的无人机目标跟踪方法。

为了实现上述目的，本发明的实施例提出了一种结合均值移动与粒子滤波 的无人机目标跟踪方法，包括以下步骤：在均值移动跟踪过程中，根据带宽矩 阵构建基于所述带宽矩阵的均值移动跟踪算法，以在跟踪过程中自适应更新目 标尺度窗口；根据所述均值移动跟踪算法和粒子滤波算法的检测结果建立加权 和数据融合目标定位方法；根据所述加权和数据融合目标定位方法确定所述无 人机目标位置；根据目标重收敛方法对所述粒子滤波算法中的粒子进行采样以 生成基于所述目标重收敛的粒子滤波算法；以及根据所述目标重收敛的粒子滤 波算法得到目标扩展搜索策略，并根据所述目标扩展搜索策略对目标进行跟 踪。

根据本发明实施例的结合均值移动与粒子滤波的无人机目标跟踪方法，能 够在动态场景、光照影响、尺度变化、遮挡干扰等复杂场景下，实现对跟踪目 标的实时定位与跟踪，且还可应用于不同的场景和平台，因此，本发明的实施 例具有实时性好、适应性强和可扩展性好等优点。

另外，根据本发明上述实施例的结合均值移动与粒子滤波的无人机目标跟 踪方法还可以具有如下附加的技术特征：

在本发明的实施例中，根据带宽矩阵构建基于所述带宽矩阵的均值移动跟 踪算法，进一步包括：根据基于颜色特征的加权概率密度分布函数描述目标模 型与候选模型，其中，所述目标模型与所述候选模型的特征空间为32*32+10 的一维HSV颜色空间向量；利用椭圆区域表示所述目标，根据人机交互的目标 初始化方式选择矩形作为所述目标，并计算所述矩形的内接椭圆，其中，所述 每个内接椭圆表示所述目标的中心位置在图像中的水平坐标和垂直坐标、所述 椭圆的长半轴和短半轴、所述椭圆的主轴与所述图像的水平坐标正方向的夹 角。根据所述带宽矩阵在所述跟踪过程中计算最优核函数窗宽。

在本发明的实施例中，根据所述加权和数据融合目标定位方法确定所述无 人机目标位置，进一步包括：基于所述带宽矩阵的均值移动跟踪算法得到所述 目标的第一中心位置；根据所述粒子预测得到所述目标的第二中心位置；根据 所述第一中心位置、所述第二中心位置和带宽矩阵参数建立数据融合策略，确 定所述目标的中心位置。

在本发明的实施例中，生成基于所述目标重收敛的粒子滤波算法，进一步 包括：在所述均值移动跟踪算法得到的跟踪目标椭圆区域内采样N个粒子；以 每个粒子为中心，将二阶自回归模型作为所述粒子的状态转移方程；如果状 态转移后所有粒子所在的区域均为同一候选区域，则计算所有粒子的HSV颜色 特征向量，且所述特征向量大小为(10*10+10)；计算每个候选区域与目标模型 的相似度，取所述粒子的权重与相似度成正比的粒子进行滤波；对滤波后的所 有粒子进行加权求和，并获取由粒子滤波算法预测得到的目标位置；在所述粒 子重采样过程中，根据所述加权和数据融合目标定位方法确定所述目标的中心 位置，并以所述中心位置为参考点，在第一区域内均匀采样N个粒子。

在本发明的实施例中，根据所述目标扩展搜索策略对目标进行跟踪，进一 步包括：根据所述目标的运动轨迹进行一步预测；对所述目标进行局部目标搜 索；对所述目标地进行全局目标搜索。

在本发明的实施例中，所述带宽矩阵为正定对称矩阵，且所述带宽矩阵与 所述目标椭圆之间存在数量关系；对概率密度函数寻优，计算得到最优带宽矩 阵；将所述最优带宽矩阵应用于均值漂移跟踪算法，以实现对目标尺度的自适 应跟踪。

在本发明的实施例中，所述目标扩展搜索策略包括：使用一步预测目标搜 索方法搜索目标；若所述一步预测目标搜索方法搜索失败后，使用局部目标搜 索方法搜索所述目标；若所述局部目标搜索方法失败后，则使用全局目标搜索 方法进行搜索。

在本发明的实施例中，所述一步预测目标搜索方法包括：若当前处理的图 像为第k帧，所述目标的中心位置在序列图像中依次表示为： y₀,y₁,...,y_k-1,y_k,y_k+1,...，候选目标位置y_k+1的估计公式为：y_k+1-y_k=y_k-y_k-1； 取y_k+1作为所述候选目标的中心点，候选区域大小、方向均与前一帧相同，提 取候选区域特征向量，与所述目标模板特征向量进行匹配；若匹配相似度超过 第一阈值，则判断为找到目标；若匹配相似度小于第一阈值，则进入局部搜索 阶段。

在本发明的实施例中，所述局部目标搜索方法包括：以y_k为中心，在周围 随机分布几个候选区域，取所述候选区域的大小、方向与前一帧相同，提取各 候选区域特征向量与目标模板特征向量进行匹配；选择相似度超过第二阈值的 候选区域进行迭代搜索，直至找到所述目标；如果连续数帧搜索不到所述目标， 则进入全局搜索阶段；进入局部搜索的图像帧数量根据所述图像采集频率、无 人机飞行速度和所述目标运动速度进行调整。

在本发明的实施例中，所述全局目标搜索方法包括：取所述目标椭圆模板 的外接矩形作为检测模板，通过所述检测模板对所述图像进行遍历搜索；检测 所述模板长和宽，并检测所述模板横向移动距离及纵向移动距离；计算所述目 标模板与所述检测模板之间的匹配相似度；保留所有相似度大于第三阈值的检 测区域，并选择匹配相似度最大的检测区域作为所述候选目标位置。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描 述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中 将变得明显和容易理解，其中：

图1为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的流程图；

图2为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的结构图；

图3为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的带宽矩阵与样本椭圆关系示意图；

图4为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的基于带宽矩阵的均值移动跟踪算法流程图；

图5为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的目标重收敛采样示意图；

图6为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的基于目标重收敛的粒子滤波跟踪算法流程图；

图7为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的核函数因子选择示意图；

图8为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的结合均值移动与粒子滤波的目标跟踪算法的流程图；

图9为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的目标控制区域划分示意图；以及

图10为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的无人机目标跟踪系统结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自 始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元 件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能 理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、 “上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、 “顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的 方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所 指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理 解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不 能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安 装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是 可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接 相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领 域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以下结合附图描述根据本发明实施例的结合均值移动与粒子滤波的无人 机目标跟踪方法。

图1为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的流程图。

如图1所示，根据本发明一个实施例的结合均值移动与粒子滤波的无人机 目标跟踪方法，包括以下步骤：

步骤S101，在均值移动跟踪过程中，根据带宽矩阵构建基于带宽矩阵的 均值移动跟踪算法，以在跟踪过程中自适应更新目标尺度窗口。具体地，根据 基于颜色特征的加权概率密度分布函数描述目标模型与候选模型，其中，目标 模型与候选模型的特征空间为32*32+10的一维HSV颜色空间向量。并利用椭 圆区域表示无人机的跟踪目标，根据人机交互的目标初始化方式选择矩形作为 要跟踪的目标，并计算矩形的内接椭圆，其中，每个内接椭圆可表示五个所跟 踪目标的姿态参数，即：目标的中心位置在图像中的水平坐标和垂直坐标、椭 圆的长半轴和短半轴、椭圆的主轴与图像的水平坐标正方向的夹角。例如：记 椭圆的长半轴为a，短半轴为b，椭圆的主轴与图像的水平坐标正方向的夹角 为φ。并根据带宽矩阵在跟踪过程中计算最优核函数窗宽。

进一步地，在上述步骤S101中，带宽矩阵为正定对称矩阵，且带宽矩阵 与所述目标椭圆之间存在数量关系，即在核函数因子已知的情况下，目标区域 的大小和方向完全取决于带宽矩阵。并在跟踪过程中对概率密度函数寻优，计 算得到最优带宽矩阵，然后将最优带宽矩阵应用于均值漂移跟踪算法，以实现 对跟踪目标尺度的自适应跟踪。其中，带宽矩阵可以用来描述搜索样本的形状。 在二维空间，如果带宽矩阵为正定矩阵，则样本区域的形状为平面椭圆；当带 宽矩阵为正定对称矩阵时，均值移动向量指向目标函数值增加的方向。传统的 均值移动方法假定带宽在迭代过程中不变，只是选择初始带宽。但实际中可能 发生样本分布不断变化的情况，如果带宽不适时调整，会限制算法收敛的速度。

步骤S102，根据均值移动跟踪算法和粒子滤波算法的检测结果建立加权 和数据融合目标定位方法。其中，均值移动算法实际是用梯度下降法进行寻优， 一旦陷入局部最优解之后将无法跳出。而数据融合方法可以看作为当前解附加 了一个扰动变量，使算法跳出当前的局部最优状态。

步骤S103，根据加权和数据融合目标定位方法确定无人机目标位置。具 体地，首先基于带宽矩阵的均值移动跟踪算法得到跟踪目标的第一中心位置， 例如为y_ms，而根据粒子预测得到跟踪目标的第二中心位置，例如为y_pf，则根 据第一中心位置（y_ms）、第二中心位置（y_pf）和步骤S101中的带宽矩阵参数， 建立数据融合策略，最终确定目标的中心位置，例如为。换言之，即自适应 带宽均值移动算法检测到一个目标状态，粒子滤波算法也得到一个目标状态， 最后使用加权和数据融合方法对两个检测结果进行融合，判断目标的确切位 置、是否出现遮挡或者目标是否已丢失等情况。

步骤S104，根据目标重收敛方法对粒子滤波算法中的粒子进行采样以生 成基于目标重收敛的粒子滤波算法。具体地，在均值移动跟踪算法得到的跟踪 目标椭圆区域内采样N个粒子，并以每个粒子为中心，将二阶自回归模型作为 这些粒子的状态转移方程，如果在状态转以后，所有粒子所在的区域均处于同 一个候选区域，则计算所有粒子的HSV颜色特征向量，且该颜色特征向量的大 小为(10*10+10)，并计算每个候选区域与目标模型的相似度，例如为。并取 粒子中权重与相似度成正比的粒子进行滤波，对滤波后的所有粒子进行加权求 和，并获取由粒子滤波算法预测得到的目标位置，例如为y_pf。其中，在粒子 的重采样过程中，根据加权和数据融合目标定位方法确定所跟踪目标的中心位 置（），并以该目标的中心位置为参考点，在第一区域内均匀采样N个粒子。 其中，第一区域即该中心位置（）周围一定范围的小区域。在本发明的实施 例中，优选地，N为20。

在上述步骤S104中，换言之，即在粒子滤波算法中，在每一帧中取跟踪 粒子时，首先将所有N个粒子收敛到由数据融合方法得到的目标中心位置。 然后以为参考点，在周围一定小区域内均匀采样N个粒子。这一采样方法与 传统的粒子重采样方法不同，它与“加权和数据融合目标定位方法”相结合， 能够有效地避免预测中的误差累积，并防止粒子退化现象。

步骤S105，根据目标重收敛的粒子滤波算法得到目标扩展搜索策略，并 根据目标扩展搜索策略对跟踪目标进行跟踪。即根据目标扩展搜索策略，可以 快速找回丢失的跟中目标，并重新跟踪。具体地，首先根据跟踪目标的运动轨 迹进行一步预测，再对跟踪目标进行局部目标搜索，最后对跟踪目标进行全局 目标搜索。换言之，即首先使用一步预测目标搜索方法搜索跟踪目标，若一步 预测目标搜索方法搜索失败后，则使用局部目标搜索方法搜索该跟踪目标，若 局部目标搜索方法失败后，则进一步使用全局目标搜索方法进行搜索。

其中，一步预测目标搜索方法即：假设当前的处理图像为的图像为第k帧， 被跟踪目标的中心位置在序列图像中依次表示为：y₀,y₁,...,y_k-1,y_k,y_k+1,...， 则根据目标运动的连续性，丢失后的目标应该在y_k附近，则候选目标位置y_k+1的估计公式为：y_k+1-y_k=y_k-y_k-1，取y_k+1作为候选目标的中心点，候选区域 大小、方向均与前一帧相同，提取候选区域特征向量，与目标模板特征向量进 行匹配，若匹配相似度超过第一阈值，则判断为找到目标；若匹配相似度小于 第一阈值，则进入局部搜索阶段，对跟踪目标进行局部目标搜索。其中，第一 阈值由技术人员预先设定，此处不作赘述。

局部目标搜索方法包括：以y_k为中心，在其周围随机分布几个候选区域， 取候选区域的大小、方向与前一帧相同，提取各候选区域特征向量与目标模板 特征向量进行匹配，并选择相似度超过第二阈值的候选区域进行迭代搜索，直 至找到跟踪目标；如果连续数帧搜索不到该跟踪目标，则进入全局搜索阶段， 对该跟踪目标进行全局目标搜索。其中，进入局部搜索的图像帧数量根据图像 采集频率、无人机飞行速度和跟踪目标运动速度进行调整。

全局目标搜索方法具体包括：取目标椭圆模板的外接矩形作为检测模板， 通过检测模板对图像进行遍历搜索，检测模板长和宽，例如：记检测模板的长 为l，宽为w。并在搜索过程中，检测模板横向移动距离及纵向移动距离，例 如：记检测模板横向移动距离为w/2、纵向移动距离l/2。并计算目标模板与检 测模板之间的匹配相似度，保留所有相似度大于第三阈值的检测区域，选择匹 配相似度最大的检测区域作为候选目标位置。其中，第三阈值由技术人员预先 设定，此处不作赘述。

在上述步骤S105中，对于目标扩展搜素策略，常见的搜索方法是对图像 进行遍历，搜索特征区域，再与目标模板进行特征匹配，对图像进行遍历的计 算量很大。本发明的实施例分三个层次对丢失的目标进行搜索：一步预测搜索， 局部搜索和全局搜索。这种搜索方法能够提高搜索算法的针对性，提高搜索效 率。

作为具体的示例，以下结合附图2-10详细描述根据本发明实施例的结合 均值移动与粒子滤波的无人机目标跟踪方法。

图2为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的结构图。

如图2所示，首先对被跟踪目标的图像序列进行采集与传输。具体地，可 使用无人机摄像头和地面站WIFI完成对图像的实时序列采集和传输。并结合 基于带宽矩阵的均值移动跟踪算法和基于目标重收敛的粒子滤波跟踪算法。具 而言，利用带宽矩阵计算目标窗口，以适应目标尺度的变化；引入粒子滤波， 采用加权和方法融合定位检测结果，使得跟踪过程中不易陷入局部最优状态。 对粒子进行重收敛采样，可以维持粒子的多样性，防止粒子退化，减少累积误 差。并在跟踪过程中，判断跟踪目标是否丢失，若目标未丢失，则输出控制命 令，控制目标物体中心位置位于图像中间区域；若目标丢失，则使用目标扩展 搜索策略搜索目标，可以快速的找回丢失的目标，并在重新搜索到丢失目标后， 输出控制命令。因此，本发明的实施例能够实现在动态场景、关照变化、尺度 变化、遮挡等复杂情况下对目标实时定位与跟踪，具有实时性好、适应性强和 可扩展性好等优点。

图3为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的带宽矩阵与样本椭圆关系示意图。

如图3所示，带宽矩阵和样本椭圆区域之间的定量关系，并提出基于高斯 核的带宽矩阵及相关参数初始化规则。具体地，带宽矩阵H是正定对称矩阵， 可以用来描述搜索样本的形状。

正定对称矩阵H可以分解为：$H={\mathrm{AA}}^T=\left(\begin{array}{cc}{h}_{11}& h_{12}\\ h_{12}& h_{22}\end{array}\right),$其中A可以表示为：

$A=\left(\begin{array}{cc}\cos \phi & -\sin \phi \\ \sin \phi & \cos \phi \end{array}\right)\mathrm{diag}(a,b)$

可得到带宽矩阵H与目标椭圆S中的参数a，b，φ有如下关系：

$\left(\begin{array}{c}a=\sqrt{\frac{1}{2}[h_{11}+h_{22}+\sqrt{{4h}_{12}^2+{(h_{11}-h_{12})}^2}]}\\ b=\sqrt{\frac{1}{2}[h_{11}+h_{22}-\sqrt{{4h}_{12}^2+{(h_{11}-h_{12})}^2}]}\\ \phi =\frac{1}{2}a\tan 2({2h}_{12},h_{11}-h_{22})\end{array}\right)$

而进一步地，H与核函数因子σ共同决定了目标区域S的长半轴a、短半 轴b和旋转角φ。

图4为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的基于带宽矩阵的均值移动跟踪算法流程图。

如图4所示，根据本发明一个实施例的结合均值移动与粒子滤波的无人机 目标跟踪方法的基于带宽矩阵的均值移动跟踪算法，每次迭代分两步进行，第 一步是均值移动，第二步是求最优带宽矩阵，算法不断迭代直到收敛。初始带 宽由样本点集S₀确定，后续迭代过程中自动更新带宽，输出结果中除了包括取 得样本极值的位置x₁外，还包括描述区域形状的带宽矩阵H₁。该方法包括如下 步骤：

步骤S401，给定初始样本椭圆S₀，得到椭圆两半轴a₀、b₀与角度φ₀。即 根据初始样本点采集椭圆区域S₀与核函数因子σ，得到椭圆半轴a₀、b₀、角度 φ₀，及初始带宽矩阵H₀。

目标区域初始化常用的方法有两种：一是手动选取目标区域，二是根据先 验知识自动检测目标区域。本发明的实施例使用人机交互方法手动选择跟踪目 标，操作者使用鼠标在图像平面上选择一块矩形区域作为跟踪目标，当目标区 域选定之后，计算矩形的内接椭圆，对目标椭圆区域的参数进行初始化，得到 目标特征点集S：

S={s|(s-s₀)^TH^-1(s-s₀)<σ²}                      (1)

其中，s是椭圆区域S内的像素点；S的中心位置为s₀，旋转角φ，两半轴 长分别为σa和σb；σ是由核函数决定的因子；H表示带宽矩阵。

其中，核函数决定因子σ是均值移动算法中一个非常重要的参数，但是均 值移动算法本身并没有自适应调整核函数带宽的机制。在本发明一个实施例 中，使用标准Gauss核函数，因此可以取σ∈[-3,+3]且σ≈3，优选地效，取 σ=2.5。

步骤S402，计算初始位置，根据核函数因子σ确定带宽矩阵H₀。具体地， 带宽矩阵H是正定对称矩阵，可以用来描述搜索样本的形状。

正定对称矩阵H以分解为：$H={\mathrm{AA}}^T=\left(\begin{array}{cc}{h}_{11}& h_{12}\\ h_{12}& h_{22}\end{array}\right),$其中A可以表示为：

$A=\left(\begin{array}{cc}\cos \phi & -\sin \phi \\ \sin \phi & \cos \phi \end{array}\right)\mathrm{diag}(a,b)---\left(2\right)$

则可得到带宽矩阵H与目标椭圆S中的参数a，b，φ有如下关系：

$\left(\begin{array}{c}a=\sqrt{\frac{1}{2}[h_{11}+h_{22}+\sqrt{{4h}_{12}^2+{(h_{11}-h_{12})}^2}]}\\ b=\sqrt{\frac{1}{2}[h_{11}+h_{22}-\sqrt{{4h}_{12}^2+{(h_{11}-h_{12})}^2}]}\\ \phi =\frac{1}{2}a\tan 2({2h}_{12},h_{11}-h_{22})\end{array}\right)---\left(3\right)$

由步骤S401中的公式(1)可知，H与核函数因子σ共同决定了目标区域S 的长半轴a、短半轴b和旋转角φ。

选择跟踪目标的矩形区域后，假设此区域宽为w1，高为h1，则由图3可 知：

$H_0=\left(\begin{array}{cc}{b}^2& 0\\ 0& a^2\end{array}\right),$$a_0=\frac{h1}{2\sigma },$$b_0=\frac{w1}{2\sigma },$φ₀=90°         (4)

且公式(4)的参数用于确定目标模型并作为迭代初始值。

步骤S403，把图像从RGB空间转换到HSV空间。具体地，颜色信息对目 标的平移、旋转和尺度变化具有不变性，对遮挡和姿态变化不敏感，因而成为 目标跟踪中的一个重要特征。对于非刚性物体的跟踪(比如人体跟踪)，尤其 适合用颜色特征来进行跟踪。而直方图是建立颜色概率密度分布特征的常用方 法。从数学上来说图像直方图是图像各灰度值统计特性与图像灰度值的函数， 它统计一幅图像中各个灰度级出现的次数或概率；从图形上来说，它是一个二 维图，横坐标表示图像中各个像素点的灰度级，纵坐标为各个灰度级上图像各 个像素点出现的次数或概率。

RGB和HSV颜色直方图是两种最常用的颜色空间模型。摄像机采集的数字 图像是用RGB颜色空间来表达的，但是RGB空间结构并不符合人们对颜色相似 性的主观判断，HSV颜色空间更接近于人们对颜色的主观认识，它的三个分量 分别表示：色彩(Hue)、饱和度(saturation)和亮度(value)。因此，在本发明 的一个实施例中，每取得一帧图像，首先将图像从RGB空间转换到HSV空间， 在HSV空间中使用H、S通道的均匀32*32联合直方图加上V通道的均匀10bin 直方图建模颜色特征，同时使用核函数加权特征直方图来描述目标特征。

步骤S404，计算目标模型具体地，目标模型由特征 空间的概率分布函数表示。且

${\hat{q}}_u=\underset{s\in S_0}{\Sigma }K\left[{(s-s_0)}^T{H}_0^{-1}(s-s_0)\right]\delta (b\left(s\right)-u)---\left(5\right)$

其中，s为目标区域的任意一点；u为颜色分量，u=1，...，m；m为HSV 直方图空间的维度，按照HSV空间直方图bins的划分，m=32*32+10； b(s)为狄拉克函数；δ(·)函数为像素点s在相应直方图空间的颜 色索引值。并进一步对进行归一化处理。

步骤S405，输入当前帧图像及上一帧计算结果：目标中心y₀，样本集合 S₀，带宽矩阵H₀。

步骤S406，执行均值移动y₁=m(y₀)。即当前目标中心位置y₀，候 选目标中心位置y₁，目标中心由y₀经一步均值移动后得到y₁：

$y_1=\frac{\underset{s\in S}{\Sigma }{G}_H(y-s)\omega \left(s\right)s}{\underset{s\in S}{\Sigma }{G}_H(y-s)s}---\left(6\right)$

其中，G(s)为高斯核函数，与指数函数K(s)的导数有关，且

G(s)=-K′(s)                             (7)

$\omega \left(s\right)=\underset{u=1}{\overset{m}{\Sigma }}\sqrt{\frac{{\hat{q}}_u}{{\hat{p}}_u\left(y_0\right)}}\delta (b\left(s\right)-u)---\left(8\right)$

其中，ω(s)是像素s的加权值。

步骤S407，计算候选模型具体地，候选区域的 特征密度分布为

并进一步对进行归一化处理。

步骤S408，计算目标模型与候选模型的匹配相似度。目标模型与候选 模型的匹配相似度由Bhattachayya系数来计算：

步骤S409，判断是否大于如果是，则执行步骤S411， 否则执行步骤S410。

步骤S410，执行回溯y₁=0.5(y₁+y₀)。并返回继续执行步骤S409。

步骤S411，根据带宽矩阵和新的中心位置y₁更新样本点集S。即根据之 前的带宽矩阵H₀和新的中心位置y₁更新样本点集，例如为S₀。

步骤S412，带宽寻优，根据核函数公式更新带宽矩阵。最优带宽矩阵满 足以下条件：经过一步均值移动，带宽矩阵H能够使取得极大值。由此 得到最优带宽矩阵H_g的计算公式：

$H_g=\frac{\underset{s\in S}{\Sigma }\omega \left(s\right)(s-y_1){(s-y_1)}^T}{\underset{s\in S}{\Sigma }\omega \left(s\right)}---\left(11\right)$

步骤S413，根据新的带宽矩阵和新的中心位置y₁更新样本点集S。即在 上述步骤S411中的更新样本点集S₀根据公式求取新的带宽矩阵H₁，并由y₁和 H₁根据相关公式求取更新样本点集，例如为S₁。

步骤S414，判断中心位置和样本点集是否不再变化。如果是则执行步骤 S415，否则执行步骤S406。即如果||y₁-y₀||<ε，S₀=S₁，则停止迭代，输出 结果y₁和H₁，并执行步骤S415；否则y₀←y₁,S₀←S₁,H₀←H₁，并返回执行 步骤S406，进入新一轮迭代。

步骤S415，根据带宽矩阵和σ得到椭圆两半长a₀、b₀和旋转角φ₀。具体地， 根据H₁及上述步骤S402中公式（3）计算出a₀、b₀和φ₀。

步骤S416，y_ms=y₁=y₀,a=a₀,b=b₀,φ=φ₀。

步骤S417，输出y_ms,H₀,a,b,φ。

步骤S408，选择下一帧图像，并开始对下一帧图像进行处理。即返回执 行步骤S405。

图5为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的目标重收敛采样示意图。

如图5所示，在粒子滤波算法中，在每一帧中取跟踪粒子时，首先将所有 N个粒子收敛到由数据融合方法得到的目标中心位置，然后以为参考点， 在周围一定小区域内均匀采样N个粒子。这与传统的粒子重采样方法不同，它 与“加权和数据融合目标定位方法”相结合，能够有效地避免预测中的误差累 积，并防止粒子退化现象。

图6为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的基于目标重收敛的粒子滤波跟踪算法流程图。

如图6所示，根据本发明一个实施例的结合均值移动与粒子滤波的无人机 目标跟踪方法的基于目标重收敛的粒子滤波跟踪算法，包括以下步骤：

步骤S601，开始。跟踪过程开始。

步骤S602，设定粒子数目，选择运动模型。即在跟踪的初始时刻，选择 目标模型，同时在目标区域中心位置采样N个粒子，在本发明一个实施例中， 优选地，N为20。

步骤S603，采集一幅图像至缓存。即在确定目标模型及粒子数目后，采 集跟踪目标的一副图像并将其保存至缓存中。

步骤S604，RGB空间转至HSV空间。

步骤S605，判断是否存在目标特征向量？即判断目标区域中心的位置的 粒子中是否存在目标特征向量的粒子。如果是则执行步骤S607，否则执行步 骤S606。

步骤S606，根据目标区域，建立目标颜色直方图。即若不存在目标特征 向量，则建立目标颜色直方图。具体地，为减小计算复杂度，使用HSV空间 （10*10+10）的颜色直方图为每个粒子建立目标模型,即H、S通道的为均匀 的10*10联合直方图加上V通道的均匀10bin直方图。

步骤S607，粒子初始化，权值设为1。即在跟踪的初始时刻，对N个粒子 进行初始化。其中，表示序列中k时刻第i个粒子的状态值，表示序列中 k时刻第i个粒子的观测值，第i个粒子初始大小取为目标矩形窗口的大小， 长为Lⁱ，宽为Mⁱ；粒子权重设为1。

步骤S608，建立颜色概率分布图。即建立目标颜色概率分布的直方图。

步骤S609，系统状态转移（预测）。具体地，系统状态转移方程采用二阶 自回归模型，以适应快速运动的目标跟踪。

$y_k^i-y_{k-1}^i=y_{k-1}^i-y_{k-2}^i+v---\left(12\right)$

其中，v是取值在[0,1]之间的随机数。

由状态转移方程更新的变量有三个：{yⁱ，Lⁱ，Mⁱ}。

步骤S610，系统观测（更新）。即粒子状态的观测及粒子权值的更新。具 体而言，每个粒子经过状态转移后即得到粒子的候选目标区域。提取候选区域 的目标模型，使用Bhattacharyya系数计算候选模型与目标模型相似度

定义观测概率密度函数为：

$p\left(z_k\right|y_k)=\frac{1}{\sqrt{2\mathrm{\pi \sigma }}}\exp [-\frac{1-{\zeta }_k}{{2\sigma }^2}]---\left(13\right)$

其中σ为高斯方差，优选地，取σ为0.2。

粒子的权重表示为

${\omega }_k^i={\omega }_{k-1}^{i}p\left(z_k\right|y_k^i)---\left(14\right)$

步骤S611，粒子加权，计算后验概率。例如：k时刻的后验概率，即目标 跟踪中所期望的目标参数{y_k，L_k，M_k}，由各粒子的加权和来表示：

$y_k=\underset{i=1}{\overset{N}{\Sigma }}{\omega }_k^i{y}_k^i,L_k=\underset{i=1}{\overset{N}{\Sigma }}{\omega }_k^i{L}_k^i;M_k=\underset{i=1}{\overset{N}{\Sigma }}{\omega }_k^i{M}_k^i---\left(15\right)$

输出后验概率得到的目标状态值：

y_pf=y_k                                      (16)

步骤S612，输出目标状态。即输出上述步骤S611中求得的目标状态值 y_pf=y_k。

步骤S613，根据数据融合方法得到目标位置，使用目标重收敛采样方法 重新采样，权值设为1。即使用加权和数据融合方法，对粒子滤波定位结果y_pf和均值移动方法得到的目标定位结果y_ms进行融合，得到目标位置使用基于 目标重收敛的粒子采样方法重新采样N个粒子，即以为参考点，在周围一定 小区域内均匀采样N个粒子，粒子权值为1。

步骤S614，判断跟踪是否结束？如果是，则执行步骤S615，否则返回执 行步骤S603。

步骤S615，结束。即跟踪过程结束。

图7为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的核函数因子选择示意图。

如图7所示，是一个Epanechnikov函数的曲线图。在x，y轴上-10～10 区间内，核函数有值，上述区间之外核函数的值为0，因此核函数带宽σ可以 取为10。包含目标的搜索窗口一般也选用这个区域，或者比其略小一些。而 在本发明的一个实施例中，使用标准Gauss核函数，因此可以取σ∈[-3,+3]且 σ≈3，优选地，取σ=2.5。

图8为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的结合均值移动与粒子滤波的目标跟踪算法的流程图。

如图8所示，根据本发明一个实施例的结合均值移动与粒子滤波的无人机 目标跟踪方法的结合均值移动与粒子滤波的目标跟踪算法，包括如下步骤：

步骤S801，输入一幅图像。

步骤S802，RGB空间转至HSV空间。

步骤S803，判断是否存在目标模型向量？如果是，则执行步骤S805和步 骤S806，否则执行步骤S804。

步骤S804，目标椭圆区域初始化。选择目标区域，确定目标中心位置， 计算初始带宽矩阵，目标模型，权重，并在目标中心位置区域内采样N个粒子， 且取N为20，初始化粒子权重ωⁱ=1。

步骤S805，使用基于带宽矩阵的均值移动算法。

步骤S806，使用基于目标重收敛的粒子滤波算法。且该步骤与步骤S805 同时结合使用。

步骤S807，输出y_ms,a,b,φ。即根据带宽矩阵均值移动算法得到目标 中心位置y_ms，及目标区域S的长半轴a、短半轴b和旋转角φ。

步骤S808，输出y_pf。即根据目标重收敛粒子滤波算法得到目标中心位置 y_pf。

步骤S809，进行数据融合目标定位。即根据数据融合策略结合带宽矩阵 均值移动算法与目标重收敛粒子滤波算法，从而确定目标的位置避免均值 移动算法陷入局部最优状态。

步骤S810，判断目标是否丢失？如果是则执行步骤S812，否则执行步骤 S811。

步骤S811，得到目标中心位置并执行步骤S815。具体地，设y_ms与y_pf两点之间的欧式距离为d。d越小，表明ABMS和PF两种方法得到的目标位置 越接近一致。根据d和图3中目标椭圆的参数a、b和尺度因子σ设计加权和数 据融合算法。表示均值移动方法中目标区模型与候选模型的匹配相似度，优 选地，设定匹配阈值（第一阈值）为threshold1=0.8，根据的取值将融 合算法分为三种情况。

（1）如果≥threshold1：

（2）如果第二阈值threshold2<<threshold1(优选地，取 threshold2=0.5)，认为目标状态发生改变，或是目标被部分遮挡：

（3）如果0≤≤threshold2，认为目标被完全遮挡或目标已丢失， 此时完全依赖于粒子滤波的预测功能对目标进行跟踪：

$\hat{y}=y_{\mathrm{pf}}---\left(19\right)$

步骤S812，使用目标扩展搜索策略搜索目标。即当丢失跟踪目标时，使 用目标扩展搜索策略重新搜索目标。具体而言，对序列图像中的目标进行跟踪 时，如果遇到不能确认目标或目标丢失的情况，启用目标扩展搜索程序，分三 个层次对丢失的目标进行搜索；

（1）根据目标运动轨迹进行一步预测：

假设当前处理的图像为第k帧，被跟踪目标的中心位置在序列图像中依次 表示为：y₀,y₁,...,y_k-1,y_k,y_k+1,...，根据目标运动的连续性，丢失后的目标应 在y_k附近，y_k+1的估计公式为：

y_k+1-y_k=y_k-y_k-1                        (20)

取y_k+1作为候选目标的中心点，候选区域大小、方向均与前一帧相同，提 取候选区域特征向量，与目标模板进行匹配。如果匹配相似度超过设定的判断 阈值，判断为找到目标。如果匹配相似度较低，则进入局部搜索阶段。

（2）局部搜索策略:

以y_k为中心，在周围随机分布几个候选区域，取候选区域的大小、方向与 前一帧相同，提取各个候选区域特征与目标模板进行匹配。

选则相似度超过设定阈值的候选区域进行迭代搜索，直至找到目标。

如果连续数帧搜索不到运动目标，则进入全局搜索阶段；其中进入搜索的 图像帧数量根据图像采集频率、无人机飞行速度和目标运动速度进行调整。

（3）全局搜索策：取目标椭圆模板的外接矩形作为检测模板，使用这一 检测模板对图像进行遍历搜索，且检测模板长为l，宽为w。搜索过程中，检 测模板横向移动距离为w/2，纵向移动距离为l/2，使用Bhattacharyya系数计 算目标模板与检测模板之间的匹配相似度，保留所有相似度大于设定阈值的检 测区域，选择匹配相似度最大的检测区域作为候选目标位置。

步骤S813，判断是否找到目标？如果是则执行步骤S815，否则执行步骤 S814。

步骤S814，输入下幅图像。即开始对下一幅图像进行处理，并返回执行 步骤S812。

步骤S815，输出目标位置和目标尺度参数，并返回执行步骤S801，对 下一幅图像进行处理，进行下一轮的循环。

图9为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的目标控制区域划分示意图。

如图9所示，将图像区域划分为九个区，根据跟踪目标在图像中的位置， 发送相应的控制指令，控制跟踪目标的中心位置位于图像的中心区域，即区域 五。以下具体地介绍各个区域：

第五区：图像中心区域。

第一区：如果目标中心位于此区，或位于此区且有向图像边缘移动的趋势， 则控制无人机适当加速，并向左前方运动。

第二区：如果目标中心位于此区，或位于此区且有向图像边缘移动的趋势， 则控制无人机适当加速。

第三区:如果目标中心位于此区，或位于此区且有向图像边缘移动的趋 势，则控制无人机适当加速,并向右前方运动。

第四区：如果目标中心位于此区，或位于此区且有向图像边缘移动的趋势， 则控制无人机向左方运动。

第六区：如果目标中心位于此区，或位于此区且有向图像边缘移动的趋势， 则控制无人机向右方运动。

第七区：如果目标中心位于此区，或位于此区且有向图像边缘移动的趋势， 则控制无人机适当减速，并向左运动。

第八区：如果目标中心位于此区，或位于此区且有向图像边缘移动的趋势， 则控制无人机适当减速。

第九区：如果目标中心位于此区，或位于此区且有向图像边缘移动的趋势， 则控制无人机适当减速，并向右运动。

图10为根据本发明一个实施例的结合均值移动与粒子滤波的无人机目标 跟踪方法的无人机目标跟踪系统结构图。

如图10所示，无人机目标跟踪系统包括：四旋翼无人机、WIFI通讯和地 面工作站（图9）。其中，无人机主要组件包括：一台Hokuyo激光测距仪，用 于位置估计与避障；一台USB接口的UEye单目摄像机，用于采集图像；一块 机载处理器；一块AscTec无人机飞控芯片。由于机载处理器的处理能力有限， 因此，通过WIFI通讯将无人机摄像机采集到的图像传输到地面工作站的计算 机上进行处理。地面工作站计算机逐帧取出图像，使用跟踪算法检测目标位置 和尺度参数；最后根据处理结果输出无人机控制指令，控制跟踪目标在图像的 中间区域。计算机上发出的控制指令通过WIFI进行无线传输，由无人机机载 处理器接收，无人机机载处理器对接收到的运动指令进行确认和处理后，发送 给无人机飞控系统，控制无人机跟踪目标运动。

根据本发明实施例的结合均值移动与粒子滤波的无人机目标跟踪方法，能 够在动态场景、光照影响、尺度变化、遮挡干扰等复杂场景下，实现对跟踪目 标的实时定位与跟踪，且还可应用于不同的场景和平台，因此，本发明的实施 例具有实时性好、适应性强和可扩展性好等优点。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示 例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述 的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。 在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。 而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例 或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理 解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、 修改、替换和变型，本发明的范围由权利要求及其等同限定。