基于计算机视觉中运动显著性感知的无人机集群机动方法

摘要

本申请涉及一种基于计算机视觉中运动显著性感知的无人机集群机动方法。所述方法包括通过获取中心个体视域范围内邻居个体的视觉图像信息；根据中心个体存储的固定历史时间段内的视觉图像信息，确定在个体参考坐标系中运动显著性最大邻居个体和运动显著性最大邻居个体的估算速度；根据估算速度对个体间的速度依附交互进行修正得到速度交互项；构建中心个体在绝对坐标系中的运动模型；并根据运动模型对中心个体在绝对坐标系中的位置进行更新。该方法以视觉图像信息作为输入，通过对视觉图像信息进行处理来更新中心个体的位置，不需额外数据传输，计算量小，提高了无人机集群机动方法的稳定性和实时性。

说明书

技术领域

本申请涉及图像视觉技术领域，特别是涉及一种基于计算机视觉中运动显著性感知的无人机集群机动方法。

背景技术

无人驾驶飞机，简称为无人机。随着无人机的普及，人们将多个无人机进行集群编队进行表演或者在军用领域完成特殊任务。在无人机集群运动的过程中，采取编队飞行有利于降低风阻以节省其油耗。

计算机视觉就是用计算机模拟人眼的视觉功能，对“目标图像”进行数字化，从图像或图像序列中提取信息，对客观世界的三维景物和物体进行形态和运动识别，并通过计算机处理进行判断，最终用于实际检测、测量和控制。

在无人机集群编队方法方面很多学者作了大量的研究。目前相对成熟且比较通用的队形控制算法主要有：长机-僚机法、基于行为法、虚拟结构法以及人工势场法等，这些控制算法中无人机之间数据传递依靠网络，数据传输的数据量和网络可靠性会对无人机集群机动的实时性和稳定性带来影响。

发明内容

基于此，有必要针对上述技术问题，提供一种基于计算机视觉中运动显著性感知的无人机集群机动方法。该方法以图像视觉图像信息作为输入，通过对视觉图像信息进行处理获得运动显著性最大邻居个体，利用运动显著性最大邻居个体的速度对中心个体的运动模型中的速度交互项进行修正，利用运动方程更新中心个体的位置；克服了由于大量数据传递和网络稳定性问题给无人机集群机动的实时性和稳定性带来的影响。

一种基于计算机视觉中运动显著性感知的无人机集群机动方法，所述方法包括：

获取中心个体视域范围内邻居个体的视觉图像信息；所述邻居个体是进入中心个体视域范围内的无人机；所述中心个体是获取视觉图像信息的无人机。

根据中心个体存储的固定历史时间段内的视觉图像信息，确定在个体参考坐标系中运动显著性最大邻居个体；所述个体参考坐标系是以中心个体在绝对坐标系中的速度为X轴，根据右手法则构建的。

根据所述中心个体存储的固定历史时间段内的视觉图像信息，确定在个体参考坐标系中运动显著性最大邻居个体的估算速度。

根据所述运动显著性最大邻居个体的估算速度对个体间的速度依附交互进行修正，得到速度交互项。

构建所述中心个体在绝对坐标系中的运动模型，所述运动模型包括：自驱动个体的惯性、位置交互项以及所述速度交互项。

根据所述最终运动模型得到所述中心个体的绝对速度，并利用所述绝对速度对所述中心个体在绝对坐标系中的位置进行更新。

在其中一个实施例中，根据中心个体存储的固定历史时间段内的视觉图像信息，确定在个体参考坐标系中运动显著性最大邻居个体，包括：

根据中心个体存储的固定历史时间段内的视觉图像信息，采用目标检测工具对所述固定历史时间段内的视觉图像信息进行识别处理，得到所述邻居个体在所述中心个体视网膜上的投影。

根据所述投影和投影大小，采用计算摄影中标定测距方法，得到所述邻居个体与所述中心个体的距离。

根据所述投影和所述距离，得到邻居个体在中心个体视域中的视觉向量。

将所述视觉向量通过坐标转换，得到所述邻居个体在所述个体参考坐标系中的位置。

根据所有邻居个体在固定历史时间段内的所述投影，确定在个体参考坐标系中运动显著性最大邻居个体。

在其中一个实施例中，根据所有邻居个体在固定历史时间段内的所述投影，确定在个体参考坐标系中运动显著性最大邻居个体，包括：

根据所有邻居个体在固定历史时间段内的所述投影，计算得到所有邻居个体在固定历史时间段内在中心个体视网膜上呈现出的投影位置变化。

将所述投影位置变化最大的邻居个体作为运动显著性最大邻居个体，所述运动显著性最大邻居个体确定的公式为：

其中

在其中一个实施例中，根据中心个体存储的固定历史时间段内的视觉图像信息，确定在个体参考坐标系中运动显著性最大邻居个体的估算速度，包括：

根据中心个体存储的固定历史时间段内的视觉图像信息，得到在个体参考坐标系中运动显著性最大邻居个体在上一时刻和当前时刻的位置。

将运动显著性最大邻居个体在上一时刻和当前时刻的位置的变化率作为所述运动显著性最大邻居个体的估算速度。

在其中一个实例中，根据所述运动显著性最大邻居个体的估算速度对个体间的速度依附交互进行修正，得到速度交互项，包括：

根据所述运动显著性最大邻居个体的估算速度、所述中心个体在个体参考坐标系中的相对速度以及校准系数，对个体间的速度依附交互进行修正，得到速度交互项；所述速度交互项的计算公式为：

其中：

在其中一个实施例中，构建所述中心个体在绝对坐标系中的运动模型，包括：

根据所述中心个体在个体参考坐标系中的相对速度以及所述中心个体的自驱动常数和惯性系数，得到自驱动个体的惯性项。

根据邻居个体与中心个体之间的预定距离阈值、所有邻居个体与中心个体的所述距离以及权重的常数，得到个体间的位置交互项。

根据所述自驱动个体的惯性、所述位置交互项以及所述速度交互项，并通过坐标转换，得到在绝对坐标系中所述中心个体在无人机集群中的运动模型。

所述运动模型表达式为：

其中：

上述基于计算机视觉中运动显著性感知的无人机集群机动方法，通过获取中心个体视域范围内邻居个体的视觉图像信息；根据中心个体存储的固定历史时间段内的视觉图像信息，确定在个体参考坐标系中运动显著性最大邻居个体；根据中心个体存储的固定历史时间段内的视觉图像信息，确定在个体参考坐标系中运动显著性最大邻居个体的估算速度；根据估算速度对个体间的速度依附交互进行修正，得到速度交互项，构建中心个体在绝对坐标系中的运动模型，运动模型包括：自驱动个体的惯性、位置交互项以及速度交互项；根据运动模型得到中心个体的绝对速度，并利用绝对速度对中心个体在绝对坐标系中的位置进行更新。该方法以视觉图像信息作为输入，通过对视觉图像信息进行处理来更新中心个体的位置，不需额外数据传输，计算量小，提高了无人机集群机动方法的稳定性和实时性。

附图说明

图1为一个实例中基于计算机视觉中运动显著性感知的无人机集群机动方法的流程示意图；

图2为另一个实例中的中心个体无人机通过摄像头获取视域内画面图；

图3为其中一个实例中以中心个体

图4为其中一个实例中邻居个体在

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

说明：文中如不专门说明，带横杠的向量均表示在绝对坐标系中，不带横杠的向量均表示在个体参考坐标系中。

在一个实施例中，如图1所示，提供了一种基于计算机视觉中运动显著性感知的无人机集群机动方法，包括以下步骤：

步骤100：获取中心个体视域范围内邻居个体的视觉图像信息；

邻居个体是进入中心个体视域范围内的无人机。

中心个体是获取视觉图像信息的无人机。

中心个体以摄像头获取视域内邻居无人机个体的视觉图像信息，所述视觉图像信息为摄像头截取到的实时视域信息。

步骤102：根据中心个体存储的固定历史时间段内的视觉图像信息，确定在个体参考坐标系中运动显著性最大邻居个体。

个体参考坐标系是以中心个体在绝对坐标系中的速度为X轴，根据右手法则构建的。

步骤104：根据中心个体存储的固定历史时间段内的视觉图像信息，确定在个体参考坐标系中运动显著性最大邻居个体的估算速度。

步骤106：根据运动显著性最大邻居个体的估算速度对个体间的速度依附交互进行修正，得到速度交互项。

步骤108：构建中心个体在绝对坐标系中的运动模型。

运动模型包括：自驱动个体的惯性、位置交互项以及速度交互项。

步骤110：根据运动模型得到中心个体的绝对速度，并利用绝对速度对中心个体在绝对坐标系中的位置进行更新。

上述基于计算机视觉中运动显著性感知的无人机集群机动方法中，通过获取中心个体视域范围内邻居个体的视觉图像信息；根据中心个体存储的固定历史时间段内的视觉图像信息，确定在个体参考坐标系中运动显著性最大邻居个体；根据中心个体存储的固定历史时间段内的视觉图像信息，确定在个体参考坐标系中运动显著性最大邻居个体的估算速度；根据估算速度对个体间的速度依附交互进行修正，得到速度交互项，构建中心个体在绝对坐标系中的运动模型，运动模型包括：自驱动个体的惯性、位置交互项以及速度交互项；根据运动模型得到中心个体的绝对速度，并利用绝对速度对中心个体在绝对坐标系中的位置进行更新。该方法以视觉图像信息作为输入，通过对视觉图像信息进行处理来更新中心个体的位置，不需额外数据传输，计算量小，提高了无人机集群机动方法的稳定性和实时性。

在其中一个实施例中，步骤102还包括：根据中心个体存储的固定历史时间段内的视觉图像信息，采用目标检测工具对所述固定历史时间段内的视觉图像信息进行识别处理，得到所述邻居个体在所述中心个体视网膜上的投影；根据投影和投影大小，采用计算摄影中标定测距方法，得到邻居个体与中心个体的距离；根据投影和距离，得到邻居个体在中心个体视域中的视觉向量；将视觉向量通过坐标转换，得到邻居个体在个体参考坐标系中的位置；根据所有邻居个体在固定历史时间段内的投影，确定在个体参考坐标系中运动显著性最大邻居个体。

邻居个体在中心个体视网膜上的投影是一个二维列向量，包括：个体间竖直平面内相对方向和个体间水平面内相对方向。

视觉向量是一个包括：邻居个体与中心个体的距离、邻居个体在中心个体视网膜上的投影的三维列向量。

在其中一个实施例中，步骤102还包括：根据所有邻居个体在固定历史时间段内的投影，计算得到所有邻居个体在固定历史时间段内在中心个体视网膜上呈现出的投影位置变化；将投影位置变化最大的邻居个体作为运动显著性最大邻居个体，运动显著性最大邻居个体确定的公式为：

其中

固定历史时间段的时间长度是当前时刻和下一时刻之间时间间隔

在其中一个实例中，步骤104还包括：根据中心个体存储的固定历史时间段内的视觉图像信息，得到在个体参考坐标系中运动显著性最大邻居个体在上一时刻和当前时刻的位置；将运动显著性最大邻居个体在上一时刻和当前时刻的位置的变化率作为运动显著性最大邻居个体的估算速度。

在其中一个实例中，步骤106还包括：根据运动显著性最大邻居个体的估算速度、中心个体在个体参考坐标系中的相对速度以及校准系数，对个体间的速度依附交互进行修正，得到速度交互项。速度交互项的计算公式为：

其中：

在其中一个实施例中，步骤108还包括：根据中心个体在个体参考坐标系中的相对速度以及中心个体的自驱动常数和惯性系数，得到自驱动个体的惯性项；根据邻居个体与中心个体之间的预定距离阈值、所有邻居个体与中心个体的距离以及权重的常数，得到个体间的位置交互项；根据自驱动个体的惯性、位置交互项以及速度交互项，并通过坐标转换，得到在绝对坐标系中中心个体在无人机集群中的运动模型；运动模型表达式为：

其中：

在一个基于计算机视觉中运动显著性感知的无人机集群机动方法的具体实施例中，基于视觉显著性的无人机集群编队模型以“观察-感知-交互-行动”框架对集群运动进行建模。

观察阶段：在无人机集群实现过程中，个体以摄像头获取视域内邻居无人机个体的视觉图像信息。图2所示为一个无人机的摄像头截取到的实时视域信息，此时有4个无人机在视域内。注意，我们把图2中实时拍摄的无人机称为中心个体，进入中心个体视域内的无人机称为邻居个体。

图2中方框是使用开源目标检测工具YOLO对中心个体的视觉图像信息进行识别得到，基于该方法可以获取到邻居个体在中心个体视网膜上的投影

需要注意的是，（1）本文中提到的个体参考坐标系是以中心个体的速度方向为参照建立的相对坐标系，表征了个体的实际观察方式，以衡量邻居个体与中心个体的相对位置；（2）本文中认为视觉方向

感知阶段：假设中心个体

其中

交互阶段：在交互阶段，计算均在个体参考坐标系中进行，其中为了逼近生物群体运动特性，先后对集群中个体的自驱动和运动过程中的惯性、个体应对不同情况时的聚集分散特性、以及集群运动的一致性进行了建模。具体到交互方程中，分别考虑了自驱动个体的惯性以及个体间的位置交互和速度交互，以观察阶段和感知阶段的结果作为输入，个体间进行分布式交互。因此，在惯性、位置和速度交互作用下，中心个体

其中：

需要注意的是，

个体自驱动和惯性项

位置交互项

速度交互项

其中

（1）确定

其中：

（2）根据方程（4）计算得到

在计算完三种交互项过后，根据公式（3），通过

行动阶段：在绝对坐标系中，中心个体

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。