一种基于视觉的水下集群邻居识别方法

摘要

本发明提出了一种基于视觉的水下集群邻居识别方法，首先建立训练样本集合，包括正样本集和负样本集，正样本集中的样本为包含AUV的图像，负样本集中的样本为随机图像；其次对正样本集和负样本集中的样本调整到相同的尺寸大小；再对所有样本进行HOG特征向量提取；并给所有样本赋标签值；之后将正负样本的HOG特征以及标签值输入SVM中进行训练，得到对AUV目标的分类器；识别时，在AUV获取的待检测图像的不同位置进行图像块划分；获取每个图像块的HOG特征；将每个图像块的HOG特征输入训练得到的分类器，得到AUV识别结果。本发明将HOG特征提取的目标检测方法和SVM分类训练模型相结合对水下集群邻居进行检测和识别，为面向集群控制提供更准确、高效、可靠的视觉邻居感知技术方案。

说明书

技术领域

本发明为一种基于视觉的水下集群邻居识别方法，主要应用于视觉信息受限的水下自主航行器。

背景技术

自主水下航行器(autonomous undersea vehicle,AUV)是水下无人系统的重要组成部分。随着新材料、新能源、人工智能等技术的不断进步，AUV在深度、航程、载荷、自主回收等方面都有很大的提升。但单个AUV无法胜任一些复杂的、需要高效、并行完成的任务。一种解决这类问题的方法是在现有AUV的基础上，通过多个AUV之间的协调工作来共同完成复杂的任务，利用AUV作为水下移动节点，与其它固定/移动节点构成水下无人集群系统，实现海洋数据采集、水下目标监测等任务。

水下无人集群系统应用于复杂多变、危险未知的水下环境，对环境的感知能力会严重影响系统的决策和协同控制能力。作为水下无人集群系统的重要组成部分，AUV对水下环境准确、高效、可靠的感知是实现系统高效准确的决策方法和灵活多变的控制策略的前提，也是保证水下工作任务成功的关键环节。随着传感器技术的发展，各类新型传感器不断应用于AUV，大大提高了AUV对环境信息的感知能力。借助其搭载的传感设备，AUV能及时、准确、高效、可靠地获取环境信息，从而完成环境探测、自主定位、自主导航、目标搜索等任务。对于AUV而言，与听觉感知、触觉感知等其它感知形式相比，视觉感知具有很多的优势：获取到的信息量更大、更丰富，采样周期更短，受地磁场和其它传感器干扰影响更小，且其能耗较小，成本较低，使用便捷，非常适用于在近距离、高精度的工作任务中使用。

组成集群的先决条件是集群中的个体能够对其邻居个体进行识别，而现有方法是基于HSV颜色空间对目标进行检测与识别，然而其存在以下缺陷：1、基于HSV颜色空间的目标识别方法需要建立待识别目标的颜色特征信息库，然而待识别目标的颜色或具有相似性和多样性，因此理想的目标颜色特征信息库很难建立；2、水下工作环境光照分布不均匀且变化较大，存在有色光干扰；3、目标上有阴影或被部分遮挡也会影响目标的检测和识别。因此，基于HSV颜色空间的目标检测和识别方法不能够很好的满足水下邻居感知的要求，需要有针对性的开发更有效的水下集群邻居感知方法。

发明内容

为了克服水下复杂多变的环境，本发明提出了一种基于视觉的水下集群邻居识别方法，将HOG(方向梯度直方图)特征提取的目标检测方法和SVM(支持向量机)分类训练模型相结合对水下集群邻居进行检测和识别，为面向集群控制提供更准确、高效、可靠的视觉邻居感知技术方案。

本发明的技术方案为：

所述一种基于视觉的水下集群邻居识别方法，包括以下步骤：

步骤1：建立训练样本集合，包括正样本集和负样本集；

所述正样本集中的样本为包含AUV的图像；

所述负样本集中的样本为随机图像；

步骤2：对正样本集和负样本集中的样本调整到相同的尺寸大小；

步骤3：对所有样本进行HOG特征向量提取；并给所有样本赋标签值；

步骤4：将正负样本的HOG特征以及标签值输入SVM中进行训练，得到对AUV目标的分类器；

步骤5：在AUV获取的待检测图像的不同位置进行图像块划分，图像块大小与步骤2中的样本调整后的大小相同；获取每个图像块的HOG特征；将每个图像块的HOG特征输入步骤4训练得到的分类器，得到AUV识别结果。

进一步的，步骤1中，建立训练样本集合时，先获取AUV采集到的水下图像，对其中包含邻居AUV的图像进行裁剪，得到包含邻居AUV特征部位的图像块作为正样本；而对采集到的水下图像进行随机裁剪，得到的图像块作为负样本。

进一步的，所述邻居AUV特征部位取为AUV后部。

进一步的，步骤2中，通过对AUV采集到的包含邻居AUV的图像的不同位置进行多尺度分析，确定样本图像块的纵横比为1：2。

进一步的，对图像块进行HOG特征向量提取的过程为：

步骤S1：通过使用[-1,0,1]和[-1,0,1]

式中g

步骤S2：将图像块分成多个细胞单元Cell，在细胞单元中计算梯度直方图HOG；

步骤S3：建立由多个细胞单元组成的窗口Block，窗口中多个细胞单元的梯度直方图HOG组成一个向量，对向量进行标准化后，窗口移动一个细胞单元，再次对窗口中多个细胞单元的梯度直方图HOG组成的向量进行标准化，直至遍历整个图像块；

步骤S4：将图像块内的所有标准化后的向量串联，得到该图像块的HOG特征向量。

进一步的，步骤2中，将样本图像块调整到64×128；步骤S2中，细胞单元Cell的大小为8×8；步骤S3中，窗口Block大小为16×16。

进一步的，步骤4中采用线性SVM进行训练。

进一步的，步骤5中，AUV每隔10帧进行一次SVM识别，如果超过N×20％次都识别到了目标，则检测对象即为目标，其中N为SVM识别的次数。

有益效果

本发明针对水下环境特点和水下目标检测和识别的特殊性，将HOG特征提取的目标检测方法和SVM分类训练模型相结合对水下集群邻居进行检测和识别，为面向集群控制提供更准确、高效、可靠的视觉邻居感知技术方案。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1：本发明的流程图。

图2：用于HOG特征提取的图像块获取。

图3：机器鱼视觉邻居感知的角度取值示意图。

图4：实验环境示意图。

图5：基于HSV颜色空间的目标检测与识别效果图，其中：(a)正面识别；(b)后面识别；(c)侧面识别。

图6：基于HSV颜色空间的机器鱼水下目标检测与识别结果

图7：基于HOG和SVM的水下邻居检测和识别结果。

图8：基于HSV颜色空间的水下目标检测与识别和本发明所提出算法检测与识别结果对比。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本实施例以自主仿生机器鱼Robolab-Edu为测试平台，对水下集群邻居检测与识别方法进行了验证：

将Robolab-Edu自主仿生机器鱼放入实验水池中，设置邻居机器鱼的运动速度约为0.05m/s，观测机器鱼的运动速度约为0.08m/s，稍快于前者以便完成识别任务，其视野范围如图3所示，以观测机器鱼搭载摄像头的质心为原点，视野正前方为0°，若识别到邻居机器鱼/虚拟机器鱼位于视野的左半部分，则其与观测机器鱼之间的夹角为负值，反之，则为正值。

实验系统如图4所示，利用实验系统中的摄像头采集观测机器鱼和邻居机器鱼运动的完整视频帧序列，分别运行基于HSV颜色空间的目标检测与识别算法和本发明提出的水下目标识别算法，对所提算法的可行性和准确性进行验证。

基于HSV颜色空间分别对机器鱼的正面、侧面和后面进行检测与识别，如图5与图6所示：从正面和侧面对机器鱼进行检测、识别的效果较好，但从后面，即鱼尾处，无法对其进行正确检测和准确识别；并且在光照条件较差的情况下，机器鱼的识别率较低甚至无法识别。

基于在不同光照条件和不同背景复杂度下采集到的机器鱼水下图像对本发明提出的算法进行了水下机器鱼邻居目标检测和识别效果的初步验证，具体步骤如下：

步骤1：建立训练样本集合，包括正样本集和负样本集；

先获取水下机器鱼采集到的水下图像，对其中包含邻居机器鱼的图像进行裁剪，得到包含邻居机器鱼后部的图像块作为正样本训练图像块；而对采集到的水下图像进行随机裁剪，得到的图像块作为负样本训练图像块。

步骤2：裁剪得到训练图像块之后，正负样本分别存储，并将所有训练图像块调整到相同的尺寸大小；本实施例中，通过对机器鱼采集到的包含邻居机器鱼的图像的不同位置进行多尺度分析，确定样本图像块的纵横比为1：2，具体大小为64×128，如图1所示。

步骤3：对所有样本进行HOG特征向量提取；并给所有样本赋标签值；

对图像块进行HOG特征向量提取的过程为：

步骤S1：通过使用[-1,0,1]和[-1,0,1]

式中g

步骤S2：将图像块分成多个细胞单元Cell，在细胞单元中计算梯度直方图HOG；本实施例中，将图像块分成8×8的多个Cells，在这些Cells中计算梯度直方图HOG，得到梯度幅值和方向。基于梯度方向选出每个Bin，加在当前Bin上的值对应着梯度的幅值，这样8×8的Cells中所有像素处的梯度按照方向将梯度大小累加到9个Bin上创建出最后的梯度直方图。

步骤S3：建立由4个细胞单元组成的16×16的窗口Block，一个16×16的Block包含4个直方图，4个直方图构成一个36×1的向量，对向量进行标准化后，窗口移动8个像素，再次对窗口中4个细胞单元的梯度直方图HOG组成的36×1向量进行标准化，一直重复这个过程，直至遍历整个图像块。

步骤S4：将图像块内的所有标准化后的向量串联，得到该图像块的HOG特征向量。

对所有正负样本赋样本标签值，其中所有正样本赋值为1，所有负样本赋值为0。

步骤4：将正负样本的HOG特征以及标签值输入SVM中进行训练，得到对AUV目标的分类器；本实施例中采用线性SVM进行训练。

在经过上述基于HOG特征提取和SVM训练模型的离线训练后，就得到了对邻居AUV目标的分类器，利用该分类器即可检测和识别出输入图像中AUV的区域。

步骤5：在机器鱼获取的待检测图像的不同位置进行图像块划分，图像块大小与步骤2中的样本调整后的大小相同；获取每个图像块的HOG特征；将每个图像块的HOG特征输入步骤4训练得到的分类器，得到AUV识别结果。

此外，由于基于SVM的目标识别耗时相对较长，特别是高分辨率的视频序列，为了提高目标检测与识别系统的效率，保证目标识别和跟踪的实时性，本实施例中结合具体需求和前期测试，提出了隔帧检测识别的方法，即对待检测目标每隔10帧进行一次SVM识别，如果超过N×20％次都识别到了目标(N为SVM识别的总次数)，则认为该检测对象为目标，同时考虑到时延导致目标区域有所偏移，可根据目标的轨迹跟踪进行相应的调整。

实验结果如图7所示，(a)-(d)为不同光照和背景下的识别结果，(a)光照良好，背景简单；(b)光照良好，背景复杂；(c)光照不良，背景简单；(d)光照不良，背景复杂。结果显示，当水下工作环境的光照条件和背景复杂度变化时，基于HOG和SVM的目标检测与识别方法仍然具有优异的检测和识别精确度，甚至在光照不良且背景复杂的极端情况下仍然有较好的效果。这说明基于HOG和SVM的目标检测与识别方法对水下光照条件不敏感，具有较高的识别率和可靠性，另外对水下环境也具有较好的适应能力，满足机器鱼在水下工作环境中对邻居个体感知的需要。

如图8所示，本发明采用基于HOG和SVM的水下目标检测与识别的方法，其效果明显优于基于HSV颜色空间的水下目标检测与识别方法。在光照良好的情况下，基于HOG和SVM的方法可以更准确地识别目标机器鱼的尾部；在光照不良的情况下，基于HSV的方法无法检测并识别出目标，而基于HOG和SVM的方法可以大致识别出目标机器鱼的尾部。由此可见，基于HOG和SVM的方法有效地降低了水下目标检测与识别的误识别率，在一定程度上扩大了观测机器鱼的目标检测与识别的工作范围。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。