一种基于视觉技术的鱼类游过数目与游向的预测方法

摘要

本发明公开了一种基于视觉技术的鱼类游过数目与游向的预测方法，包括：选择若干数量和种类的鱼，每个种类的鱼数量相等；将所有的鱼放入一个透明的鱼缸内，录制若干鱼在鱼缸内活动的水下视频；从水下视频中提取祯，并利用开源图像注释工具在祯图像上添加标签，形成若干标签图像；将若干标签图像输入训练好的YOLO算法模型中，得到每个鱼的跟踪框；利用多目标跟踪算法，将每个鱼的跟踪框对应一个跟踪框ID；在定义计数线BC，判断连线A'A是否穿过计数线BC。本发明利用视觉技术，将鱼类游动的视频以每祯提取出图片，将动态的视频划分成静态的图片，方便进行识别，能准确判断出鱼的游向和方位，识别速度快，能对历史录像进行识别。

说明书

技术领域

本发明涉及智能识别技术领域，具体涉及一种基于视觉技术的鱼类游过数目与游向的预测方法。

背景技术

随着AI人工智能与各科技领域的深度融合，已经在机器学习、语音识别、计算机视觉等领域产生出了众多创新解决方案。尤其是拥有80％人类感知视觉信息的计算机视觉技术与人工智能技术已密不可分。业界人士普遍认为，人工智能发展的下一个阶段，将是计算机视觉技术引领的创新时代。机器视觉技术历经半个多世纪的发展慢慢趋于成熟，正逐步从实验室理论研究走向应用市场，与其相关的应用和任务也逐渐进入到人们的日常生活当中。当前科技进步的速度可以用突飞猛进来形容，可以预见在未来，智能视觉技术会在全世界各项技术全面进步和视觉研究人员的共同努力下达到更高的水平，从而让高可靠性的便捷视觉检测以及视频分析技术直接服务人们的工作和生活。

活鱼识别是快速获取大量数据的渔业调查应用中最关键的元素之一，与一般场景不同，水下图像识别面临的挑战是图像质量差、目标和环境不可控以及难以获取代表性样本。此外，大多数现有的特征提取技术由于涉及人的监督而阻碍了自动化。因此，急需开发一种针对活鱼在游动过程中对鱼的种类、数量以及游向进行识别的方法。

发明内容

针对现有技术的上述不足，本发明提供了一种识别精度高的基于视觉技术的鱼类游过数目与游向的预测方法。

为达到上述发明目的，本发明所采用的技术方案为：

提供一种基于视觉技术的鱼类游过数目与游向的预测方法，其特征在于，包括以下步骤：

S1：选择若干数量和种类的鱼，每个种类的鱼数量相等；

S2：将所有的鱼放入一个透明的鱼缸内，录制若干鱼在鱼缸内活动的水下视频；

S3：从水下视频中提取祯，并利用开源图像注释工具在祯图像上添加标签，形成若干标签图像；

S4：将若干标签图像输入训练好的YOLO算法模型中，得到每个鱼的跟踪框；

S5：利用多目标跟踪算法，将每个鱼的跟踪框对应一个跟踪框ID；

S6：在定义计数线BC，计算跟踪框的中心位置A'、以及前一祯的跟踪框ID对应的跟踪框的中心位置A；

S7：连接位置A与位置A'，判断连线A'A是否穿过计数线BC，若是，则判定当前跟踪框ID对应的跟踪框过线，有一条鱼游过计数线BC，鱼的数量加1，向量

S8：遍历每个跟踪框ID对应的跟踪框，计算跟踪框过线的祯数，若同一跟踪框ID的跟踪框在超过帧数阈值后再次过线，则判定同一条鱼徘徊，不计入鱼的数量。

进一步地，步骤S4包括：

S41：在开源数据库中下载YOLO算法模型，下载鱼类图片的训练集，训练集中包含步骤S1中的鱼的种类；

S42：利用训练集对YOLO算法模型进行训练，形成鱼类探测器；

S43：利用鱼类探测器对每祯的标签图像中的鱼类进行物种识别，生成每个鱼个体的检测框，并在检测框上标注鱼类。

进一步地，步骤S5包括：

S51：根据当前帧的检测框与前一祯的跟踪框的运动相似性d

S52：将总相似性C

进一步地，步骤S51中计算当前帧的检测框与前一祯的跟踪框的运动相似性d

d

其中，d

进一步地，步骤S51中计算当前帧的检测框与前一祯的跟踪框的外观相似性d

d

其中，r为鱼表面特征的描述子，k为每一次跟踪框所关联的描述子的序号，R

进一步地，步骤S51中计算当前帧的检测框与前一祯的跟踪框的总相似性C

c

其中，λ为权重的超参数。

进一步地，步骤S52具体包括：

S521：判断总相似性C

S522：若总相似性≥相似性阈值，则判定当前检测框内的鱼与前一祯的跟踪框内的鱼相同，则将当前检测框更换为前一祯的跟踪框；

S523：若总相似性＜相似性阈值，则判定出现新的鱼，创建一个新的跟踪框和对应的跟踪框ID。

进一步地，步骤S1中选取三种不同的鱼类，且每种鱼的颜色和大小均不相同。

进一步地，步骤S1中选取三种不同的鱼类的总数量大于90个。

进一步地，开源图像注释工具为Make Sense图像注释工具。

本发明的有益效果为：本发明利用视觉技术，将鱼类游动的视频以每祯提取出图片，将动态的视频划分成静态的图片，方便进行识别。并且，在鱼游动的过程中，通过相似性判断，能有效将重复识别的鱼进行剔除，增加了鱼的种类和数量的识别精度，针对鱼群的习性实现高精度的识别，能准确判断出鱼的游向和方位，识别速度快，能对历史录像进行识别。

附图说明

图1为基于视觉技术的鱼类游过数目与游向的预测方法的流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，本方案的基于视觉技术的鱼类游过数目与游向的预测方法，其包括以下步骤：

S1：选择若干数量和种类的鱼，每个种类的鱼数量相等，本实施例选取三种不同的鱼类，且每种鱼的颜色和大小均不相同，三种不同的鱼类的总数量大于90个；

S2：将所有的鱼放入一个透明的鱼缸内，录制若干鱼在鱼缸内活动的水下视频；

S3：从水下视频中提取祯，并利用“Make Sense”开源图像注释工具在祯图像上添加标签，包括图像的时间、文本、类型等，形成若干标签图像；

S4：将若干标签图像输入训练好的YOLO算法模型中，得到每个鱼的跟踪框；步骤S4包括：

S41：在开源数据库中下载YOLO算法模型，下载鱼类图片的训练集，确保训练集中包含步骤S1中的鱼的种类；

S42：利用训练集对YOLO算法模型进行训练，形成鱼类探测器；

S43：利用鱼类探测器对每祯的标签图像中的鱼类进行物种识别，生成每个鱼个体的检测框，并在检测框上标注鱼类。

S5：利用多目标跟踪算法，将每个鱼的跟踪框对应一个跟踪框ID；步骤S5包括：

S51：根据当前帧的检测框与前一祯的跟踪框的运动相似性d

计算当前帧的检测框与前一祯的跟踪框的运动相似性d

d

其中，d

计算当前帧的检测框与前一祯的跟踪框的外观相似性d

d

其中，r为鱼表面特征的描述子，k为每一次跟踪框所关联的描述子的序号，R

计算当前帧的检测框与前一祯的跟踪框的总相似性C

c

其中，λ为权重的超参数。

S52：将总相似性C

S521：判断总相似性C

S522：若总相似性≥相似性阈值，则判定当前检测框内的鱼与前一祯的跟踪框内的鱼相同，则将当前检测框更换为前一祯的跟踪框；

S523：若总相似性＜相似性阈值，则判定出现新的鱼，创建一个新的跟踪框和对应的跟踪框ID。

S6：在定义计数线BC，计算跟踪框的中心位置A'、以及前一祯的跟踪框ID对应的跟踪框的中心位置A；

S7：连接位置A与位置A'，判断连线A'A是否穿过计数线BC，若是，则判定当前跟踪框ID对应的跟踪框过线，有一条鱼游过计数线BC，鱼的数量加1，向量

S8：遍历每个跟踪框ID对应的跟踪框，计算跟踪框过线的祯数，若同一跟踪框ID的跟踪框在超过帧数阈值后再次过线，则判定同一条鱼徘徊，不计入鱼的数量。

本发明利用视觉技术，将鱼类游动的视频以每祯提取出图片，将动态的视频划分成静态的图片，方便进行识别。并且，在鱼游动的过程中，通过相似性判断，能有效将重复识别的鱼进行剔除，增加了鱼的种类和数量的识别精度，针对鱼群的习性实现高精度的识别，能准确判断出鱼的游向和方位，识别速度快，能对历史录像进行识别。