一种支持复杂场景下的人形跟踪拍摄的控制方法及装置

摘要

本发明提供一种支持复杂场景下的人形跟踪拍摄的控制方法及装置，方法包括：S1.获取视频图像数据：通过云台安装的摄像头获取到实时码流数据，得到每帧图像数据；S2.判断跟踪条件a：判断是否直接进入KCF跟踪模块；如果否FALSE，则进行步骤S3，如果是TRUE，则进行步骤S6；S3.判断电机停止状态，如果是TRUE，则进行步骤S4；如果否FALSE，则回到步骤S1；S4.检测环节；S5.判断跟踪条件b：判断是否进入KCF跟踪模块，如果是TRUE，则进行步骤S6；如果否FALSE，则回到步骤S1；S6.跟踪环节，其中还包括更新跟踪条件a状态回到步骤S2；S7.云台控制环节，其中还包括更新电机停止状态回到步骤S3；S8.结束。

说明书

技术领域

本发明涉及图像处理技术领域，特别涉及一种支持复杂场景下的人形跟踪拍摄的控制方法及装置。

背景技术

现有技术中，基于OpenCV HOG算法检测人形，并通过人形结果的偏差量控制云台转动，达到实时跟踪的目的，如申请号为201811033461.3的《基于人形追踪的实时拍摄装置及控制方法》所示。然而，基于OpenCV HOG算法检测人形的跟踪方法，首先因检测算法较简单无法适应各种光线、各种姿态的人形，容易出现漏检和误检等情况，其次没有考虑当摄像头视野里出现多个人形目标时如何优选跟踪目标，还有当人形检测失效及画面中有人形但是人形检测没有给出检测结果时如果只是等待人形下一次的正确结果时很容易丢失移动的人形目标导致跟踪失败。

此外，现有技术中的常用术语如下：

1、移动侦测：基于连续视频图像数据，判断图像中是否有移动目标，如有则会以矩形框形式反馈矩形框的坐标位置。

2、CNN人形检测：基于Yolov3-tiny等CNN卷积神经网络检测视频图像中的人形，并计算得到人形的矩形框。

3、两轴云台：一个装有摄像头装置的可以实现两个自由度运动的装置，4、KCF跟踪算法：全称为‘Kernel Correlation Filter’核相关滤波算法，可以根据给定的一个图像上的矩形区域进行快速跟踪以及目标框的调整。

发明内容

为了解决上述问题，本方法的目的在于：

1、提出一种支持复杂场景下的人形跟踪拍摄的控制方法；

2、使用速度快检测准确率高的Yolov3-tiny的CNN卷积神经网络进行人形检测，可以大大提高检测效果，有效改善各种光线场景、各种人形姿态以及人形显示不全情况的人形检测结果；

3、采用KCF算法，在得到人形检测结果时以人形结果为中心，将结果传入KCF算法对结果进行进行跟踪，KCF算法执行效率相较于Yolov3-tiny算法快约十几倍，可以达到对人形结果的实时更新，可以在低功耗嵌入式芯片上如北京君正的INGENIC T-series芯片上运行且可以达到实时效果；

4、加入自研移动侦测方法，可以有效解决人形检测结果对一些静止似人物体的误检；同时可以根据移动侦测方法结果优先选取移动目标进行跟踪，可以将关注点聚焦到动态的人形上；

5、使用移动侦测方法可以弥补当人形检测失效时，即画面中有人形在移动但是没有反馈人形结果时，通过移动侦测的结果替代人形检测结果，通过云台的电机控制可以保证移动目标始终处于视频视野中。以保证下一人形检测时目标人物还保留在图像内。

具体地，本发明提供一种支持复杂场景下的人形跟踪拍摄的控制方法，所述方法包括以下步骤：

S1.获取视频图像数据：通过云台安装的摄像头获取到实时码流数据，得到每帧图像数据；

S2.判断跟踪条件a：判断是否直接进入KCF跟踪模块；如果否FALSE，则进行步骤S3，如果是TRUE，则进行步骤S6；

S3.判断电机停止状态，如果是TRUE，则进行步骤S4；如果否FALSE，则回到步骤S1；

S4.检测环节；

S5.判断跟踪条件b：判断是否进入KCF跟踪模块，如果是TRUE，则进行步骤S6；如果否FALSE，则回到步骤S1；

S6.跟踪环节，其中还包括更新跟踪条件a状态回到步骤S2；

S7.云台控制环节，其中还包括更新电机停止状态回到步骤S3；

S8.结束。

所述的S4检测环节，进一步包括：

S4.1，移动侦测模块：使用相隔T帧的图像帧差方法实现移动目标检测，判断图像中是否有移动目标存在，如果有，将结果即矩形框位置保留以备选优使用；

S4.2，人形检测模块：使用Yolov3-tiny CNN卷积神经网络对当前图片进行人形检测，如果检测到人形将检测的所有人形结果即矩形框进行保留以备选优使用；

S4.3，选优模块：将移动侦测的结果和人形检测结果综合选优，得出最终的跟踪目标。

所述的S4.3优选模块中，具体选优逻辑如下：

情况1：当只有移动侦测有结果时，首先将检测结果矩形框的宽高b_wh同预设值进行比较min_wh

情况2：当只有人形检测结果时，因为没有检测到移动侦测结果，说明画面中没有移动目标出现，不需要重新调整云台的位置，将跟踪条件b设置为FALSE；

情况3：当既有人形检测结果又有移动侦测结果时，将移动侦测结构矩形框和人形检测矩形框做‘与’操作，‘与’操作之后将有交集且交集达到预设值的人形检测框保留记B1，否则将跟踪条件b设置为FALSE，如果预设当前的跟踪模式是优先跟踪历史目标，则将B1与历史人形检测框B2做‘与’操作，有交集且交集最大的目标作为最终目标检测框，并设置跟踪条件b为TRUE，没有交集则设置跟踪条件b为FALSE；如果跟踪模式是优先跟踪移动的人形目标，则选取B1中面积最大的作为最终人形结果并设置跟踪条件b为TRUE。

所述情况1中的预设值为经验值min_wh：50，max_wh：frame_h/2；frame_h为整帧图像的高度；所述情况3中的，预设值为经验值0.5。

所述的步骤S6跟踪环节，进一步包括：

S6.1，KCF跟踪模块：将传入的矩形框及当前图像一起作为KCF算法的输入数据，并得到KCF算法的结果，结果包含有本次跟踪的状态S，即是否跟踪失败，0表示失败，1表示成功，调整后的输出矩形框B3；

S6.2，更新跟踪条件a：依据跟踪状态S＝0设置跟踪条件a为否FALSE，S＝1设置跟踪条件为是TRUE。

所述的步骤S7云台控制环节，进一步包括：

S7.1，计算云台控制信号模块：将步骤S6.1得到的矩形框B3，取B3中心点距图像中心点的偏差dx，dy，其中dx表示B3中心点距图像中心点在横轴上的偏差量单位为像素，dy表示B3中心点距图像中心点在纵轴上的偏差量单位为像素；

S7.2，电机执行模块：根据步骤S7.1计算得到的dx，dy换算成电机的控制信号步长或转动速度，由电机执行机构进行动作；

S7.3，获取电机状态模块：获取电机执行机构停止信号STOP，STOP＝1表示电机处在停止状态，STOP＝0表示电机存在运动状态；

S7.4，更新电机停止状态：根据S7.3获取的状态，STOP＝0设置电机停止状态为否FALSE，STOP＝2设置电机停止状态为是TRUE。

所述图像中心点为坐标原点。

本申请还包括一种支持复杂场景下的人形跟踪拍摄的控制装置，至少包括摄像单元，还包括跟踪环节单元，检测环节单元，云台控制环节单元，以及采用上述所述方法之一。

由此，本申请的优势在于：本申请提出了一种新的控制流程方法及装置：

1、本申请中使用Yolov3-tiny进行人形检测，可以高效准确进行人形检测。

2、本申请中使用KCF跟踪算法，可以实时进行人形结果的更新，同时可以将该算法运行在低功耗额芯片上。

3、本申请中提出使用移动侦测结果作为目标选优及误检人形过滤，可以实现在复杂场景下进行人形跟踪。

4、本申请中使用移动侦测来有效改善人形检测失效时的目标跟踪，改善人形跟丢的情况。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。

图1是本发明方法的流程示意图。

图2是本发明方法具体实施例的示意图。

图3是本发明装置的框架示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。

如图1所示，本发明涉及一种支持复杂场景下的人形跟踪拍摄的控制方法，所述方法包括以下步骤：

S1.获取视频图像数据：通过云台安装的摄像头获取到实时码流数据，得到每帧图像数据；

S2.判断跟踪条件a：判断是否直接进入KCF跟踪模块；如果否FALSE，则进行步骤S3，如果是TRUE，则进行步骤S6；

S3.判断电机停止状态，如果是TRUE，则进行步骤S4；如果否FALSE，则回到步骤S1；

S4.检测环节；

S5.判断跟踪条件b：判断是否进入KCF跟踪模块，如果是TRUE，则进行步骤S6；如果否FALSE，则回到步骤S1；

S6.跟踪环节，其中还包括更新跟踪条件a状态回到步骤S2；

S7.云台控制环节，其中还包括更新电机停止状态回到步骤S3；

S8.结束。

所述的S4检测环节，进一步包括：

S4.1，移动侦测模块：使用相隔T帧的图像帧差方法实现移动目标检测，判断图像中是否有移动目标存在，如果有，将结果即矩形框位置保留以备选优使用；

S4.2，人形检测模块：使用Yolov3-tiny CNN卷积神经网络对当前图片进行人形检测，如果检测到人形将检测的所有人形结果即矩形框进行保留以备选优使用；

S4.3，选优模块：将移动侦测的结果和人形检测结果综合选优，得出最终的跟踪目标。

所述的S4.3优选模块中，具体选优逻辑如下：

情况1：当只有移动侦测有结果时，首先将检测结果矩形框的宽高b_wh同预设值进行比较min_wh

情况2：当只有人形检测结果时，因为没有检测到移动侦测结果，说明画面中没有移动目标出现，不需要重新调整云台的位置，将跟踪条件b设置为FALSE；

情况3：当既有人形检测结果又有移动侦测结果时，将移动侦测结构矩形框和人形检测矩形框做‘与’操作，‘与’操作之后将有交集且交集达到预设值的人形检测框保留记B1，否则将跟踪条件b设置为FALSE，如果预设当前的跟踪模式是优先跟踪历史目标，则将B1与历史人形检测框B2做‘与’操作，有交集且交集最大的目标作为最终目标检测框，并设置跟踪条件b为TRUE，没有交集则设置跟踪条件b为FALSE；如果跟踪模式是优先跟踪移动的人形目标，则选取B1中面积最大的作为最终人形结果并设置跟踪条件b为TRUE。

所述情况1中的预设值为经验值min_wh：50，max_wh：frame_h/2；frame_h为整帧图像的高度；所述情况3中的，预设值为经验值0.5。

所述的步骤S6跟踪环节，进一步包括：

S6.1，KCF跟踪模块：将传入的矩形框及当前图像一起作为KCF算法的输入数据，并得到KCF算法的结果，结果包含有本次跟踪的状态S，即是否跟踪失败，0表示失败，1表示成功，调整后的输出矩形框B3；

S6.2，更新跟踪条件a：依据跟踪状态S＝0设置跟踪条件a为否FALSE，S＝1设置跟踪条件为是TRUE。

所述的步骤S7云台控制环节，进一步包括：

S7.1，计算云台控制信号模块：将步骤S6.1得到的矩形框B3，取B3中心点距图像中心点的偏差dx，dy，其中dx表示B3中心点距图像中心点在横轴上的偏差量单位为像素，dy表示B3中心点距图像中心点在纵轴上的偏差量单位为像素；

S7.2，电机执行模块：根据步骤S7.1计算得到的dx，dy换算成电机的控制信号步长或转动速度，由电机执行机构进行动作；

S7.3，获取电机状态模块：获取电机执行机构停止信号STOP，STOP＝1表示电机处在停止状态，STOP＝0表示电机存在运动状态；

S7.4，更新电机停止状态：根据S7.3获取的状态，STOP＝0设置电机停止状态为否FALSE，STOP＝2设置电机停止状态为是TRUE。

所述图像中心点为画面中心位置的坐标；

所述画面中心位置的坐标当图像分辨率为宽640，高360，单位为像素时，中心点坐标为x:320,y:180。

具体地，如图2所示，本发明方法的实施例如下描述：

1.开始；

2.获取视频图像数据；

3.判断跟踪条件a，如果否，则进行步骤4，如果是，则进行步骤6；

4.判断电机停止状态，如果是，则进行步骤5；如果否，则回到步骤2；5.检测环节；

6.判断跟踪条件b，如果是，则进行步骤7；如果否，则回到步骤2；

7.跟踪环节，其中包括更新跟踪条件a状态回到步骤3；

8.云台控制环节，其中包括更新电机停止状态回到步骤4；

9.结束。

具体地，如图3所示，本发明装置的实施例：人形跟踪拍摄的控制装置，至少包括摄像单元，还包括跟踪环节单元，检测环节单元，云台控制环节单元，以及采用上述的任一方法。其中，所述摄像单元包括摄像头、云台，及控制云台的电机，该摄像单元获取图像信息；

此外，装置至少包括：

所述的跟踪环节单元进行上述跟踪环节的方法步骤；

所述的检测环节单元进行上述检测环节的方法步骤；

所述云台控制环节单元进行上述云台控制环节的方法步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。