一种基于网格加权的图像目标追踪云台控制方法

摘要

本发明公开了一种基于网格加权的图像目标追踪云台控制方法，所述方法为：从相机云台视频流中抽取一帧图像；利用目标检测算法对提取的视频帧进行位置信息计算，并记录计算结果和时间；对计算结果进行网格加权映射得出N帧范围内最佳可信度中心位置；将最佳可信度中心位置信息转化为云台控制命令控制云台的移动。本发明解决了现有云台移动控制过程中易出现卡顿或抽动的问题。

说明书

技术领域

本发明涉及云台控制领域，具体涉及一种基于网格加权的图像目标追踪云台控制方法。

背景技术

近年来，随着电子技术、摄影技术等领域日星月异的发展，摄影的一个重要装置--云台的使用也越来越广泛。云台是指光学设备底部和固定支架连接的转向轴，是用于安装成像装置的支撑工作台。成像装置是指摄像机或照相机之类的摄像装置。成像装置被放置在云台上，通过对云台的调整，可以调整其镜头朝向，从而准确的实现对目标的观察和摄像。大型的云台主要运用于现代影视工业中，为了实现拍摄画面的平稳，这种大型的手持云台往往尺寸较大并且重量较重。无法适应多种环境对拍摄的需要。

图像目标检测流程是从相机视频流抽取一帧，然后对该帧应用目标检测算法，算法输出各个目标对象在图像中的位置信息及可信度。云台相机根据计算结果，控制相机移动并对准目标对象，传统控制算法大多采用闭环自动控制技术PID，但其响应速度及顺滑度在目标检测计算时间较长或在多目标时较差。基于网格加权，将连续N次目标检测结果投射至网格，并以结果的可信度作为权值，最终得出加权后的目标中心位置信息，用于控制云台相机，可以获得更加平滑和可靠的效果。

发明内容

为此，本发明提供一种基于网格加权的图像目标追踪云台控制方法，以解决现有云台移动控制过程中易出现卡顿或抽动的问题。

为了实现上述目的，本发明提供如下技术方案：

本发明一种基于网格加权的图像目标追踪云台控制方法，所述方法为：

从相机云台视频流中抽取一帧图像；

利用目标检测算法对提取的视频帧进行位置信息计算，并记录计算结果和时间；

对计算结果进行网格加权映射得出N帧范围内最佳可信度中心位置；

将最佳可信度中心位置信息转化为云台控制命令控制云台的移动。

进一步地，所述相机云台中从拍摄的视频流中提取视频帧，利用目标检测算法获取视频帧中目标的坐标位置。

进一步地，所述视频帧画面根据图像分辨率进行网格划分，按照设定的间隔划分出N行M列的网格，网格的每个位置与视频帧一一对应。

进一步地，所述目标检测算法的计算结果对应目标位置映射至网格，网格内的数值即目标可能存在的权值，计算结果中的目标框位置点坐标(x1，y1)及(x2,y2)覆盖的网格都累加上本次结果的可信度。

进一步地，所述目标检测算法的计算结果映射到网格时，新的计算结果进行累加，之前的计算结果根据时间权值进行递减，递减的公式为：

Vt＝Vt-1*0.8

式中Vt为本次计算结果，Vt-1为上次计算结果，即每个网格的权值取上一次网格结果的0.8，并累加上当前最新的结果数值。

进一步地，所述网格中设定一个追踪目标大小网格，2*2的网格中，统计整个网格中任意四个相邻网格的权值和，最大的权值即代表最佳可信度中心位置。

进一步地，所述最佳可信度中心位置输出至云台控制器，以原点为图像中心点，结果的形式为中心坐标(cx，cy)。

进一步地，所述最佳可信度中心位置的坐标(cx，cy)，垂直误差Verror＝cy，水平误差Herror＝cx，云台控制具有速率移动命令，参数为水平移动命令左负右正，垂直移动命令上负下正，将垂直误差及水平误差归一化后，依次用作命令参数，控制云台移动。

进一步地，所述云台接收到控制命令后，根据网格加权计算出的位置信息进行顺滑移动，不会出现卡顿或抽动。

本发明具有如下优点：

本发明公开了一种基于网格加权的图像目标追踪云台控制方法，通过对目标检测算法结果进行网格加权映射得出N帧范围内最佳可信度中心位置，实现对云台的移动控制，保证云台的顺滑移动，不会出现卡顿或抽动。图像出现多个目标或目标消失时，云台的控制依然可以保持平滑和可靠，云台移动不会因结果突变而卡顿或抽动；当图像目标检测计算时间过长或变化较大时，时间导致的控制突变可以被有效抑制，使得云台保持平滑。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例提供的一种基于网格加权的图像目标追踪云台控制方法的流程图；

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种基于网格加权的图像目标追踪云台控制方法所述方法为：

从相机云台视频流中抽取一帧图像；

利用目标检测算法对提取的视频帧进行位置信息计算，并记录计算结果和时间；

对计算结果进行网格加权映射得出N帧范围内最佳可信度中心位置；

将最佳可信度中心位置信息转化为云台控制命令控制云台的移动。

相机云台中从拍摄的视频流中提取视频帧，利用目标检测算法获取视频帧中目标的坐标位置。目标检测算法为：获得图片数据，对帧图片进行滤波处理；建立背景模型；采集前景帧，对背景模型和前景帧进行隔行隔列的模板匹配，得到背景模型和前景帧的偏移距离；从背景模型的中间对称截取一图片区域，再通过偏移距离得到前景帧的对应部分图片，并对背景模型和前景帧的这两个图片进行Sobe1边缘化、二值化，以及相互模糊比较；分析比较结果，判断检测目标是否出现或移动。

目标检测算法因为计算量较大、且存在不稳定情况，会有突变发生。这体现在以下具体情况：1.目标检测算法计算时间不确定，且相差较大。比如某次视频帧计算使用了100毫秒、下一次可能是120毫秒、下次可能是90毫秒。这是因为，视频帧是经过JPEG格式压缩的，其帧照片的大小取决于内容的信息量，而同一个目标检测算法对不同大小的照片计算时间是不一样的。所以目标检测算法其自身的计算时间不定长，控制云台移动过程中会出现卡顿的情况。

本实施例中，目标检测算法的计算结果为：

结果各个字段的含义：

cost_ms：计算时间(毫秒)

error_code：错误代码

results：结果

confidence：可信度

index：目标序号

label：目标名称

x1，y1：目标框左上角位置坐标

x2，y2：目标框右下角位置坐标。

将提取出来的视频帧画面根据图像分辨率进行网格划分，按照设定的间隔划分出N行M列的网格，网格的每个位置与视频帧一一对应；目标检测算法的计算结果对应目标位置映射至网格，网格内的数值即目标可能存在的权值，计算结果中的目标框位置点坐标(x1，y1)及(x2,y2)覆盖的网格都累加上本次结果的可信度。

目标检测算法的计算结果映射到网格时，新的计算结果进行累加，之前的计算结果根据时间权值进行递减，递减的公式为：

Vt＝Vt-1*0.8

式中Vt为本次计算结果，Vt-1为上次计算结果，即每个网格的权值取上一次网格结果的0.8，并累加上当前最新的结果数值。该过程可以确保目标位置的变化处于稳定的线性变换。

网格中设定一个追踪目标大小网格，本实施例中，设定2*2的网格，统计整个网格中任意四个相邻网格的权值和，最大的权值即代表最佳可信度中心位置；将最佳可信度中心位置输出至云台控制器，以原点为图像中心点，结果的形式为中心坐标(cx，cy)。

最佳可信度中心位置的坐标(cx，cy)，垂直误差Verror＝cy，水平误差Herror＝cx，云台控制具有速率移动命令，参数为水平移动命令左负右正，垂直移动命令上负下正，将垂直误差及水平误差归一化后，依次用作命令参数，控制云台移动。云台接收到控制命令后，根据网格加权计算出的位置信息进行顺滑移动，不会出现卡顿或抽动

云台移动是根据网格加权计算出的位置进行控制，只要网格加权结果不发生突变或者非线性变换，即可保证云台移动不会抽动。网格加权相当于一个过滤器，当目标检测的计算结果出现异常时，网格中的权值由于保留了上一次最佳的计算结果，当前的结果异常不会导致网格权值发生大幅度变化。目标检测算法的异常包括以下类型：1、每次计算时间不同；2、视频帧刚好取到了模糊画面，检测结果为空。如果直接使用其计算结果作为控制变量，会导致云台移动突然变化，加上网格作为过滤器后，可以累积最佳可信度中心，并作为控制变量，提高云台控制的平滑和可靠。

本发明公开的一种基于网格加权的图像目标追踪云台控制方法，通过对目标检测算法结果进行网格加权映射得出N帧范围内最佳可信度中心位置，实现对云台的移动控制，保证云台的顺滑移动，不会出现卡顿或抽动。图像出现多个目标或目标消失时，云台的控制依然可以保持平滑和可靠，云台移动不会因结果突变而卡顿或抽动；当图像目标检测计算时间过长或变化较大时，时间导致的控制突变可以被有效抑制，使得云台保持平滑。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。