一种采用人工智能预测追踪的视频监视云台及其追踪方法

摘要

本发明公开了一种采用人工智能预测追踪的视频监视云台，包括运动样本采集单元、运动样本训练单元、运动目标预测单元和云台追踪单元。本发明采用机器学习的方法对由监控云台中摄像机拍摄到的画面中的运动目标量化组成的样本数据集中的运动数据进行训练，再根据评价指标检测获得最佳运动预测模型，在运动模型中输入任何运动目标都能够对其运动进行预测，适应性强，从而预先按照预测的运动位置对摄像头进行调整使其始终将运动目标锁定在视野中心，并且摄像头会反馈运动目标的实际运动位置，用于预测的运动路线进行实时校准，提高监控准确性，在预测模型训练过程中采用了运动目标的多种特征，覆盖范围广可信度高。

说明书

技术领域

本发明涉及视频监控技术领域，具体涉及一种采用人工智能预测追踪的视频监视云台及其追踪方法。

背景技术

在公共空间，视频信息的采集以视频监视摄像机为主要的前端设施，视频监视摄像机一般由摄像机和监视云台两部分共同组成，其中，监视云台用于在结构上承载摄像机，并且携带摄像机转动以调节拍摄的方向和俯仰角度，从而使一台摄像机利用其有限的拍摄视野能够覆盖更大的预定空间范围；

锁定特定的运动对象并带动摄像机对该对象进行追踪拍摄，是监视云台的核心功能，为了保证适当的曝光量以及清晰的聚焦，在视频信息采集过程中一般要求主要的拍摄对象处于拍摄视野的中央区域，因此，当主要的拍摄对象是一个运动对象时，监视云台要能够跟随该运动对象而带动摄像机调节拍摄方向和俯仰角度，从而将该运动对象始终保持在拍摄视野的中央区域附近；

为了更好的实现对运动对象的追踪，需要提前掌握运动对象所有可能的运动路线，从而提前调整好摄像机的拍摄朝向和拍摄角度，才能够避免被动跟随运动对象导致的追踪滞后，从而使运动对象消失在视野，目前常用的追踪运动对象的方法是采用机器学习对运动对象的运动进行预测，专利CN108921001B公开了一种采用人工智能预测追踪的视频监视云台及其追踪方法，利用人工智能方法实现视频信息采集过程中对场景特征的识别，并且学习各种场景模式之下对追踪锁定的运动目标的选择策略，从而实现对具有最大重要度和关联度的运动目标的自动提取和预测追踪；

但是，该预测运动对象的追踪方法侧重于重点目标的识别，即在多种运动目标的场景之下可以基于每个运动目标与场景模式与采集目的的关联性提取重要目标，仅使用重点目标运动方向和速度预测其运动路线，该路线预测仅依靠方向和速度两个特征进行预测，预测可信度低，并且只能预测重点目标一个对象的路线，并不能对所有对象进行预测，预测适应性差。

发明内容

本发明的目的在于提供一种采用人工智能预测追踪的视频监视云台，以解决现有技术中预测可信度低和适应性差的技术问题。

为解决上述技术问题，本发明具体提供下述技术方案：

一种采用人工智能预测追踪的视频监视云台，包括运动样本采集单元、运动样本训练单元、运动目标预测单元和云台追踪单元；

所述运动样本采集单元包括视频监控云台中的摄像机，所述视频监控云台中的摄像机用于拍摄监控场景中运动目标，并将运动目标进行量化、记录生成样本数据集传输到运动样本训练单元；

所述运动样本训练单元用于对来自于运动样本采集单元的样本数据集中的数据进行预处理，再对样本数据集中的由运动目标量化而来的样本数据分成训练数据集和测试数据集，在训练数据集上进行预测训练，训练完成后用测试数据集验证准确性，生成最佳预测模型；

所述运动目标预测单元用于将待预测的运动目标的特征信息输入到由运动样本训练单元产生的最佳预测模块中并输出运动预测结果传送到运动追踪单元；

所述云台追踪单元根据运动目标预测单元的运动预测结果控制视频监控云台中的摄像机改变朝向追踪运动目标，并将运动目标的实际运动位置信息作为目标特征信息反馈回运动目标预测单元。

作为本发明的一种优选方案，所述运动样本采集单元将监控场景中的运动目标进行量化、记录生成样本数据集的具体过程如下：

步骤一：截取视频监控云台中的摄像机在监控场景内拍摄的为期T时间段的视频画面；

步骤二：提取T时间段内视频画面中的运动目标的运动信息和个人信息；

步骤三：将运动目标的运动信息和个人信息量化成特征值，并汇总成样本数据集进行保存。

作为本发明的一种优选方案，所述运动目标的特征值包括运动特征值和个人特征值，所述运动特征值包括采集时刻、位置坐标、朝向方位和下一时刻的运动终点，个人特征值包括性别、年龄、身高和装扮。

作为本发明的一种优选方案，所述运动样本训练单元生成最佳预测模型的过程为：

步骤一：对样本数据集中的数据进行预处理，预处理包括数据清洗和特征规范化；

步骤二：将预处理后的数据集分成两个数据集分别为训练数据集和测试数据集；

步骤三：对训练数据集进行样本数据训练，训练后的模型运用到测试数据集上获得预测结果；

步骤四：通过测试数据集的预测结果和真实结果相比对，计算模型评价指标评测模型，获得最佳预测模型。

作为本发明的一种优选方案，云台追踪单元根据运动目标预测单元的运动预测结果控制视频监控云台中的摄像机改变朝向追踪运动目标的具体过程：

步骤一：云台追踪单元根据运动目标预测单元的运动预测结果中运动目标即将到达的位置坐标调整摄像头朝向该位置坐标，并将该位置坐标锁定在摄像头镜头视野中心处；

步骤二：

P1：在运动目标运动到达的真实位置位于该位置坐标时，摄像头继续朝向运动目标预测的位置坐标进行追踪拍摄，继续反馈运动目标的到达的位置坐标；

P2：在运动目标运动到达的真实位置偏离该位置坐标时，将真实位置坐标反馈给运动目标预测单元进行重新预测，调整获得新的运动目标即将到达位置坐标，调整摄像头朝向新的位置坐标，继续反馈运动目标的到达的位置坐标。

作为本发明的一种优选方案，所述云台追踪单元将运动目标的实际运动位置信息作为目标特征信息反馈回运动目标预测单元用于实时纠正预测路线，使运动目标一直处于摄像头视野范围中心。

作为本发明的一种优选方案，所述云台追踪单元为驱动摄像头视野旋转的机械机构。

作为本发明的一种优选方案，本发明提出了一种采用人工智能预测追踪的视频监视云台的追踪方法，包括以下步骤：

S100、运动样本采集单元获取T时间段的视频画面并将画面中的运动目标进行量化、记录成样本数据集；

S200、运动样本训练单元对样本数据集中的数据进行预处理，再对样本数据集中的由运动目标量化而来的样本数据分成训练数据集和测试数据集，在训练数据集上进行预测训练，训练完成后用测试数据集验证准确性，生成最佳预测模型；

S300、运动目标预测单元将待预测的运动目标的特征信息输入到由运动样本训练单元产生的最佳预测模块中并输出运动预测结果；

S400、云台追踪单元根据运动目标预测单元的运动预测结果控制视频监控云台中的摄像机改变朝向追踪运动目标，并将运动目标的实际运动位置信息作为目标特征信息反馈回运动目标预测单元；

S500、重复步骤S300。

本发明与现有技术相比较具有如下有益效果：

本发明采用机器学习的方法对由监控云台中摄像机拍摄到的画面中的运动目标量化组成的样本数据集中的运动数据进行训练，再根据评价指标检测获得最佳运动预测模型，在运动模型中输入任何运动目标都能够对其运动进行预测，适应性强，从而预先按照预测的运动位置对摄像头进行调整使其始终将运动目标锁定在视野中心，并且摄像头会反馈运动目标的实际运动位置，用于预测的运动路线进行实时校准，提高监控准确性，在预测模型训练过程中采用了运动目标的多种特征，覆盖范围广可信度高。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例提供的视频监视云台结构示意图；

图2为本发明实施例提供追踪方法流程图。

图中的标号分别表示如下：

1-运动样本采集单元；2-运动样本训练单元；3-运动目标预测单元；4-云台追踪单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种采用人工智能预测追踪的视频监视云台，包括运动样本采集单元1、运动样本训练单元2、运动目标预测单元3和云台追踪单元4；

运动样本采集单元1包括视频监控云台中的摄像机，视频监控云台中的摄像机用于拍摄监控场景中运动目标，并将运动目标进行量化、记录生成样本数据集传输到运动样本训练单元2；

运动样本训练单元2用于对来自于运动样本采集单元1的样本数据集中的数据进行预处理，再对样本数据集中的由运动目标量化而来的样本数据分成训练数据集和测试数据集，在训练数据集上进行预测训练，训练完成后用测试数据集验证准确性，生成最佳预测模型；

运动目标预测单元3用于将待预测的运动目标的特征信息输入到由运动样本训练单元2产生的最佳预测模块中并输出运动预测结果传送到运动追踪单元；

云台追踪单元4根据运动目标预测单元3的运动预测结果控制视频监控云台中的摄像机改变朝向追踪运动目标，并将运动目标的实际运动位置信息作为目标特征信息反馈回运动目标预测单元3。

运动样本采集单元1将监控场景中的运动目标进行量化、记录生成样本数据集的具体过程如下：

步骤一：截取视频监控云台中的摄像机在监控场景内拍摄的为期T时间段的视频画面；

T时间可以为一个星期，一个月，半年或更长时间，时将越长则视频画面包含的运动目标越多，样本数据量越大，在实际使用中按需要自行选择时长；

步骤二：提取T时间段内视频画面中的运动目标的运动信息和个人信息；

运动信息可以包括但不限于当前时刻点，运动位置，运动朝向和终点位置，个人信息包括但不限于性别、年龄、身高和装扮；

步骤三：将运动目标的运动信息和个人信息量化成特征值，并汇总成样本数据集进行保存；

将运动信息和个人信息逐个记录汇总组成每个采集到的运动目标的特征值，每个运动目标的特征值构成一条样本数据，所有运动目标特征值的组成的样本数据汇总成一个样本数据集。

运动目标的特征值包括运动特征值和个人特征值，运动特征值是运动信息的量化，个人特征值是个人信息的量化，因此运动特征值包括采集时刻、位置坐标、朝向方位和下一时刻的运动终点，个人特征值包括性别、年龄、身高和装扮。

运动样本训练单元2生成最佳预测模型的过程为：

步骤一：对样本数据集中的数据进行预处理，预处理包括数据清洗和特征规范化，具体过程如下：

A1：数据清洗包括重复项处理、缺失项处理和异常项处理，具体方式如下：

重复项处理：遍历样本数据集，将样本数据集中所有重复样本进行删除到仅保留一条样本，确保样本数据集中的所有数据均具有唯一性；

缺失项处理：将样本数据中具有缺失项的样本全部单独提取出来，可对具有缺失项的样本进行删除，或按照样本数据集中所有样本在此项处的平均值、众值和中位值进行填充，或-1或Null填充，将其补充成完整性样本回归到样本数据集中；

异常项处理：将样本数据中具有异常项的样本全部单独提取出来，可对具有异常项的样本进行删除，或按照样本数据集中所有样本在此项处的平均值、众值和中位值替代异常项，或-1或Null填充，将其补充成正常样本回归到样本数据集中。

A1中所有的处理方式可以根据实际需要进行选择调整，并且选择可以包括但不限于上述提供的处理方式。

A2：特征规范化包括归一化和标准化，具体方式如下：

归一化：将原始相差较大的数据项映射到[0,1]范围内，假设数据项为X，该项最大值为Xmax，最小值为Xmin，则映射后的数据项标记为X2＝(X-Xmin)/(Xmax-Xmin)；归一化在数据量小的样本数据集上表现更佳；

标准化：将原始数据变化的均值为0，标准差为1的范围内，假设数据项为X，该项的平均值为Xmean，标准差为σ，则映射后的数据项标记为X2＝(x-Xmean)/σ；标准化在数据量大的样本数据集上表现更佳。

A2中特征规范化的方式可根据实际使用场景中数据量的大小进行选择。

步骤二：将预处理后的数据集分成两个数据集分别为训练数据集和测试数据集，具体方法如下：假设样本数据集标记为S，测试数据集标记为S_test，训练数据集标记为S_train；

B1：按固定比例划分，将样本数据集的20％作为测试数据集，80％作为训练数据集，即S_test＝20％S，S_train＝80％S，20％和80％的比例可以在实际使用中进行调整；

B2：K折交叉验证，将全部样本数据集S分成k个不相交的子集，假设S中的训练样例个数为m，那么每一个自己有m/k个训练样例，相应的子集为{s1，s2，...，sk}；每次从分好的子集里面，拿出一个作为测试集，其他k-1个作为训练集；在k-1个训练集上训练出预测模型；把这个模型放到测试集上，得到预测率的平均值，作为该模型的真实预测率；

B3：留一法：假设有N个样本，将每一个样本作为测试样本，其他N-1个样本作为训练样本，这样得到N个预测模型，N个测试结果，用这N个结果的平均值来衡量模型的性能；

在实际使用中可对B1、B2和B3进行适当改进，在基础原理的基础加入符合样本需求的划分方法，也可以提出其他不同的数据集划分方法。

步骤三：对训练数据集进行样本数据训练，训练后的模型运用到测试数据集上获得预测结果，训练模型的具体方法：

C1：在K-means层次聚类的基础上训练预测模型；

K-means的原理：聚类，即“人以群分物以类聚”，将相似对象归为一类，归为一类的对象具有相同的特征，在对运动预测中，用与运动目标处于一类中的运动目标的运动路线作为自身的运动路线；

K-means的具体步骤：

D1、在训练数据集中选择K个具有代表性的样本点作为聚类的初始中心；

D2、对任意一个样本点，求其到K个聚类中心的距离(样本间的欧几里得距离)，将样本点归类到距离最小的中心的聚类，如此迭代n次；

D3、每次迭代过程中，利用均值等方法更新各个聚类的中心点；

D4、对K个聚类中心，利用D2，D3步迭代更新后，如果位置点变化很小(可以设置阈值)，则认为达到稳定状态，迭代结束，获得K个不同的聚类簇和聚类中心的同时获得聚类预测模型；

除了可以使用K-means层次聚类方法，还可以选择其他聚类算法或对K-means进行改进。

步骤四：通过测试数据集的预测结果和真实结果相比对，计算模型评价指标评测模型，获得最佳预测模型；

模型评价指标包括准确率、精确率和召回率，全面评估模型的有效性，必须同时检查精确率与召回率，由于精确率和召回率往往是此消彼长即提高精确率通常会降低召回率，反之亦然，因此通常需要将精确率和召回率进行加权调和获得综合评价指标。

云台追踪单元4根据运动目标预测单元3的运动预测结果控制视频监控云台中的摄像机改变朝向追踪运动目标的具体过程：

预测结果中包含多个由预测获得的后续时刻点运动目标所处的位置坐标组成的运动路线，并逐个将位置坐标反馈给云台追踪单元4。

步骤一：云台追踪单元4根据运动目标预测单元3的运动预测结果中运动目标即将到达的位置坐标调整摄像头朝向该位置坐标，并将该位置坐标锁定在摄像头镜头视野中心处；

步骤二：

P1：在运动目标运动到达的真实位置位于该位置坐标时，摄像头继续朝向运动目标预测的位置坐标进行追踪拍摄，继续反馈运动目标的到达的位置坐标；

P2：在运动目标运动到达的真实位置偏离该位置坐标时，将真实位置坐标反馈给运动目标预测单元3进行重新预测，调整获得新的运动目标即将到达位置坐标，调整摄像头朝向新的位置坐标，继续反馈运动目标的到达的位置坐标。

云台追踪单元4将运动目标的实际运动位置信息作为目标的运动特征信息反馈回运动目标预测单元3用于实时纠正预测路线，使运动目标一直处于摄像头视野范围中心。

云台追踪单元4为驱动摄像头视野旋转的机械机构，可以调整摄像头的拍摄朝向和拍摄角度，保证运动目标处于镜头视野中。

为了进一步理解样本模型训练的过程，以下进行详细描述：

假设样本数据如下表所示：

预处理：

T采用24小时制，比如13:40，该数据项相差不大但较为集中采用标准化处理；同理位置坐标、终点位置同样采用标准化处理；

年龄N，数字表示18，28，该数据项之间相差较大且不集中，采用归一化处理；

性别男/女，直接用0/1表示。

划分训练数据集和测试数据集：采用B1、B2和B3中任一中方法获得S_train，S_test。

在K-means层次聚类的基础上训练预测模型：

K-means中使用的是样本间的欧几里得距离，所以需要两个参数，而S_train中的数据特征值不唯一，因此首先需要对所有特征值的组合进行降维处理，如下：

S_train(时间，位置坐标，年龄，性别，其他)降维成X_S_train，

S_train(终点坐标)作为Y_S_train，

从而方便计算两个样本间的欧几里得距离，训练数据集样本数据转变为下表：

计算公式为：

在S_train中选择K个具有代表性的样本点作为聚类中心，比如：15:30，去向下午茶场所的28岁女性作为其中一个聚类中心，计算其他样本点该聚类中心的样本点之间的距离，归纳到该聚类中心的所有样本点形成聚类簇，表示这类特征值的样本可能具有同样的运动趋势；

在完成模型训练后，采用测试数据集进行评价，进一步调整模型参数及最终确定该预测模型；

测试数据集如下表：

而后在运用到预测场景中时，输出运动目标的各种特征值，时间，位置坐标，年龄，性别，其他，经过预测模型后输出终点位置；

云台追踪单元获得该终点位置，调节摄像头视野对准终点位置，并反馈运动目标的真实运动的终点位置，如果跟预测不一致，则反馈回运动目标预测单元，进行重新预测，实时纠正预测。

如图2所示，基于以上采用人工智能预测追踪的视频监视云台，本发明提出了一种追踪方法，包括以下步骤：

S100、运动样本采集单元获取T时间段的视频画面并将画面中的运动目标进行量化、记录成样本数据集；

S200、运动样本训练单元对样本数据集中的数据进行预处理，再对样本数据集中的由运动目标量化而来的样本数据分成训练数据集和测试数据集，在训练数据集上进行预测训练，训练完成后用测试数据集验证准确性，生成最佳预测模型；

S300、运动目标预测单元将待预测的运动目标的特征信息输入到由运动样本训练单元产生的最佳预测模块中并输出运动预测结果；

S400、云台追踪单元根据运动目标预测单元的运动预测结果控制视频监控云台中的摄像机改变朝向追踪运动目标，并将运动目标的实际运动位置信息作为目标特征信息反馈回运动目标预测单元；

S500、重复步骤S300；

本发明采用机器学习的方法对由监控云台中摄像机拍摄到的画面中的运动目标量化组成的样本数据集中的运动数据进行训练，再根据评价指标检测获得最佳运动预测模型，在运动模型中输入任何运动目标都能够对其运动进行预测，适应性强，从而预先按照预测的运动位置对摄像头进行调整使其始终将运动目标锁定在视野中心，并且摄像头会反馈运动目标的实际运动位置，用于预测的运动路线进行实时校准，提高监控准确性，在预测模型训练过程中采用了运动目标的多种特征，覆盖范围广可信度高。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。