一种实时视频流中运动模糊物体视觉跟踪定位方法

摘要

本发明公开了一种实时视频流中运动模糊物体视觉跟踪定位方法，所述方法首先实时采集运动模糊物体视频；其次根据所述视频确定第t帧图片；再次将所述第t帧图片输入检测模型中进行物体位置检测，获得第t帧图片对应的第一物体位置检测结果；然后利用SIAMNET进行运动模糊物体位置跟踪，获得第t帧图片对应的第二物体位置检测结果；最后根据第t帧图片对应的所述第一物体位置检测结果和所述第二物体位置检测结果确定运动模糊物体位置，本发明通过两次对小物体运动模糊物体进行跟踪，结合物体运动信息，避免物体与背景混淆，进而准确得到运动模糊物体位置，提高了运动模糊物体位置定位的准确性。

说明书

技术领域

本发明涉及运动模糊物体跟踪技术领域，具体是指一种实时视频流中运动模糊物体视觉跟踪定位方法。

背景技术

对于快速运动的小型运动模糊物体，在定位时有如下困难：运动模糊物体与相机的相对快速运动，容易产生成像运动模糊，导致运动模糊物体外观特征改变或丢失；对于小型运动模糊物体，其外观特征更不明显，容易与背景产生混淆，因此存在运动模糊物体定位不准确的问题。

发明内容

本发明为了解决上述的各种问题，提供了一种实时视频流中运动模糊物体视觉跟踪定位方法，以提高运动模糊物体跟踪的准确度。

为解决上述技术问题，本发明提供的技术方案为：一种实时视频流中运动模糊物体视觉跟踪定位方法，包括以下步骤：

步骤S1：实时采集运动模糊物体视频；

步骤S2：根据所述运动模糊物体视频确定第t帧图片，其中，t为大于等于1的正整数；

步骤S3：将所述第t帧图片输入检测模型中进行运动模糊物体位置检测，获得第t帧图片对应的第一物体位置检测结果；

步骤S4：利用孪生网络SIAMNET进行运动模糊物体位置跟踪，获得第t帧图片对应的第二物体位置检测结果；

步骤S5：根据第t帧图片对应的所述第一物体位置检测结果和所述第二物体位置检测结果确定运动模糊物体位置。

所述根据第t帧图片对应的所述第一物体位置检测结果和所述第二物体位置检测结果确定运动模糊物体位置，具体包括：

步骤S51：判断第一物体位置检测结果是否存在检测结果；如果所述第一物体位置检测结果存在检测结果，则执行步骤S52；如果所述第一物体位置检测结果不存在检测结果，则将第t帧图片对应的所述第二物体位置检测结果为待选运动模糊物体位置；

步骤S52：根据所述第一物体位置检测结果和所述第二物体位置检测结果确定交并比；

步骤S53：判断所述交并比是否大于或等于设定值；如果所述交并比大于或等于设定值，则选取所述第一物体位置检测结果和所述第二物体位置检测结果中面积最大的检测结果作为待选运动模糊物体位置；如果所述交并比小于设定值，则将所述第一物体位置检测结果为待选运动模糊物体位置；

步骤S54：根据所述待选运动模糊物体位置初始化SIAMNET；

步骤S55：判断t是否大于或等于总帧数；如果t大于或等于总帧数，则将待选运动模糊物体位置作为运动模糊物体位置输出；如果t小于总帧数，则将令t＝t+1，返回步骤S2。

所述将所述第t帧图片输入检测模型中进行运动模糊物体位置检测，获得第t帧图片对应的第一物体位置检测结果，具体包括：

对多帧图片中的运动模糊物体进行标注，获得标注数据集；

将设定数量的所述标注数据集作为训练集，将剩余的所述标注数据集作为测试集；

将所述训练集输入到SSD(全称Single Shot MultiBox Detector)网络进行训练，获得检测模型；

将所述第t帧图片输入到所述检测模型进行运动模糊物体位置检测，获得第t帧图片对应的第一物体位置检测结果。

所述标注数据集为voc格式。

采用所述方法的系统包括：

获取模块，用于实时采集运动模糊物体视频；

第t帧图片确定模块，用于根据所述运动模糊物体视频确定第t帧图片，其中，t为大于等于1的正整数；

第一物体位置检测结果确定模块，用于将所述第t帧图片输入检测模型中进行运动模糊物体位置检测，获得第t帧图片对应的第一物体位置检测结果；

第二物体位置检测结果确定模块，用于利用SIAMNET进行运动模糊物体位置跟踪，获得第t帧图片对应的第二物体位置检测结果；

运动模糊物体位置确定模块，用于根据第t帧图片对应的所述第一物体位置检测结果和所述第二物体位置检测结果确定运动模糊物体位置。

所述运动模糊物体位置确定模块，具体包括：

第一判断单元，用于判断第一物体位置检测结果是否存在检测结果；如果所述第一物体位置检测结果存在检测结果，则执行“交并比确定单元”；如果所述第一物体位置检测结果不存在检测结果，则将第t帧图片对应的所述第二物体位置检测结果为待选运动模糊物体位置；

交并比确定单元，用于根据所述第一物体位置检测结果和所述第二物体位置检测结果确定交并比；

第二判断单元，用于判断所述交并比是否大于或等于设定值；如果所述交并比大于或等于设定值，则选取所述第一物体位置检测结果和所述第二物体位置检测结果中面积最大的检测结果作为待选运动模糊物体位置；如果所述交并比小于设定值，则将所述第一物体位置检测结果为待选运动模糊物体位置；

初始化单元，用于根据所述待选运动模糊物体位置初始化SIAMNET；

第三判断单元，用于判断t是否大于或等于总帧数；如果t大于或等于总帧数，则将待选运动模糊物体位置作为运动模糊物体位置输出；如果t小于总帧数，则将令t＝t+1，返回“第t帧图片确定模块”。

所述第一物体位置检测结果确定模块，具体包括：

数据集标注单元，用于对多帧图片中的运动模糊物体进行标注，获得标注数据集；

赋值单元，用于将设定数量的所述标注数据集作为训练集；

训练单元，用于将所述训练集输入到SSD网络进行训练，获得检测模型；

第一物体位置检测结果确定单元，用于将所述第t帧图片输入到所述检测模型进行运动模糊物体位置检测，获得第t帧图片对应的第一物体位置检测结果。

本发明与现有技术相比的优点在于：本发明在使用时，首先实时采集运动模糊物体视频；其次根据所述运动模糊物体视频确定第t帧图片；再次将所述第t帧图片输入检测模型中进行运动模糊物体位置检测，获得第t帧图片对应的第一物体位置检测结果；然后利用SIAMNET进行运动模糊物体位置跟踪，获得第t帧图片对应的第二物体位置检测结果；最后根据第t帧图片对应的所述第一物体位置检测结果和所述第二物体位置检测结果确定运动模糊物体位置，本发明通过两次对小物体运动模糊物体进行跟踪，结合物体运动信息，避免物体与背景混淆，进而准确得到运动模糊物体位置，提高了运动模糊物体位置确定的准确性。

附图说明

图1为本发明一种实时视频流中运动模糊物体视觉跟踪定位方法的流程图。

图2为本发明一种实时视频流中运动模糊物体视觉跟踪定位方法的结构图。

如图所示：1、获取模块；2、第t帧图片确定模块；3、第一物体位置检测结果确定模块；4、第二物体位置检测结果确定模块；5、物体位置确定模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

以下实施例中出现SIAMNET，则代表孪生网络(Siamese Networks，SIAMNET)。

如图1所示，本发明公开一种实时视频流中运动模糊物体视觉跟踪定位方法，所述方法包括：

步骤S1：实时采集运动模糊物体视频；所述运动模糊物体视频中包括各种可能遇到的场景；

步骤S2：根据所述运动模糊物体视频确定第t帧图片，其中，t为大于等于1的正整数；

步骤S3：将所述第t帧图片输入检测模型中进行运动模糊物体位置检测，获得第t帧图片对应的第一物体位置检测结果；

步骤S4：利用孪生网络SIAMNET进行运动模糊物体位置跟踪，获得第t帧图片对应的第二物体位置检测结果；

步骤S5：根据第t帧图片对应的所述第一物体位置检测结果和所述第二物体位置检测结果确定运动模糊物体位置。

下面对各个步骤进行详细论述：

步骤S1：实时采集运动模糊物体视频。

步骤S3：将所述第t帧图片输入检测模型中进行运动模糊物体位置检测，获得第t帧图片对应的第一物体位置检测结果，具体包括：

步骤S31：对多帧图片中的运动模糊物体进行标注，获得标注数据集；本实施例中采集了3500帧运动模糊物体数据；

步骤S32：将设定数量的所述标注数据集作为训练集；

步骤S33：将所述训练集输入到SSD网络进行训练，获得检测模型；

步骤S34：将所述第t帧图片输入到所述检测模型进行运动模糊物体位置检测，获得第t帧图片对应的第一物体位置检测结果。

步骤S33：将所述训练集输入到SSD网络进行训练，获得检测模型；具体为：利用损失函数，将所述训练集输入到SSD网络进行训练，获得检测模型。

作为一种可选的实施方式，本发明所述标注数据集为voc格式。

步骤S4：利用孪生网络SIAMNET进行运动模糊物体位置跟踪，获得第t帧图片对应的第二物体位置检测结果。

步骤S5：所述根据第t帧图片对应的所述第一物体位置检测结果和所述第二物体位置检测结果确定运动模糊物体位置，具体包括：

步骤S51：判断第一物体位置检测结果是否存在检测结果；如果所述第一物体位置检测结果存在检测结果，则执行步骤S52；如果所述第一物体位置检测结果不存在检测结果，则将第t帧图片对应的所述第二物体位置检测结果为待选运动模糊物体位置；

步骤S52：根据所述第一物体位置检测结果和所述第二物体位置检测结果确定交并比；

步骤S53：判断所述交并比是否大于或等于设定值；如果所述交并比大于或等于设定值，则选取所述第一物体位置检测结果和所述第二物体位置检测结果中面积最大的检测结果作为待选运动模糊物体位置；如果所述交并比小于设定值，则将所述第一物体位置检测结果为待选运动模糊物体位置；

步骤S54：根据所述待选运动模糊物体位置初始化SIAMNET；具体为：

开始时，则用第一帧图片对应的第一物体检测结果来初始化SIAMNET；后续则根据所述待选运动模糊物体位置初始化SIAMNET。

步骤S55：判断t是否大于或等于总帧数；如果t大于或等于总帧数，则将待选运动模糊物体位置作为运动模糊物体位置输出；如果t小于总帧数，则将令t＝t+1，返回步骤S2。

如图2所示，本发明还提供一种实时视频流中运动模糊物体视觉跟踪定位系统，所述系统包括：

获取模块1，用于实时采集运动模糊物体视频；

第t帧图片确定模块2，用于根据所述运动模糊物体视频确定第t帧图片，其中，t为大于等于1的正整数；

第一物体位置检测结果确定模块3，用于将所述第t帧图片输入检测模型中进行运动模糊物体位置检测，获得第t帧图片对应的第一物体位置检测结果；

第二物体位置检测结果确定模块4，用于利用SIAMNET进行运动模糊物体位置跟踪，获得第t帧图片对应的第二物体位置检测结果；

运动模糊物体位置确定模块5，用于根据第t帧图片对应的所述第一物体位置检测结果和所述第二物体位置检测结果确定运动模糊物体位置。

下面对各个模块进行论述：

所述运动模糊物体位置确定模块5，具体包括：

第一判断单元，用于判断第一物体位置检测结果是否存在检测结果；如果所述第一物体位置检测结果存在检测结果，则执行“交并比确定单元”；如果所述第一物体位置检测结果不存在检测结果，则将第t帧图片对应的所述第二物体位置检测结果为待选运动模糊物体位置；

交并比确定单元，用于根据所述第一物体位置检测结果和所述第二物体位置检测结果确定交并比；

第二判断单元，用于判断所述交并比是否大于或等于设定值；如果所述交并比大于或等于设定值，则选取所述第一物体位置检测结果和所述第二物体位置检测结果中面积最大的检测结果作为待选运动模糊物体位置；如果所述交并比小于设定值，则将所述第一物体位置检测结果为待选运动模糊物体位置；

初始化单元，用于根据所述待选运动模糊物体位置初始化SIAMNET；

第三判断单元，用于判断t是否大于或等于总帧数；如果t大于或等于总帧数，则将待选运动模糊物体位置作为运动模糊物体位置输出；如果t小于总帧数，则将令t＝t+1，返回“第t帧图片确定模块”。

所述第一物体位置检测结果确定模块3，具体包括：

数据集标注单元，用于对多帧图片中的运动模糊物体进行标注，获得标注数据集；

赋值单元，用于将设定数量的所述标注数据集作为训练集，将剩余的所述标注数据集作为测试集；

训练单元，用于将所述训练集输入到SSD网络进行训练，获得检测模型；

第一物体位置检测结果确定单元，用于将所述第t帧图片输入到所述检测模型进行运动模糊物体位置检测，获得第t帧图片对应的第一物体位置检测结果。

作为一种可选的实施方式，本发明所述标注数据集为voc格式。

本发明及时引入正确物体初始化SIAMNET跟踪器，进而提高了跟踪的准确性，避免因某一时刻产生了错误的跟踪而导致后续的跟踪完全不准确的问题。

另外，本发明将检测与跟踪结合，确定待选运动模糊物体位置，并利用所述待选运动模糊物体位置初始化SIAMNET，即使检测物体丢失仍能实现对运动模糊物体进行跟踪，提高了跟踪的可靠性，大幅减少因为初始化错误而导致后续跟踪错误所带来的影响。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。