监控视频中目标自动发现和注册方法及其系统

摘要

本发明涉及智能安防领域，公开了一种监控视频中目标自动发现和注册方法及其系统。本发明中，该监控视频中目标自动发现和注册方法包括以下步骤：从视频流中检测目标；对检测到的目标进行特征提取，得到目标特征；判断目标特征是否已存在于目标列表中，若是，则将目标特征的出现次数加1；若否，则将目标特征加入到目标列表中，并将目标特征的出现次数设为1；判断目标特征的出现次数是否超过预先设定的门限值，若超过，则将目标特征注册到报警名单中。在比对系统的基础上，对重复出现的关键目标进行自动发现和自动注册到报警名单中，作为后续重点分析和处理的对象，使通用的比对系统更加智能和实用。

说明书

技术领域

本发明涉及智能安防领域，特别涉及一种监控视频中目标自动发现和自动注册方法。

背景技术

实时比对是智能视频分析技术的一种应用方式，从视频流中检测目标，并与预先注册到系统中的报警名单进行比对，达到设定的阈值则发出报警，其典型应用为卡口方式，即在重要通道设置系统实时抓拍过往目标图像并与注册的报警名单实时比对报警，如应用在交通要道的车辆卡口系统和火车站、汽车站、重要场所出入口等位置的人脸卡口系统等。

报警名单：实时比对系统中的待比对列表，检测到的目标图像与报警名单中的注册图像进行一一比对，一旦达到设定的报警阈值则进行报警（由于车牌的特殊性，可以识别为具有明确含义的文字信息然后再比较）。与之对应的为白名单，检测到的目标与待比对目标进行比对，有任意一个（有时要求且仅有一个）达到比对阈值则通过，否则报警提示。

报警名单注册：将待比对图像注册到实时比对系统的过程。

实时比对应用是智能安防领域的典型应用方式之一，传统的实时比对系统中，报警名单大多是通过注册（含从其他系统批量导入或者增量更新）的方式添加到系统中，而重要场所的人员流动是非常迅速的，单凭传统的报警名单注册方式，不能满足智能化和实时性的要求。

发明内容

本发明的目的在于提供一种监控视频中目标自动发现和注册的方法及其系统，使得比对系统可以满足智能化和实时性的要求。

为解决上述技术问题，本发明的实施方式公开了一种监控视频中目标自动发现和注册方法，包括以下步骤：

从视频流中检测目标；

对检测到的目标进行特征提取，得到目标特征；

判断目标特征是否已存在于目标列表中，若是，则将目标特征的出现次数加1；若否，则将目标特征加入到目标列表中，并将目标特征的出现次数设为1；

判断目标特征的出现次数是否超过预先设定的门限值，若超过，则将目标特征注册到报警名单中。

本发明的实施方式还公开了一种监控视频中目标自动发现和注册系统，包括：

检测单元，用于从视频流中检测目标；

目标特征提取单元，用于对检测单元检测到的目标进行特征提取，得到目标特征；

第一判断单元，用于判断目标特征是否已存在于目标列表中；

计数单元，用于当第一判断单元判断目标特征已存在于目标列表中时，将目标特征的出现次数加1；当第一判断单元判断目标特征不存在于目标列表中时，将目标特征加入到目标列表中，并将目标特征的出现次数设为1；

第二判断单元，用于判断计数单元输出的目标特征的出现次数是否超过预先设定的门限值；

注册单元，用于在第二判断单元判断目标特征的出现次数超过预先设定的门限值时，将目标特征注册到报警名单中。

本发明实施方式与现有技术相比，主要区别及其效果在于：

在比对系统的基础上，对重复出现的关键目标进行自动发现和自动注册到报警名单中，作为后续重点分析和处理的对象，使通用的比对系统更加智能和实用。

进一步地，目标对象注册到报警名单数据库后，删除目标对象在目标列表中的信息，可以进一步节省目标列表中的存储空间，减少后续比对的工作量。

进一步地，目标对象注册到报警名单数据库可以选择实时注册，即重复出现次数一旦达到上限，就实时注册到报警名单；也可以选择非实时注册，即设定在时间周期T内重复出现次数的上限，累计该段时间内所有目标对象重复出现的次数，当达到时间周期T时，将所有符合条件（重复次数超过上限）的目标对象注册到报警名单数据库，系统实现方式方便灵活。

附图说明

图1是本发明第一实施方式中一种监控视频中目标自动发现和注册方法的流程示意图；

图2是本发明第二实施方式中一种监控视频中目标自动发现和注册方法的流程示意图；

图3是本发明第三实施方式中一种监控视频中目标自动发现和注册方法的流程示意图；

图4是本发明第四实施方式中一种监控视频中目标自动发现和注册方法的流程示意图；

图5是本发明第四实施方式中一种监控视频中目标自动发现和注册方法的流程示意图；

图6是本发明第五实施方式中一种监控视频中目标自动发现和注册方法的流程示意图；

图7是本发明第六实施方式中一种监控视频中目标自动发现和注册系统的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种监控视频中目标自动发现和注册方法。图1是该监控视频中目标自动发现和注册方法的流程示意图。

具体地说，如图1所示，该监控视频中目标自动发现和注册方法包括以下步骤：

在步骤101中，从视频流中检测目标。

系统进行视频采集，通过传感器将视频信号转换为可以进行分析的数字信号。系统对数字视频信号进行目标检测，以便于系统的进一步处理。

为了更好地理解本发明，作为本发明的一种优选实现方式，下文将以人脸实时比对应用为本发明的一种实现方式，详述系统实现的完整过程，但是并不用于限制本发明。

系统的图像采集、目标检测采用人脸抓拍机实现，人脸抓拍机是带有人脸抓拍功能的IP摄像机，具体实现从采集的视频码流中实时检测和跟踪人脸，并对同一个人挑选一张质量最好的图片进行上传，具有前端分析保证实时性和降低数据传输量的优点，同时可以根据目标进行相机曝光参数自动调节，从而可以获得更佳的目标图像，具体的，人脸检测可以采用Haar特征的Boosting方法实现，人脸跟踪可以采用光流的方法实现，人脸挑选可以包括对人脸图像的清晰度和姿态两个指标进行综合评价。

此后进入步骤102，对检测到的目标进行特征提取，得到目标特征。

该步骤包含特征提取所必须的目标图像预处理、光照和几何归一化、特征提取和转换等必须的步骤。

例如，对人脸的特征提取步骤按照如下方式进行实现，首先在人脸图像中定位双眼坐标，然后将双眼坐标对齐到坐标（48，48）和（112，48），得到经过几何归一化的人脸图像，再对其采用熵图像的方法进行光照归一化，然后提取经过选择的LBP特征和Gabor特征（特征选择的方法是使用Boosting的方法挑选最有利于实现人脸分类的特征），最后对提取的特征进一步采用Metric Learning的方法进行特征的进一步降维和测度空间转换，使得特征最适合用来计算两张人脸图像的相似程度。

本发明对目标特征提取和相似度比对的具体实施技术不做具体限定，原因主要有两个：其一特征提取和比对技术属于现有的实时比对的内容，其二相关的特征提取和比对算法变种非常多。例如：本文采用的是Gabor+LBP复合特征表征人脸，采用Metric Learning得到度量矩阵改进玛氏距离计算人脸相似度。

优选地，检测的目标包括车辆和人脸，但不以此为限，在本发明的其它某些实施方式中，还可以包括人体、步态、动物等其他目标的发现和自动注册。

此外，可以理解，对检测到的目标进行特征提取所得的目标特征可以是一个，例如车牌号，也可以是多个的组合，例如人脸中的多个特征的组合，车牌和车辆颜色的组合等等。

此后进入步骤103，判断目标特征是否已存在于目标列表中。

若是，则进入步骤104；若否，则进入步骤105。

判断目标是否在目标列表或报警名单中的方式有两种：一种如人脸，是通过提取目标特征并计算相似度并和设定的阈值比较；另一种如车牌，如果将人脸换为车牌，则可以通过车牌识别技术得到准确的描述（相当于特征），而比对则可以转换为查表确定是否在目标列表或报警名单中。

在步骤104中，将目标特征的出现次数加1。

此后进入步骤106。

在步骤105中，将目标特征加入到目标列表中，并将目标特征的出现次数设为1。

此后进入步骤106。

判断所述目标特征是否已存在于目标列表中，若是，则将所述目标特征的出现次数加1；若否，则将所述目标特征加入到所述目标列表中，并将所述目标特征的出现次数设为1。

在步骤106中，判断目标特征的出现次数是否超过预先设定的门限值。

若超过，则进入步骤107；若不超过，则再次回到步骤101。

需要说明的是，次数门限值可以在系统中进行预先设定，一般采用3-10次为宜。

在步骤107中，将目标特征注册到报警名单中。

此后结束本流程。

目标特征注册到报警名单数据库可以选择实时注册，即重复出现次数一旦达到上限，就实时注册到报警名单。也可以选择非实时注册，即设定时间周期T内重复出现次数的上限，累计该段时间内所有目标对象重复出现的次数，当达到时间周期T时，对所有符合条件（重复次数超过上限）的目标对象注册到报警名单数据库，系统实现方式方便灵活。

步骤101、102为与现有技术中通用的实时比对系统相同的步骤，其后为与通用的实时比对系统有所差异的步骤，即在实时比对系统的基础上增加了关键目标的自动发现和报警名单注册。

在实时比对系统的基础上，对重复出现的关键目标进行自动发现和自动注册到报警名单中，作为后续重点分析和处理的对象，使通用的实时比对系统更加智能和实用。

本发明第二实施方式涉及一种监控视频中目标自动发现和注册方法。图2是该监控视频中目标自动发现和注册方法的流程示意图。

第二实施方式在第一实施方式的基础上进行了改进，具体地说，如图2所示，主要改进之处在于：

首先，在步骤107将目标特征注册到报警名单中之前，还包括：

步骤108：判断目标特征是否已存在于报警名单中。

若否，则执行步骤107；若是，则结束本流程。

步骤108确认报警名单中是否已经注册该目标。若与报警名单的全部注册图片的比对相似度都低于设定阈值，即不存在该目标特征，则执行步骤107，将该目标特征注册到报警名单中。

其次，在步骤107将目标特征注册到报警名单中之后，还包括：

步骤109：删除目标特征在目标列表中的记录。

目标对象注册到报警名单数据库后，删除目标对象在目标列表中的信息，对目标列表进行更新，可以进一步节省目标列表中的存储空间，减少后续比对的工作量。

对目标列表的更新，可选择实时更新，即目标特征注册到报警名单数据库时就及时删除该目标特征在目标列表中的信息；也可以选择非实时注册，例如，可以使用定时器机制按照一定的时间间隔进行更新。

使用定时器机制对目标列表更新的具体步骤如下：

步骤1，启动定时器。

步骤2，定时器达到设定的更新间隔。

步骤3，系统从目标列表清除存在时长达到设定值的目标特征。

作为本发明的一种实现方式，对目标待列表进行更新的定时器的触发时间间隔可以设定为1分钟，目标特征的清除时间在系统中按需进行设定，如可以设定为30分钟或者其他，但不以此为限。

本发明第三实施方式涉及一种监控视频中目标自动发现和注册方法。图3是该监控视频中目标自动发现和注册方法的流程示意图。

第三实施方式在第一实施方式的基础上进行了改进，具体地说，如图3所示，主要改进之处在于：

首先，在步骤103判断目标特征是否已存在于目标列表中之前，还包括：

步骤108：判断目标特征是否已存在于报警名单中。

若否，则执行步骤103；若是，则结束本流程。

步骤108确认报警名单中是否已经注册该目标。若与报警名单的全部注册图片的比对相似度都低于设定阈值，即不存在该目标特征，则执行步骤103，判断目标特征是否已存在于目标列表中。

其次，在步骤107将目标特征注册到报警名单中之后，还包括：

步骤109：删除目标特征在目标列表中的记录。

目标对象注册到报警名单数据库后，删除目标对象在目标列表中的信息，对目标列表进行更新，可以进一步节省目标列表中的存储空间，减少后续比对的工作量。

本发明第四实施方式涉及一种监控视频中目标自动发现和注册方法。图4是该监控视频中目标自动发现和注册方法的流程示意图。

具体地说，如图4所示，包括以下步骤：

步骤1，系统需要进行视频采集，通过传感器将视频信号转换为可以进行分析的数字信号。

步骤2，系统对数字视频信号进行目标检测，以便于系统的进一步处理。

步骤3，系统对目标进行特征提取，该步骤包含特征提取所必须的目标图像预处理、光照和几何归一化、特征提取和转换等必须的步骤。

步骤1至3为与通用的实时比对系统相同的步骤，其后为与通用的实时比对系统有所差异的步骤，即在实时比对系统的基础上增加了关键人物自动发现和报警名单注册的分支流程。

实时比对报警流程分支：

步骤4，将提取得到的特征与报警名单进行一一比对，并判断比对相似度达到设定的阈值。

步骤5，比对相似度达到设定的阈值，系统发出实时比对报警。

关键人物自动发现和报警名单注册分支：

步骤4，将提取得到的特征与重复出现目标进行一一比对，当存在比对相似度达到设定的重复出现确认阈值，则认为该目标重复出现。

需要说明的是，将提取到的目标对象与重复出现目标进行相似度比对，对于“采用何种特征和匹配算法”不做具体限定。

步骤5，确认目标重复出现，则对该目标的重复出现计数器进行累加，并判断累加计数是否达到设定的次数。若与目标列表进行一一比对的结果存在多个比对相似度达到阈值，则仅对相似度最高的目标进行计数器累加。

步骤6，目标列表中存在目标的计数器累加达到设定的次数，则将其与报警名单进行一一比对，确认是否已经注册该目标。

步骤7，若与报警名单的全部注册图片的比对相似度都低于设定确认阈值，则该目标没有注册。

步骤8，将经过确认未注册的目标注册到报警名单。

步骤5至8，具体地，如图5所示。

注册到报警名单进一步包括：若与报警名单的全部注册图片的比对相似度都低于设定确认阈值，则该目标没有注册；将经过确认未注册的目标注册到报警名单。

上述“超过重复出现次数的目标对象是实时注册到报警名单的”，另可选采取非实时注册到报警名单，例如：设定一个时间段T，对于T时间内出现超过重复次数的目标对象进行注册到报警名单。

需要说明的是，图4中所示的报警名单实时比对流程和自动注册报警名单流程，可以在一个处理器或两个处理器分开运行。

做为一种优选的实施方式，本发明中采用两个流程分开运行，主要是考虑到现有单个处理器系统的实时处理能力有限，两个流程同时在一个处理器中完成会影响处理器的性能。

从以上的叙述可以看出，本发明的核心在于关键目标的自动发现和自动注册，可以概括为通过两套报警名单和三次比对的方法实现，具体如下：

两套报警名单：①用于比对报警的报警名单；②用于对报警名单进行更新的目标列表（即系统统计时间段内出现的目标列表）。

三次比对：①实时比对报警；②通过比对确认是否重复出现；③通过比对确认是否已经注册。

本发明第五实施方式涉及一种监控视频中目标自动发现和注册方法。图6是该监控视频中目标自动发现和注册方法的流程示意图。

具体地说，如图6所示，可以看出，这个实施方式与第四实施方式相比，主要区别在于报警名单、数据库的注册顺序不一致。

同理，在本实施方式中，目标对象注册到报警名单数据库可以选择实时注册，即重复出现次数一旦达到上限，就实时注册到报警名单；也可以选择非实时注册，即设定时间周期T内重复出现次数的上限，累计该段时间内所有目标对象重复出现的次数，当达到时间周期T时，对所有符合条件（重复次数超过上限的目标对象）注册到报警名单数据库。

对重复出现目标待比对列表的更新是使用定时器机制按照一定的时间间隔进行更新的，具体步骤如下：

步骤1，系统启动定时器。

步骤2，定时器达到设定的更新间隔。

步骤3，系统从重复出现目标待比对列表清除存在时长达到设定值的目标。

另外，对于重复出现目标列表的更新，可选择实时更新，区别于上述“按照一定的时间间隔进行更新”，即上述各实施方式中，目标对象注册到报警名单数据库时就及时删除该目标对象在重复出现待比对列表中的信息。

为了更好的理解本发明，下文将以人脸实时比对应用为本发明的一种实现详述系统实现的完整过程，但是并不用于限制本发明，采用人体、步态等其他生物特征的人物目标发现和自动注册同样应当归属于本发明的保护范畴，同样的对于车辆（利用车牌、车型、颜色等特征）、动物（利用毛色、形体等特征）等其他目标的发现和自动注册也应当属于本发明的保护范畴。

作为本发明的一种实现方式，系统的图像采集、目标检测两个步骤采用人脸抓拍机实现，人脸抓拍机是带有人脸抓拍功能的IP摄像机，具体实现从采集的视频码流中实时检测和跟踪人脸，并对同一个人挑选一张质量最好的图片进行上传，具有前端分析保证实时性和降低数据传输量的优点，同时可以根据目标进行相机曝光参数自动调节，从而可以获得更佳的目标图像，具体的，人脸检测采用Haar特征的Boosting方法实现，人脸跟踪采用光流的方法实现，人脸挑选包括对人脸图像的清晰度和姿态两个指标进行综合评价。

作为本发明的一种实现方式，对人脸的特征提取步骤按照如下方式进行实现，首先在人脸图像中定位双眼坐标，然后将双眼坐标对齐到坐标（48，48）和（112，48），得到经过几何归一化的人脸图像，再对其采用熵图像的方法进行光照归一化，然后提取经过选择的LBP特征和Gabor特征（特征选择的方法是使用Boosting的方法挑选最有利于实现人脸分类的特征），最后对提取的特征进一步采用Metric Learning的方法进行特征的进一步降维和测度空间转换，使得特征最适合用来计算两张人脸图像的相似程度。

作为本发明的一种实现方式，三次实时比对中的相似度计算步骤采用的是马氏距离，但是由于已经在特征提取步骤采用了Metric Learning方法进行测度空间转换，所以该距离能够有效衡量两张人脸图像的相似程度，并且可以获得计算简单的优越性。

作为本发明的一种实现方式，实时比对报警的阈值是可以在系统中进行设定的，通常设置为0.70。

作为本发明的一种实现方式，重复出现确认和已注册报警名单确认阈值采用的是相同值，该值亦可以在系统中进行设定，但是通常设定得比实时比对报警阈值略高，如0.80。

作为本发明的一种实现方式，重复出现计数器的次数阈值可以在系统中进行设定，一般采用3-10次为宜。

作为本发明的一种实现方式，对重复出现目标待比对列表进行维护的定时器的触发事件间隔设定为1分钟，重复出现目标的清除时间在系统中按需进行设定，如可以设定为30分钟或者其他。

本发明具有良好的应用前景，如可以应用于汽车4S店、房产中介等服务场所发现潜在用户（购买大件的人通常多次出现进行询问），应用于银行、金库等敏感场所或学校、车站等公共场所发现可疑人物（犯罪嫌疑人通常会多次出现），以上列举的应用方式仅用于帮助理解本发明，并不用于限制本发明，其他符合本发明的应用亦应当归属于本发明的保护范畴。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中（例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等）。同样，存储器可以例如是可编程阵列逻辑（Programmable Array Logic，简称“PAL”）、随机存取存储器（Random Access Memory，简称“RAM”）、可编程只读存储器（Programmable Read Only Memory，简称“PROM”）、只读存储器（Read-Only Memory，简称“ROM”）、电可擦除可编程只读存储器（Electrically Erasable Programmable ROM，简称“EEPROM”）、磁盘、光盘、数字通用光盘（Digital Versatile Disc，简称“DVD”）等等。

本发明第六实施方式涉及一种监控视频中目标自动发现和注册系统，如图7所示，该监控视频中目标自动发现和注册系统包括：

检测单元，用于从视频流中检测目标。

目标特征提取单元，用于对检测单元检测到的目标进行特征提取，得到目标特征。

第一判断单元，用于判断目标特征是否已存在于目标列表中。

计数单元，用于当第一判断单元判断目标特征已存在于目标列表中时，将目标特征的出现次数加1。当第一判断单元判断目标特征不存在于目标列表中时，将目标特征加入到目标列表中，并将目标特征的出现次数设为1。

第二判断单元，用于判断计数单元输出的目标特征的出现次数是否超过预先设定的门限值。

注册单元，用于在第二判断单元判断目标特征的出现次数超过预先设定的门限值时，将目标特征注册到报警名单中。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第七实施方式涉及一种监控视频中目标自动发现和注册系统。

第七实施方式在第六实施方式的基础上进行了改进，主要改进之处在于还包括：

第三判断单元，用于在注册单元将目标特征注册到报警名单中之前，判断目标特征是否已存在于报警名单中。

更新单元，用于在注册单元将目标特征注册到报警名单中之后，删除目标特征在目标列表中的记录。

定时单元，用于设定注册单元和更新单元的工作时间间隔。

第二、三、四、五实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二、三、四、五实施方式互相配合实施。第二、三、四、五实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二、三、四、五实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。