实时自动建库的人脸识别和行人重识别监控方法及系统

摘要

本发明涉及一种实时自动建库的人脸识别和行人重识别监控方法及系统，该方法包括如下步骤：步骤S1：对摄像头实时传输的视频流解码成图像帧；步骤S2：对图像同时进行人脸检测和行人检测；以及步骤S3：根据人脸匹配对应的行人。本发明能够在复杂场景下对人员自动地进行长期有效的监控和管理，不需要人工标注建库，对于监控场景下人员角度多变，行人特征多变的场景能够有效的确定其ID和预警陌生人；能够在很大程度上减轻人工查看监控的工作量，对于异常人员能够实时跟踪和追捕，保证了区域的安全，也起到一定的威慑作用。

说明书

技术领域

本发明涉及安防监控技术领域，特别涉及一种实时自动建库的人脸识别和行人重识别监控方法及系统。

背景技术

人脸识别和行人重识别是计算机视觉技术在安防领域的应用，人脸识别是：在图像中检测出人脸并识别出人脸特征，输出对应ID，行人重识别是：对待查询行人图片，在另外的监控中查找出该行人的相关图片。

专利文献1公开了一种多人脸识别监控方法及装置、电子设备及存储介质，该技术方案为：响应于所述场景图像中包含至少一个人脸图像的情况，提取所述至少一个人脸图像中每个人脸图像的人脸特征信息；将所述每个人脸图像的人脸特征信息与人脸特征集合中的模板人脸特征信息进行验证，获取验证结果；响应于上述验证结果为验证通过的情况，获取与所述每个人脸图像的人脸特征信息对应的用户信息；生成并存储所述用户信息的通行记录，可以对场景内的多个人员进行身份识别，特别是针对多人流通道可以迅速实施考勤、监控等系列操作，提高识别效率和监控安全性。但是该方案具有如下缺点：该方案只能针对人脸较为清晰地露出在摄像头下的情况对人进行识别和监控，对大部分监控场景，人背对摄像头或者人脸模糊被遮挡的情况没办法有效地进行监控。

专利文献2公开了一种行人重识别方法、装置和计算机设备，该技术方案为：确定待查询行人图片的类别信息；其中，所述类别信息用于表征所述待查询行人图片包含的人体部件所属的类别；从预先建立的各指定人体部件对应的比对库中选取与所述类别信息匹配的比对作为目标比对库；计算所述待查询行人图片与所述目标比对库中的目标数据之间的相似度，并依据计算得到的相似度，对所述待查询行人图片进行行人重识别。但是该方案具有如下缺点：需要预先建立各指定人体部件对应的比对库，这里需要人工标注，而且对于周期较长的监控场景，如小区居民，人的衣服发型等特征都会有随机的变更，这样行人重识别库就必须手动更新。

现有技术文献

专利文献

专利文献1：CN109359548A号公报

专利文献2：CN111832361A号公报

发明内容

发明所要解决的问题

本发明针对现有技术所存在的如下问题：现有人员监控方案往往通过单一的人脸识别或者行人重识别方法对人员进行监控，人脸识别只能对露出脸的情况进行识别，行人重识别由于行人特征不具有独特性需要人工辅助标注，以及随着时间变化同一行人的外观特征会变化导致重识别仅仅具有短期效果，从而提供一种实时自动建库的人脸识别和行人重识别监控方法，其通过将人脸识别和行人重识别技术相结合，解决长期多变化场景下人员安防管理问题，通过将人脸识别和行人重识别技术相结合能够在复杂场景下对人员进行长期有效的监控和管理，因而提供一种实时自动建库的人脸识别和行人重识别监控方法及系统。

用于解决问题的方案

为了达到上述目的，本发明提供一种实时自动建库的人脸识别和行人重识别监控方法，其包括如下步骤：

步骤S1：对摄像头实时传输的视频流解码成图像帧；

步骤S2：对图像同时进行人脸检测和行人检测；以及

步骤S3：根据人脸匹配对应的行人。

优选地，在所述步骤S3中包括：

如果检测到人脸，则搜索最相近的行人检测结果，搜索规则是求人脸框与检测到的所有行人框的交并比，找出交并比最大且人脸框位于行人框最上方的行人为匹配到的行人。

优选地，在所述步骤S3中包括：

判断最大相似度人脸ID是否大于第一预设阈值。

优选地，在所述步骤S3中包括：

认为就是该ID对应的人，记录ID、摄像头位置和时间到数据库，提取行人特征，将行人特征库中的该ID已有的特征向量节点替换为当前的特征向量节点。

优选地，在所述步骤S3中包括：

记录ID对应摄像头位置和时间到数据库，增加特征到到人脸库。

优选地，在所述步骤S3中包括：

对于检测到的行人，排除掉能检测到人脸的行人框，把剩下的行人检测结果送入到行人重识别模型，提取行人特征，在行人重识别库中搜索最大相似度对应的特征和ID。

优选地，在所述步骤S3中包括：

判断最大相似度ID是否大于第二预设阈值。

优选地，在所述步骤S3中包括：

记录ID、摄像头位置和时间到数据库，加入未识别缓存队列，预警陌生人，记录时间和摄像头，等待更新行人重识别库后进行重新搜索。

优选地，在所述步骤S3中包括：

如果已经更新了行人重识别库，则搜索行人重识别库更新部分的最大相似度，大于第一预设阈值则记录ID、摄像头位置和时间到数据库。

本发明还提供一种实时自动建库的人脸识别和行人重识别监控系统，包括：

实时传输模块，其对摄像头实时传输的视频流解码成图像帧；

同步检测模块，其对图像同时进行人脸检测和行人检测；以及

人脸匹配模块，其根据人脸匹配对应的行人。

发明的效果

本发明采用人脸识别和行人重识别的方式进行检测和跟踪，针对监控场景下人脸模糊遮挡和背对的情况也能够起到有效的监控作用。

本发明则采用行人重识别，人脸识别相结合的方式，同时检测人脸和行人，以人脸特征建库并将ID赋予人脸对应的行人，进而跟踪对应行人，形成同一ID多个角度的行人重识别库并送入行人重识别模型进行实时训练然后更新行人重识别模型，不需要人工标注行人图片，对于行人特征变化的情况也可以灵活更新行人重识别库。

附图说明

图1是本发明一种实时自动建库的人脸识别和行人重识别监控方法流程图。

图2是本发明一种实时自动建库的人脸识别和行人重识别监控系统示意图。

具体实施方式

下面将结合本发明实施例中的图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。并且，在此处需要进一步强调的是，以下的具体实施例提供的优选的技术方案，各方案(实施例)之间是可以相互配合或结合使用的。

如图1所示，本发明提供一种实时自动建库的人脸识别和行人重识别监控方法，该方法包括如下步骤：

步骤S1：对摄像头实时传输的视频流解码成图像帧；

步骤S2：对图像同时进行人脸检测和行人检测，其中，人脸检测使用Retinaface人脸检测模型，行人检测使用Yolov5检测模型，建库、搜索、插入替换均采用hnsw算法；

步骤S3：根据人脸匹配对应的行人；

在步骤S3中包括如下子步骤：

步骤S31：如果检测到人脸，则搜索(匹配)最相近的行人检测结果，搜索规则是求人脸框与检测到的所有行人框的交并比，找出交并比最大且人脸框位于行人框最上方的行人为匹配到的行人，使用Arcface算法模型提取人脸特征，特征向量维度为512维，在现有人脸特征库中搜索最大相似度人脸ID；

步骤S32：判断最大相似度人脸ID是否大于第一预设阈值，该第一预设阈值设置为0.4，如果大于，进至步骤S33，否则，进至步骤S34；

步骤S33：认为就是该ID对应的人，记录ID、摄像头位置和时间到数据库，提取行人特征，此步骤采用的是fast-reID中的AGW_R50-ibn模型，更新行人特征库对应ID的特征，特征向量维度为2048维，具体方法是将行人特征库中的该ID已有的特征向量节点替换为当前的特征向量节点；

步骤S34：记录ID对应摄像头位置和时间到数据库，增加特征到到人脸库，具体方式是将特征向量节点插入到现有的人脸库中，预警陌生人，提取行人特征，添加到行人特征库，具体方式是将特征向量节点插入到现有的行人库中；

步骤S35：对于检测到的行人，排除掉S33，S34中能检测到人脸的行人框，把剩下的行人检测结果送入到行人重识别模型，提取行人特征，在行人重识别库中搜索最大相似度对应的特征和ID，此ID和人脸ID等价，同一个ID指同一个人；

步骤S36：判断最大相似度ID是否大于第二预设阈值，该第二预设阈值可以设为0.7，如果大于，进至步骤S38，如果小于，进至步骤S39；

步骤S37：记录ID、摄像头位置和时间到数据库；

步骤S38：加入未识别缓存队列，预警陌生人，记录时间和摄像头，等待更新行人重识别库后进行重新搜索；

步骤S39：如果步骤S34中已经更新了行人重识别库，则搜索行人重识别库更新部分的最大相似度，大于第一预设阈值则记录ID、摄像头位置和时间到数据库。

本发明还提供一种实时自动建库的人脸识别和行人重识别监控系统，该系统1包括：

实时传输模块11，其对摄像头实时传输的视频流解码成图像帧；

同步检测模块12，其对图像同时进行人脸检测和行人检测，其中，人脸检测使用Retinaface人脸检测模型，行人检测使用Yolov5检测模型，建库、搜索、插入替换均采用hnsw算法；以及

人脸匹配模块13，其根据人脸匹配对应的行人；

上述人脸匹配模块包括如下子模块：

第一搜索模块，其在现有人脸特征库中搜索最大相似度人脸ID，具体是如果检测到人脸，则搜索(匹配)最相近的行人检测结果，搜索规则是求人脸框与检测到的所有行人框的交并比，找出交并比最大且人脸框位于行人框最上方的行人为匹配到的行人，使用Arcface算法模型提取人脸特征，特征向量维度为512维，在现有人脸特征库中搜索最大相似度人脸ID；

第一判断模块，判断最大相似度人脸ID是否大于第一预设阈值，该第一预设阈值设置为0.4；

第一特征提取模块，其将行人特征库中的该ID已有的特征向量节点替换为当前的特征向量节点，具体为：认为就是该ID对应的人，记录ID、摄像头位置和时间到数据库，提取行人特征，采用的是fast-reID中的AGW_R50-ibn模型，更新行人特征库对应ID的特征，特征向量维度为2048维，将行人特征库中的该ID已有的特征向量节点替换为当前的特征向量节点；

第二特征提取模块，其将特征向量节点插入到现有的行人库中，具体为：记录ID对应摄像头位置和时间到数据库，增加特征到到人脸库，将特征向量节点插入到现有的人脸库中，预警陌生人，提取行人特征，添加到行人特征库，将特征向量节点插入到现有的行人库中；

搜索最大相似度模块，其在行人重识别库中搜索最大相似度对应的特征和ID，具体为：对于检测到的行人，排除掉上述中能检测到人脸的行人框，把剩下的行人检测结果送入到行人重识别模型，提取行人特征，在行人重识别库中搜索最大相似度对应的特征和ID，此ID和人脸ID等价，同一个ID指同一个人；

第二判断模块，其判断最大相似度ID是否大于第二预设阈值，该第二预设阈值可以设为0.7；

第一记录模块：其记录ID、摄像头位置和时间到数据库；

重新搜索模块，其加入未识别缓存队列，预警陌生人，记录时间和摄像头，等待更新行人重识别库后进行重新搜索。

与现有技术相比，本发明能够在复杂场景下对人员自动地进行长期有效的监控和管理，不需要人工标注建库，对于监控场景下人员角度多变，行人特征多变的场景能够有效的确定其ID和预警陌生人；能够在很大程度上减轻人工查看监控的工作量，对于异常人员能够实时跟踪和追捕，保证了区域的安全，也起到一定的威慑作用。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。