首页> 中国专利> 基于边缘计算的违法犯罪行为检测方法和装置

基于边缘计算的违法犯罪行为检测方法和装置

摘要

本申请提供了一种基于边缘计算的违法犯罪行为检测方法和装置,涉及互联网技术领域。该方法根据一个或多个监控摄像头的信息获取一个或多个监控摄像头实时采集的监控视频数据;通过边缘计算对一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为;若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据发送给后端服务器,由后端服务器进行识别处理。可以看到,本申请实施例通过边缘计算对图像以及视频进行预处理,筛选出可能存在违法犯罪行为的图片和视频发送给后端服务器,由后端服务器进行识别处理和判断,减轻了服务器的处理负担,增加了安防的效率,同时减少了服务器的部署成本,很多计算可以在边缘完成。

著录项

  • 公开/公告号CN114821936A

    专利类型发明专利

  • 公开/公告日2022-07-29

    原文格式PDF

  • 申请/专利权人 慧之安信息技术股份有限公司;

    申请/专利号CN202210276261.0

  • 申请日2022-03-21

  • 分类号G08B13/196(2006.01);G06V20/40(2022.01);G06V20/52(2022.01);G06V40/20(2022.01);

  • 代理机构北京广技专利代理事务所(特殊普通合伙) 11842;

  • 代理人张国香

  • 地址 100000 北京市海淀区昆明湖南路51号A座二层217号

  • 入库时间 2023-06-19 16:12:48

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-08-16

    实质审查的生效 IPC(主分类):G08B13/196 专利申请号:2022102762610 申请日:20220321

    实质审查的生效

说明书

技术领域

本申请涉及互联网技术领域,尤其涉及一种基于边缘计算的违法犯罪行为检测方法和装置。

背景技术

边远地区目前还依靠传统监控摄像头或人力进行安防检查,服务器后端会有少量的AI(Artificial Intelligence,人工智能)模型进行分析处理和判断。人力的效率太低而且准确率并不能保证,后端的服务器会因为数据量过大而降低准确率,同时过长的处理时间会影响最佳的行动时间。因此,亟需解决这一技术问题。

发明内容

鉴于上述问题,提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的基于边缘计算的违法犯罪行为检测方法和装置,通过边缘计算对图像以及视频进行预处理,筛选出可能存在违法犯罪行为的图片和视频发送给后端服务器,由后端服务器进行识别处理和判断,减轻了服务器的处理负担,增加了安防的效率,同时减少了服务器的部署成本,很多计算可以在边缘完成。所述技术方案如下:

第一方面,提供了一种基于边缘计算的违法犯罪行为检测方法,包括:

获取用于边远山区违法犯罪行为检测的一个或多个监控摄像头的信息,并根据所述一个或多个监控摄像头的信息获取所述一个或多个监控摄像头实时采集的监控视频数据;

通过边缘计算对所述一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为;

若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据发送给后端服务器,由后端服务器进行识别处理。

在一种可能的实现方式中,根据所述一个或多个监控摄像头的信息获取所述一个或多个监控摄像头实时采集的监控视频数据,包括:

布置一个或多个具备图像处理功能的边缘计算节点,并将所述一个或多个具备图像处理功能的边缘计算节点与所述一个或多个监控摄像头通信连接;

确定所述一个或多个具备图像处理功能的边缘计算节点中处于工作状态的边缘计算节点;

将所述一个或多个监控摄像头采集的监控视频数据实时发送给所述处于工作状态的边缘计算节点。

在一种可能的实现方式中,通过边缘计算对所述一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为,包括:

通过边缘计算将所述一个或多个监控摄像头实时采集的监控视频数据中的每帧转化成对应的帧图像;

将各个帧图像输入预先训练的犯罪行为检测模型,利用所述犯罪行为检测模型对各个帧图像中是否存在违法犯罪行为进行预测,得到各个帧图像的预测结果;

根据所述各个帧图像的预测结果判断是否存在违法犯罪行为。

在一种可能的实现方式中,通过以下步骤训练犯罪行为检测模型:

构建初始的犯罪行为检测模型;

获取样本图像和所述样本图像对应的是否存在犯罪行为的样本标记;

将所述样本图像作为输入,所述样本图像对应的是否存在犯罪行为的样本标记作为输出,对所述初始的犯罪行为检测模型进行训练,得到训练的犯罪行为检测模型。

在一种可能的实现方式中,通过边缘计算对所述一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为,包括:

将所述一个或多个监控摄像头实时采集的监控视频数据中的每帧转化成对应的帧图像;

对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,其中n为大于1的正整数;

对n个矩形图像进行处理,将n个矩形图像转化成指定边长的n个正方形图像,并按照预设排列顺序将n个正方形图像组成一个整体正方形图像;

将所述整体正方形图像输入预先训练的行为动作识别模型,利用所述训练的行为动作识别模型对所述整体正方形图像对应的行为动作进行预测,得到预测结果;

根据所述预测结果识别是否存在违法犯罪行为。

在一种可能的实现方式中,在对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像之前,判断监控摄像头当前采集监控视频数据与确定n个选区的矩形区域坐标时采集样本视频,是否发生位置变动;

若发生位置变动,则确定位置变动的仿射转换矩阵;

利用仿射转换矩阵对确定的n个选区的矩形区域坐标进行转换,得到转换后的n个选区的矩形区域坐标,从而对于每个帧图像,按照转换后的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像。

在一种可能的实现方式中,若存在违法犯罪行为,所述方法还包括:

生成表示存在违法犯罪行为的报警信息;

将所述报警信息发送给预设的终端设备,从而将所述报警信息通知给所述预设的终端设备的工作人员。

在一种可能的实现方式中,若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据发送给后端服务器,由后端服务器进行识别处理,包括:

若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据以及对应帧数的时间进行数据打包后发送给后端服务器;

在后端服务器中,可以根据具体的精准时间提取出对应帧数的违法犯罪行为的监控视频数据,其具体步骤包括,

步骤A1:利用公式(1)根据存在违法犯罪行为的监控视频数据以及对应帧数的时间进行数据打包

P(i)=D(i)×{[t

其中P(i)表示对第i帧的监控视频数据进行数据打包后的数据二进制形式;D(i)表示第i帧的监控视频数据存在违法犯罪行为的输出值(若第i帧的监控视频数据存在违法犯罪行为,则输出D(i)=1,若第i帧的监控视频数据不存在违法犯罪行为,则输出D(i)=0);t

步骤A2:利用公式(2)根据存在违法犯罪行为的监控视频数据以及对应帧数的时间生成违法帧数时间序列数组数据

G={D(1)×t

其中G表示违法帧数时间序列数组;n表示当前时刻所述监控摄像头采集的监控视频数据的总帧数;

将所述打包后的存在违法犯罪行为的监控视频数据以及所述违法帧数时间序列数组发送至后端服务器;然后在所述后端服务器接收到的所述违法帧数时间序列数组中选择出数值元素不为0所对应的精准时间,进而可以利用步骤A3根据具体的精准时间提取出对应帧数的违法犯罪行为的监控视频数据;

步骤A3:利用公式(3)根据具体的精准时间提取出对应帧数的违法犯罪行为的监控视频数据

其中F(i)表示利用精准时间对第i帧的监控视频数据进行筛选提取的筛选值;t表示在所述后端服务器接收到的所述违法帧数时间序列数组中选择出的数值元素不为0所对应的精准时间;

将i的值从1取值到n代入到公式(3)中选择出F(i)≠0的数据,即为根据具体的精准时间提取出的对应帧数的违法犯罪行为的监控视频数据。

第二方面,提供了一种基于边缘计算的违法犯罪行为检测装置,包括:

获取模块,用于获取用于边远山区违法犯罪行为检测的一个或多个监控摄像头的信息,并根据所述一个或多个监控摄像头的信息获取所述一个或多个监控摄像头实时采集的监控视频数据;

检测模块,用于通过边缘计算对所述一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为;

发送模块,用于若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据发送给后端服务器,由后端服务器进行识别处理。

在一种可能的实现方式中,所述获取模块还用于:

布置一个或多个具备图像处理功能的边缘计算节点,并将所述一个或多个具备图像处理功能的边缘计算节点与所述一个或多个监控摄像头通信连接;

确定所述一个或多个具备图像处理功能的边缘计算节点中处于工作状态的边缘计算节点;

将所述一个或多个监控摄像头采集的监控视频数据实时发送给所述处于工作状态的边缘计算节点。

在一种可能的实现方式中,所述检测模块还用于:

通过边缘计算将所述一个或多个监控摄像头实时采集的监控视频数据中的每帧转化成对应的帧图像;

将各个帧图像输入预先训练的犯罪行为检测模型,利用所述犯罪行为检测模型对各个帧图像中是否存在违法犯罪行为进行预测,得到各个帧图像的预测结果;

根据所述各个帧图像的预测结果判断是否存在违法犯罪行为。

在一种可能的实现方式中,所述装置还包括:

构建模块,用于构建初始的犯罪行为检测模型;获取样本图像和所述样本图像对应的是否存在犯罪行为的样本标记;将所述样本图像作为输入,所述样本图像对应的是否存在犯罪行为的样本标记作为输出,对所述初始的犯罪行为检测模型进行训练,得到训练的犯罪行为检测模型。

在一种可能的实现方式中,所述检测模块还用于:

将所述一个或多个监控摄像头实时采集的监控视频数据中的每帧转化成对应的帧图像;

对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,其中n为大于1的正整数;

对n个矩形图像进行处理,将n个矩形图像转化成指定边长的n个正方形图像,并按照预设排列顺序将n个正方形图像组成一个整体正方形图像;

将所述整体正方形图像输入预先训练的行为动作识别模型,利用所述训练的行为动作识别模型对所述整体正方形图像对应的行为动作进行预测,得到预测结果;

根据所述预测结果识别是否存在违法犯罪行为。

在一种可能的实现方式中,所述检测模块还用于:

在对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像之前,判断监控摄像头当前采集监控视频数据与确定n个选区的矩形区域坐标时采集样本视频,是否发生位置变动;

若发生位置变动,则确定位置变动的仿射转换矩阵;

利用仿射转换矩阵对确定的n个选区的矩形区域坐标进行转换,得到转换后的n个选区的矩形区域坐标,从而对于每个帧图像,按照转换后的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像。

在一种可能的实现方式中,所述装置还包括:

报警模块,用于若存在违法犯罪行为,生成表示存在违法犯罪行为的报警信息;将所述报警信息发送给预设的终端设备,从而将所述报警信息通知给所述预设的终端设备的工作人员。

借由上述技术方案,本申请实施例提供的基于边缘计算的违法犯罪行为检测方法和装置,可以获取用于边远山区违法犯罪行为检测的一个或多个监控摄像头的信息,并根据一个或多个监控摄像头的信息获取一个或多个监控摄像头实时采集的监控视频数据;随后通过边缘计算对一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为;若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据发送给后端服务器,由后端服务器进行识别处理。可以看到,本申请实施例通过边缘计算对图像以及视频进行预处理,筛选出可能存在违法犯罪行为的图片和视频发送给后端服务器,由后端服务器进行识别处理和判断,减轻了服务器的处理负担,增加了安防的效率,同时减少了服务器的部署成本,很多计算可以在边缘完成。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1示出了根据本申请实施例的基于边缘计算的违法犯罪行为检测方法的流程图;

图2示出了根据本申请另一实施例的基于边缘计算的违法犯罪行为检测方法的流程图;

图3示出了根据本申请实施例的基于边缘计算的违法犯罪行为检测装置的结构图;

图4示出了根据本申请另一实施例的基于边缘计算的违法犯罪行为检测装置的结构图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。

本申请实施例提供了一种基于边缘计算的违法犯罪行为检测方法。如图1所示,该基于边缘计算的违法犯罪行为检测方法可以包括以下步骤S101至S103:

步骤S101,获取用于边远山区违法犯罪行为检测的一个或多个监控摄像头的信息,并根据一个或多个监控摄像头的信息获取一个或多个监控摄像头实时采集的监控视频数据;

步骤S102,通过边缘计算对一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为;

步骤S103,若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据发送给后端服务器,由后端服务器进行识别处理。

本申请实施例可以获取用于边远山区违法犯罪行为检测的一个或多个监控摄像头的信息,并根据一个或多个监控摄像头的信息获取一个或多个监控摄像头实时采集的监控视频数据;随后通过边缘计算对一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为;若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据发送给后端服务器,由后端服务器进行识别处理。可以看到,本申请实施例通过边缘计算对图像以及视频进行预处理,筛选出可能存在违法犯罪行为的图片和视频发送给后端服务器,由后端服务器进行识别处理和判断,减轻了服务器的处理负担,增加了安防的效率,同时减少了服务器的部署成本,很多计算可以在边缘完成。

本申请实施例中提供了一种可能的实现方式,上文步骤S101根据一个或多个监控摄像头的信息获取一个或多个监控摄像头实时采集的监控视频数据,具体可以包括以下步骤a1至a3:

步骤a1,布置一个或多个具备图像处理功能的边缘计算节点,并将一个或多个具备图像处理功能的边缘计算节点与一个或多个监控摄像头通信连接;

步骤a2,确定一个或多个具备图像处理功能的边缘计算节点中处于工作状态的边缘计算节点;

步骤a3,将一个或多个监控摄像头采集的监控视频数据实时发送给处于工作状态的边缘计算节点。

本申请实施例布置一个或多个具备图像处理功能的边缘计算节点,并将一个或多个具备图像处理功能的边缘计算节点与一个或多个监控摄像头通信连接;确定一个或多个具备图像处理功能的边缘计算节点中处于工作状态的边缘计算节点;随后将一个或多个监控摄像头采集的监控视频数据实时发送给处于工作状态的边缘计算节点,可以选择合适的边缘计算节点,提高计算的效率。

本申请实施例中提供了一种可能的实现方式,上文步骤S102通过边缘计算对一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为,具体可以包括以下步骤B1至B3:

步骤B1,通过边缘计算将一个或多个监控摄像头实时采集的监控视频数据中的每帧转化成对应的帧图像;

步骤B2,将各个帧图像输入预先训练的犯罪行为检测模型,利用犯罪行为检测模型对各个帧图像中是否存在违法犯罪行为进行预测,得到各个帧图像的预测结果;

步骤B3,根据各个帧图像的预测结果判断是否存在违法犯罪行为。

本申请实施例通过边缘计算将一个或多个监控摄像头实时采集的监控视频数据中的每帧转化成对应的帧图像;将各个帧图像输入预先训练的犯罪行为检测模型,利用犯罪行为检测模型对各个帧图像中是否存在违法犯罪行为进行预测,得到各个帧图像的预测结果;根据各个帧图像的预测结果判断是否存在违法犯罪行为,可以提高违法犯罪行为检测的效率。

本申请实施例中提供了一种可能的实现方式,可以通过以下步骤C1至C3训练犯罪行为检测模型:

步骤C1,构建初始的犯罪行为检测模型;

步骤C2,获取样本图像和样本图像对应的是否存在犯罪行为的样本标记;

步骤C3,将样本图像作为输入,样本图像对应的是否存在犯罪行为的样本标记作为输出,对初始的犯罪行为检测模型进行训练,得到训练的犯罪行为检测模型。

本申请实施例构建初始的犯罪行为检测模型;获取样本图像和样本图像对应的是否存在犯罪行为的样本标记;将样本图像作为输入,样本图像对应的是否存在犯罪行为的样本标记作为输出,对初始的犯罪行为检测模型进行训练,得到训练的犯罪行为检测模型,利用该犯罪行为检测模型可以准确地识别犯罪行为。

本申请实施例中提供了一种可能的实现方式,上文步骤S102通过边缘计算对一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为,具体可以包括以下步骤D1至D5:

步骤D1,将一个或多个监控摄像头实时采集的监控视频数据中的每帧转化成对应的帧图像;

步骤D2,对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,其中n为大于1的正整数;

步骤D3,对n个矩形图像进行处理,将n个矩形图像转化成指定边长的n个正方形图像,并按照预设排列顺序将n个正方形图像组成一个整体正方形图像;

步骤D4,将整体正方形图像输入预先训练的行为动作识别模型,利用训练的行为动作识别模型对整体正方形图像对应的行为动作进行预测,得到预测结果;

步骤D5,根据预测结果识别是否存在违法犯罪行为。

本申请实施例将一个或多个监控摄像头实时采集的监控视频数据中的每帧转化成对应的帧图像;对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,其中n为大于1的正整数;对n个矩形图像进行处理,将n个矩形图像转化成指定边长的n个正方形图像,并按照预设排列顺序将n个正方形图像组成一个整体正方形图像;将整体正方形图像输入预先训练的行为动作识别模型,利用训练的行为动作识别模型对整体正方形图像对应的行为动作进行预测,得到预测结果;根据预测结果识别是否存在违法犯罪行为,可以准确地识别出违法犯罪行为。

本申请实施例中提供了一种可能的实现方式,在对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像之前,判断监控摄像头当前采集监控视频数据与确定n个选区的矩形区域坐标时采集样本视频,是否发生位置变动;若发生位置变动,则确定位置变动的仿射转换矩阵;利用仿射转换矩阵对确定的n个选区的矩形区域坐标进行转换,得到转换后的n个选区的矩形区域坐标,从而对于每个帧图像,按照转换后的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,这样能够提高识别的准确性。

本申请实施例中提供了一种可能的实现方式,若存在违法犯罪行为,还可以生成表示存在违法犯罪行为的报警信息;将报警信息发送给预设的终端设备,从而将报警信息通知给预设的终端设备的工作人员。

本申请实施例中提供了一种可能的实现方式,上文步骤S103若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据发送给后端服务器,由后端服务器进行识别处理,具体可以是:

若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据以及对应帧数的时间进行数据打包后发送给后端服务器;

在后端服务器中,可以根据具体的精准时间提取出对应帧数的违法犯罪行为的监控视频数据,其具体步骤包括,

步骤A1:利用公式(1)根据存在违法犯罪行为的监控视频数据以及对应帧数的时间进行数据打包

P(i)=D(i)×{[t

其中P(i)表示对第i帧的监控视频数据进行数据打包后的数据二进制形式;D(i)表示第i帧的监控视频数据存在违法犯罪行为的输出值(若第i帧的监控视频数据存在违法犯罪行为,则输出D(i)=1,若第i帧的监控视频数据不存在违法犯罪行为,则输出D(i)=0);t

步骤A2:利用公式(2)根据存在违法犯罪行为的监控视频数据以及对应帧数的时间生成违法帧数时间序列数组数据

G={D(1)×t

其中G表示违法帧数时间序列数组;n表示当前时刻监控摄像头采集的监控视频数据的总帧数;

将打包后的存在违法犯罪行为的监控视频数据以及违法帧数时间序列数组发送至后端服务器;然后在后端服务器接收到的违法帧数时间序列数组中选择出数值元素不为0所对应的精准时间,进而可以利用步骤A3根据具体的精准时间提取出对应帧数的违法犯罪行为的监控视频数据;

步骤A3:利用公式(3)根据具体的精准时间提取出对应帧数的违法犯罪行为的监控视频数据

其中F(i)表示利用精准时间对第i帧的监控视频数据进行筛选提取的筛选值;t表示在后端服务器接收到的违法帧数时间序列数组中选择出的数值元素不为0所对应的精准时间;

将i的值从1取值到n代入到公式(3)中选择出F(i)≠0的数据,即为根据具体的精准时间提取出的对应帧数的违法犯罪行为的监控视频数据。

上述技术方案的有益效果为:首先利用步骤A1中的公式(1)根据存在违法犯罪行为的监控视频数据以及对应帧数的时间进行数据打包,进而将每个存在违法犯罪行为的监控视频数据都加盖上时间戳,从而方便后续用户调取特点时间点的数据;然后利用步骤A2中的公式(2)根据存在违法犯罪行为的监控视频数据以及对应帧数的时间生成违法帧数时间序列数组数据,进而方便用户根据违法帧数时间序列数组数据选择出具有存在违法犯罪行为的时间节点,方便人员的操作节省工作人员的时间提高效率;最后利用步骤A3中的公式(3)根据具体的精准时间提取出对应帧数的违法犯罪行为的监控视频数据,从而对精准时间处的存在违法犯罪行为的监控视频数据进行自动精准提取。

以上介绍了图1所示实施例的各个环节的多种实现方式,下面将通过具体实施例来详细介绍基于边缘计算的违法犯罪行为检测方法的实现过程。

本申请另一实施例提供了一种基于边缘计算的违法犯罪行为检测方法,如图2所示,该基于边缘计算的违法犯罪行为检测方法可以包括以下步骤S201至S208。

步骤S201,获取用于边远山区违法犯罪行为检测的一个或多个监控摄像头的信息。

步骤S202,布置一个或多个具备图像处理功能的边缘计算节点,并将一个或多个具备图像处理功能的边缘计算节点与一个或多个监控摄像头通信连接。

步骤S203,确定一个或多个具备图像处理功能的边缘计算节点中处于工作状态的边缘计算节点,将一个或多个监控摄像头采集的监控视频数据实时发送给处于工作状态的边缘计算节点。

步骤S204,通过边缘计算将一个或多个监控摄像头实时采集的监控视频数据中的每帧转化成对应的帧图像。

步骤S205,将各个帧图像输入预先训练的犯罪行为检测模型,利用犯罪行为检测模型对各个帧图像中是否存在违法犯罪行为进行预测,得到各个帧图像的预测结果。

步骤S206,根据各个帧图像的预测结果判断是否存在违法犯罪行为。

上面步骤S204至步骤S206也可以采用步骤D1至D5来实现,此处不再赘述。

步骤S207,若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据发送给后端服务器,由后端服务器进行识别处理。

步骤S208,生成表示存在违法犯罪行为的报警信息;将报警信息发送给预设的终端设备,从而将报警信息通知给预设的终端设备的工作人员。

本申请实施例通过边缘计算对图像以及视频进行预处理,筛选出可能存在违法犯罪行为的图片和视频发送给后端服务器,由后端服务器进行识别处理和判断,减轻了服务器的处理负担,增加了安防的效率,同时减少了服务器的部署成本,很多计算可以在边缘完成。

需要说明的是,实际应用中,上述所有可能的实施方式可以采用结合的方式任意组合,形成本申请的可能的实施例,在此不再一一赘述。

基于上文各个实施例提供的基于边缘计算的违法犯罪行为检测方法,基于同一发明构思,本申请实施例还提供了一种基于边缘计算的违法犯罪行为检测装置。

图3示出了根据本申请实施例的基于边缘计算的违法犯罪行为检测装置的结构图。如图3所示,该基于边缘计算的违法犯罪行为检测装置可以包括获取模块310、检测模块320以及发送模块330。

获取模块310,用于获取用于边远山区违法犯罪行为检测的一个或多个监控摄像头的信息,并根据一个或多个监控摄像头的信息获取一个或多个监控摄像头实时采集的监控视频数据;

检测模块320,用于通过边缘计算对一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为;

发送模块330,用于若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据发送给后端服务器,由后端服务器进行识别处理。

本申请实施例中提供了一种可能的实现方式,上文图3展示的获取模块310还用于:

布置一个或多个具备图像处理功能的边缘计算节点,并将一个或多个具备图像处理功能的边缘计算节点与一个或多个监控摄像头通信连接;

确定一个或多个具备图像处理功能的边缘计算节点中处于工作状态的边缘计算节点;

将一个或多个监控摄像头采集的监控视频数据实时发送给处于工作状态的边缘计算节点。

本申请实施例中提供了一种可能的实现方式,上文图3展示的检测模块320还用于:

通过边缘计算将一个或多个监控摄像头实时采集的监控视频数据中的每帧转化成对应的帧图像;

将各个帧图像输入预先训练的犯罪行为检测模型,利用犯罪行为检测模型对各个帧图像中是否存在违法犯罪行为进行预测,得到各个帧图像的预测结果;

根据各个帧图像的预测结果判断是否存在违法犯罪行为。

本申请实施例中提供了一种可能的实现方式,如图4所示,上文图3展示的装置还可以包括构建模块410,用于构建初始的犯罪行为检测模型;获取样本图像和样本图像对应的是否存在犯罪行为的样本标记;将样本图像作为输入,样本图像对应的是否存在犯罪行为的样本标记作为输出,对初始的犯罪行为检测模型进行训练,得到训练的犯罪行为检测模型。

本申请实施例中提供了一种可能的实现方式,上文图3展示的检测模块320还用于:

将一个或多个监控摄像头实时采集的监控视频数据中的每帧转化成对应的帧图像;

对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,其中n为大于1的正整数;

对n个矩形图像进行处理,将n个矩形图像转化成指定边长的n个正方形图像,并按照预设排列顺序将n个正方形图像组成一个整体正方形图像;

将整体正方形图像输入预先训练的行为动作识别模型,利用训练的行为动作识别模型对整体正方形图像对应的行为动作进行预测,得到预测结果;

根据预测结果识别是否存在违法犯罪行为。

本申请实施例中提供了一种可能的实现方式,上文图3展示的检测模块320还用于:

在对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像之前,判断监控摄像头当前采集监控视频数据与确定n个选区的矩形区域坐标时采集样本视频,是否发生位置变动;

若发生位置变动,则确定位置变动的仿射转换矩阵;

利用仿射转换矩阵对确定的n个选区的矩形区域坐标进行转换,得到转换后的n个选区的矩形区域坐标,从而对于每个帧图像,按照转换后的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像。

本申请实施例中提供了一种可能的实现方式,如图4所示,上文图3展示的装置还可以包括报警模块420,用于若存在违法犯罪行为,生成表示存在违法犯罪行为的报警信息;将报警信息发送给预设的终端设备,从而将报警信息通知给预设的终端设备的工作人员。

本申请实施例中提供了一种可能的实现方式,上文图3展示的发送模块330还用于:

若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据以及对应帧数的时间进行数据打包后发送给后端服务器;

在后端服务器中,可以根据具体的精准时间提取出对应帧数的违法犯罪行为的监控视频数据,其具体步骤包括,

步骤A1:利用公式(1)根据存在违法犯罪行为的监控视频数据以及对应帧数的时间进行数据打包

P(i)=D(i)×{[t

其中P(i)表示对第i帧的监控视频数据进行数据打包后的数据二进制形式;D(i)表示第i帧的监控视频数据存在违法犯罪行为的输出值(若第i帧的监控视频数据存在违法犯罪行为,则输出D(i)=1,若第i帧的监控视频数据不存在违法犯罪行为,则输出D(i)=0);t

步骤A2:利用公式(2)根据存在违法犯罪行为的监控视频数据以及对应帧数的时间生成违法帧数时间序列数组数据

G={D(1)×t

其中G表示违法帧数时间序列数组;n表示当前时刻监控摄像头采集的监控视频数据的总帧数;

将打包后的存在违法犯罪行为的监控视频数据以及违法帧数时间序列数组发送至后端服务器;然后在后端服务器接收到的违法帧数时间序列数组中选择出数值元素不为0所对应的精准时间,进而可以利用步骤A3根据具体的精准时间提取出对应帧数的违法犯罪行为的监控视频数据;

步骤A3:利用公式(3)根据具体的精准时间提取出对应帧数的违法犯罪行为的监控视频数据

其中F(i)表示利用精准时间对第i帧的监控视频数据进行筛选提取的筛选值;t表示在后端服务器接收到的违法帧数时间序列数组中选择出的数值元素不为0所对应的精准时间;

将i的值从1取值到n代入到公式(3)中选择出F(i)≠0的数据,即为根据具体的精准时间提取出的对应帧数的违法犯罪行为的监控视频数据。

本申请实施例提供的基于边缘计算的违法犯罪行为检测装置,可以获取用于边远山区违法犯罪行为检测的一个或多个监控摄像头的信息,并根据一个或多个监控摄像头的信息获取一个或多个监控摄像头实时采集的监控视频数据;随后通过边缘计算对一个或多个监控摄像头实时采集的监控视频数据进行检测分析,判断是否存在违法犯罪行为;若存在违法犯罪行为,则将存在违法犯罪行为的监控视频数据发送给后端服务器,由后端服务器进行识别处理。可以看到,本申请实施例通过边缘计算对图像以及视频进行预处理,筛选出可能存在违法犯罪行为的图片和视频发送给后端服务器,由后端服务器进行识别处理和判断,减轻了服务器的处理负担,增加了安防的效率,同时减少了服务器的部署成本,很多计算可以在边缘完成。

所属领域的技术人员可以清楚地了解到,上述描述的系统、装置、模块的具体工作过程,可以参考前述方法实施例中的对应过程,为简洁起见,在此不另赘述。

本领域普通技术人员可以理解:本申请的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,其包括若干程序指令,用以使得一电子设备(例如个人计算机,服务器,或者网络设备等)在运行所述程序指令时执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者,实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机,服务器,或者网络设备等的电子设备)来完成,所述程序指令可以存储于一计算机可读取存储介质中,当所述程序指令被电子设备的处理器执行时,所述电子设备执行本申请各实施例所述方法的全部或部分步骤。

以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:在本申请的精神和原则之内,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案脱离本申请的保护范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号