一种监控暴力行为检测方法、系统、装置及可读存储介质

摘要

本发明公开了一种监控暴力行为检测方法、系统、装置及可读存储介质，属于计算机视觉技术领域，包括以下步骤：步骤1、构建暴力行为视频数据集；步骤2、构建三维卷积神经网络，提取暴力行为视频数据特征；步骤3、使用多层感知机对特征数据分类；该监控暴力行为检测方法、系统、装置及可读存储介质，替代费时费力的人工检测方法，采用结合了3D卷积的密集连接网络，对暴力行为视频数据进行特征提取，并使用多层感知机算法对网络提取的暴力行为视频数据中的特征进行分类；通过3D卷积核替换密集连接网络中的2D卷积核，使得卷积神经网络具备提取视频特征的功能；通过算法对暴力行为视频分类，使用计算机对摄像头拍摄的视频内容进行分析，能够节省人力，预防暴力事件的发生。

说明书

技术领域

本发明属于计算机视觉技术领域，具体涉及监控暴力行为检测方法、系统、装置及可读存储介质。

背景技术

随着神经网络算法的发展和计算机性能的提升，神经网络算法已经在各领域拥有了广泛的应用；监控摄像头已经深入到了城市的各个角落，遏制了社会上的寻衅滋事行为，维护了社会的安全，但是如何快速、省时的对监控摄像头暴力行为进行检测，现有的监控摄像头数据量巨大，通过人工的方法是不可能完成的任务，因些，需要研发一种监控暴力行为检测方法来解决现有的问题。

发明内容

本发明的目的在于提供一种，以解决监控摄像头暴力行为检测效率低的问题。

为实现上述目的，本发明提供如下技术方案：一种监控暴力行为检测方法，包括以下步骤：

步骤1、构建暴力行为视频数据集；

步骤2、构建三维卷积神经网络，提取暴力行为视频数据特征；

步骤3、使用多层感知机对特征数据分类。

优选的，所述构建三维卷积神经网络的方法为密集连接和3D卷积。

优选的，所述密集连接和3D卷积的构建包括以下步骤：

步骤21，将网络中每个卷积层连接构建密集连接网络；修改密集连接网络的卷积核，使用3D卷积的卷积核替代密集连接网络中的所有2D卷积核；

步骤22，通过步骤1中所构建的数据集对神经网络进行训练，使得三维卷积神经网络能够提取图片特征。

所述3D卷积的卷积核替代密集连接网络中的所有2D卷积核的方法包括：使用3D卷积核将2D卷积核推广到三维，对于第i层3D卷积层的第j层Feature Map中(xyz)坐标中的值

其中，x,y,z为输入采样点，

优选的，所述构建暴力行为视频数据集包括收集网络数据集、监控视频调取，剪辑收集视频的暴力行为片段。

优选的，骤3中，使用训练的网络输出结果对多层感知机进行训练，使其具备分类功能，其中，所述多层感知机使用的分类方式为二分类。

优选的，所述3D卷积包括6个1×1×1三维卷积核和3×3×3三维卷积核的密集连接层1、1个1×1×1三维卷积核和3×3×3三维平均池化的转换层1、12个1×1×1三维卷积核和3×3×3三维卷积核的密集连接层2、1个1×1×1三维卷积核和3×3×3三维平均池化的转换层2、24个1×1×1三维卷积核和3×3×3三维卷积核的密集连接层3、1个2×7×7三维全局最大池化的转换层3、全连接层；其中

在转换层3后，激活函数如公式2所示；其中，n为输入数据的维度，e

将激活函数的输出结果送入多层感知机分类处理。

本发明另提供一种监控暴力行为检测系统，所述系统包括：

暴力行为视频数据集构建模块，用于构建暴力行为视频数据集；

构建三维卷积神经网络构建模块，用于构建三维卷积神经网络；

数据特征提取模块，用于提取暴力行为视频数据特征；

数据分类模块，用于使用多层感知机对特征数据分类；

密集连接和3D卷积构建模块，用于将网络中每个卷积层连接构建密集连接网络；修改密集连接网络的卷积核，使用3D卷积的卷积核替代密集连接网络中的所有2D卷积核；并通过Hockey Fights数据集、VIolent-Flows数据集对神经网络进行训练，提取图片特征。

本发明另提供一种监控暴力行为检测装置，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行时实现所述的监控暴力行为检测方法。

本发明另提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行所述的监控暴力行为检测方法。

本发明的技术效果和优点：该监控暴力行为检测方法、系统、装置及可读存储介质，替代费时费力的人工检测方法，采用结合了3D卷积的密集连接网络，对暴力行为视频数据进行特征提取，并使用多层感知机算法对网络提取的暴力行为视频数据中的特征进行分类；

通过3D卷积核替换密集连接网络中的2D卷积核，使得卷积神经网络具备提取视频特征的功能；

通过算法对暴力行为视频分类，使用计算机对摄像头拍摄的视频内容进行分析，能够节省人力，降低人力成本，预防暴力事件的发生。

附图说明

图1为本发明的流程图；

图2为本发明密集连接和3D卷积的构建的流程图；

图3为本发明的框架流程模块图；

图4为本发明密集连接层结构图；

图5为本发明3D卷积示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1、图3中所示的一种监控暴力行为检测方法,具体包括以下步骤：

步骤1，构建暴力行为视频数据集，本实施例中，通过各种形式收集监控暴力行为的视频：包括网络数据集，实际监控视频调取等形式，并且对收集来的视频将暴力行为片段进行剪辑；

步骤2，通过密集连接与3D卷积的方法，构建改进的CNN，对暴力行为视频数据进行特征提取；本实施例中，CNN为卷积神经网络；

在对暴力行为视频数据进行特征提取中，具体包括以下步骤：如图2所示，

步骤21，密集连接网络构建特征提取CNN，对密集连接网络的网络结构进行修改；如图4所示，将每一个密集模块中的特征图进行连接，融合高底层特性，使得网络模型能够更好地提取视频的高底层语义特征；

如图5所示，3D卷积将对于第i层3D卷积层的第j层Feature Map中(x,y,z)坐标中的值

其中，x为输入采样点，g(·)为激活函数，b

步骤22，使用S21中构建的数据集对修改过的密集连接网络进行训练，提取图片特征；

步骤3，使用训练过后的网络输出结果对多层感知机进行训练，使其具备分类功能；

本实施例中，3D-CNN基于密集连接网络，包括有6个1×1×1三维卷积核和3×3×3三维卷积核的密集连接层1、1个1×1×1三维卷积核和3×3×3三维平均池化的转换层1、12个1×1×1三维卷积核和3×3×3三维卷积核的密集连接层2、1个1×1×1三维卷积核和3×3×3三维平均池化的转换层2、24个1×1×1三维卷积核和3×3×3三维卷积核的密集连接层3、1个2×7×7三维全局最大池化的转换层3、全连接层即多层感知机；其中：

在转换层3后，激活函数:

便可将数据送入多层感知机进行分类处理。

本发明另提供一种监控暴力行为检测系统，所述系统包括：

暴力行为视频数据集构建模块，用于构建暴力行为视频数据集；

构建三维卷积神经网络构建模块，用于构建三维卷积神经网络；

数据特征提取模块，用于提取暴力行为视频数据特征；

数据分类模块，用于使用多层感知机对特征数据分类；

密集连接和3D卷积构建模块，用于将网络中每个卷积层连接构建密集连接网络；修改密集连接网络的卷积核，使用3D卷积的卷积核替代密集连接网络中的所有2D卷积核；并通过Hockey Fights数据集、VIolent-Flows数据集对神经网络进行训练，提取图片特征。

本发明另提供一种监控暴力行为检测装置，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行时实现所述的监控暴力行为检测方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。