一种时间因果诱导的斗殴行为的识别方法

摘要

本发明公开了一种时间因果诱导的斗殴行为的识别方法。本发明针对群体斗殴行为特点，即多人之间具有因果关系，具有时间延迟关系，具有空间依赖关系，来实现群体斗殴行为的特征提取。针对上述三个问题，分别使用Granger因果关系估计多人的因果关系矩阵，Granger因果时间延迟关系估计多人的因果时间延迟矩阵，用于因果特征融合，空间外观图模型估计，用于多人空间特征融合。依次，提取因果图融合的个体特征，空间图融合的个体特征，并使用最大池化方法将个体特征矩阵转化为群体特征，使用全连接层识别群体斗殴行为。本发明可有效实现群体斗殴的多人因果图特征提取，多人空间图特征提取，以及实现对群体斗殴行为检测。

说明书

技术领域

本发明涉及视频监控中的行为识别技术领域，尤其涉及一种时间因果诱导的斗殴行为的识别方法，利用granger因果关系分析多人行为因果关系，从而更准确的识别群体斗殴行为。

背景技术

为了保证公共场合安全，保证人民生命安全，需要对群体斗殴行为进行监控。随着深度学习和计算机视觉技术的发展，群体斗殴行为识别正逐步引起社会的重视。

群体行为识别。群体行为识别方向一直收到学者们的广泛关注。随着深度学习的发展，卷积神经网络CNN提取的特征，明显改善了群体行为识别的性能。循环神经网络RNN模型可以有能力处理时序数据问题，例如LSTM构建层次时序模型，可以用来推断个体行为和群体活动。将图模型与深度神经网络相结合是深度学习领域的一个重要课题。由于对结构化数据进行表示的优势，图卷积可以进行空间上下文的融合，用于更好的描述个体行为特征。然而，上述方法并未考虑，空间上下文中多人的因果关系，即没有考虑交互行为双方谁是主动行为者，谁是被动行为者，不能很好的揭示空间特征融合过程的规律。

现有因果分析方法，主要涉及文本数据中的任务。《202011408734.5一种基于图模型的篇章级别事件因果关系抽取方法》在文本分析中，使用注意力融合上下文，得到篇章级的事件表示，用于估计事件因果关系。《201911144453.0一种用于矛盾纠纷事件因果关系识别的深度学习方法》设计上下文注意力模块用于文本处理中的因果关系识别。《202010829960.4一种面向事件序列的因果建模方法及装置》在文本事件分析中，使用时间条件找出对应事件的时间关系，设计时间因果网格用于因果关系分析。还有一些方法关注于面向数据的因果分析的方法。《202010972803.9一种基于因果关系的信息预测方法》计算节点之间的条件概率，分析多源数据和业务目标之间的因果关系。《201910242406.3一种基于深度学习的因果关系挖掘方法》通过分别对目标特征和备选特征进行时序统计量估计，使用统计量的差值来描述granger因果关系，当差值大于阈值，则说明备选特征有显著影响，备选特征和目标特征之间存在因果关系。《201910754617.5一种离散时序数据的非稳态性granger因果》使用期望最大化方法来估计序列中的granger因果关系。多人行为之间的因果分析，主要是基于轨迹特征分析。《钱乐义等，视频监控中小群体分析关键技术研究》利用轨迹特征的Granger因果关系构建有向图，并计算因果比率和反馈率用于分析交互行为类别。《张旭光等，基于因果网络分析的小规模人群行为识别》根据Granger模型，来计算成对轨迹中的位置序列的因果关系，并考虑第三方轨迹，来计算成组的因果关系。《谭程午等，基于融合特征的群体行为识别》在Granger因果关系估计基础上，估计因果约束的平均路径长度作为因果特征。《王军等，基于因果分析的群体行为识别》利用轨迹特征估计Granger因果关系对多人的交互关系进行分组。

外观特征也被用于分析多人行为之间的因果关系。《201910459028.4一种基于时序因果卷积网络的视频行为识别方法》设计时序卷积基础上，添加时空注意力，分析时间依赖关系作为时间因果，用于行为特征提取。《吴东涛等，复杂因果关联语境下交互行为分析》利用行为特征估计Granger因果关系，并用于验证视频摘要的合理性。现有的外观特征的Granger因果关系，还没有用于多人行为特征的空间图模型，更没有使用因果关系将多人行为特征进行融合，因此，本发明具有非可易见性。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种时间因果诱导的斗殴行为的识别方法。该方法针对群体斗殴行为特点，即多人之间具有因果关系，具有时间延迟关系，具有空间依赖关系，来实现群体斗殴行为的特征提取。针对上述三个问题，分别使用Granger因果关系估计多人的因果关系矩阵，Granger因果时间延迟关系估计多人的因果时间延迟矩阵，用于因果特征融合，空间外观图模型估计，用于多人空间特征融合。依次，提取因果图融合的个体特征，空间图融合的个体特征，并使用最大池化方法将个体特征矩阵转化为群体特征，使用全连接层识别群体斗殴行为。本方法可有效实现群体斗殴的多人因果图特征提取，多人空间图特征提取，以及实现对群体斗殴行为识别。

本发明是通过以下技术方案实现的：

一种时间因果诱导的斗殴行为的识别方法，具体包括以下步骤：

步骤1、根据群体斗殴行为训练集视频进行个体行为特征提取；

步骤2、根据提取的个体行为特征进行个体间时间因果关系强度识别，得到个体之间的因果关系矩阵和因果延迟矩阵；

步骤3、根据得到的个体之间的因果关系矩阵和因果延迟矩阵进行时间因果图融合的个体特征提取；

步骤4、根据步骤1提取的个体行为特征和步骤3提取的时间因果图融合后的个体特征进行群体特征空间图推理特征提取，进行预测群体斗殴行为类别；

步骤5、对群体斗殴行为训练集视频进行群体斗殴行为模型训练，得到群体斗殴识别模型参数；

步骤6、根据群体斗殴识别模型参数进行训练群体斗殴行为识别。

所述的步骤1的具体内容如下：

步骤1-1：输入群体斗殴行为训练集视频，将视频拆成视频帧，获得待识别的群体斗殴行为视频帧序列；

步骤1-2：对待识别的群体斗殴行为视频帧序列，使用RCNN预训练模型，获得群体斗殴行为识别框，识别框作为个体的位置特征，并且同一个人在不同视频帧上的位置特征记作该个体的位置特征集合；

步骤1-3：将群体斗殴行为框中的RCNN特征，作为该个体的外观特征，并且同一个人在不同视频帧上的外观特征记作该个体的外观特征集合；

所述的步骤2的具体内容如下：

步骤2-1：从步骤1-3中提取的个体外观特征集合中，选择出2个个体的外观特征进行时间因果关系强度识别；

步骤2-2：将待分析的2个个体的外观特征集合记作F

步骤2-3：设置个体i影响个体j的时间延迟因子delay，时间延迟因子大于等于0；

步骤2-4：由于时间延迟因子大于等于0，将个体i的外观特征向时间增加方向按照时间延迟因子向后平移，平移后其前方空缺的特征，使用第一帧特征补充，得到时间平移后的个体i的外观特征集合；

步骤2-5：根据平移特征进行外观特征有约束回归，计算两个个体之间Granger有约束回归误差总和RSS

步骤2-6：根据第j个个体的特征进行回归，获得单个个体的Granger无约束回归误差总和RSS

步骤2-7：计算F分布因果关系统计量，用于回归误差验证：

其中delay是时间延迟因子，k是因果时间窗口大小，n是样本容量，即因果时间窗口的个数，RSS

步骤2-8：给定显著性水平α下F分布的临界值阈值F

步骤2-9：将步骤2-7得到的因果关系统计量与步骤2-8的临界值阈值比较，判断因果关系a

步骤2-9-1：如果因果关系统计量小于临界值阈值，则说明有约束不会明显改变预测，两个个体之间无明显的因果关系；

步骤2-9-2：如果因果关系统计量大于临界值阈值，则说明有约束的回归会明显改变预测，第i个个体行为是第j个个体行为的原因，第i个个体是主动行为者，第j个个体是被动行为者；

步骤2-10：重复步骤2-3到步骤2-9，估计其他delay情况下的因果关系，计算最强因果关系的时间延迟因子d

步骤2-11重复步骤2-1到步骤2-10，计算其他个体之间的因果关系，获得个体之间的因果关系矩阵A＝{a

所述的步骤2-5的具体内容如下：

步骤2-5-1：设置因果时间窗口大小k；

步骤2-5-2：使用因果时间窗内的特征，预测下一帧被动行为者的特征，回归模型如下：

其中f

步骤2-5-3：对外观特征集合，利用因果时间窗滑动，得到多个滑动窗口的回归方程，其方程个数即为样本容量n；

步骤2-5-4：对多个滑动窗口的回归方程，进行回归，使用误差作为目标函数，使用梯度下降法求解回归模型参数，得到在多个方程上预测误差最小的回归模型；

步骤2-5-5：使用学习到的有约束回归模型，计算回归模型的特征预测误差，并计算多个方程有约束回归情况下的特征预测误差总和，记作有约束误差总和RSS

所述的步骤2-6的具体内容如下：

步骤2-6-1：设置因果时间窗口大小k；

步骤2-6-2：使用因果时间窗口内的特征，预测下一帧被动行为者的特征，回归模型如下：

其中f

步骤2-6-3对外观特征集合，利用因果时间窗滑动，得到多个滑动窗口的回归方程，其方程个数即为样本容量n；

步骤2-6-4对多个滑动窗口的回归方程，进行回归，使用误差作为目标函数，使用梯度下降法求解回归模型参数，得到在多个方程上预测误差最小的回归模型；

步骤2-6-5使用学习到的无约束回归模型，计算回归模型的特征预测误差，并计算多个方程无约束回归情况下的特征预测误差总和，记作无约束误差总和RSS

所述的步骤2-10的具体内容如下：

步骤2-10-1：找出个体i和个体j之间最大的因果关系统计量，作为最强因果关系；

步骤2-10-1-1：如果最大的因果关系统计量，大于步骤2-8的临界值阈值，则认为个体之间存在因果关系，记作a

步骤2-10-1-2：如果最大的因果关系统计量，小于步骤2-8的临界值阈值，则认为个体之间不存在因果关系，记作a

步骤2-10-2：记录最强因果关系时间延迟因子delay，记作d

所述的步骤3的具体内容如下：

步骤3-1：根据步骤2-11获得因果关系矩阵，使用因果关系矩阵，作为因果关系图的边权重，构建因果关系图；

步骤3-2：在因果关系矩阵中，遍历个体j的主动行为者，即从个体i到个体j的因果关系a

步骤3-3：依次遍历主动行为者，获得主动行为者的外观特征集合；

步骤3-4：根据步骤2-11获得的时间延迟矩阵D，采用步骤2-4对主动行为者进行时间平移操作，获得时间平移后的主动行为者的外观特征；

步骤3-5：对有因果关系的个体集合，其平移后的主动行为者特征，按照各时间帧进行求平均，获得平均后的主动行为者的外观特征；

步骤3-6：将平均后的主动行为者外观特征与被动行为者外观特征，按照各时间帧进行求和，获得融合后的被动行为者的外观特征，此时被动行为者的外观特征，记作融合后的个体特征

其中，C是外观特征的通道数，

步骤3-7：重复步骤3-2到步骤3-6，提取时间因果图融合后的个体特征；

所述的步骤4的具体内容如下：

步骤4-1：根据位置特征，构建空间关系图：

步骤4-1-1输入步骤1-2中的视频帧的个体的位置特征，计算2个个体之间的距离；

步骤4-1-2构建空间关系图，设置阈值，如果个体间的距离大于阈值，则在空间图中个体之间的权重e

步骤4-2根据融合后的特征，构建外观关系图；

步骤4-2-1：输入步骤3-6得到的融合后的个体特征

步骤4-2-2：根据融合后的特征，计算2个个体之间特征的相关性s

其中

步骤4-3根据位置关系图和外观关系图，构建空间-外观关系图，其中图中边的权重计算公式为:

其中e

步骤4-4：根据空间-外观关系图，输入融合后的个体特征集合，提取空间图卷积推理的个体特征，推理公式为

F

其中

步骤4-5：将空间外观图融合后的个体特征矩阵，使用最大池化操作得到群体特征；

步骤4-6：将群体特征经过2层全连接层处理，预测群体斗殴行为类别。

所述的步骤5的具体内容如下：

步骤5-1：输入训练视频集合，采用滑动窗口获得视频帧集合；

步骤5-2：输入视频帧集合，根据步骤1提取个体位置特征和个体外观特征；

步骤5-3：输入视频帧的个体外观特征，根据步骤2，进行个体间的因果关系预测，得到个体间的因果关系矩阵，和因果延时矩阵；

步骤5-4：输入个体特征，根据因果关系矩阵，因果延时矩阵，根据步骤3，获得因果融合后的个体特征；

步骤5-5：输入因果融合后的个体特征，位置特征，根据步骤4-1到步骤4-4，获得空间融合后的个体特征；

步骤5-6：输入空间融合后的个体特征，根据步骤4-5和步骤4-6，预测群体斗殴行为类别；

步骤5-7：根据预测的群体斗殴行为类别，和训练集上的真实标记，使用交叉熵函数设置损失函数

Loss＝L(y,y

其中，第1项是预测误差，Y是步骤4-6预测的类别，y

步骤5-8：根据训练集的预测结果、真实标记和损失函数，对模型进行训练，获得群体斗殴识别模型的参数，参数包括步骤4-4中图卷积参数和步骤4-6中的全连接层参数。

所述的步骤6的具体内容如下：

步骤6-1：输入测试视频，采用滑动窗口获得视频帧；

步骤6-2：输入视频帧集合，根据步骤1提取个体位置特征和个体外观特征；

步骤6-3：输入视频帧的个体外观特征，根据步骤2，进行个体间的因果关系预测，得到个体间的因果关系矩阵和因果延时矩阵；

步骤6-4：输入个体特征，根据因果关系矩阵、因果延时矩阵，根据步骤3，获得因果融合后的个体特征；

步骤6-5：输入因果融合后的个体特征、位置特征，输入步骤5-8获得的图卷积参数，根据步骤4-1到步骤4-4，获得空间融合后的个体特征；

步骤6-6：输入空间融合后的个体特征，输入步骤5-8获得的全连接层参数，根据步骤4-5和步骤4-6，预测群体斗殴行为类别。

本发明的优点是：本发明分别使用Granger因果关系估计多人的因果关系矩阵，Granger因果时间延迟关系估计多人的因果时间延迟矩阵，用于因果特征融合，空间外观图模型估计，用于多人空间特征融合，依次，提取因果图融合的个体特征，空间图融合的个体特征，并使用最大池化方法将个体特征矩阵转化为群体特征，使用全连接层识别群体斗殴行为。本发明可有效实现群体斗殴的多人因果图特征提取，多人空间图特征提取，以及实现对群体斗殴行为检测。

附图说明

图1时间因果诱导的斗殴行为识别方法流程图。

图2人体检测和个体行为位置特征。

图3个体间时间因果关系的提取(图3a为Granger无约束回归预测；图3b为Granger有约束回归预测；图3c为F分布因果关系阈值；图3d为因果关系矩阵；图3e为因果延时矩阵)。

图4个体的时间因果图融合特征提取(图4a为个体检测；图4b为主动行为者和被动行为者；图4c为主动行为者特征平移；图4d为因果图特征融合)。

图5群体特征空间图推理特征提取与预测。

具体实施方式

如图1所示，一种时间因果诱导的斗殴行为的识别方法，具体包括以下步骤：

步骤1个体行为特征提取，如图2所示：

步骤1-1输入视频，将视频拆成视频帧，获得待识别的群体斗殴行为视频帧序列；

步骤1-2对待识别的群体斗殴行为视频帧序列，使用RCNN预训练模型，获得群体斗殴行为识别框，该识别框作为个体的位置特征，并且将多个人在不同视频帧上的位置特征记作个体的位置特征集合；

步骤1-3将群体斗殴行为框中的RCNN特征，作为该个体的外观特征，并且将多个人在不同视频帧上的外观特征记作个体的外观特征集合；

步骤2个体间时间因果关系强度识别

步骤2-1从步骤1-3中，提取的个体外观特征集合中，选择出2个个体的外观特征进行时间因果关系强度识别；

步骤2-2将待分析的2个个体的外观特征集合记作F

步骤2-3设置个体i影响个体j的时间延迟因子delay，时间延迟因子大于等于0；

步骤2-4由于时间延迟因子大于等于0，将个体i的外观特征向时间增加方向按照时间延迟因子向后平移，平移后其前方空缺的特征，使用第一帧特征补充；得到时间平移后的个体i的外观特征集合；

步骤2-5根据平移特征进行外观特征有约束回归，计算两个个体之间Granger有约束回归误差总和，如图3所示，图3a为Granger无约束回归预测；图3b为Granger有约束回归预测；图3c为F分布因果关系阈值；图3d为因果关系矩阵；图3e为因果延时矩阵，有约束时，同时考虑两个个体：

步骤2-5-1设置因果时间窗口大小k；

步骤2-5-2使用因果时间窗内的特征，预测下一帧被动行为者的特征，回归模型如下：

其中f

步骤2-5-3对外观特征集合，利用因果时间窗滑动，得到多个滑动窗口的回归方程，其方程个数即为样本容量n；

步骤2-5-4对多个滑动窗口的回归方程，进行回归，使用误差作为目标函数，使用梯度下降法求解回归模型参数，得到在多个方程上预测误差最小的回归模型；

步骤2-5-5使用学习到的有约束回归模型，计算回归模型的特征预测误差，并计算多个方程有约束回归情况下的特征预测误差总和，记作有约束误差总和RSS

步骤2-6根据第j个个体的特征进行回归，获得单个个体的Granger无约束回归误差总和，无约束时，只考虑第j个个体：

步骤2-6-1设置因果时间窗口大小k；

步骤2-6-2使用因果时间窗口内的特征，预测下一帧被动行为者的特征，回归模型如下：

其中f

步骤2-6-3对外观特征集合，利用因果时间窗滑动，得到多个滑动窗口的回归方程，其方程个数即为样本容量n；

步骤2-6-4对多个滑动窗口的回归方程，进行回归，使用误差作为目标函数，使用梯度下降法求解回归模型参数，得到在多个方程上预测误差最小的回归模型；

步骤2-6-5使用学习到的无约束回归模型，计算回归模型的特征预测误差，并计算多个方程无约束回归情况下的特征预测误差总和，记作无约束误差总和RSS

步骤2-7计算F分布因果关系统计量，用于回归误差验证：

其中delay是时间延迟因子，k是因果时间窗口大小，n是样本容量，即因果时间窗口的个数。RSS

步骤2-8给定显著性水平α下F分布的临界值阈值F

步骤2-9将步骤2-7得到的因果关系统计量与步骤2-8的临界值阈值比较，判断因果关系；

步骤2-9-1如果因果关系统计量小于临界值阈值，则说明有约束不会明显改变预测，两个个体之间无明显的因果关系；

步骤2-9-2如果因果关系统计量大于临界值阈值，则说明有约束的回归会明显改变预测，第i个个体行为是第j个个体行为的原因，也就是说，第i个个体是主动行为者，第j个个体是被动行为者。

步骤2-10重复步骤2-3到2-9，估计其他delay情况下的因果关系，计算最强因果关系的时间延迟因子；

步骤2-10-1找出个体i和个体j之间最大的因果关系统计量，作为最强因果关系；

步骤2-10-1-1如果最大的因果关系统计量，大于步骤2-8的临界值阈值，则认为个体之间存在因果关系，记作a

步骤2-10-1-2如果最大的因果关系统计量，小于步骤2-8的临界值阈值，则认为个体之间不存在因果关系，记作a

步骤2-10-2记录最强因果关系时间延迟因子delay，记作d

步骤2-11重复步骤2-1到2-10，计算其他个体之间的因果关系，获得个体之间的因果关系矩阵A＝{a

步骤3时间因果图融合的个体特征提取：如图4所示，图4a为个体检测；图4b为主动行为者和被动行为者；图4c为主动行为者特征平移；图4d为因果图特征融合；

步骤3-1根据2-11获得因果关系矩阵，使用因果关系矩阵，作为因果关系图的边权重，构建因果关系图；

步骤3-2在因果关系矩阵中，遍历个体j的主动行为者，即从个体i到个体j的因果关系a

步骤3-3依次遍历主动行为者，获得主动行为者的外观特征集合；

步骤3-4根据2-11获得的时间延迟矩阵D，采用步骤2-4对主动行为者进行时间平移操作，获得时间平移后的主动行为者的外观特征；

步骤3-5对有因果关系的个体集合，其平移后的主动行为者特征，按照各时间帧进行求平均，获得平均后的主动行为者的外观特征；

步骤3-6将平均后的主动行为者外观特征与被动行为者外观特征，按照各时间帧进行求和，获得融合后的被动行为者的外观特征，此时被动行为者的外观特征，记作融合后的个体特征

其中，C是外观特征的通道数，

步骤3-7重复步骤3-2到步骤3-6，提取时间因果图融合后的个体特征；

步骤4群体特征空间图推理特征提取，如图5所示：

步骤4-1根据位置特征，构建空间关系图：

步骤4-1-1输入步骤1-2中的视频帧的个体的位置特征，计算2个个体之间的距离；

步骤4-1-2构建空间关系图，设置阈值，如果个体间的距离大于阈值，则在空间图中个体之间的权重e

步骤4-2根据融合后的特征，构建外观关系图：

步骤4-2-1输入步骤3-6得到的融合后的个体特征

步骤4-2-2根据融合后的特征，计算2个个体之间特征的相关性s

其中

步骤4-3根据位置关系图和外观关系图，构建空间-外观关系图，其中图中边的权重计算公式为:

其中e

步骤4-4根据空间-外观关系图，输入融合后的个体特征集合，提取空间图卷积推理的个体特征，推理公式为

F

其中

步骤4-5将空间外观图融合后的个体特征矩阵，使用最大池化操作得到群体特征；

步骤4-6将群体特征经过2层全连接层处理，预测群体斗殴行为类别；

步骤5群体斗殴行为模型训练：

步骤5-1输入训练视频集合，采用滑动窗口获得视频帧集合；

步骤5-2输入视频帧集合，根据步骤1提取，及其个体位置特征，个体外观特征；

步骤5-3输入视频帧的个体外观特征，根据步骤2，进行个体间的因果关系预测，得到个体间的因果关系矩阵，和因果延时矩阵；

步骤5-4输入个体特征，根据因果关系矩阵，因果延时矩阵，根据步骤3，获得因果融合后的个体特征；

步骤5-5输入因果融合后的个体特征，位置特征，根据步骤4-1到步骤4-4，获得空间融合后的个体特征；

步骤5-6输入空间融合后的个体特征，根据步骤4-5和步骤4-6，预测群体斗殴行为类别；

步骤5-7根据预测的群体斗殴行为类别，和训练集上的真实标记，使用交叉熵函数设置损失函数

Loss＝L(y，y

其中，第1项是预测误差，y是步骤4-6预测的类别，y

步骤5-8根据训练集的预测结果，真实标记，和损失函数，对模型进行训练，获得群体斗殴识别模型的参数，参数包括，步骤4-4中图卷积参数，步骤4-6中的全连接层参数；

步骤6群体斗殴行为识别:

步骤6-1输入测试视频，采用滑动窗口获得视频帧；

步骤6-2输入视频帧集合，根据步骤1提取，及其个体位置特征，个体外观特征；

步骤6-3输入视频帧的个体外观特征，根据步骤2，进行个体间的因果关系预测，得到个体间的因果关系矩阵，和因果延时矩阵；

步骤6-4输入个体特征，根据因果关系矩阵，因果延时矩阵，根据步骤3，获得因果融合后的个体特征；

步骤6-5输入因果融合后的个体特征，位置特征，输入步骤5-8获得的图卷积参数，根据步骤4-1到步骤4-4，获得空间融合后的个体特征；

步骤6-6输入空间融合后的个体特征，输入步骤5-8获得的全连接层参数，根据步骤4-5和步骤4-6，预测群体斗殴行为类别。