基于视频运动信息特征提取与自适应增强算法的误差反向传播网络的异常行为识别方法

摘要

本发明涉及一种基于视频运动信息特征提取与基于自适应增强算法的误差反向传播网络(BP Adaboost)的异常行为识别方法，包括：首先根据视频相邻图像帧计算光流，由水平方向和竖直方向的光流计算光流方向，以光流的强度为权重计算光流方向直方图，并将直方图特征转换成具有概率属性的特征属性，然后根据正常和异常的训练样本训练基于自适应增强算法的误差反向传播网络(BP Adaboost)得到分类器。测试阶段，在使用训练得到的分类模型前，按照相邻帧光流直方图相同的计算方法，得到测试样本的光流方向直方图，最后根据训练学习得到的分类模型进行测试样本中的异常行为识别。本发明具有识别率高、计算复杂度小等特定，可广泛应用于异常行为识别、动作分析领域。

说明书

技术领域

本发明涉及图像处理技术，特别是涉及一种基于视频运动信息特征提取与基于自适应增强算法的误差反向传播网络(BP Adaboost)的异常行为识别方法。

背景技术

众所周知，为了确保公共场所安全，监控已经被广泛应用。然而当事故发生时，由于监控室的工作人员面对众多的监控视频，事故依然很难被及时发现。比如商场里突然出现抢劫案，得不到及时处理将会造成更大的影响。因此，像商场、繁华街道、火车站、运动场等公共场所都需要智能监控。

视频中的异常行为识别一直广泛受国内外学者的关注。通常情况下，我们将异常行为分为两类：一是小概率或相反的先验规则的行为；二是与已知的正常行为模式不匹配的行为。目前关于异常行为识别的方法主要有三类：支持向量机、决策树和神经网络。异常识别可以应用于多种领域，比如交通、医学等。

由此可见，现有技术中，基于自适应增强算法的误差反向传播网络(BP Adaboost)强分类器的在复杂场景中的异常检测的方法在该领域是非常前沿的。

近年来，人工智能技术发展日益成熟，异常行为检测问题是其中一个研究热点，在这些年的研究过程中，许多研究者提出了有效的检测方法。自适应增强算法(Adaboost)是Schapire和Freund在1995年提出的，有很多学者应用这一算法并且发表了文献。这一算法的优点是实用而且快速。本发明对于监控视频提取运动特征，与基于自适应增强算法的误差反向传播网络(BP Adaboost)相结合，快速的检测视频中的异常行为。

发明内容

有鉴于此，本发明的主要目的在于提供一种行为检测精度高、行为识别准确、计算复杂度也比较低的基于视频运动信息特征提取与基于自适应增强算法的误差反向传播网络(BP Adaboost)的异常行为识别方法。

为了达到上述目的，本发明提出的技术方案为：一种基于视频运动信息特征提取与基于自适应增强算法的误差反向传播网络(BP Adaboost)的异常行为识别方法，实现步骤如下：

步骤1、读取训练样本视频，将视频分解成单个帧，根据相邻帧计算光流；

步骤2、根据步骤1得到的光流，由水平方向和竖直方向的光流计算光流方向，以光流的强度为权重计算光流方向直方图，然后将光流直方图作为描述场景中运动信息的特征向量；

步骤3、将步骤2得到的训练样本的特征向量分成正常和异常两类，根据正常和异常类的视频样本，得到运动的特征向量，即全图的光流方向直方图，用这些特征数据训练BP网络的弱分类器，即基于图像运动特征的训练得到弱分类器；

步骤4、根据弱分类器的结果，利用自适应增强算法(Adaboost)调整若干个弱分类器的权重，由若干个弱分类器加权得到强分类器；

步骤5、根据步骤4得到的强分类器，便可以进行测试，读取待检测视频，按照步骤1的方法，将视频分解成单帧，根据相邻帧计算光流；

步骤6、由步骤5得到的光流，根据水平方向和竖直方向的光流计算光流方向，以光流的强度为权重计算光流方向直方图，然后将直方图作为描述场景中运动信息的特征向量；

步骤7、根据步骤4得到的强分类器和步骤6计算得到的特征向量，对待测试样本进行检测，便可检测正常、异常两类视频帧。

所述步骤2中以光流的强度为权重计算光流方向直方图的方法如下：

步骤i)将每一帧图像划分为相互重叠的图像块，每个图像块中包括若干图像元胞；

步骤ii)在由步骤i)中得到的每个图像元胞中计算光流方向，并以光流强度为权重，对光流方向进行加权；

步骤iii)步骤ii)中得到的光流方向计算每个图像元胞中的光流方向直方图；

步骤iv)最后对每个图像元胞的光流方向直方图进行串联，得到整幅图像的光流方向直方图，用来描述图像运动信息。

所述步骤(3)和步骤(4)的具体过程为：

步骤i)数据选择和网络初始化，从样本空间中随机选择m组训练数据，初始化数据的分布权值D_t(i)＝1/m，根据样本输入输出位数确定神经网络，初始化BP神经网络权值和阈值；

步骤ii)弱分类器预测，训练第t个弱分类器时，用训练数据训练BP神经网络并且预测训练数据输出，得到预测序列g(t)的预测误差和e_t，误差和的计算公式为：

式中，g(t)为预测序列；y为期望分类结果；D_i(i)为测试数据的分布权值。

步骤iii)计算预测序列权重，根据预测序列g(t)的预测误差和e_t计算序列的权重a_t，权重计算公式为

步骤iv)测试数据权重调整，根据预测序列权重调整下一轮训练样本的权重，调整公式为：

式中，B_t是归一化因子，目的是在权重比例不变的情况下使分布权值和为1；

步骤v)训练T轮后得到T组弱分类器f(g_t,a_t)，由T组弱分类器f(g_t,a_t)组合得到了强分类器h(x)；

步骤vi)训练样本中将正常样本设为1，异常样本设为-1，利用强分类器与待测视频的特征数据进行运算，得到分类结果，

所述步骤(7)中对待测试样本进行检测时，通过对图像运动信息进行检测，能够得到异常行为。

综上所述，本发明所述的基于视频运动信息特征提取与BP Adaboost的异常行为识别方法，首先对样本视频进行单帧分解，由视频相邻帧计算光流，根据水平方向和垂直方向的光流计算光流方向，以光流的强度为权重计算光流方向直方图，然后将直方图特征转换成具有概率属性的特征向量。根据正常和异常类的视频样本，训练BP Adaboost模型得到高准确率的分类器。在对待测视频样本进行视频帧分解，采用相同的方法获取光流方向直方图，并以直方图特征描述图像运动信息。根据得到的分类器与计算得到的特征算子，对待测试样本进行检测。

本发明与现有技术相比的优点在于：本发明具有行为检测精度高，行为识别准确、计算复杂度小等特定，可广泛应用于异常行为识别、动作分析领域。BP神经网络具有并行处理、联想记忆和自适应学习的能力，在非线性优化、预测评估和自适应控制等领域有广泛的应用，但当应用到安全监测时，由于其泛化能力受到隐层层数、输入因子数等的影响，需经过不断尝试才能建立一个较好的模型；而Adaboost算法能对同一个训练集进行训练得到不同的弱分类器，将弱分类器按不同的权重叠加(Boost)得到强分类器，将BP神经网络与Adaboost算法相结合得到的模型既避免了不断尝试的繁琐过程，又提高了BP神经网络的泛化能力，预测精度更高，稳定性更好。

附图说明

图1为本发明实现流程图；

图2是本发明所述基于光流场的光流方向直方图计算方法流程图；

图3是本发明所述基于自适应增强算法的误差反向传播网络(BP Adaboost)分类器训练方法。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。

本发明所述的基于视频运动信息特征提取与BP Adaboost的异常行为识别方法，首先对样本视频进行单帧分解，由视频相邻帧计算光流，根据水平方向和垂直方向的光流计算光流方向，以光流的强度为权重计算光流方向直方图，然后将直方图特征转换成具有概率属性的特征向量。根据正常和异常类的视频样本，训练BP Adaboost模型得到高准确率的分类器。在对待测视频样本进行视频帧分解，采用相同的方法获取光流方向直方图，并以直方图特征描述图像运动信息。根据得到的分类器与计算得到的特征算子，对待测试样本进行检测。

如图1所示，本发明具体实现如下步骤：

步骤1)、读取训练样本视频，将视频分解成单帧，根据相邻帧计算光流；

步骤2)、根据步骤1)得到的光流，由水平方向和竖直方向的光流计算光流方向，以光流的强度为权重计算光流方向直方图，然后将直方图特征转换成具有概率属性的特征向量；

步骤3)、根据正常和异常类的视频样本，训练BP网络弱分类器；

步骤4)、根据弱分类器的结果，利用Adaboost原理调整各分类器的权重，得到高准确率的强分类器。

步骤5)、读取待检测视频，将视频分解成单帧，根据相邻帧计算光流；

步骤6)、根据水平方向和竖直方向的光流计算光流方向，以光流的强度为权重计算光流方向直方图，然后将直方图作为描述场景中运动信息的特征向量；

步骤7)、根据视频运动信息特征提取方法，计算带测试的视频中的相关运动信息，即光流方向直方图，而后利用步骤3与步骤4得到的强分类器对光流方向直方图进行分类，得到所检测帧的标识，根据分类结果，即得到正常、异常两类视频帧。

如图2所示，所述步骤2)中的光流方向直方图计算方法如下：

步骤i)、将每一帧图像划分为相互重叠的图像块，每个图像块中包括若干图像元胞；

步骤ii)、在由步骤i)中得到的每个元胞中计算光流方向，并以光流强度为权重，对光流方向进行加权；

步骤iii)、步骤ii)中得到的光流方向分到9个分区中，计算光流方向直方图；

步骤iv)、最后对全图的光流直方图为每个图像块的串联；

光流方向直方图作为本发明所述一种描述符，其计算过程中的超参数，比如重叠比、块大小和图像元胞大小，是由使用交叉验证或验证集的网格搜索决定。从视频中分解出的视频帧，首先计算光流从而获得低等级特征。为了获取光流方向直方图，每一帧都被分解成密度和重叠块，然后分割成图像元胞，以光流强度对每一个元胞的光流方向进行加权。直方图通过图像元胞中的光流场方向生成，光流方向直方图是通过串联所有图像块的直方图获得。

如图3所示，所述步骤3中的分类阈值计算方法是，根据隐马尔可夫模型对正常和异常的视频样本进行分析，根据模拟退火算法得到分类阈值。

Adaboost算法的思想是合并多个“弱”分类器的输出以产生有效分类。其主要步骤为：首先给出弱学习算法和样本空间(x,y)，从样本空间中找出m组训练数据，每组训练数据送我权重都是1/m，然后用弱学习算法迭代运算T次，每次运算后都按照分类结果更新训练数据权重分布，对于分类失败的训练个体赋予较大权重，下一次迭代运算时更加关注这些训练个体。弱分类器通过反复迭代得到一个分类函数序列f₁,f₂,…f_T，每个分类函数赋予一个权重，分类结果越好的函数，其对应权重越大。T次迭代后，最终强分类函数F由弱分类函数加权得到。BP>

算法步骤如下：

步骤i)、数据选择和网络初始化。从样本空间中随机选择m组训练数据，初始化数据的分布权值D_t(i)＝1/m，根据样本输入输出位数确定神经网络，初始化BP神经网络权值和阈值。

步骤ii)、弱分类器预测。训练第t个弱分类器时，用训练数据训练BP神经网络并且预测训练数据输出，得到预测序列g(t)的预测误差和e_t，误差和的计算公式为：

式中，g(t)为预测序列；y为期望分类结果。

步骤iii)、计算预测序列权重。根据预测序列g(t)的预测误差和e_t计算序列的权重a_t，权重计算公式为

步骤iv)、测试数据权重调整。根据预测序列权重调整下一轮训练样本的权重，调整公式为：

式中，B_t是归一化因子，目的是在权重比例不变的情况下使分布权值和为1。

步骤v)、强分类函数。训练T轮后得到T组弱分类器f(g_t,a_t)，由T组弱分类函数f(g_t,a_t)组合得到了强分类器。

式中a_t为权重，sign为符号函数。

光流方向直方图不仅有高的计算效率，对噪声有着更好的容忍度。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。