基于全局显著边缘区域的人体动作特征提取方法

摘要

本发明公开了基于全局显著边缘区域的人体动作特征提取方法，利用一个区域和整个图像的对比度来计算显著度；减少色彩空间的颜色数量，平滑颜色空间的显著度；根据相邻区域的空间关系计算显著性区域；对二值化阈值分割出的前景区域做形态学梯度变化，生成全局显著边缘区域；遍历视频帧不同尺度下所有网格的强角点；在显著边缘区域采集光流幅值不为零的关键特征点；根据修正后光流场求强角点的位移；用强角点连续多帧坐标位移轨迹，以及邻域梯度矢量形成人体动作局部时空特征。本发明通过全局显著边缘区域提取动作特征，剔除与人体运动无关的背景噪声点，消除相机运动对光流计算的影响，提升人体动作局部时空特征描述的精确性，提高人体行为识别率。

说明书

技术领域

本发明属于视频分析领域，涉及一种人体行为自动识别方法，具体涉及基于 全局显著边缘区域的人体动作特征提取方法。

背景技术

随着互联网的不断发展、视频监控系统的不断推广，视频数据量急剧增长。 面对海量涌现的视频数据，如何分析视频人体行为成为一个亟待解决的问题。由 于视频数据容易受到前景运动区域不明晰、相机抖动幅度大、场景环境复杂的影 响，使得人体运动在视频数据中存在大量的噪声角点，导致视频帧的关键特征点 提取不准确，人体行为识别精度受限。

人体动作特征提取是人体行为识别的重要组成部分，属于视频分析领域的一 项重要研究内容，其目的是让计算机自动提取人体动作特征，自动判断预测人体 行为。因此，有效的动作特征提取方法有利于提高动作识别的精度。

目前人体动作特征提取方法分为3类：基于单帧图像或者多帧视频流提取底 层局部时空兴趣点的方法、基于中层语义学习的动作特征属性描述方法和基于高 层语义特征点追踪与肢体可变形模板的方法。

基于底层局部时空兴趣点的方法需要对目标物体进行局部时空兴趣点的提 取，并且结合一定的光流运动估计来获得对目标物体运动建模，并辅以各种描述 算子表达肢体动作。这类方法的缺陷在于容易受到背景噪声、相机抖动和目标遮 挡的影响，而且缺乏对人体行为全局特征和行为模型整体性的分析和理解。

基于中层语义学习的方法通常在提取出底层局部动作特征的基础上，常通过 前景显著区域、运动目标检测、物体轮廓分割、判别字典学习、多通道特征融合、 卷积神经网络等方法，对底层动作特征进行更高层次的语义特征建模，获取多帧 视频流中目标物体运动的全局或局部时空特征表达。这种方法的问题在于高度依 赖输入特征的表达能力和中层语义学习算法框架的性能。

基于高层语义特征点的方法依赖于人工手动标注或者体感相机，标定人体的 骨骼关节点进行实时追踪，并构建出肢体树形结构模型或者可变形模板，结合关 节点运动历史和常用描述算子表征人体动作特征。这种方法的缺陷在于需要凭借 人类经验花费大量时间标注视频样本，或者依靠智能体感设备标定骨骼关节点。

与动作特征提取方法相关的专利列举如下：

人体交互领域：2015年中科院自动化所公开发明专利《人体动作采集和动 作识别系统及其控制方法》，该发明使用无线收发器和3轴加速度传感器电路来 获取人体动作，旨在提高舞台表演和演讲的效果；2015年西安电子科技大学公 开发明专利《一种基于动作识别的智能手表及动作识别方法》，该发明通过设定 人体前臂手势动作对智能手表进行控制操作；2015年北京智谷睿拓公司公开发 明专利《头部动作确定方法和装置》，该发明通过获取所述人体的脑电检测信息， 确定与所述脑电检测信息对应的头部动作；2015年联想(北京)有限公司公布发明 专利《一种动作识别方法、装置及电子设备》，该发明增加了动作获取的触发条 件，只有在监测区域内与所述电子设备物理距离满足条件时才触发动作识别。

视频分析领域：2015年浙江工业大学公开发明专利《一种基于时间金字塔 局部匹配窗口的动作识别方法》，该发明从立体相机获得的人体深度图中提取出 3D关节点，用姿态之间的3D位移差作为每帧深度图的特征表达；2015年北京 中科盘古科技公司公布发明专利《基于空间分割学习的人体肢体姿势动作识别方 法》，该发明通过人体关节数据与所建立特定姿势序列数据库进行匹配比对；2015 年西南科技大学公开发明专利《一种姿势序列有限状态机动作识别方法》，该发 明将Kinect传感器获取的肢体节点数据进行坐标变换，采用统一的空间网格模 型对变换数据进行度量；2015年中科院计算所公布发明专利《一种基于时序信 息的跨视角动作识别方法及系统》，该发明将兴趣点运动强度作为特征描述，结 合源视角视频的源粗粒度标注信息以获得目标粗粒度信息。

基于显著性分析的视频分析领域：2015年西南科技大学公布发明专利《一 种基于STDF特征的人体行为识别算法》，该发明利用视频图像的深度信息确定 人体运动显著性区域，通过计算区域内光流作为度量区域活跃度的能量函数，对 运动显著性区域进行高斯取样，使样本点分布于运动剧烈区域，将采集到的样本 点作为动作底层特征；苏州大学公布发明专利《基于阈值矩阵和特征融合视觉单 词的人物行为识别方法》，该发明通过视频帧显著度取得人物区域位置，再对区 域内外采取不同的阈值检测出兴趣点作为动作特征；2015年南京邮电大学公布 发明专利《一种基于RGB-D视频的人体行为识别方法》，该发明从RGB-D视频 分别提取稠密MovingPose特征、SHOPC特征和HOG3D特征，采用边缘限制的 多核学习方法对三种特征进行特征融合；2014年天津大学公布发明专利《一种 基于局部特征的人体动作识别方法》，该发明从动作图像序列中提取时空兴趣点 特征和坐标，通过划分人体区域分别训练词袋字典模型来给局部特征编码。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于全局显著边缘区域的 人体动作特征提取方法。

本发明所采用的技术方案是：基于全局显著边缘区域的人体动作特征提取方 法，其特征在于，包括以下步骤：

步骤1：减少RGB色彩空间的颜色数量，平滑颜色空间的显著度；

步骤2：根据相邻区域的空间关系计算显著性区域；

步骤3：采用二值化阈值分割前景显著区域；

步骤4：对分割出的前景区域做形态学梯度变化，生成全局显著边缘区域；

步骤5：通过特征点对和随机采样一致性修正光流场；

步骤6：遍历视频帧不同尺度下所有网格提取强角点；

步骤7：在显著边缘区域中采集修正光流幅值不为零的强角点作为关键特征 强角点；

步骤8：检查步骤7获得的关键特征强角点数目，如果数目为零则取步骤6 的强角点作为关键特征强角点；

步骤9：根据修正光流场计算关键特征强角点的位移；

步骤10：用强角点连续多帧的坐标位移轨迹，以及角点邻域梯度矢量组成 人体动作局部时空特征。

所述步骤1中，减少RGB色彩空间的颜色数量，平滑颜色空间的显著度； 具体实现过程为：

定义图像I中第k个像素I_k的显著度S(·)为：

$S\left(I_k\right)=\underset{\forall I_i\in I}{\Sigma }D(I_k,I_i)\underset{\forall I_i\in I}{\Sigma }\left|\right|I_k-I_i\left|\right|,---\left(1\right)$

其中D(I_k,I_i)为像素I_k和像素I_i在颜色空间的距离度量；

先将RGB色彩空间3个通道的颜色量化到12个不同的值，使图像像素的颜 色数量减少到12³＝1728；接着通过选择高频出现的颜色，将颜色数量减少到n＝85， 确保这些颜色覆盖95％以上的像素；然后对每个量化后颜色c的显著度进行平滑 操作，用m个近邻颜色显著性的加权平均值改善显著度，公式如下：

$S^{\prime }\left(c\right)=\frac{1}{(m-1)T}\underset{i=1}{\overset{m}{\Sigma }}(T-D(c,c_i\left)\right)S\left(c_i\right),---\left(2\right)$

其中为颜色c和m个近邻颜色c_i之间的距离。

所述步骤2中，根据相邻区域的空间关系计算显著性区域；实现过程为：

先使用图像分割算法将输入视频帧分成多个区域，并为每个区域建立起颜色 直方图；对于每个区域r_k，通过与其它区域的颜色对比度来计算显著度，公式如 下：

$S\left(r_k\right)=\underset{r_k\ne r_i}{\Sigma }w\left(r_i\right)D_r(r_k,r_i),---\left(3\right)$

其中w(r_i)为图像中第i个区域的像素总数，表示区域r_i的权重，以此强调大 区域的颜色对比度；D_r(·,·)为两个区域的颜色距离；两个区域r₁和r₂的颜色 距离为：

$D_r(r_1,r_2)=\underset{i=1}{\overset{n_1}{\Sigma }}\underset{j=1}{\overset{n_2}{\Sigma }}f\left(c_{1,i}\right)f\left(c_{2,j}\right)D(c_{1,i},c_{2,j}),---\left(4\right)$

其中c_1,i为区域r₁中第i个像素的颜色值，f(c_1,i)表示c_1,i在图像I中出现的概 率；c_2,j为区域r₂中第j个像素的颜色值，f(c_2,j)表示c_2,j在图像I中出现的概率； D(c_1,i,c_2,j)表示两个像素c_1,i和c_2,j的颜色距离；

然后在公式(3)的基础上再加上相邻空间信息，增大近邻空间区域的影响， 见公式：

$S\left(r_k\right)=\underset{r_k\ne r_i}{\Sigma }\exp (-D_s(r_k,r_i)/{\sigma }_s^2)w\left(r_i\right)D_r(r_k,r_i),---\left(5\right)$

其中D_s(r_i,r_k)为区域r_i和r_k的空间距离(即两个区域重心的欧氏距离)，σ_s为颜色空间权重强度。

所述步骤3中，采用二值化阈值分割前景显著区域；实现过程为：将公式(5) 计算出的视频帧显著区域，从浮点型数据转换为8位无符号灰度图，通过设定一 个[0，255]的阈值进行二值化操作，以得出的二值化图像作为输入视频帧的前景 区域RCmap。

所述步骤4中，对分割出的前景区域做形态学梯度变化，生成新的全局显著 边缘区域RCBmap；实现过程为：用以下公式对RCmap做形态学梯度变化：

RCBmap＝morph_grad(RCmap)＝dilate(RCmap)-erode(RCmap),(6)

其中morph_grad(·)表示形态学梯度操作，dilate(·)和erode(·)分别表示膨胀 和腐蚀操作。

所述步骤5中，通过特征点对和随机采样一致性修正光流场；实现过程为： 先用算法求出当前视频帧的稠密光流场矢量ω_t，通过前后两帧的 SURF特征点和关键特征强角点组成特征点对，再用RANSAC算法和这些特征 点对求出修正后的光流场矢量ω′_t。

所述步骤6中，遍历视频帧不同尺度下所有网格提取强角点；实现过程为：

对于下采样后每个不同尺度的视频帧，先按n*n像素的方式划分网格，再用 以下公式提取当前视频帧I的强角点：

$T=0.001\times \underset{i\in I}{max}min({\lambda }_i^1,{\lambda }_i^2),---\left(7\right)$

其中为视频帧I中每个像素点i邻域范围内，由图像导数求出的2*2 梯度协方差矩阵特征值；对于每个大于阈值T的像素点对应特征值，记录其在视 频帧I中的坐标位置，如果该像素点坐标落在视频帧中一个网格的n*n像素范围， 则将该网格的中心像素点作为强角点P。

所述步骤7中，在显著边缘区域中采集修正光流幅值不为零的强角点作为关 键特征强角点；实现过程为：根据公式(6)获得的每个不同尺度下视频帧的显 著边缘区域RCBmap，从t时刻视频帧所有网格的全部强角点中，筛选出坐标落 在显著边缘区域的强角点，如果该角点在下一帧的修正光流矢量经过归一化后幅 值大于最小光流阈值，那么就将该角点作为关键特征强角点P_t；光流场在第i个 像素点的运动矢量经过归一化后的幅值为mag(I_i)，计算公式如下：

$mag\left(I_i\right)=\frac{\sqrt[2]{I_i^u*I_i^u+I_i^v*I_i^v}}{\underset{\forall i\in I}{max}\left(\sqrt[2]{I_i^u*I_i^u+I_i^v*I_i^v}\right)},---\left(8\right)$

其中，假设为当前光流场I在第i个像素点的运动矢量，那么和分别为在水平方向上和垂直方向上的分量。所述步骤8中，检查步骤7获得的关键特征 强角点数目，如果数目为零则取步骤6的强角点作为关键特征强角点；实现过程 为：检查步骤7在当前视频帧采集到的关键特征强角点数目，如果角点数目为零， 那么将取消显著边缘区域和最小光流阈值的限制，直接按照步骤6的方法，以t 时刻视频帧在当前尺度下所有的强角点作为关键特征强角点P_t。

所述步骤9中，根据修正光流场计算关键特征强角点的位移；实现过程为： 根据步骤5计算出的修正光流场矢量ω′_t，记录关键特征强角点P_t在t+1帧的位移 坐标P_t+1，公式如下：

P_t+1＝(x_t+1,y_t+1)＝(x_t,y_t)+(M*ω′_t)|_(xt,yt),(9)

其中M表示中值滤波器的核，(x_t,y_t)表示角点P_t+1在视频帧的坐标位置。

所述步骤10中，用强角点连续多帧的坐标位移轨迹，以及角点邻域梯度矢 量组成人体动作局部时空特征；实现过程为：记录每个关键特征强角点连续L 帧的坐标P_t至P_t+L，将该角点在连续多帧的邻域梯度矢量HOG、HOF和MBH 描述算子，按16像素×16像素×5帧形成局部特征时空卷；将该角点连续L＝15 帧内形成的3个局部特征时空卷，按HOG、HOF、MBH描述算子计算该角点的 邻域梯度矢量，组成人体动作局部时空特征。

相对于现有技术，本发明的有益效果为：通过全局对比度显著算法分割出前 景运动的显著区域，根据运动边缘区域梯度变化具有强判别力的视觉特性，在形 态学梯度变换后逐帧生成的全局显著边缘区域中，结合修正的光流运动矢量，提 取修正光流幅值不为零的关键特征强角点，并估计出这些强角点连续多帧的位移 轨迹，用描述算子组合形成局部特征时空卷，实现中层语义级的动作特征提取方 法。本发明可以剔除与人体运动无关的背景噪声，消除相机抖动对动作特征中 HOF、MBH描述算子的影响，提升人体动作局部时空特征描述的准确性，提高 人体行为识别率。

附图说明

图1是本发明实施例的流程图。

图2是本发明实施例的动作局部特征时空卷示例图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对 本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解 释本发明，并不用于限定本发明。

参见图1，本发明实施例提供的一种基于全局显著边缘区域的人体动作特征 提取方法，具体包括以下步骤：

步骤1：减少RGB色彩空间的颜色数量，平滑颜色空间的显著度。具体实 现过程为：定义图像I中第k个像素I_k的显著度S(·)为：

$S\left(I_k\right)=\underset{\forall I_i\in I}{\Sigma }D(I_k,I_i)=\underset{\forall I_i\in I}{\Sigma }\left|\right|I_k-I_i\left|\right|,---\left(1\right)$

其中D(I_k,I_i)为像素I_k和像素I_i在颜色空间的距离度量。本申请中所有S(·) 都是表示显著度的意思，如S(I_k)表示图像I中第k个像素的显著度。S是Saliency 的简写。公式(1)中的符号i表示图像第i个像素点。

先将RGB色彩空间3个通道的颜色量化到12个不同的值，使图像像素的颜 色数量减少到12³＝1728。接着通过选择高频出现的颜色，将颜色数量减少到n＝85， 确保这些颜色覆盖95％以上的像素。然后对每个量化后颜色c的显著度进行平滑 操作，用m个近邻颜色显著性的加权平均值改善显著度。公式如下：

$S^{\prime }\left(c\right)=\frac{1}{(m-1)T}\underset{j=1}{\overset{m}{\Sigma }}(T-D(c,c_j\left)\right)S\left(c_j\right),---\left(2\right)$

其中，为颜色c和m个近邻颜色c_j之间的距离。下标j表示 第j个邻近颜色；c为color的简写，颜色c经过量化后只有1728个值，而颜色 再次减少到n＝85后，可降低距离计算的时间复杂度。S(c_j)表示量化后的颜色c 中第j个近邻颜色的显著度。

步骤2：根据相邻区域的空间关系计算显著性区域。具体实现过程为：

先使用图像分割算法将输入视频帧分成多个区域，并为每个区域建立起颜色 直方图。对于每个区域r_k，我们通过与其它区域的颜色对比度来计算显著度，公 式如下：

$S\left(r_k\right)=\underset{r_k\ne r_i}{\Sigma }w\left(r_i\right)D_r(r_k,r_i),---\left(3\right)$

其中w(r_i)为区域r_i的权重，D_r(·,·)为两个区域的颜色距离。而本申请中 所有以D(·,·)形式出现的函数，都可以用公式(1)的距离度量函数。D(I_k,I_i)、 D(c,c_j)都是表示两个参数之间的颜色距离。D是Distance的简写，r是region的 简写，w是weight的简写，w(r_i)表示图像中第i个区域的像素总数，以此强调大 区域的颜色对比度。两个区域r₁和r₂的颜色距离为：

$D_r(r_1,r_2)=\underset{i=1}{\overset{n_1}{\Sigma }}\underset{j=1}{\overset{n_2}{\Sigma }}f\left(c_{1,i}\right)f\left(c_{2,j}\right)D(c_{1,i},c_{2,j}),---\left(4\right)$

其中c_1,i为区域r₁中第i个像素的颜色值，f(c_1,i)表示c_1,i在图像I中出现的概 率；c_2,j为区域r₂中第j个像素的颜色值，f(c_2,j)表示c_2,j在图像I中出现的概率； D(c_1,i,c_2,j)表示两个像素c_1,i和c_2,j的颜色距离。

然后在公式(3)的基础上再加上相邻空间信息，增大近邻空间区域的影响， 见公式：

$S\left(r_k\right)=\underset{r_k\ne r_i}{\Sigma }\exp (-D_s(r_k,r_i)/{\sigma }_s^2)w\left(r_i\right)D_r(r_k,r_i),---\left(5\right)$

其中D_s(r_i,r_k)为区域r_i和r_k的空间距离(即两个区域重心的欧氏距离)，σ_s为颜色空间权重强度。

步骤3：采用二值化阈值分割前景显著区域。具体实现过程为：将公式(5) 计算出的视频帧显著区域，从浮点型数据转换为8位无符号灰度图，以该灰度图 的均值作为阈值进行二值化操作，得出的二值化图像即为输入视频帧的前景显著 区域RCmap。

步骤4：对分割出的前景区域做形态学梯度变化，生成新的全局显著边缘区 域RCBmap。具体实现过程为：用以下公式对RCmap做2次形态学梯度变化扩 大显著边缘区域范围：

RCBmap＝morph_grad(RCmap)＝dilate(RCmap)-erode(RCmap),(6)

其中morph_grad(·)表示形态学梯度操作，dilate(·)和erode(·)分别表示膨胀 和腐蚀操作。公式(3)、(5)中的下标i表示第i个区域。

步骤5：通过特征点对和随机采样一致性修正光流场。实现过程为：先用 算法求出当前视频帧的稠密光流场矢量ω_t，通过前后两帧的SURF特 征点和关键特征强角点组成特征点对，再用RANSAC算法和这些特征点对求出 修正后的光流场矢量

步骤6：遍历视频帧不同尺度下所有网格提取强角点。实现过程为：对于下 采样后每个不同尺度的视频帧，先按n*n像素的方式划分网格，再用以下公式提 取当前视频帧I的Harris强角点：

$T=0.001\times \underset{i\in I}{max}min({\lambda }_i^1,{\lambda }_i^2),---\left(7\right)$

其中为视频帧I中每个像素点i周围3*3像素邻域范围内，由图像导 数求出的2*2梯度协方差矩阵特征值。对于每个大于阈值T的像素点对应特征值， 记录其在视频帧I中的坐标位置，如果该像素点坐标落在视频帧中一个网格的n*n 像素范围，则将该网格的中心像素点作为强角点P。

步骤7：在显著边缘区域中采集修正光流幅值不为零的强角点作为关键特征 强角点。实现过程为：根据公式(6)获得的每个不同尺度下视频帧的显著边缘 区域RCBmap，从t时刻视频帧所有网格的全部强角点中，筛选出坐标落在显著 边缘区域的强角点，如果该角点在下一帧的修正光流矢量经过归一化后幅值大于 最小光流阈值(可将最小光流阈值设为0.001)，那么就将该角点作为关键特征强角 点P_t。光流场在第i个像素点的运动矢量经过归一化后的幅值为mag(I_i)，计算公 式如下：

$mag\left(I_i\right)=\frac{\sqrt[2]{I_i^u*I_i^u+I_i^v*I_i^v}}{\underset{\forall i\in I}{max}\left(\sqrt[2]{I_i^u*I_i^u+I_i^v*I_i^v}\right)},---\left(8\right)$

其中，假设为当前光流场I在第i个像素点的运动矢量，那么和分别为在水平方向上和垂直方向上的分量。步骤8：检查步骤7获得的关键特征强角点 数目，如果数目为零则取步骤6的强角点作为关键特征强角点；实现过程为：检 查步骤7在当前视频帧采集到的关键特征强角点数目，如果角点数目为零，那么 将取消显著边缘区域和最小光流阈值的限制，直接按照步骤6的方法，以t时刻 视频帧在当前尺度下所有的强角点作为关键特征强角点P_t。

步骤9：根据修正光流场计算关键特征强角点的位移；实现过程为：根据步 骤5计算出的修正光流场矢量ω′_t，记录关键特征强角点P_t在t+1帧的位移坐标 P_t+1，公式如下：

P_t+1＝(x_t+1,y_t+1)＝(x_t,y_t)+(M*ω′_t)|_(xt,yt),(9)

其中M表示中值滤波器的核，(x_t,y_t)表示角点P_t+1在视频帧的坐标位置。

步骤10：用强角点连续多帧的坐标位移轨迹，以及角点邻域梯度矢量组成 人体动作局部时空特征。实现过程为：记录每个关键特征强角点连续L帧的坐标 P_t至P_t+L，将该角点在连续多帧的邻域梯度矢量如HOG、HOF和MBH描述算 子，按16像素×16像素×5帧形成局部特征时空卷。将该角点连续L＝15帧内形 成的3个局部特征时空卷，按HOG、HOF、MBH描述算子计算该角点的邻域梯 度矢量，串联组成人体动作局部时空特征。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是 对本发明保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离 本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的 保护范围之内，本发明的请求保护范围应以所附权利要求为准。