一种基于形状特征和轨迹分析的行人事件检测方法

摘要

本发明提供了一种基于形状特征和轨迹分析的行人事件检测方法，通过使用背景差分法的目标分割获得前景目标，对同一目标的连通域采用基于块的方法标记，同时记录该连通域的外接矩形并提取其几何形状特征完成目标识别，当识别出类行人目标后提取目标的角点，利用角点位置信息对角点跟踪匹配，重复上述过程，可以得到目标的运动轨迹，对该轨迹求分段拐点，在拐点形成的每个分段内分别做线性分析，实现目标速度的求取，在此基础上分析行人事件状态信息，完成交通安全预警。本发明的检测方法适用于复杂多变的交通场景，能对监控视频范围内出现的行人准确识别、跟踪并预警，实用价值高，具有广阔的应用前景。

说明书

技术领域

本发明属于视频检测领域，具体涉及一种基于形状特征和轨迹分析的行 人事件检测方法。

背景技术

随着道路交通建设的发展，行人与车辆的矛盾越来越突出，导致交通事 故不断发生。行人违章事件是引起交通事故的一个重要原因，例如闯红灯、 横穿马路、闯入高速公路等，因此对行人违章事件的监控成为交通监控的一 个重要部分。目前的交通监控主要通过人工查看监控视频和道路巡视实现， 这种方式效率低，不能做到实时监控，对资源也造成极大浪费。在智能交通 领域，传统的行人检测方法主要包括温度检测、感应线圈检测、声音检测等。 温度检测易受交通场景众多热源目标的干扰，造成误检。感应线圈检测灵敏 度不高、安装不便、可维护性差。声音检测也因交通场景噪声很多而检测准 确率不高。

近年来，基于视频的检测技术由于其检测范围大、能满足实时性、可以 提供很多辅助信息等优点广泛应用。但是由于交通场景比较复杂，背景及运 动目标易因光线、天气等因素发生变化，虽然有很多行人检测的方法，如基 于人体参数模型的方法、基于人体局部特征的方法等能实现行人事件报警， 但无法满足对环境因素良好适应性以及获取实时、准确的交通检测信息的要 求。

发明内容

针对现有技术的不足和缺陷，本发明的目的在于，提供一种基于形状特 征和轨迹分析的行人事件检测方法，该方法能够克服交通道路场景复杂多变 的因素，对检测区域内的行人事件实现实时、准确的检测，并对其危险等级 预警。

为了实现上述任务，本发明采用如下技术方案予以实现：

一种基于形状特征和轨迹分析的行人事件检测方法，该方法按照以下步 骤进行：

步骤一，建立图像像素到路面实际距离的映射关系，即映射表，同时将 道路图像划分为道路内和路肩两部分；

步骤二，将第1帧图像和背景图像在相同的块坐标系下都划分成多个块 区域,背景的大小为W*H,划分的块大小为w*h，划分的块区域个数T为 T＝(W/w)*(H/h)，用当前第1帧图像和背景图像对应像素相减，得到大小 都为W*H的帧差图像，将帧差图像划分为T个大小都为w*h的块，记第j 个块内大于灰度阈值A的像素个数为N_j，若N_j大于阈值B，则该块内所有 像素值赋为255，否则赋为0，其中：

W为图像水平方向像素个数；

H为图像竖直方向像素个数；

w为块的像素宽度；

h为块的像素高度；

j＝1,2,3...T；

所述的阈值A的取值为30；

所述的阈值B的取值范围为块内像素总数的0.5～0.75倍；

步骤三，以块为单位对二值化图像从左到右，从上到下依次扫描，对同 一个目标的连通域标以相同的标号，同时获得该连通域的最小外接矩形，计 算该外接矩形的高度R_h、宽度R_w、高宽比R_a和矩形度R_j，当R_a的值在阈值 C范围内，并且R_j的值在阈值D范围内时，保留该目标，当R_a或R_j不在阈值 C和D范围内时，去除该目标，其中：

所述的阈值C范围为1.5～8；

所述的阈值D范围为0.5～1；

步骤四，对第1帧图像上标记的第j个前景目标寻找最佳角点，选取该 目标某像素点P_i(m,n)为中心，建立一个大小为a*a的窗口，分别计算过中心 像素点P_i(m,n)的横向、纵向以及两个对角线方向上相邻像素灰度差的平方 和，取其结果中的最小值g_min，若g_min大于阈值E，则该点为角点，若g_min小 于等于阈值E，则该点不为角点并舍去，其中：

所述的a为窗口边长的像素宽度；

所述的阈值E的取值范围为180～220；

步骤五，将角点的位置信息以及匹配跟踪次数信息记录在一个新建的空 的结构体中，目标匹配跟踪次数初始化为零；

步骤六，对第二帧、第三帧、…、第i帧图像，重复步骤二、步骤三和 步骤四的方法得到当前帧中目标的角点位置，然后以前一帧记录的角点位置 为依据，与当前帧中的记录的目标的角点位置做比较，则有：

当两者位置绝对值差大于阈值F，就确定当前帧中该角点所在的目标是 当前帧中新的目标，再按照步骤五的方法进行处理；

当两者位置绝对值差小于等于阈值F，则用当前帧的角点位置信息替换 前一帧的角点位置信息作为新的比较基准依据，匹配跟踪次数加1，其中：

i为正整数；

所述的阈值F的取值范围为1～5；

步骤七，当匹配次数大于等于阈值G时，则跟踪完毕，得到跟踪轨迹为： Track＝{P_i,P_i+1,...P_i+n}，执行步骤八，其中：

所述的阈值G的取值范围是50～70；

步骤八，查找映射表，得到轨迹Track＝{P_i,P_i+1,...P_i+n}中每个角点对应的 实际距离，即实际运动轨迹Track^,＝{(s_i,0),(s_i+1,1),...,(s_i+n,n)}，其中：

s_i+n表示像素点P_i+n对应的实际距离，n表示点的下标；

步骤九，由实际运动轨迹曲线首点P_i和尾点P_i+n得到经过这两点的一条 直线的直线方程：y＝kx+b，该轨迹上任意一点到这条直线的距离为：

$d_r=\frac{|k{S}_{i+r}-r+b|}{\sqrt{k^2+1}}$

式中：k为直线的斜率，b为截距，(x,y)表示该直线上的任意一点，(s_i+r,r) 表示该轨迹上任意一点，d_r表示(s_i+r,r)点到直线的距离；

对所有的d_r进行排序找出最大的d_max，若大于阈值H，则该点为目标运 动轨迹的拐点，保存该点(s_i+r,r)，执行步骤十，其中：

所述的阈值H的取值为70cm；

步骤十，拐点(s_i+r,r)将运动轨迹曲线分段，以(s₀,0)和(s_i+r,r)为首尾点的 曲线段，以及以点(s_i+r,r)和(s_i+n,n)为首尾点的曲线段，在这两条曲线段内分 别执行步骤九，继续求取各段轨迹的拐点，直到这条轨迹上所有点到直线距 离d_r≤H时为止，这样得到一组拐点{(s_i+r0,r₀),(s_i+r1,r₁),...,(s_i+rm,r_m)}；

步骤十一，拐点将运动轨迹分割成运动轨迹曲线段，对每一段运动轨迹 曲线段使用最小二乘法进行线性拟合得到相关系数r，则有：

当r≥0.5时，保留该段运动轨迹曲线段；

当r＜0.5时，去除该段运动轨迹曲线段；

最终得到一组运动轨迹曲线段；

步骤十二，利用经过步骤十一筛选后得到的每个运动轨迹曲线段的首点 和尾点的实际距离和时间差求取分段内目标速度v，表达式为：

$v=\frac{|s_f-s_s|}{\mathrm{N\Delta t}}$

式中：

N表示一段运动轨迹曲线段中轨迹点的间隔段数；

s_f表示一段运动轨迹曲线段的尾点实际距离；

s_s表示一段运动轨迹曲线段的首点实际距离；

Δt表示一段运动轨迹曲线段中相邻两个轨迹点的时间间隔；

当所有分段内的速度都满足0.3m/s＜v＜2m/s时，即可确定该目标为 行人；

步骤十三，根据目标在当前帧的坐标点P_i+n位置判断行人事件危险等级：

（1）当点P_i+n处于道路内部时，该行人事件危险等级为高；

（2）当点P_i+n处于路肩时，如果行人运动轨迹矢量的方向与道路正确行 使方向夹角大于30度，则该行人事件危险等级为中；

（3）当点P_i+n处于路肩时，如果行人运动轨迹矢量的方向与道路正确行 使方向夹角小于等于30度，则该行人事件危险等级为低。

本发明的基于形状特征和轨迹分析的行人事件检测方法，与现有技术相 比，本方法针对交通场景监控视频视距较远以及行人姿态的多变性造成的 目标分割困难的特点，结合背景差分法利用行人的几何形状特征完成目标分 割和初步识别，并对目标提取稳定、单一的角点，利用匹配算法获得目标跟 踪轨迹。由于行人运动的随意性，所得行人轨迹具有非线性的特点，如果直 接对整段轨迹曲线线性拟合，将有较大的误差，故本发明采用分段的方法， 对目标轨迹曲线寻找拐点，这些拐点能将轨迹曲线分为若干个具有线性关系 的线段，然后对每个相邻拐点间的线段使用最小二乘法进行线性拟合。经过 该种处理后，能够获取更加准确的目标速度信息，提高行人事件检测的准确 率。此外，本发明通过计算并分析行人位置信息以及运动方向，可以实现 行人事件危险等级的判断，完成提前预警功能。

附图说明

图1为第1帧图像。

图2为道路不同区域划分,白色表示道路内。

图3为基于形状特征识别出的类行人，图中白色方框为目标外接矩形。

图4为目标特征点示意图，其中白色圆点为该目标的特征角点。

图5为模版匹配搜索方法，角点所在图像中黑色圆点表示特征角点，黑 点外侧小正方形为模板，待搜索图像中阴影部分为搜索区域，在搜索区域中 用模板遍历搜索区域，找到使MAD值最小的匹配块，作为新的模版，其中心 为新的角点。

图6为视频中目标跟踪轨迹示意图，其中白色线表示行人的特征角点在 图像中的运动轨迹。

图7为目标实际运动轨迹图，每一时刻的位置用白色圆点表示，图中横 坐标为时间，单位为0.04s；纵坐标为实际距离，单位为cm。

图8为对实际轨迹曲线寻找分段拐点，拐点处用灰色十字标出。

图9为行人事件危险等级预警，显示行人位置及运动方向，并判断行人 事件危险等级。

以下结合附图和实施例对本发明的内容作进一步详细说明。

具体实施方式

本实施例给出一种基于形状特征和轨迹分析的行人事件检测方法，通过 使用背景差分法的目标分割、基于块的连通域标记、基于几何形状特征的目 标识别、角点提取，目标轨迹跟踪以及寻找轨迹分段拐点、线性分析实现目 标速度得求取，在此基础上完成行人事件状态分析，完成交通安全预警。

需要说明的是，本发明的方法过程中所处理的图像是视频中的沿正时间 序列的第一帧图像、第二帧图像、第三帧图像、…、第i(i为正整数)帧图 像。

需要说明的是本实施例中的映射表采用发明专利“一种线性模型下的摄 像机几何标定方法”（公开(公告)号:CN102222332A）中所述的摄像机几何 标定方法得到。

设每一帧视频图像的大小为W*H，每个块的面积大小为w*h，其中W为 每一帧视频图像水平方向的像素，H为每一帧视频图像垂直方向的像素，w 为每个块区域的宽度，h为每个块区域的高度。

本实施例的方法具体采用以下步骤实现：

步骤一，建立图像像素到路面实际距离的映射关系，即映射表，同时将 道路图像划分为道路内和路肩两部分；

步骤二，将第1帧图像和背景图像在相同的块坐标系下都划分成多个块 区域,背景的大小为W*H,划分的块大小为w*h，划分的块区域个数T为 T＝(W/w)*(H/h)，用当前第1帧图像和背景图像对应像素相减，得到大小 都为W*H的帧差图像，将帧差图像划分为T个大小都为w*h的块，记第j 个块内大于灰度阈值A的像素个数为N_j，若N_j大于阈值B，则该块内所有 像素值赋为255，否则赋为0，其中：

W为图像水平方向像素个数；

H为图像竖直方向像素个数；

w为块的像素宽度；

h为块的像素高度；

j＝1,2,3...T；

所述的阈值A的取值为30；

所述的阈值B的取值范围为块内像素总数的0.5～0.75倍；

步骤三，以块为单位对二值化图像从左到右，从上到下依次扫描，对同 一个目标的连通域标以相同的标号，同时获得该连通域的最小外接矩形，计 算该外接矩形的高度R_h、宽度R_w、高宽比R_a和矩形度R_j，当R_a的值在阈值 C范围内，并且R_j的值在阈值D范围内时，保留该目标，当R_a或R_j不在阈值 C和D范围内时，去除该目标，其中：

所述的阈值C范围为1.5～8；

所述的阈值D范围为0.5～1；

步骤四，对第1帧图像上标记的第j个前景目标寻找最佳角点，选取该 目标某像素点P_i(m,n)为中心，建立一个大小为a*a的窗口，分别计算过中心 像素点P_i(m,n)的横向、纵向以及两个对角线方向上相邻像素灰度差的平方 和，取其结果中的最小值g_min，若g_min大于阈值E，则该点为角点，若g_min小 于等于阈值E，则该点不为角点并舍去，其中：

所述的a为窗口边长的像素宽度；

所述的阈值E的取值范围为180～220；

步骤五，将角点的位置信息以及匹配跟踪次数信息记录在一个新建的空 的结构体中，目标匹配跟踪次数初始化为零；

步骤六，对第二帧、第三帧、…、第i帧图像，重复步骤二、步骤三和 步骤四的方法得到当前帧中目标的角点位置，然后以前一帧记录的角点位置 为依据，与当前帧中的记录的目标的角点位置做比较，则有：

当两者位置绝对值差大于阈值F，就确定当前帧中该角点所在的目标是 当前帧中新的目标，再按照步骤五的方法进行处理；

当两者位置绝对值差小于等于阈值F，则用当前帧的角点位置信息替换 前一帧的角点位置信息作为新的比较基准依据，匹配跟踪次数加1，其中：

i为正整数；

所述的阈值F的取值范围为1～5；

步骤七，当匹配次数大于等于阈值G时，则跟踪完毕，得到跟踪轨迹为： Track＝{P_i,P_i+1,...P_i+n}，执行步骤八，其中：

所述的阈值G的取值范围是50～70；

步骤八，查找映射表，得到轨迹Track＝{P_i,P_i+1,...P_i+n}中每个角点对应的 实际距离，即实际运动轨迹Track’＝{(s_i,0),(s_i+1,1),...,(s_i+n,n)}，其中：

s_i+n表示像素点P_i+n对应的实际距离，n表示点的下标；

步骤九，由实际运动轨迹曲线首点P_i和尾点P_i+n得到经过这两点的一条 直线的直线方程：y＝kx+b，该轨迹上任意一点到这条直线的距离为：

$d_r=\frac{|k{S}_{i+r}-r+b|}{\sqrt{k^2+1}}$

式中：k为直线的斜率，b为截距，(x,y)表示该直线上的任意一点，(s_i+r,r) 表示该轨迹上任意一点，d_r表示(s_i+r,r)点到直线的距离；

对所有的d_r进行排序找出最大的d_max，若大于阈值H，则该点为目标运 动轨迹的拐点，保存该点(s_i+r,r)，执行步骤十，其中：

所述的阈值H的取值为70cm；

步骤十，拐点(s_i+r,r)将运动轨迹曲线分段，以(s₀,0)和(s_i+r,r)为首尾点的 曲线段，以及以点(s_i+r,r)和(s_i+n,n)为首尾点的曲线段，在这两条曲线段内分 别执行步骤九，继续求取各段轨迹的拐点，直到这条轨迹上所有点到直线距 离d_r≤H时为止，这样得到一组拐点{(s_i+r0,r₀),(s_i+r1,r₁),...,(s_i+rm,r_m)}；

步骤十一，拐点将运动轨迹分割成运动轨迹曲线段，对每一段运动轨迹 曲线段使用最小二乘法进行线性拟合得到相关系数r，则有：

当r≥0.5时，保留该段运动轨迹曲线段；

当r＜0.5时，去除该段运动轨迹曲线段；

最终得到一组运动轨迹曲线段；

步骤十二，利用经过步骤十一筛选后得到的每个运动轨迹曲线段的首点 和尾点的实际距离和时间差求取分段内目标速度v，表达式为：

$v=\frac{|s_f-s_s|}{\mathrm{N\Delta t}}$

式中：

N表示一段运动轨迹曲线段中轨迹点的间隔段数；

s_f表示一段运动轨迹曲线段的尾点实际距离；

s_s表示一段运动轨迹曲线段的首点实际距离；

Δt表示一段运动轨迹曲线段中相邻两个轨迹点的时间间隔；

当所有分段内的速度都满足0.3m/s＜v＜2m/s时，即可确定该目标为 行人；

步骤十三，根据目标在当前帧的坐标点P_i+n位置判断行人事件危险等级：

（2）当点P_i+n处于道路内部时，该行人事件危险等级为高；

（2）当点P_i+n处于路肩时，如果行人运动轨迹矢量的方向与道路正确行 使方向夹角大于30度，则该行人事件危险等级为中；

（3）当点P_i+n处于路肩时，如果行人运动轨迹矢量的方向与道路正确行 使方向夹角小于等于30度，则该行人事件危险等级为低。

以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具 体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范 围。

实施例：

本实施例的处理过程中视频的采样频率是25帧每秒，每帧图像大小为 720×288，帧差图像进行块处理的块大小为8×6，将图像分成了90×48个 块区域，进行背景差分法时的灰度阈值A为30，阈值B为36，符合行人特 征的长宽比阈值C的范围为1.5～8，矩形度阈值D范围为0.5～1,选取角点 的阈值E的取值为180～220，角点匹配距离的阈值F为3，角点匹配次数阈 值G取50，对实际运动轨迹寻找分段拐点时的判断距离阈值H的取70cm， 如图1至图9所示,使用上述方法依次从第一帧开始遵从上述方法对视频图 像进行处理。

从图6可以看出图中白色线为行人运动轨迹,当视频图像运行到第51 帧时角点匹配次数达到50次，故轨迹线从第1帧到第51帧截止。该轨迹的 下端为行人第一次进入场景，找到的特征点位置，最上端点为在第50帧找 到的特征点。

图7为目标跟踪轨迹对应的实际距离曲线图，使用步骤九和步骤十中的 方法对该轨迹曲线求取拐点，结果如图8所示，拐点处用十字符号标记出来。 然后采用最小二乘法对每个分段内的轨迹拟合，可求得行人的实际运动速度 0.71m/s，所以可判断该目标为行人。此时根据该行人的位置和方向，判断 该行人事件对交通安全造成的危险等级，实现交通安全预警。