基于人体HOG特征的行人流量统计方法及统计系统

摘要

本发明公开了一种基于人体HOG特征的行人流量统计方法及统计系统。其中，该统计方法包括：设置存储负样本的数据库以及设置检测区域并在检测区域中设置预设宽度的虚拟门。监控检测区域以获得包括多个依序排列的视频图像的视频序列。提取前N个视频图像中每一个视频图像中所有目标的HOG特征，其中，N≥2。每提取完成一个HOG特征，判断HOG特征是否与负样本匹配，若HOG特征与负样本匹配，剔除与HOG特征对应的目标，否则匹配下一个HOG特征。所有的视频图像的HOG特征提取完成后，提取每一个视频图像中的所有目标。相同的目标按照视频图像的顺序排列得到一个正样本视频序列，以致获得具有多个正样本视频序列的待判定集合。

说明书

技术领域

本发明涉及视频监控及图像处理与分析技术领域，尤其涉及一种基于人体HOG特 征的行人流量统计方法及统计系统。

背景技术

随着社会的不断进步，视频监控系统的应用范围越来越广。在道路、广场、商场、公 交车站、地铁等场所进出的行人流量对于上述场所的决策者而言有着非常重要的意义。因 此，出现了人工统计、红外统计以及重量统计等行人流量统计方法。但是，这些统计方法存 在成本大、准确度低、应用范围窄等缺陷。随着视频监控技术的发展，出现了基于人体特征 进行跟踪以统计行人流量的方法。

专利申请号为200510060288.2，专利名称为“基于立体视觉的公交客流统计方法 及其系统”的专利申请公开了“立体视觉图像采集设备放置于公交车车门顶端，实时采集乘 客上下车图像，处理器采用立体视觉算法对采集到的双目图像进行处理，获取图像深度信 息，结合单目图像的处理信息获得乘客头顶部的位置、大小，灰度等信息，再由跟踪部分对 获取的乘客头顶部信息进行实时跟踪，由跟踪结果便可获知乘客上下车的人数，从而获得 实时、准确的客流信息。”但是，由于该专利申请利用图像深度信息作为行人统计的原始数 据源，所以为了确保统计结果的准确率需要垂直设置图像采集设备以提升采集到的图像的 图像深度信息的精度。因此，该专利申请的统计方法不适宜不能垂直设置图像采集设备的 场所，存在应用范围窄的问题。此外，距离图像采集设备越近则图像深度信息的精度越高， 因此，采用本专利申请的统计方法进行大范围的行人统计时存在准确率低的问题。

此外，专利申请号为“201010114826.2”，专利申请名称为“可精确辨别目标的人流 量统计的方法及系统”的专利申请公开了“采用分类器对当前图像进行人头粗检测，对粗检 测结果进行边缘特征细筛选处理，确定当前图像中的各人头；对确定出的各人头进行跟踪， 形成人头目标运动轨迹；在人头目标运动轨迹方向进行人流量计数”。但是，该专利申请利 用边缘特征筛选人头时存在误检(譬如：环境中的假人头)或漏检等情况，因此，降低了统 计的准确率。此外，该专利申请需要对确定出的每一个人头进行实时跟踪，以获得每一个人 头的运动轨迹。因此，采用该专利申请的统计方法存在跟踪算法复杂度高以致行人统计速 率低等问题。

综上所述，如何提升行人流量统计的准确率和统计速率，以及拓宽行人流程统计 的应用范围是当前亟待解决的技术问题。

发明内容

有鉴于此，实有必要提供一种提升行人流量统计的准确率和统计速率，以及拓宽 行人流程统计的应用范围的基于人体HOG特征的行人流量统计方法，以及实施该基于人体 HOG特征的行人流量统计方法的统计系统。

一种基于人体HOG特征的行人流量统计方法，包括如下步骤：

设置存储多个用于标识场景的负样本的数据库以及设置检测区域并在检测区域 中设置预设宽度的虚拟门。

监控检测区域以获得视频序列，视频序列包括多个依序排列的视频图像。

提取前N个视频图像中每一个视频图像中所有目标的HOG特征，其中，N≥2。

每提取完成一个HOG特征，判断HOG特征是否与负样本匹配，若HOG特征与负样本匹 配，剔除与HOG特征对应的目标，否则匹配下一个HOG特征。

所有的视频图像的HOG特征提取完成后，提取每一个视频图像中的所有目标。

所有的视频图像的目标提取完成后，相同的目标按照视频图像的排列顺序进行排 列得到一个正样本视频序列，以致获得具有多个正样本视频序列的待判定集合。

优选地，获得具有多个正样本视频序列的待判定集合的步骤之后，还包括：

获取与正样本视频序列对应的目标在每一个视频图像中坐标信息和尺寸信息。

根据坐标信息和尺寸信息预测与正样本视频序列对应的目标在下一个视频图像 中位置的候选关联区域，以致每一个正样本视频序列预测得到一个候选关联区域。

优选地，每一个正样本视频序列预测得到一个候选关联区域步骤之后，还包括：

提取第N+1视频图像中所有目标的HOG特征。

每提取完成一个HOG特征，判断HOG特征是否与负样本匹配，若HOG特征与负样本匹 配，剔除与HOG特征对应的目标，否则匹配下一个HOG特征，直至N+1视频图像的HOG特征提取 完成。

优选地，N+1视频图像的HOG特征提取完成步骤之后，还包括：

获取第N+1视频图像中佘下的每一个目标的坐标信息。

多个目标的坐标信息在多个候选关联区域中一个候选关联区域中，按照预设规则 分别计算每一个目标的相似度。

将与最高的相似度对应的目标添加至与候选关联区域对应的正样本视频序列。

遍历完所有的候选关联区域后，未添加至正样本视频序列的目标构成一个新的正 样本视频序列并将新的正样本视频序列添加至待判定集合中。

优选地，未添加至正样本视频序列的目标构成一个新的正样本视频序列并将新的 正样本视频序列添加至待判定集合中的步骤之后，还包括：

判断正样本视频序列的倒数第二个目标的坐标信息与倒数第三个目标的坐标信 息的连线是否与虚拟门相交。

若正样本视频序列的倒数第二个目标的坐标信息与倒数第三个目标的坐标信息 的连线与虚拟门相交，获取相交得到的两个交点的坐标信息。

根据两个交点的坐标信息和倒数第一个目标的坐标信息确定进入虚拟门以统计 进入人数或确定离开虚拟门以统计离开人数。

将与虚拟门相交的正样本视频序列从待判定集合中剔除。

一种基于人体HOG特征的行人流量统计系统，包括：

初始化设置模块，用于设置存储多个用于标识场景的负样本的数据库以及设置检 测区域并在检测区域中设置预设宽度的虚拟门。

监控模块，用于监控检测区域以获得视频序列，视频序列包括多个依序排列的视 频图像。

HOG特征提取模块，用于提取前N个视频图像中每一个视频图像中所有目标的HOG 特征，其中，N≥2。

级联分类器，用于每提取完成一个HOG特征，判断HOG特征是否与负样本匹配，若 HOG特征与负样本匹配，剔除与HOG特征对应的目标，否则匹配下一个HOG特征。

目标提取模块，用于所有的视频图像的HOG特征提取完成后，提取每一个视频图像 中的所有目标。

待判定集合获取模块，用于所有的视频图像的目标提取完成后，相同的目标按照 视频图像的排列顺序进行排列得到一个正样本视频序列，以致获得具有多个正样本视频序 列的待判定集合。

优选地，目标信息获取模块，用于获取与正样本视频序列对应的目标在每一个视 频图像中坐标信息和尺寸信息。

候选关联区域预测模块，用于根据坐标信息和尺寸信息预测与正样本视频序列对 应的目标在下一个视频图像中位置的候选关联区域，以致每一个正样本视频序列预测得到 一个候选关联区域。

优选地，HOG特征提取模块，还用于提取第N+1视频图像中所有目标的HOG特征。

级联分类器，还用于每提取完成一个HOG特征，判断HOG特征是否与负样本匹配，若 HOG特征与负样本匹配，剔除与HOG特征对应的目标，否则匹配下一个HOG特征，直至N+1视频 图像的HOG特征提取完成。

优选地，目标信息获取模块，还用于获取第N+1视频图像中佘下的每一个目标的坐 标信息。

相似度计算模块，用于多个目标的坐标信息在多个候选关联区域中一个候选关联 区域中，按照预设规则分别计算每一个目标的相似度。

添加模块，用于将与最高的相似度对应的目标添加至与候选关联区域对应的正样 本视频序列。

待判定集合获取模块，用于遍历完所有的候选关联区域后，未添加至正样本视频 序列的目标构成一个新的正样本视频序列并将新的正样本视频序列添加至待判定集合中。

优选地，判断模块，用于判断正样本视频序列的倒数第二个目标的坐标信息与倒 数第三个目标的坐标信息的连线是否与虚拟门相交。

相交点信息获取模块，用于若正样本视频序列的倒数第二个目标的坐标信息与倒 数第三个目标的坐标信息的连线与虚拟门相交，获取相交得到的两个交点的坐标信息。

行人流量统计模块，用于根据两个交点的坐标信息和倒数第一个目标的坐标信息 确定进入虚拟门以统计进入人数或确定离开虚拟门以统计离开人数。

删除模块，用于将与虚拟门相交的正样本视频序列从待判定集合中剔除。

本发明通过剔除HOG特征与负样本匹配的目标，提升了准确率。同时，本发明不需 用对确定的目标实时跟踪，通过正样本视频序列中目标的位置实施关联跟踪即可实现行人 流量的统计，提升了统计速率。此外，利用目标的HOG特征实现行人流量的统计的限制因素 少，拓宽了应用范围。

附图说明

图1为本发明基于人体HOG特征的行人流量统计系统一种实施例的功能模块示意 图。

图2为本发明于人体HOG特征的行人流量统计方法一种实施例的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用来限定本发明。

图1展示了本发明基于人体HOG特征的行人流量统计系统的一种实施例。在本实施 例中，该基于人体HOG特征的行人流量统计系统包括初始化设置模块10、监控模块11、HOG特 征提取模块12、级联分类器13、目标提取模块14、待判定集合获取模块15、目标信息获取模 块16、候选关联区域预测模块17、添加模块18、判断模块19、相交点信息获取模块20、行人流 量统计模块21和删除模块22。

其中，初始化设置模块10，用于设置存储多个用于标识场景的负样本的数据库以 及设置检测区域并在检测区域中设置预设宽度的虚拟门。具体地，所谓负样本为场景中可 能被误认为“人”的HOG特征。本实施通过设置存储有负样本的数据库，以便剔除每一帧视 频图像中的“假目标”，以提升本发明的准确率。此外，所谓虚拟门为具有预设宽度的直线段 或曲线段。监控模块11，用于监控检测区域以获得视频序列，视频序列包括多个依序排列的 视频图像。具体地，所谓视频序列由多帧依序排列的视频图像组成。HOG特征提取模块12，用 于提取前N个视频图像中每一个视频图像中所有目标的HOG特征，其中，N≥2。其中，用户可 以根据需要设置N的大小。级联分类器13，用于每提取完成一个HOG特征，判断HOG特征是否 与负样本匹配，若HOG特征与负样本匹配，剔除与HOG特征对应的目标，否则匹配下一个HOG 特征。具体地，级联分类器13包括第1级强分类器、第2级强分类器、……、第n级强分类器。本 实施例通过级联分类器13对每一帧视频图像中所有目标的HOG特征进行甄别，通过的即为 真行人，未通过的即为非行人，以致提升了本发明的准确率。目标提取模块14，用于所有的 视频图像的HOG特征提取完成后，提取每一个视频图像中的所有目标。需要说明的是，提取 的目标具有不同的尺寸，因为距离监控模块11越远的目标的尺寸越小，距离监控模块11越 近的目标的尺寸越大。因此，通过目标的尺寸大小变化，可以知晓目标的运动方向，以便统 计进入人数或离开人数更加准确。待判定集合获取模块15，用于所有的视频图像的目标提 取完成后，相同的目标按照视频图像的排列顺序进行排列得到一个正样本视频序列，以致 获得具有多个正样本视频序列的待判定集合。具体地，本实施例将多个相同目标按照视频 图像的排列顺序构成一个正样本视频序列。所谓的正样本，即为确定为“真人”目标的HOG特 征。本实施例通过此种方式，即可实现对多人的跟踪。但是，不需要对确定为“真人”的目标 实施实时跟踪，只需通过多个视频图像中的位置即可得知多个目标的运动轨迹和运动方 向，减少了监控的工作量，以致提升了统计速率。此外，本实施例利用目标的HOG特征实现行 人流量的统计的限制因素少，拓宽了应用范围。

目标信息获取模块16，用于获取与正样本视频序列对应的目标在每一个视频图像 中坐标信息和尺寸信息。具体地，假设正样本视频序列中目标A在前N帧视频图像中出现的 位置为P_i(x_i，y_i)，尺寸为S_i(w_i，h_i)，其中，i∈[0，N-1]，N≥2。候选关联区域预测模块17，用 于根据坐标信息和尺寸信息预测与正样本视频序列对应的目标在下一个视频图像中位置 的候选关联区域，以致每一个正样本视频序列预测得到一个候选关联区域。具体地，根据 公式(1)计算得到目标A的平均方向向量

$\bar{v}=\bar{x}·\frac{\underset{i=0}{\overset{N-1}{\Sigma }}(x_i-x_{i-1})}{N}+\bar{y}·\frac{\underset{i=0}{\overset{N-1}{\Sigma }}(y_i-y_{i-1})}{N}=\bar{x}·\frac{{x_{N-1}}^{-}{x}_0}{N}+\bar{y}·\frac{y_{N-1}-y_0}{N}---\left(1\right).$

则根据公式(2)预测得到目标A在第N+1个视频图像中的坐标为p_N：

$p_N=(x_0+\frac{x_{N-1}-x_0}{N},y_0+\frac{y_{N-1}-y_0}{N})---\left(2\right).$

根据公式(3)计算得到目标A的平滑尺寸为

$\bar{S}=\bar{w}·\frac{\underset{i=0}{\overset{N-1}{\Sigma }}(w_i-w_{i-1})}{N}+\bar{h}·\frac{\underset{i=0}{\overset{N-1}{\Sigma }}(h_i-h_{i-1})}{N}=\bar{w}·\frac{{w_{N-1}}^{-}{w}_0}{N}+\bar{h}·\frac{h_{N-1}-h_0}{N}---\left(3\right).$

根据公式(2)和公式(3)预测得到目标A在第N+1个视频图像中的候选关联区域为 O_N：

$O_N=(x_0+\frac{{x_{N-1}}^{-}{x}_0}{N}\pm \frac{{w_{N-1}}^{-}{w}_0}{2N},y_0+\frac{y_{N-1}-y_0}{N}\pm \frac{h_{N-1}-h_0}{N}).$

同理，预测佘下的正样本视频序列的候选关联区域。

本实施例通过前N帧图像中的目标的坐标信息预测目标在下一帧视频图像中的坐 标信息。此外，本实施还通过前N帧图像中的目标的尺寸信息预设目标在下一帧视频图像中 的平滑尺寸，所谓平滑尺寸为目标的尺寸的变化量。此外，本实施例通预测的坐标信息和平 滑尺寸得到目标可能在下一帧视频图像中的候选关联区域中出现。

HOG特征提取模块12，还用于提取第N+1视频图像中所有目标的HOG特征。级联分类 器13，还用于每提取完成一个HOG特征，判断HOG特征是否与负样本匹配，若HOG特征与负样 本匹配，剔除与HOG特征对应的目标，否则匹配下一个HOG特征，直至N+1视频图像的HOG特征 提取完成。本实施例对第N+1视频图像中可疑的目标剔除，进一步的提升了本发明的准确 率。

目标信息获取模块16，还用于获取第N+1视频图像中佘下的每一个目标的坐标信 息。相似度计算模块，用于多个目标的坐标信息在多个候选关联区域中一个候选关联区域 中，按照预设规则分别计算每一个目标的相似度。添加模块18，用于将与最高的相似度对应 的目标添加至与候选关联区域对应的正样本视频序列。具体地，假设候选关联区域B中包括 目标T_C(T_cx，T_cy)、目标T_D(T_dx，T_dy)和目标T_E(T_ex，T_ey)。正样本视频序列最后的目标的坐标为 P_N-1(x_N-1，y_N-1)。

分别计算P_N-1(x_N-1，y_N-1)与目标T_C(T_cx，T_cy)、目标T_D(T_dx，T_dy)、目标T_E(T_ex，T_ey)之间 的中心欧氏距离disc、disd、dise。

$disc=\sqrt{{(x_{N-1}-T_{cx})}^2+{(y_{N-1}-T_{cy})}^2}.$

$disd=\sqrt{{(x_{N-1}-T_{dx})}^2+{(y_{N-1}-T_{dy})}^2}.$

$dise=\sqrt{{(x_{N-1}-T_{ex})}^2+{(y_{N-1}-T_{ey})}^2}.$

根据公式(4)计算相似度其中，ε为用户设置的常数。

假设disc＜ε、disd＜ε、dise≥ε。目标T_E(T_ex，T_ey)的相似度为0。

其中ρ为LBP纹理特征相似度。目标T_C(T_cx，T_cy)、目标T_D(T_dx，T_dy)的LBP纹理特征相 似度分别为ρ_c、ρ_d。

正样本视频序列的前N个目标的LBP直方图数据为Z(i)，目标T_C(T_cx，T_cy)的LBP直方 图数据为Z_c。目标T_D(T_dx，T_dy)的LBP直方图数据为Z_d。其中，i∈[0，N-1]，N≥2。

根据公式(5)计算得到ρ_c。

${\rho }_c=\underset{i=0}{\overset{N-1}{\Sigma }}\sqrt{Z_c·Z\left(i\right)}---\left(5\right).$

根据公式(6)计算得到ρ_d。

${\rho }_d=\underset{i=0}{\overset{N-1}{\Sigma }}\sqrt{Z_d·Z\left(i\right)}---\left(6\right).$

假设ρ_c＞ρ_d，则将目标T_C(T_cx，T_cy)目标添加到正样本视频序列中。

待判定集合获取模块15，用于遍历完所有的候选关联区域后，未添加至正样本视 频序列的目标构成一个新的正样本视频序列并将新的正样本视频序列添加至待判定集合 中。本实施例对第N+1帧视频图像中出现的新的目标构成一个新的正样本视频序列，避免漏 掉目标，进一步的提升准确率。

判断模块19，用于判断正样本视频序列的倒数第二个目标的坐标信息与倒数第三 个目标的坐标信息的连线是否与虚拟门相交。相交点信息获取模块20，用于若正样本视频 序列的倒数第二个目标的坐标信息与倒数第三个目标的坐标信息的连线与虚拟门相交，获 取相交得到的两个交点的坐标信息。行人流量统计模块21，用于根据两个交点的坐标信息 和倒数第一个目标的坐标信息确定进入虚拟门以统计进入人数或确定离开虚拟门以统计 离开人数。

具体地，假设相交的两个点分别为G(G_x，G_y)和H(H_x，H_y)。最后一个目标即为T_C(T_cx， T_cy)。

根据公式(7)得到目标方向判定值orient来判断该目标是离开虚拟门还是进入该 虚拟门。

orient＝(H_x-G_x)(T_cy-H_y)-(T_cx-H_x)(H_y-G_y)(7)。

若orient＝1为逆时针。orient＝-1为顺时针。orient＝0为与虚拟门贡献。

假设逆时针为进入虚拟门，则orient＝1时，进入人数加1。orient＝-1时，离开人 数减1。

删除模块22，用于将与虚拟门相交的正样本视频序列从待判定集合中剔除。本实 施例对已经刚进入或刚离开虚拟门的目标立即停止跟踪，减少了待处理的正样本序列的数 量，进一步地提升统计的速率。

图2展示了本发明基于人体HOG特征的行人流量统计方法的一种实施例。在本实施 例中，该基于人体HOG特征的行人流量统计方法包括如下步骤：

步骤S1，设置存储多个用于标识场景的负样本的数据库以及设置检测区域并在检 测区域中设置预设宽度的虚拟门。

步骤S2，监控检测区域以获得视频序列，视频序列包括多个依序排列的视频图像。

步骤S3，提取前N个视频图像中每一个视频图像中所有目标的HOG特征，其中，N≥ 2。

步骤S4，每提取完成一个HOG特征，判断HOG特征是否与负样本匹配。若HOG特征与 负样本匹配，执行步骤S5。若HOG特征与负样本不匹配，执行步骤S6。

步骤S5，剔除与HOG特征对应的目标。

步骤S6，判断前N个视频图像的HOG特征是否提取完成。若前N个视频图像的HOG特 征提取完成，执行步骤S7。若前N个视频图像的HOG特征未提取完成，执行步骤S3。

步骤S7，提取每一个视频图像中的所有目标，所有的视频图像的目标提取完成后， 相同的目标按照视频图像的排列顺序进行排列得到一个正样本视频序列，以致获得具有多 个正样本视频序列的待判定集合。

步骤S8，获取与正样本视频序列对应的目标在每一个视频图像中坐标信息和尺寸 信息。

步骤S9，根据坐标信息和尺寸信息预测与正样本视频序列对应的目标在下一个视 频图像中位置的候选关联区域，以致每一个正样本视频序列预测得到一个候选关联区域。

步骤S10，提取第N+1视频图像中所有目标的HOG特征。

步骤S11，每提取完成一个HOG特征，判断HOG特征是否与负样本匹配。若HOG特征与 负样本匹配，执行步骤S12。若HOG特征与负样本不匹配，执行步骤S13。

步骤S12，剔除与HOG特征对应的目标。

步骤S13，判断N+1视频图像所有目标的HOG特征是否提取完成。若N+1视频图像所 有目标的HOG特征提取完成，执行步骤S14。若N+1视频图像所有目标的HOG特征未提取完成， 执行步骤S10。

步骤S14，获取第N+1视频图像中佘下的每一个目标的坐标信息。

步骤S15，多个目标的坐标信息在多个候选关联区域中一个候选关联区域中，按照 预设规则分别计算每一个目标的相似度。

步骤S16，将与最高的相似度对应的目标添加至与候选关联区域对应的正样本视 频序列。

步骤S17，遍历完所有的候选关联区域后，未添加至正样本视频序列的目标构成一 个新的正样本视频序列并将新的正样本视频序列添加至待判定集合中。

步骤S18，判断一个正样本视频序列的倒数第二个目标的坐标信息与倒数第三个 目标的坐标信息的连线是否与虚拟门相交。若正样本视频序列的倒数第二个目标的坐标信 息与倒数第三个目标的坐标信息的连线与虚拟门相交，执行步骤S19。若正样本视频序列的 倒数第二个目标的坐标信息与倒数第三个目标的坐标信息的连线与虚拟门不相交，执行步 骤S21。

步骤S19，获取相交得到的两个交点的坐标信息，并根据两个交点的坐标信息和倒 数第一个目标的坐标信息确定进入虚拟门以统计进入人数或确定离开虚拟门以统计离开 人数。

步骤S20，将与虚拟门相交的正样本视频序列从待判定集合中剔除。

步骤S21，判断所有正样本视频序列是否进行了判定。若所有正样本视频序列进行 了判定，执行结束。若所有正样本视频序列未进行判定，执行步骤S18。

需要说明的是，采用相同的工作原理对视频序列的下一帧视频图像依照上述的 统计方法进行。

以上对发明的具体实施方式进行了详细说明，但其只作为范例，本发明并不限制 与以上描述的具体实施方式。对于本领域的技术人员而言，任何对该发明进行的等同修改 或替代也都在本发明的范畴之中，因此，在不脱离本发明的精神和原则范围下所作的均等 变换和修改、改进等，都应涵盖在本发明的范围内。