静止摄像机场景下特定颜色行人的检测方法

摘要

本发明提供了一种静止摄像机场景下特定颜色行人的检测方法，该方法采用高斯混合模型对场景的背景进行建模，在得到背景模型后通过与当前处理图像的比对得到粗略的运动前景，通过滤波和形态学处理后将运动前景以矩形块的形式提出，称之为前景块；对各个前景块中前景点所占比例进行计算并结合前景点在水平坐标上投影个数的统计特性区分出复杂前景块和简单前景块，并估计出可能存在行人的水平坐标；对于复杂前景块，利用在线行人高度估计模型和基于方向梯度直方图特征的Adaboost分类器对行人目标进行精确检测；获得行人目标位置后，对其衣着颜色进行识别。本发明提升了行人目标的检测速度和准确度，可应用于实时视频监控和视频检索中。

说明书

技术领域

本发明涉及的是一种视频图像处理和模式识别技术领域的方法，具体是一种应用于视频监控系统的特定颜色行人检测方法。

背景技术

行人目标检测的主要任务是对视频序列中的行人进行标记以实现检索的目的。特定颜色行人的检测则是在行人目标检测的基础之上进一步识别出具有特定颜色的行人目标，例如在给定视频中检测穿蓝色上衣的行人。特定颜色行人的检测技术可应用于视频监控、视频检索等领域，从而减少海量的监控视频数据给操作人员带来的负担。

典型的行人检测方法是基于背景建模的，根据当前视频图片信息与背景模型进行比对，提取出前景块并将各个前景块都当作独立的物体，然后直接利用前景块的特征进行物体分类识别，例如J.Renno等人在”Object Classification in VisualSurveillance Using Adaboost”中提到的方法，该论文收录在2007年的《ComputerVision and Pattern Recognition》会议集第1到8页。这种方法的优点在于根据背景模型能快速的找到前景块，而且识别过程简单，因此可以达到良好的实时性。然而，很多时候在一个前景块中可能出现多个物体，由于运动目标可能出现相互遮挡，在前景的提取处理中他们会被当成一个前景块，该方法就可能将整个前景块判定为一个物体。

对于静态图片中的行人检测问题，Navneet Dalal等人在2005年的《ComputerVision and Pattern Recognition》会议上提出了利用方向梯度直方图特征HOG对行人的形状进行学习并训练SVM分类器，通过分类器去判别和检测行人目标的方法。该论文收录在2005年《Computer Vision and Pattern Recognition》会议集的第886到893页。由于不同行人的形状都比较相似，而且这种方法容许行人有一些细微的肢体动作，这些细微的肢体动作可以被忽略而不影响检测效果，这种方法在静态图片的行人检测中得到了广泛的应用和发展。但这种方法在特征提取和分类过程中将消耗很长时间，使其难以单独应用于视频监控领域。

中国专利《基于前景分析和模式识别的行人检测方法》(公布号为CN102147869A)中，该专利结合了背景建模和分类器检测的方法对行人进行检测，该方法与本发明的行人检测方法框架上有相似之处，都用到了前景信息和分类器，但该方法中对行人的高度估计依靠先验的行人高度模型，在检测前需要手工进行人的高度标定，而且该专利所述的找轮廓峰值点的方法估计行人的位置可能会消耗较多的时间。本发明针对以上问题都作了解决，采用自适应的行人高度模型省去了手工标定的过程，利用前景点的统计特征而不是轮廓特征使行人位置的估计速度得到了提高。

颜色检测的主要任务是识别出感兴趣目标的主体颜色，在车辆检测等领域已有具体的应用，例如Mengjie Yang在《Vehicle Color Recognition Using Monocularcamera》中提到了一种检测车辆颜色的方法，该论文收录在2011年的《WirelessCommunication andSignal Processing》会议集的第1到第5页。实现颜色检测的方法有很多，例如Brown,L.M.在《Color Retrieval for Video Surveillance》中提到的一种基于HSV空间分割的颜色检测方法，该论文收录在2008年的《Advanced Video andSignal Based Surveillance》会议集的第283到290页。该方法优点在于将颜色检测问题简化为对几类主要颜色的检测，并且图像在HSV颜色空间中处理，一定程度上减小了光照对颜色检测的干扰。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种改良的基于运动前景分析和静态图片检测技术的特定颜色行人检测方法，既提升了行人检测的速度和准确度，又能在行人检测的基础上识别出行人的衣着颜色，提高实用性。

根据本发明的一方面，提供一种检测视频中行人目标的方法，该方法包括如下步骤：

第一步，采用高斯混合模型对场景的背景进行建模，在得到背景模型后通过与当前处理图像的比对得到粗略的运动前景，通过滤波和形态学处理后将运动前景以矩形块的形式提出，称之为前景块；

第二步，对各个前景块中前景点所占比例进行计算并结合前景点在水平坐标上投影个数的统计特性区分出复杂前景块和简单前景块，并估计出可能存在行人的水平坐标；

第三步，对于简单前景块由其尺寸判断是否为行人；对于复杂前景块，利用在线行人高度估计模型和基于方向梯度直方图特征的Adaboost分类器对行人目标进行精确检测，得到视频中的行人目标。

优选地，所述的行人的水平坐标估计方法如下：利用高斯混合模型得到的前景点在水平坐标上进行投影，统计落在各个水平坐标上的前景点个数生成直方图，对得到的直方图进行平滑滤波，滤波后直方图中存在凸包的位置就是可能有行人的位置，通过对直方图进行凸包检测就可以估计出可能存在行人的水平位置。

所述前景点在水平坐标上的投影直方图计算公式如下

$>\mathrm{Histogram}\left(x\right)=\underset{y=1}{\overset{\mathrm{height}}{\Sigma }}I(x,y)$>

其中Histogram(x)表示直方图的第x个通道的值，x对应于图像的横坐标，直方图的通道数等于图像的宽度，height对应于图像的高度，I(x，y)对应于二值前景图像在坐标(x，y)的值；

优选地，所述的简单前景块是指包含单个物体的前景块，复杂前景块是指包含多个物体的前景块，区分简单前景块和复杂前景块的方式如下：对于简单前景块，其前景点像素所占前景块的比例通常较高（比如通常大于等于0.45），通过设定前景点比例的阈值初步判定处理对象是否可能为简单前景块，如果判定为简单前景块，再利用行人水平坐标估计的方法查看其中是否可能有多于一个的行人目标，如果估计出其中可能包含多个行人目标则将前景块归到复杂前景块中，否则为简单前景块。区分简单和复杂前景块的一个原则是：可以将简单前景块划分到复杂前景块中，但不允许将复杂前景块划归到简单前景块中。

优选地，所述的在线行人高度估计模型通过以下方式得到：假定场景中的不同行人的身高服从高斯分布，对于同一个行人其在场景中的高度随垂直坐标的变化而线性变化，从而可以用一个关于垂直坐标y的条件高斯函数p(h|y，β)来描述场景中的行人高度，在初期并不使用该模型去估计行人的高度，用由简单前景块判定得到的行人目标的高度和坐标信息作为训练样本去训练高度估计模型，经过不少于30次训练后再利用p(h|y，β)对场景中不同位置的行人高度进行估计。

行人高度估计模型为

$>p\left(h\right|y,\beta )=N\left(h\left(y\right)\right|\mathrm{\beta y},{\sigma }^2)$>

其中h(y)为行人目标在纵坐标为y时的高度，服从关于条件y的高斯分布，β为模型的待求参数，σ²为指定的分布方差。

在线计算β的方法基于最大释然估计法和Robbins-Monro算法，公式如下：

$>{\beta }^{\left(N\right)}={\beta }^{(N-1)}-\frac{(H_N-{\beta }^{(N-1)}{Y}_N)Y_N}{(N+N^{\prime }){\delta }^2}$>

其中β^(N)为第N次训练后得到的模型参数，H_N为第N个行人样本的高度，Y_N为第N个行人样本的y坐标，N′为稳定因子，δ²为指定的分布方差。

根据本发明另一方面，提供一种静止摄像机场景下特定颜色行人的检测方法，所述方法分两步，首先采用上述第一步到第三步检测出视频中的行人目标，然后对其衣着颜色进行识别。

优选地，所述对其衣着颜色进行识别，具体是：在得到行人目标之后，利用半身分割模型将行人的上身和下身分割开来；利用HSV空间颜色直方图统计的方法识别行人上衣和裤子的颜色，最终标记出符合设定颜色的行人目标。

优选地，所述的半身分割模型中计算梯度图，具体是：针对行人的运动前景点，分别在RGB三个通道中根据Soble算子计算垂直方向的梯度，求和后得到总梯度图；据此进一步求出每行像素的梯度值累加和，得到梯度的横向投影。在简单衣着的情况下，上下衣着有明显的边界，该模型根据行人目标对应方框区域的RGB分量求出反映颜色变化的梯度图，然后对梯度图做横向投影分析，就能得到上下半身分割线。为了进一步确保分割的准确性，限定分割线只能落在前景块垂直方向的中间1/3范围内。

优选地，所述的HSV空间颜色直方图统计方法包括HSV空间分割和颜色直方图统计两个部分，前者是指将HSV空间划分为红、黄、绿、蓝、紫、黑、白、灰8个颜色区域，后者是指对图像进行从RGB空间到HSV空间的颜色转换，并统计落在上述8个颜色区域的像素点个数，进而得到反映颜色分布的直方图，分析直方图可得出衣着颜色。

所述的HSV空间分割，是指，根据V分量和S分量的分段线性函数把彩色和非彩色区域区分开；对于非彩色区域，由V分量决定黑白灰3个颜色区域的分割线；对于彩色区域，由H分量进行红、黄、绿、蓝、紫5个颜色区域的分割。

本发明的上述方法原理如下：利用前景检测方法确定运动目标的区域，对各个前景区域的复杂性进行判断，将可能包含单个物体的前景区域根据其尺度进行直接识别，对包含多个物体的复杂前景区域，利用行人前景点在水平坐标上的统计特性快速定位各个行人的水平位置，在预测的行人位置附近利用基于方向梯度直方图特征的Adaboost分类器对行人目标进行精确检测，这样既充分利用了前景信息，排除了不必要检测的区域，提高了行人检测速度，又通过模式识别的方法提高了行人检测的准确度；对行人进行半身分割则是依靠行人上下身存在的颜色差异和先验的人体分割知识，颜色的识别则利用了HSV空间的分割技术。

与现有技术相比，本发明具有如下的有益效果：

本发明在提高了行人目标检测速度和准确度的基础上，还实现了对行人的衣着颜色的识别，本发明不仅可以应用于传统的视频监控系统中，实现行人目标的检测，而且还能在视频检索中检测出特定颜色衣着的行人目标。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的整体框架示意图。

图2是前景提取和行人水平坐标估计示意图。

图3是行人与车辆前景发生重叠的说明图。

图4是HSV空间分割示意图。

图5-图7是实现特定颜色行人检测的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例

本实施例主要在VS2008平台下进行开发完成，核心程序用C++编写，图像处理用到了OpenCV1.0，人机交互界面用VC++开发，基于方向梯度直方图特征的Adaboost分类器的训练程序用Matlab编写。测试所用到的是一个关于多行人行走的视频（768×576像素，25fps），场景中有大量的行人在行走，有并行和重叠等现象发生。

本实施例的具体实现步骤如下：

第一步，提取行人图片库中行人图像和非行人图像的方向梯度直方图特征HOG，提取单幅图像的HOG特征过程如下：

(1)由于HOG特征不考虑图片的颜色特征，先将RGB图像转化为灰度图像。

(2)计算整幅图像中各个点处的梯度值：分别建立一张在X方向上的梯度图和一张在Y方向上的梯度图，计算梯度图时采用离散微分模板，在X方向上模板为[-1，0，1]，在Y方向上模板为[-1，0，1]^T。在得到图像X方向上梯度图和Y方向梯度图后，可以计算出该像素点的实际梯度方向以及其对应梯度的幅度。

(3)求图像中细胞单元的梯度直方图：用8×8的矩形像素区域表示一个细胞单元，每4个细胞单元组成一个基本区块，先求出各个细胞单元的梯度直方图。实施例中采用了无向梯度0-180和9个直方图通道描述细胞单元的直方图，直方图的建立过程可以看作是细胞单元中每一个像素点根据其梯度对各通道进行加权投票的过程，其中权值用梯度幅度来表示，例如某点的梯度方向可能为18，其梯度幅度为2，则应为通道1加上数值2。

(4)将4个细胞单元拼接成一个矩形区块,因为每个细胞单元有9个通道，则一个矩形区块的直方图特征拥有36个通道。初步拼接得到矩形区块的直方图特征后利用下式将特征进行处理：

$>v^{\prime }=\frac{v}{\sqrt[2]{{\left|\right|v\left|\right|}_2^2+{\in }^2}}$>

其中v是未处理的直方图特征向量，v′为处理后的特征向量，为v的二阶范数，∈是一个防止分母为零的极小常数。

在经过上式处理后再对各个分量进行归一化，从而得到比较稳定的区块直方图特征。

(5)在图像中以8个像素的间隔选取重叠的区块进行拼接形成一个描述图像的方向梯度直方图，由于实施例中用到的训练样本图片尺度为128×64，所以一共可以选取得到105个矩形区块，每个区块有36维，则描述一个行人样本的特征维数为3780，即一个HOG特征的维数。

第二步，用从行人图像和非行人图像提取得到的HOG特征作为正、负训练样本集χ，以Adaboost方法训练得到分类器。

χ＝{<x₁，y₁>，<x₂，y₂>…<x_L，y_L>|x_i∈R³⁷⁸⁰，y_i∈{1，-1}}，

其中x_i为第i个样本的特征，y_i为第i个样本的标记，y_i＝1表示第i个样本为行人样本，y_i＝-1表示第i个样本为非行人样本。

第三步，利用高斯混合模型对场景的背景进行建模。

第四步，通过当前处理视频图像与背景模型比对得到初步的前景图像，对前景图像进行滤波和形态学处理以去除噪声点和填补小的孔洞。将处理后得到的前景用OpenCV中的轮廓块提取函数将运动目标以矩形方块的形式提取出。

第五步，计算各个前景块中前景点所占前景块的比例，设置阈值T=0.45，当前景块的前景点所占比例小于T时则将该前景块直接分类到复杂前景块中，否则将该前景块初步判定为简单前景块并接受进一步判定。

第六步，对各个前景块进行行人水平位置估计。估计方法（以整幅图像的估计方法进行说明，应用时对各个前景块进行这样的行人水平坐标估计）如下：

首先计算前景点在X坐标上的投影直方图，

$>\mathrm{Histogram}\left(x\right)={\Sigma }_{y=1}^{\mathrm{height}}I(x,y),$>

其中Histogram(x)表示直方图的第x个通道的值，x对应于图像的横坐标，height对应于图像的高度，I(x，y)对应于二值前景图像在坐标(x，y)的值。

得到前景点在X坐标上的投影直方图后，用[0.12,0.18,0.4,0.18,0.12]的平滑模板对直方图进行滤波。

在滤波后的直方图中找凸包的峰值点，其水平坐标作为估计的行人水平坐标。

第七步，对第五步中初步得到的简单前景块用第六步中的估计结果进行进一步验证，如果初步前景块内估计得到的行人目标多于1个则将该前景块重新划归到复杂前景块，否则确认为简单前景块。

第八步，对得到的简单前景块，直接根据其长宽比和尺度进行目标判定，当前景块的长宽比在范围[1.6，3]内，且其面积小于视频图像面积的时，则认定该前景块为行人目标。

第九步，由简单前景块判定得到的行人目标的高度和Y坐标值(H，Y)作为训练样本训练高度估计模型其中h(y)为行人目标坐标为y时的高度，服从关于条件y的高斯分布，β为模型的待求参数，σ²为指定的分布方差。训练迭代式为：

$>{\beta }^{\left(N\right)}={\beta }^{(N-1)}-\frac{(H_N-{\beta }^{(N-1)}{Y}_N)Y_N}{(N+N^{\prime }){\delta }^2},$>

其中β^(N)为第N次训练后得到的模型参数，H_N为第N个行人样本的高度，Y_N为第N个行人样本的y坐标，N′＝100为使模型快速稳定加入的一个因子。

第十步，对各个复杂前景块用第二步得到的Adaboost分类器进行局部区域窗口扫描检测行人。

计算局部检测区域的方法如下：

先估计前景块中可能出现的最大行人高度，即将前景块的底部Y坐标y′代入行人高度估计模型求其条件均值，得到h_max＝E(p(h)|y′)。

然后计算可能出现的最大行人宽度w_max＝0.5h_max+5。

在第六步中得到了估计的可能出现行人的X坐标位置，以这些坐标为中心左右各延伸0.5w_max就是各检测区域在水平方向的范围。

在垂直方向上规定检测区域的范围与各个前景块在垂直方向的范围相同。

检测时使用的检测尺度根据估计的行人高度确定，在h(y)服从的高斯分布上进行随机采样2个行人高度，加上E(p(h)|y)共3个高度，根据这3个高度值改变检测区域的尺度，然后进行窗口扫描检测区域内的行人。

第十一步，对检测到的行人进行半身分割，分割方法如下：

计算行人目标对应前景点的梯度图，

Gradient(i，j)表示第i行第j列的像素梯度值，C_k(i，j)表示第i行第j列像素的第k个颜色通道，Soble表示求梯度的算子。

根据梯度图进行横向投影，得到

Sum(i)＝∑_jGradient(i，j)，Sum(i)表示第i行像素的梯度和，遍历行人目标中间1/3行像素，找到使Sum(i)最大的i，以此作为分割线对应的Y坐标。

第十二步，对行人上下身进行颜色识别，方法如下：

对上下身图像进行颜色空间转换，得到HSV空间的数据。根据V分量和S分量的分段线性函数把彩色和非彩色区域区分开，对于非彩色区域，由V分量决定黑白灰3个颜色区域的分割线，对于彩色区域，由H分量进行红、黄、绿、蓝、紫5个颜色区域的分割。分别统计出落在8个颜色区域的前景点个数占前景点总数的百分比，进而筛选出前景点中占比重最大的颜色，以此作为衣着的颜色。

实施效果和说明

根据上面的方法，对一段行人行走的视频序列作了测试。图2给出了前景块的提取和通过前景点在X坐标上投影计数估计行人水平位置的过程。第一行左边的图是当前处理的视频原图像，第二行左边的图是由高斯混合模型得到的运动前景图像，第一行右边的白色方框是通过OpenCV中的轮廓提取函数得到的前景块，第三行左边的图像是前景点在X坐标上投影计数生成的直方图，第二行右边的图像为经过平滑处理后的前景点在X坐标上的投影直方图，第三行右边的图像是行人位置估计效果图。从给出的效果可以看出前景点在X坐标上投影直方图中的一个凸包基本能对应到一个行人，但有时并行行走的行人间可能形成多于实际人数的凸包数，所以这种方法得到的行人水平位置仅仅是估计的位置，缩小了检测的范围。

图3是在发生前景重叠时进行行人水平坐标估计的说明图，由于本发明的行人水平坐标快速估计是基于前景像素点检测的，当出现行人后面有车辆的情况，如果摄像头水平放置，可能车辆形成的前景会覆盖行人目标造成行人检测失败。本发明应用于监控场景，一般摄像头都是向下倾斜放置的，在这种情况下，行人的膝盖以下部分通常可以在前景中被反映出来而不是被身后的物体覆盖，如图3中左边灰色区域表示车辆，左边深色区域表示行人不会被后面车辆覆盖的部分，这一部分在X坐标进行投影统计后仍然能够形成小的凸包，所以发明中用到的行人水平位置估计方法在监控场景中基本可以估计到所有存在的行人。

图4是对HSV颜色空间的分割示意图，菱形表示V、S平面，中间的圆盘表示H、S平面，近似双曲线的两条线表示在H、S平面中确定的彩色区域和非彩色区域的分割线（实际中用分段线性函数近似）。

图5，6，7是在测试视频中检测白色上衣行人的效果图，可以看出虽然场景中行人很多且行人相互之间有相互遮挡的情况发生，但实施例的程序基本能把所有行人检测到，并且准确识别穿白色上衣的行人。

所有实验均在PC计算机上实现，计算机的参数为Intel(R)Core(TM)i3CPU M3502.27GHZ,内存1.92GB。视频处理速度基本能够达到实时，针对实施例中用到的较复杂视频场景，平均处理一帧768×576尺度的图像所用时间约为60ms。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。