智能视频监控中行人检测及外貌特征分析关键技术

摘要

行人检测是当前目标检测领域的难点和热点问题，在智能视频监控、视频分析、智能交通和无人驾驶等领域中有着广泛的应用。行人的外貌多样性和结构非刚性等特点加大了行人检测的难度，并且在刑侦和安防等应用场景复杂的视频监控系统中，需要行人的面部特征和穿着服装的色彩等更为详细的外貌特征对行人进行分析，为行人追踪、跨区域行人再识别等研究提供充足的判断依据。本文主要研究了基于视频监控的行人检测及外貌特征分析技术，针对行人检测、行人面部外貌特征分析和行人服装外貌特征分析三个部分进行研究和实现，主要工作如下:
　　(1)研究和实现了基于可变形部件模型（Deformable Part Models，DPM）的行人检测算法。DPM使用改进HOG（Histogram of Oriented Gradient）特征作为行人目标的描述特征，相较于原始HOG特征维度更低，对形状变化和光照影响的鲁棒性更高;使用Latent SVM学习在行人整体和行人身体各区域上提取的改进HOG特征，建立可用于行人检测和行人身体各区域定位的人体星型模型。使用人体星型模型对行人头部、躯干和腿部区域的定位，为后续的行人面部外貌特征分析和行人服装外貌特征分析奠定了基础。
　　(2)提出了行人面部外貌特征分析方法，该方法包括基于人体星型模型的人脸检测和面部特征点定位算法。根据人体星型模型中头部模型的位置确定出行人头部所在区域，在该区域上使用Haar特征和Adaboost级联分类器进行人脸检测确定出人脸区域，在人脸区域上使用随机森林提取局部二值特征，将所有的局部二值特征组合起来进行全局线性回归，确定面部特征点位置。基于人体星型模型的人脸检测和特征点定位算法，减少了检测过程中对图像进行遍历和缩放的时间，提高了人脸检测和面部特征点定位的速度。
　　(3)提出了行人服装外貌特征分析方法，该方法包括基于人体星型模型的行人服装区域分割和色彩识别算法。将人体星型模型中的多个部件模型进行组合，确定人体躯干模型组和腿部模型组。在模型组确定的躯干区域和腿部区域上使用GrabCut方法对行人前景服装图像进行分割，减小背景区域图像对行人服装色彩识别的影响。GrabCut方法使用高斯混合模型描述前景服装区域中所有像素的RGB色彩均值和方差，根据像素的色彩均值和数量在HSV色彩空间中对行人的服装区域进行色彩识别。
　　本文在DPM行人检测算法的基础上，使用人体星型模型对面部轮廓、眼睛、鼻子和嘴巴等面部外貌特征以及穿着的服装色彩等服装外貌特征进行检测和识别，将行人检测、人脸检测、面部特征点定位、图像分割和色彩识别算法进行了融合，更全面的对行人进行描述和分析。
　　最后，本文介绍了行人检测及外貌分析系统，该系统使用C++和OpenCV实现了文中研究的算法。使用Qt完成了系统界面，更直观地展现了算法的检测结果，并且可以对视频中的行人数量、人脸数量、面部特征点数量和穿着某一色彩服装的行人数量等检测结果设置异常数量阈值，将判断为异常的视频帧和对应的检测结果存储在MySQL数据库中，方便后续的分析和研究。

目录

声明

摘要

英文缩写对照

第一章 绪论

1．1 研究背景与意义

1．2 研究概况

1．2．1 行人检测算法研究概况

1．2．2 人脸检测和特征点定位算法研究概况

1．2．3 图像分射算法研究概况

1．3 行人检测及外貌特征分析技术介绍

1．4 研究内容与章节安排

第二章 行人检测算法

2．1 基于统计学习的行人检测算法

2．1．1 图像预处理

2．1．2 HOG特征提取

2．1．3 SVM算法

2．2 可变形部件模型算法

2．2．1 改进HOG特征

2．2．2 HOG特征金字塔与人体量型模型

2．2．3 Latent SVM算法

2．3 可变形部件模型算法调练和检测流程

2．3．1 混合星型模型训练流程

2．3．2 DPM算法行人检测流程

2．3．3 级联检测算法

2．4 人体星型模型

第三章 行人面部外貌特征分析

3．1 人脸检测算法

3．1．1 Haar特征

3．1．2 Adaboost算法

3．1．3 人脸训练和检测流程

3．2 面部特征点定位算法

3．2．1 随机森林算法

3．2．2 局部二位特征

3．2．3 面部特征点定位流程

3．3 基于人体星型模型的人脸检测及面部特征点定位

第四章 行人服装外貌特征分析

4．1 基于图论的图像分割方法

4．1．1 Graph Cuts分割算法

4．1．2 GrabCut分割算法

4．2 行人服装色彩识别方法

4．2．1 服装区域分割

4．2．2 RGB与HSV色彩空间转换

4．2．3 基于GrabCut和HSV的色彩识别

第五章 行人检测及外貌特征分析系统

5．1 行人分析系统结构

5．2 行人分析系统主要功能介绍

第六章 课题总结与展望

6．1 课思总结

6．2 课题展望

参考文献

致谢

攻读硕士研究生期间研究成果