基于深度学习的人体交通指挥姿势识别方法研究

摘要

随着智能交通技术的不断发展，汽车的辅助驾驶系统得到了更广泛的应用，可靠的辅助驾驶系统不仅需要准确地识别固定的交通信号指示灯，而且需要具备对复杂的交通指挥姿态做出迅速响应和处理的能力。但是，目前交通指挥姿态识别技术大多专注于模型的设计优化，以RGB图片作为网络输入进行训练和识别，但图像背景往往较复杂，一定程度上影响了交通指挥姿态的识别精度。针对上述问题，本文基于DensPose网络可提取人体3D纹理信息等优势，提出先对交通指挥姿态进行基于纹理的估计，再利用InceptionV3网络进行交通指挥姿态识别的方法。本文主要研究内容如下：　　首先，本文系统地分析了交通指挥姿态的估计和识别任务。研究了卷积神经网络的基本模型结构，并详细地分析了前向传播过程与反向传播过程。之后描述了本文所用交通指挥姿态数据集采集的具体过程，该数据集的采集考虑了光线变化、距离远近等11个不同复杂场景，并对该数据集进行了数据扩增和图像尺寸归一化的数据预处理。　　其次，本文研究了传统的基于骨骼关键点的姿态估计方法。针对该估计方法存在的光线、复杂背景、遮挡等问题，本文提出了使用3D几何信息和纹理信息表示人体DensePose的方法用于交通指挥姿势估计。该方法首先将人体分为24个部分进行回归，在对人体上的每个像素点进行部分回归，估计出包含交通姿态几何空间信息和纹理信息的UV贴图表示。实验表明，本文提出的交通指挥姿态密集估计方法不仅能消除图像背景中的冗余信息，而且包含人体3D纹理信息的表示方法更能表征交通指挥姿态的本质特征。　　最后，本文研究了交通指挥姿态识别方法。将传统机器学习方法和基于卷积神经网络的迁移学习方法进行对比。将RGB、骨骼关键点和密集姿态三种不同的交通指挥姿态数据分别输入传统机器学习网络和迁移学习的InceptionV3网络中进行姿势识别。实验结果表明本文提出的基于密集姿态的交通指挥姿势估计方法在InceptionV3网络下具有更高的识别率。

目录

声明

第一章 绪论

1.1 课题研究背景与意义

1.2 国内外研究现状

1.2.1 人体姿态估计方法

1.2.2 人体姿态识别方法

1.3 交通指挥姿态识别技术研究难点及主要问题

1.4 本文主要研究内容及章节安排

第二章 卷积神经网络基础与数据集制作

2.1 深度学习基础

2.1.1 卷积神经网络结构

2.1.3 前向传播与反向传播

2.2 交通指挥姿态数据集

2.3 数据预处理

2.3.1 图像数量扩增

2.3.2 图像尺寸归一化

2.4 本章小结

第三章 交通指挥姿态估计算法研究

3.1 基于传统方法的交通指挥姿态估计

3.1.1 基于骨骼关键点的特征提取

3.1.2 损失函数

3.2 基于密集姿态的交通指挥姿态估计

3.2.1 特征提取网络模型

3.2.2 包含 3D 信息的参数化人体模型

3.2.3 基于 DensePose 的姿态估计网络构建

3.3 实验结果与分析

3.3.1 实验环境

3.3.2 实验测试

3.3.3 实验结果分析

3.4 本章小结

第四章 基于密集姿态估计的交通姿态识别

4.1 传统姿态识别方法

4.1.1 支持向量机分类算法

4.1.2 最近邻分类算法

4.2 改进的交通指挥姿态识别网络

4.2.1 Google Inception 网络

4.2.2 迁移学习及 Fine-tune

4.2.3 数据集制作

4.2.4 训练过程

4.3 实验结果与分析

4.3.1 基于机器学习方法的交通指挥姿态识别结果

4.3.2 基于深度学习方法的交通指挥姿态识别结果

4.3.3 实验结果分析

4.4 本章小结

总结与展望

参考文献

致 谢