基于深度学习的监控视频运动目标检测及行人结构化描述关键技术

摘要

近些年来，随着国家应急体系、平安城市、平安校园、科技强警等重大工程项目在安防领域不断的推进，使得视频智能分析在安防领域扮演着越来越重要的角色。运动目标检测是视频智能分析领域中的研究热点和难点，同时也是视频智能分析的基础与核心功能，视频智能分析中许多功能都是依赖于运动目标检测的结果。行人目标在安防领域是最为关注的对象，而行人属性识别在视频智能分析领域应用较为广泛。与此同时，随着深度学习技术的不断创新和突破性的发展，使得深度学习技术在视频智能分析领域得到广泛的应用。本文基于深度学习技术采用卷积神经网络，完成对运动目标检测、行人部件检测、行人精细化识别三个部分的分析和研究，本文主要工作如下:
　　(1)提出了基于YOLOv2-832网络的运动目标检测网络。本文在YOLOv2检测网络的基础上进行了改进，提出了YOLOv2-832网络，提升了目标检测的召回率与IOU值，同时也延用了YOLOv2网的思想，利用Anchor机制结合K-均值聚类产生合适尺寸的运动目标候选区域，从而对提取的候选区域进行位置预测和类别分类。
　　(2)研究和实现了行人部件检测网络。本文基于对R-CNN系列的目标检测算法的研究，提出了基于F-RCN模型的行人部件检测网络，并采用ResNet50作为RPN和检测网络的共享深度卷积网络，实现了行人头部、上身、下身、包、脚的精确定位检测，为后续的行人精细化识别提供高精度的行人部件数据。
　　(3)研究和实现了对行人进行精细化识别。本文将多任务学习机制引入行人属性分类任务中，设计了行人多属性分类网络，并采用DenseNet121网络作为多属性分类网络的主网络，完成对行人性别、头发、下身裤子、鞋子的类别属性的判别。本文利用颜色特征信息在浅层网络就被学习的特点，提出了基于浅层网络AlexNet的颜色分类网络，对行人上衣、裤子、包、鞋子进行颜色属性类别判别。同时选择ResNet50和VGG16分别作为行人上衣和包属性类别分类网络，对行人的上衣和包进行类别属性的判别。
　　本文在行人部件检测网络的检测结果基础上，完成对行人精细化识别，从而实现对行人的结构化描述。最后，本文介绍了监控视频运动目标检测及行人结构化描述系统，并为该系统搭建了深度学习平台Caffe和DarkNet，为运动目标检测和行人结构化描述提供了计算平台。在该系统中采用Qt完成系统的展示界面的搭建，实时展示系统中运动目标检测和行人结构化描述的结果。

目录

声明

摘要

1．1 研究背景与意义

1．2 研究现状

1．2．1 深度学习研究现状

1．2．2 运动目标检测算法研究现状

1．2．3 行人结构化描述研究现状

1．3 论文研究内容与结构安排

第二章 深度学习理论与平台搭建

2．1 深度学习概述和基础理论

2．1．1 深度学习概述

2．1．2 深度神经网络

2．2 卷积神经网络理论基础

2．2．1 核心特点

2．2．3 网络层类型

2．3 卷积神经网络结构分析

2．3．1 AlexNet

2．3．2 VGG

2．3．3 ResNet

2．3．4 DenseNet

2．3．5 SENet

2．4 深度学习平台搭建

2．5 本章小结

第三章 基于深度学习的监控视频运动目标检测

3．1 YOLO运动目标检测算法

3．1．1 检测流程

3．1．2 网络结构

3．1．3 网络模型训练

3．2 YOLOv2运动目标检测算法

3．2．1 检测流程

3．2．2 DarkNet-19

3．2．3 细粒度特征

3．3 监控视频运动目标检测网络设计及实现

3．3．1 数据集准备

3．3．2 改进检测网络

3．3．3 实验对比与分析

3．4 本章小结

第四章 基于深度学习的行人部件检测

4．1 R-CNN系列目标检测算法

4．2 基于Faster R-CNN行人部件检测算法

4．2．1 RPN(Region Proposal Networks)

4．2．2 网络结构

4．2．3 网络训练方式

4．3 基于R-FCN行人部件检测算法

4．3．1 位置敏感得分maps

4．3．2 位置敏感RoI池化

4．3．3 检测流程

4．4 行人部件检测网络设计和实验分析

4．4．1 行人部件检测网络设计

4．4．1 检测网络模型实验对比与分析

4．5 本章小结

第五章 基于深度学习的行人精细化识别

5．1 基于多任务学习的行人多属性分类

5．2 颜色属性分类

5．3 上衣、包分类

5．3．1 上衣属性分类

5．3．2 包属性分类

5．4 本章小结

第六章 监控视频运动目标检测及行人结构化描述系统

6．1 系统架构

6．2 系统展示

6．3 本章小结

7．1 论文总结

7．2 论文展望

参考文献

致谢

攻读硕士研究生期间研究成果