基于Mask R--CNN的违规经营行为识别研究

摘要

近年来，计算机视觉技术取得了很大进展，除了在医学检测、视频监控等领域外，在城市管理中也有着广阔的应用前景，如利用实例分割来识别城市违规经营行为，使城市管理更加高效智能。但是存在着以下问题：①实例分割模型如Mask R-CNN的目标检测精度较低，尤其对违规经营行为这类形态不确定对象的检测精度较低，并且分割的掩模精度较低，对象轮廓边界分割不够清晰；②现实环境中存在着雾、霾等干扰因素，对模型的检测能力有着一定的影响；③没有公开的违规经营行为数据集，对神经网络模型的训练带来不便；④目前没有一个有效的违规经营行为识别系统来促使城市管理更加高效。因此基于上述背景，本论文主要研究如何通过改进特征重用和特征融合的方式来提高模型目标检测精度和掩模分割精度，以构建一个能有效识别城市违规经营行为的系统。　　本文以Mask R-CNN作为基本架构，构建了具有实例分割功能的网络架构DU-AFNet(Down to Up-Weight Fusion neural Network)，主要贡献如下：①依据不同尺度特征对最终特征的形成具有不同影响的思想，改进了Mask R-CNN，构建自下而上的特征融合路径，实现多尺度特征融合，并结合卷积操作，进行自适应的多尺度特征融合，通过取最大值得到融合的特征图，由该特征图进行后续的目标分类任务和掩模分割任务；在掩模生成分支，加入优化的完全连接条件随机场来提高模型掩模分割的能力；②在DU-AFNet网络架构中集成端到端去雾模块AOD-Net，以增强图像清晰度，提高模型在恶劣天气环境下的检测精度；③构建了一个城市违规经营行为数据集：vendor数据集；④构建了一个能够自动识别违规经营行为系统。　　本文对改进模型进行了综合性实验分析，实验结果显示：与Mask R-CNN相比较，仅加入了自下而上自适应的多层特征融合路径的模型，其检测目标框的AP值在COCO数据集中提升了1.3%，在vendor数据集中，提升了3.4%；仅加入优化的完全连接条件随机场的模型，其掩模分割的AP值在COCO数据集中提升了1.1%，在vendor数据集中提升了4.3%；DU-AFNet综合上述两个改进模块，在COCO数据集上AP指标提高了1.2%，在vendor数据集上AP提高了2.7%；DU-AFNet加入AOD-Net去雾模块后，模型的AP值提高了0.9%，并且训练时间仅增加了0.7%的时间成本。实验结果表明：基于上述神经网络所构建的违规经营行为识别系统能有效地简化城市管理工作。

目录

1 绪 论

1.1 课题研究背景及意义

1.2 国内外研究现状

1.2.1 机器学习

1.2.2 计算机视觉

1.3 本文研究内容

1.4 论文的组织结构

2 理论基础

2.1 引言

2.2 多层感知机

2.3 卷积神经网络

2.3.1 卷积神经网络结构

2.3.2 卷积层

2.3.3 激活函数

2.3.4 池化层

2.3.5 全连接层（FC）和全局平均池化(GAP)

2.4 经典卷积神经网络介绍

2.4.1 AlexNet

2.4.2 VGG Net

2.4.3 GoogLeNet

2.4.4 ResNet

2.5 图像分割方法

2.5.1基于图论的图像分割方法

2.5.2 基于像素的图像分割方法

2.5.3 基于深度语义的分割方法

2.6 本章小结

3 违规经营行为数据集的制作

3.1 引言

3.2 MS COCO

3.3 vendor数据集

3.3.1 数据集的采集与数据增强

3.3.2 数据集的标注

3.3.3 生成json 文件

3.4 本章小结

4 特征传播路径与融合的改进方法

4.1 引言

4.2 Mask R-CNN存在的不足

4.3 基于Mask R-CNN的改进

4.3.1 自下而上特征传播路径

4.3.2 自适应的多层特征融合

4.3.3 提高掩模分割精度

4.4 实验过程与结果分析

4.4.1 实验评价指标

4.4.2 实验参数设置

4.4.3 实验结果与分析

4.5 本章小结

5 有雾环境下的违规经营行为检测

5.1 引言

5.2 去雾模块AOD-NET

5.2.1 物理模型

5.2.2 网络模型

5.3 损失函数

5.4 实验过程与结果分析

5.5 本章小结

6 违规经营行为识别系统设计

6.1 引言

6.2 需求分析

6.3 系统架构图

6.4 违规经营行为系统的实现

6.5 本章小结

7 总结与展望

7.1 论文研究总结

7.2 研究展望

参考文献

附 录

A. 作者在攻读硕士学位期间取得的科研成果目录：

B. 学位论文数据集

致谢