轻量级具有融合层的近红外图像彩色化深度学习模型

摘要

近红外图像彩色化是智能探测系统的关键技术之一，很多重要的夜视或低照度场景，如矿井、野外动物观测点、军事基地等，需要使用近红外图像实现全面监控。近红外图像的优点是能反应目标场景的热辐射信息，对场景亮度变化不敏感，具有良好的探测性。但是近红外图像属于灰度图像，不符合人类视觉习惯，且大片灰度区域使我们无法观察场景细节信息，故需要将之彩色化以增加其色彩与纹理信息，以减少操作者的视觉疲劳感，增强观测者对场景形势的判断能力，最终提高目标探测效率。 由于当前图像彩色化方法多基于参考图像的颜色迁移方法或基于线条着色的颜色传播方法，均极度依赖人工干预，且人工寻找参考图像及绘制着色线条的过程极为繁琐，严重影响整个上色过程的速度，无法适应智能探测系统对自适应的要求，所以本文利用深度学习模型完成对近红外图像的彩色化。 针对本文需要3000-5000张与待上色近红外图像场景相似的图像作为图像彩色化网络模块的训练集的要求，本文首先使用轻量级具有联合特征的图像识别网络作为近红外图像的识别网络，在保证了近红外图像中的物体识别准确率，同时大大缩短了训练和测试时间，降低了对设备硬件的要求;然后通过识别网络，识别出需彩色化的近红外图像中包含的场景和目标类别，并在ImageNet数据集中选取与之具有相似场景和目标的图像集合作为彩色化网络的训练集;针对传统CNN网络对图像彩色化细节效果粗劣、易出现漫色等问题，引入Inception V4分类器提取近红外图像全局特征，并与通过下采样得到的局部特征相融合，得到融合特征向量，然后输入解码器网络完成对图像的彩色化以及尺寸的恢复，最后输出彩色化后的近红外图像。经过测试，与现有图像彩色化方法进行对比分析，结果证明用此种特征预测得到的彩色化图像细节更加丰富，边缘更加清晰。

目录

声明

摘要

第一章绪论

1．1研究背景

1．2国内外研究现状

1．2．1灰度图像彩色化的研究现状

1．2．2深度学习及其在图像处理方面的研究现状

1．2．3目标识别的研究现状

1．3本文训练模型所用的两个图像库

1．4论文内容和结构

第二章近红外图像中的目标识别网络

2．1基于深度学习目标识别

2．1．1卷积神经网络

2．1．2 RCNN及其改进模型

2．2轻量级具有联合特征的近红外图像目标识别网络

2．2．1损失函数的优化

2．2．2轻量级并具有联合特征近红外图像识别网络

2．3本章小结

第三章具有融合层的近红外图像彩色化网络

3．1近红外图像预处理

3．2激活函数的选择

3．2．1 Sigmoid函数

3．2．2 Tanh函数

3．2．3 ReLU函数

3．2．4本文采用的ReLU的变种函数

3．3提取图像全局特征所用分类器

3．3．1 Inception V1

3．3．2 Inception V2

3．3．3 Inception V4

3．4具有融合层的近红外图像彩色化网络构建

3．4．1编码器(Encoder)

3．4．3解码器(Decoder)

3．5本章小结

第四章近红外图像彩色化结果与分析

4．1实验环境

4．2改进的近红外目标识别实验结果及结果分析

4．3改进的近红外图像彩色化实验结果及分析

4．3．1对于较低分辨率近红外图像彩色化后的主观质量评价

4．3．2对于较高分辨率近红外图像彩色化后的主观质量评价

4．3．3不同彩色化模型图像质量主客观对比

4．3．4不同迭代次数对彩色化效果的影响

4．4本章小结

第五章总结与展望

5．1总结

5．2展望

参考文献

发表论文和参加科研情况

致谢