基于红外线成像视频的目标检测研究

摘要

目标检测是计算机视觉领域的一项具有挑战性的任务。不同于传统的RGB三通道视频拍摄设备，热红外（Thermal Infrared，TIR）像摄像仪具有能够在完全黑暗的环境中运行和对光照和阴影变化不敏感的优势。它能提供嘈杂的低分辨率图像，主要用于捕捉相对于较冷背景的目标。红外视频成像在军事和安全等领域的需求潜力巨大。相对于传统RGB三通道视频的研究，目前对红外视频目标检测的研究还相对较少，相关技术还亟待提高。 论文的研究目标是针对根据热红外视频具有的噪声复杂、画质模糊、通道单一、图像信息少的特点，利用深度神经网络技术，提出了基于矫正光流算法红外视频目标检测模型，以及利用超分辨率模型来加强对小目标检测。本文的创新工作概括如下： 1.针对红外视频光流噪声大和归一化时出现零点漂移的问题，在计算光流时，本文提出了非线性的矫正光流算法，使光流在作进一步归一化时，所有的静止目标可以保持相同的光流值，并且提出了高效的矫正阈值，使光流在矫正后能有效保持目标运动信息的区分度。 2.对基于图像的单阶段目标检测系统进行了改进，通过在输入中叠加包含目标的运动信息的矫正光流图像和包含有外观信息的原始视频帧图像，提升了现有主要单阶段检测系统的性能，特别是同时提高了对外观信息缺乏的运动目标的检测性能。与传统运动目标检测模型不同，改进后的检测框架，还可以对静止目标进行有效地检测，克服了如帧间差分法等运动目标检测方法的不足，实现了动静目标的同时检测。 3.针对红外视频图像包含外观信息少的特点，提出了利用基于深度神经网络的超分辨率模型，对视频图像信息进行了扩充和增强。实验结果表明，超分辨率化后的视频更有利于提高小目标的检测。 4.针对原始VOT-TIR2016数据集的视频帧中只标注了一个目标的不足，本文对该数据集的标注进行了有效的扩充，使之能够适用于多目标检测，为进一步开展基于红外线视频的目标检测研究打下了良好的基础。

目录

声明

第一章 绪 论

1.1.1 研究背景

1.1.2 研究意义

1.2 国内外研究现状

1.2.1 红外图像目标检测研究现状

1.2.2 图像超分辨率研究现状

1.2.3 骨干网研究现状

1.2.4 检测框架研究现状

1.3.1 研究目标

1.3.2 研究内容

1.4 论文的结构安排

第二章 相关技术简介

2.1 生成式对抗网络（GAN）

2.1.1 生成式对抗网络的原理

2.1.2 生成式对抗网络的深度结构

2.2批量标准化（Batch Normalization）

2.2.1 批量标准化的原理

2.2.2 批量标准化的深度结构与形式

2.3 目标检测框架

2.3.1 常见目标检测框架的模块简介

2.3.2 两阶段目标检测框架简介

2.3.3 单阶段目标检测框架简介

2.4 本章小结

第三章 红外线图像的超分辨率模型研究

3.1基于ESRGAN的红外线成像视频增强

3.1.1 ESRGAN网络结构简介

3.1.2 ESRGAN的损失函数简介

3.1.3 ESRGAN的网络插值

3.2 宽深超分辨率网

3.2.1 WDSR的网络架构

3.2.2 像素洗牌

3.2.3 WDSR的权重标准化

3.3 ESRGAN和WDSR超分辨率结果

3.4 本章小结

第四章 基于矫正光流的红外视频目标检测研究

4.1基于时空信息的目标检测模型简介

4.2面向视频目标检测的矫正光流模型

4.2.1 光流算法的基本原理

4.2.2 L-K光流算法

4.2.3 H-S光流算法

4.2.4 Farneback光流算法

4.2.5 面向目标检测的矫正光流算法

4.3 基于矫正光流的单阶段视频目标检测模型

4.3.1 基于矫正光流的YOLO改进模型

4.3.2基于矫正光流的单步检测器改进模型

4.3.3 基于矫正光流的YOLO与SSD改进模型比对

4.4 本章小结

第五章 实验结果与分析

5.1 数据集说明

5.2 实验的评价指标

5.3 实验结果与分析

5.3.1 模型训练环境简介

5.3.2 基于矫正光流单通道改进模型的目标检测结果

5.3.3 基于超分辨率模型的目标检测结果

5.4 本章小结

第六章 总结与展望

6.1 论文工作总结

6.2 未来方向展望

致谢

参考文献

攻读硕士学位期间取得的成果