夜间模式下场景深度信息获取及彩色三维重建研究

摘要

目前的机器视觉技术多是在白天或利用光源来获取场景的图像，却极少考虑夜间无光源的情况下的应用。在工业检测应用上，通常可以不考虑无光照的夜间模式，而在机器人应用领域，许多人工难以胜任的恶劣环境下的一些操作通常都在无光的夜间模式，这是普通机器人难以完成的任务。如何扩展机器人的视觉感应范围和智能识别能力，使其能在夜间模式下对场景进行感知识别，是目前机器视觉领域从军用到民用都逐渐引起重视的研究方向。
　　本文首先针对红外图像彩色化处理问题，提取其两种不同类型的特征描述，在实现标定类别信息的样本库寻找与待处理图像内容近似的近邻样本图像，再分别将这些近邻图像与待处理图像中的对应对象进行匹配，并通过马尔科夫随机场模型选择各对象的最佳匹配类别，从而得到待处理红外图像中各对象的类别标签，最后据此对原始红外图像进行彩色化处理，得到意义明确且更为直观的彩色红外图像。
　　基于对现有深度采集技术和场景重建技术的分析，对于夜间场景的三维重建问题，本文先后采用了两种不同的思路，一种是利用常用于可见光场景的光束平差法从夜间红外图像中重建三维场景模型，一种是利用近红外结构光技术直接获取场景深度信息从而构建三维场景模型。并通过实验比较了两种方法应用于夜间场景重建任务时的性能差异及其原因。本文首先分析了光束平差法的理论基础及其计算瓶颈的多种优化思路，在此基础上通过实验验证了光束平差法用于可见光环境重建任务的有效性，也发现该方法并不适用于利用红外图像重建夜间三维场景。
　　本文采用结构光技术获取场景深度信息。此方法首先使用一台红外投影设备向场景投射红外条纹或网格等预先编码模式的红外照射，从投影设备以外的位置就可以观察到红外条纹或网格光照经场景表面反射产生了形变，根据反射光照的形变即可计算出场景表面各处的深度，得到场景深度图。设备采集到的深度图经过线性转换可以得到场景表面一系列点在相机空间的三维坐标，这些点称为点云，结合彩色图像与深度图的映射关系，可以得到包含色彩信息的三维点云。将经过降噪、去除异常点等预处理的多个点云模型进行合并，得到表示原始场景的密集点云模型。为提高模型的存储和计算效率，提取密集点云模型的关键点，构建表示原始场景的三角形网孔模型，所有的这些三角形网格组成原始场景的彩色三维重建模型，即将原始场景的复杂表面抽象为由一系列平面三角形拼接而成的网孔模型。之后利用插值算法得到网孔模型各三角形表面的色彩信息，得到原始场景的彩色三维网孔模型。
　　实验证明，本文提出的利用结构光方法获取场景深度信息，再基于此重建三维场景的方法能够恢复出高精度的原始场景的彩色三维模型，可以应用在可见光模式和夜间模式下，模型可以实施增量生成，且可以转换为更利于处理的三维网孔模型，是实现夜间模式下场景彩色三维重建任务的有效方法。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 课题研究背景及意义

1.2 红外成像技术在机器视觉中的应用研究现状

1.3 本文研究内容

第二章 红外图像的场景识别与彩色化处理

2.1 引言

2.2 红外图像的场景识别

2.3 红外图像的彩色化处理

2.4 实验

2.5 本章小结

第三章 场景深度信息提取技术及设备介绍

3.1 引言

3.2 场景深度信息采集技术

3.3 从二维图像估计场景深度

3.4 集成深度信息采集设备

3.5 本章小结

第四章 光束平差法重建三维场景

4.1 引言

4.2 光束平差法

4.3 光束平差模型

4.4 误差模型选择

4.5 光束平差模型实现

4.6 光束平差模型求解

4.7 光束平差法实验

4.8 本章小结

第五章 从图像深度重建彩色三维场景模型

5.1 引言

5.2 深度图预处理

5.3 建立密集点云模型

5.4 建立彩色网孔模型

5.5 场景三维重建实验

5.6 本章小结

全文总结

附录A 光束平差法实验附图

附录B 可见光场景彩色三维重建实验附图

附录C 夜间场景无色彩三维重建实验附图

参考文献

攻读学位期间的研究成果

致谢