基于深度相机的三维热成像重建技术研究

摘要

普通的红外热成像技术以二维图像的形式反映物体表面温度的分布，广泛应用于故障检测、医疗诊断、智能驾驶及能耗监控等众多工业领域。然而使用二维红外热图像表述物体的表面温度分布，具有如下严重局限性:a.缺乏三维信息导致无法定位温度异常区域，b.较难融合获取到各个视角的物体温度图像，c.二维图像的降维映射导致测温不精确。因此，本文基于深度相机提出一种三维热成像重建技术。首先，通过对深度相机的工作原理和长波热红外相机成像原理进行分析，设计能够同时被深度相机与长波热红外相机观测到的棋盘格标定板，完成深度相机与温度相机的内外参标定工作。接着，根据温度图的低纹理性及温度信息对角度变化和环境因素的稳定性，结合ICP算法，提出Thermal-guidedICP算法对当前数据与模型进行匹配。然后，结合Thermal-guided ICP提出基于参考模型的时域外参补偿策略解决深度图与温度图采集时刻不同引起的外参偏差。最后，在TSDF模型的基础上，构建扩展TSDF模型，并且根据深度图特性及温度信息影响因素提出合理有效的数据融合策略。 全文主要内容包括: 第一章，分析了三维热成像重建技术的国内外研究现状，总结了三维热成像重建技术面临的主要难点，给出本文的研究内容。 第二章，介绍三维热成像系统硬件组成部分、深度与温度相机之间的标定工作。首先介绍三维热成像系统组成部分;接着利用特制的标定板分别对深度与长波热红外相机进行内部参数校正;最后使用基于面匹配方式求解初始外参，接着使用点匹配方式精调外参。 第三章，研究了三维热成像系统多视角信息匹配算法，估计相机的精确位姿。首先阐述了Thermal-guided ICP整体框架;接着通过前后温度图的图像平移配准，辅助投影数据联合算法获取匹配点对，使用奇异值分解（Singular Value Decomposition，简称SVD）估计当前的初始相机位姿;最后通过该帧和模型之间的几何与温度信息一致性最大化，对初始位姿进行精调，获取精确位姿。 第四章，结合Thermal-guided ICP算法研究同步优化相机位姿和相机之间的外参偏差。在时钟同步和时间戳最邻近策略的基础上，结合Thermal-guided ICP算法，通过该帧温度图与模型之间的温度信息一致性最大化，求解相机之间的外参偏差。 第五章，研究基于TSDF的多视角数据融合策略。首先在TSDF模型的基础上，构建能够存储温度信息的扩展TSDF模型，接着根据深度图特性，采集距离以及温度信息与发射角度的关系，提出有效的多视角数据融合策略，最后使用Marching Cubes提取出网格模型。 第六章，对本文的工作进行总结，对未来工作进行了展望。

目录

声明

致谢

摘要

1．绪论

1．1三维热成像研究背景及意义

1．2三维热成像国内外研究现状及分析

1．3本文主要研究内容与架构

2．三维热成像重建系统搭建

2．1设备选型

2．2深度与温度相机内参标定

2．2．1成像模型

2．2．2张正友棋盘格内参标定法

2．2．3深度和温度相机内参标定过程

2．3深度与温度相机外参标定

2．3．1基于平面匹配的外参初始化

2．3．2基于点匹配的外参精调

2．3．3实验分析

2．4本章小结

3．基于Thermal-guided ICP的帧与模型匹配算法

3．1算法框架

3．2基于图像配准的粗匹配

3．2．1图像配准模型选取

3．2．2粗匹配点对选取

3．2．3基于SVD的位姿求解

3．3基于几何与温度信息一致性的精匹配

3．3．1匹配点对选取方式

3．3．2位姿精调

3．4实验分析

3．4．1数据集制作

3．4．2鲁棒性评估

3．4．3精度评估

3．5本章小结

4．时域外参补偿策略

4．1引言

4．2深度与温度相机的时域外参补偿策略

4．2．1深度与温度相机的时钟同步

4．2．2基于参考模型的外参调整策略

4．3实验分析

4．3．1精度评估

4．3．2真实场景测试

4．4本章小结

5．基于TSDF的多视角数据融合策略

5．1基于扩展TSDF数据融合算法

5．1．1扩展TSDF模型

5．1．2数据融合策略

5．2基于Marching Cube的网格提取算法

5．3实现细节与实验分析

5．3．1基于GPU多视角数据融合策略的实现

5．3．2实验结果分析

5．4本章小结

6．总结与展望

6．1全文总结

6．2工作展望

参考文献

攻读硕士学位期间主要的研究成果