基于可见光和红外热像仪的双目视觉目标检测与定位

摘要

消防侦察机器人可以代替救援人员进入易燃、易爆、有毒、浓烟、缺氧等危险事故现场，是减少救援人员伤亡的有效途径。其上搭载的摄像机是获得外界信息的主要来源之一，通过对所拍摄的图像进行分析，可以加快事故现场的救援工作。而现有分析手段大多数是由人工完成的，这不仅浪费了宝贵的人力，也无法快速提取到图像中提供的关键信息。而红外热像仪和可见光摄像机组成双目视觉系统，不仅可以充分利用可见光摄像机提供的色彩信息，还可以有效的利用红外热像仪提供的热辐射信息。基于此，本文利用红外热像仪和可见光摄像机搭建了异源双目视觉系统，并对图像分割、视差匹配和立体视觉进行了研究，主要工作如下:
　　1.分析了传统Otsu对热辐射图像分割的不足，并利用热辐射图像直方图的概率分布，提出了一种基于高斯分布的Otsu阈值分割方法。该方法首先对热辐射直方图进行一维高斯曲线拟合，通过判断拟合曲线的好坏，决定采取的分割行为。该方法不仅解决了传统Otsu对单峰直方图的误分割，并且能够在多目标遮挡时进行有效分割。
　　2.分析了常用视差匹配算法对本文视觉系统的不适用性，并利用目标在热辐射图像和可见光图像上呈现的轮廓特性，提出了一种基于snake模型的视差匹配方法。该方法将热辐射图像分割得到的二值图像作为输入，提取目标轮廓作为模板，在一定视差范围内遍历由可见光图像卷积运算得到的梯度图像，并利用snake模型的图像力能量函数，找到目标在可见光图像上的坐标。实验证明，该方法可以在复杂的背景下匹配到目标在可见光图像上的坐标。
　　3.根据系统需求，对现有的摄像机标定方法进行分析，选用了适用于本系统的张正友标定法进行立体标定，并且制作了可同时标定红外热像仪和可见光摄像机的棋盘格标靶。实验证明，利用该标靶标定得到的摄像机内、外参数可用于目标定位。最后，为了简化视差匹配算法的设计，本文利用Bouguet算法对热辐射、可见光图像进行了立体校正，得到了行对准的输出图像。

目录

声明

摘要

第一章 绪论

1．1 研究背景与意义

1．2 消防机器人的研究现状

1．2．1 国外研究现状

1．2．2 国内研究现状

1．3 立体视觉技术研究现状

1．4 主要研究工作与论文结构

第二章 双目视觉系统设计

2．1 引言

2．2 双目视觉机器人总体方案

2．3 双目视觉系统

2．3．1 双目视觉系统工作流程

2．3．2 双目视觉系统硬件选型

第三章 热辐射图像分割

3．1 引言

3．2 图像分割方法概述

3．3 基于高斯分布的Otsu阈值分割方法

3．3．1 Otsu阈值计算方法

3．3．2 Otsu阈值分割结果分析

3．3．3 基于高斯分布的Otsu阈值分割技术

3．4 实验结果

第四章 异源图像视差匹配

4．1 视差匹配方法概述

4．2 基于Snake模型的视差匹配方法

4．2．1 Snake模型

4．2．2 图像梯度计算

4．2．3 基于Snake模型的视差匹配技术

4．3 实验结果

第五章 立体视觉

5．1 引言

5．2 双目立体测距原理

5．2．1 摄像机模型

5．2．2 立体视觉原理

5．3 异源双目摄像机标定方法研究

5．3．1 摄像机标定方法概述

5．3．2 张正友标定法工作原理

5．3．3 标定板的制作

5．4 立体矫正

5．5 实验

5．5．1 立体标定实验结果

5．5．2 立体校正实验结果

5．5．3 双目立体测距实验结果与分析

总结与展望

参考文献

致谢