异质数据融合的道路场景语义理解

摘要

基于计算机视觉的道路场景语义理解是自主车等智能应用的关键性支撑研究。为了增强自主车的环境理解能力，研究者们致力于彩色摄像机和激光雷达的异质数据融合的道路场景语义理解研究。由于激光雷达数据分辨率相对较低，如何与摄像机数据进行融合并获得像素分辨率的语义理解结果成为了研究的难点之一。其次，合理利用场景语义理解中子问题间的关系进行联合建模求解，也是提升自主车环境理解能力的热门研究方向。然而，联合问题中模型复杂度高、变量维数大带来的求解困难，一直是研究的难点。此外，在场景序列语义理解中，如何描述变量间在时间上高阶且不对称的关系，并获得更准确、时序上一致性更高的理解结果，成为该研究的第三个难点。
　　基于上述研究背景和难点问题，本博士学位论文主要研究彩色摄像机和激光雷达的异质数据融合的道路场景语义理解，通过异质数据在不同层次的融合、合理地联合建模与求解，以及构建描述变量在时、空上一致性关系的混合图模型，获得了更为准确、时序上一致性更高、具有像素分辨率的道路场景语义理解结果。
　　本文的主要内容和贡献如下：
　　1、提出了一种异质数据融合的道路场景在线目标级图像分割方法。以往方法仅在特征层或决策层进行融合，并获得低于像素分辨率的分割结果。我们的方法不仅实现了特征层和决策层的数据融合，而且获得像素分辨率的分割结果。其中特征层的融合，通过对激光雷达点稀疏深度图的升采样方法实现。决策层的融合主要体现在两个方面:一方面通过激光雷达数据获得目标假设的种子点，实现了在线的目标检测和目标级图像分割;另一方面在构建的图模型中添加了基于种子点的硬约束，提升了图像分割的效果。
　　2、有别于传统联合求解问题只包含离散取值的标签，提出了一种联合建模求解离散取值标签与连续取值标签的方法。构建的联合模型使用交替方向法(Alternating Direction Method，ADM)进行迭代求解，其中连续取值标签可以通过一种线性计算方法获得。该方法应用于道路场景下离散取值的目标标签与连续取值的深度标签的联合建模求解中，较好地解决了以往离散取值深度标签求解复杂度高、深度结果精度损失的问题。实验表明，该方法能获得与以往方法相比更为准确的图像分割与深度升采样结果。
　　3、提出了一种异质数据融合的道路场景目标级图像分割与语义标注联合建模求解的方法。在决策层数据融合中，通过激光雷达三维点的目标假设获得图像二维目标假设检测框，避免了以往方法中对目标检测的离线训练以及对整张图像窗口式的目标搜索。与以往复杂的联合模型不同，该联合模型满足半度量的约束，可以使用快速有效的图割算法进行求解。实验表明，该方法能同时提升目标级图像分割以及语义标注的效果。
　　4、有别于传统的概率图模型，构建了混合图模型用于解决道路场景序列图像语义标注问题。其中，用简单边描述单帧内相邻变量间的空间关系，用超边描述变量间在时间上高阶、不对称的关系。该模型较好地克服了包含高阶能量项的简单图模型难以求解，以及简单边描述能力局限的缺点。此外，为了将基于混合图的分割问题推广为语义标注问题，我们在模型中添加了经验式的损失函数。该混合图模型在求解上被转化为线性优化问题，并使用线性计算方法进行求解。实验表明，与传统简单图模型相比混合图模型可以获得更为准确、在时序上一致性更好的语义标注结果。

目录

声明

致谢

摘要

图目录

表目录

1 绪论

1．1 问题的提出

1．2 研究背景和意义

1．3 道路场景语义理解的发展和研究现状

1．3．1 道路场景语义理解的发展

1．3．2 基于不同传感器数据的道路场景语义理解

1．3．3 道路场景低层语义理解

1．3．4 道路场景对象层语义理解

1．3．5 相关联合建模求解方法

1．4 概率图模型

1．4．1 概率图模型基础

1．4．2 超图的基本概念

1．5 KITTI数据集

1．6 本文研究目的和内容安排

2 道路场景在线目标级图像分割

2．1 引言

2．2 相关工作

2．3 基本思路与总体框架

2．3．1 异质数据融合的在线道路检测

2．3．2 异质数据融合的在线目标级图像分割

2．4 目标假设的生成

2．4．1 三维空间地平面估计

2．4．2 图像地平线的估计

2．4．3 目标假设种子点的提取

2．4．4 目标假设似然概率模型的构建

2．5 目标级图像分割

2．5．1 模型的构建

2．5．2 模型的改进

2．5．3 模型的求解

2．6 实验结果与分析

2．6．1 摄像机和激光雷达的异质数据

2．6．2 实验设置

2．6．3 评价方法

2．6．4 实验结果与分析

2．7 本章小结

3 目标级图像分割与深度升采样联合建模求解

3．1 引言

3．2 相关工作

3．3 模型的构建

3．3．1 问题的描述

3．3．2 能量项设置

3．4 模型的求解

3．4．1 离散取值目标标签的求解

3．4．2 连续取值深度标签的数值求鳃

3．5 实验结果与分析

3．5．1 实验设置

3．5．2 KITTI数据集

3．5．3 Leuven数据集

3．6 本章小结

4 目标级图像分割与语义标注联合建模求解

4．1 引言

4．2 相关工作

4．3 基本思路与总体框架

4．3．1 问题的提出

4．3．2 总体框架

4．4 语义目标假设的生成

4．4．1 目标检测

4．4．2 目标分类

4．5 模型的构建

4．5．1 问题的描述

4．5．2 能量项设置

4．6 模型的求解

4．7 实验结果与分析

4．7．1 实验总体介绍

4．7．2 目标假设分类

4．7．3 道路场景对象层语义理解

4．7．4 实验小结

4．8 本章小结

5 道路场景序列图像语义标注

5．1 引言

5．2 相关工作

5．3 基本思路与总体框架

5．3．1 问题的提出

5．3．2 总体框架

5．4 模型的构建

5．4．1 基于超图的分割问题

5．4．2 混合图模型的构建

5．5 模型的求解

5．5．1 优化函数矩阵化表示

5．5．2 线性优化

5．6 实验结果与分析

5．6．1 实验设置

5．6．2 实验结果与分析

5．7 本章小结

6 总结与展望

6．1 本文工作总结

6．2 研究工作展望

参考文献

攻读学位期间获得的科研成果