序列图像光流计算关键技术研究及其在三维重建中的应用

摘要

光流描述了可由视觉感知的运动，被广泛的应用于机器人自动导航、无人汽车辅助驾驶、人脸表情动态跟踪等领域，是进行目标运动分析与理解的重要手段，一直是计算机运动视觉及相关领域的重要研究内容。经过近30年的发展，光流算法的很多基础问题得到解决，应用环境由最初实验室内理想光照条件、人工布置目标，逐步向室外未知环境、未知目标扩展。应用环境的扩展意味着光流算法越来越多的应用于实际工程。与此同时，应用环境与目标的未知性都对已有的光流算法提出了新的挑战，如光照随机变化、小目标高速运动产生大位移、目标物之间的相互遮挡、光流计算正确性的自评估与自校正等。
　　本论文针对光流计算关键技术及在三维重建中的应用展开研究，着重研究了不同光照条件下光流自适应算法、光流计算误差的自评估与自校验算法、三维重建中高精度匹配方法与冗余点删除问题。主要工作如下:
　　(1)由于实际场景中光照变化的必然性与随机性，光流算法必须能对光照变化自适应。以光照模型和相机成像模型为依据，分析了实际图像采集过程中影响光照变化的因素，将光照变化分为两类:一类是由进入CCD(Charge Coupled Device)光辐照度产生突变而引起的光照变化;另一类是由物体与相机相对运动占主导而产生的光照变化。通过两帧图像灰度直方图分布差异确定当前图像的光照变化类型。如果是第一类光照变化，采用改进的Census变换作为光流模型的数据项。与传统的Census变换相比，改进的Census变换包含了中心像素和邻域像素完整的灰度相对大小信息，在保持抗光照单调变化能力的同时，不同的图像子块间具有更强的分辨力。如果是第二类光照变化，则以改进的Census变换和纹理特征的加权和作为光流模型的数据项，通过均值场近似理论求解每个像素对应的不变量权值。相比于多个数据项分量固定权重模型，所提出的自适应权重模型与像平面不同区域亮度变化规律更吻合。以Middlebury和KITTI数据库中图像为测试样本验证了所提算法的有效性。
　　(2)光流算法应用于实际工程时，需要保证输出结果具有一定的精度。当前，各大标准数据库对光流算法精度的评估均是通过和真实光流进行对比。然而，在实际工程中，场景和目标的真实光流是未知的。因此，光流计算精度的自评估和自校正是光流算法胜任未知环境视觉任务的先决条件。针对此，根据两帧图像中匹配点与光流值等价的原则，提出一种基于离散可信匹配点的光流校正和误差评估方法。首先，采用图像分割算法将图像分割为不同的区域。接着，在像平面内检测可信匹配点，以此匹配点为种子点，对其邻域点进行光流误差评估与校正。所提算法的关键点是确定数量多、分布广、精度高的可信匹配点与设计有效的校正方法。①为得到数量多、精度高的匹配点，提出了利用两帧图像空间几何关系的双阈值SIFT(Scale Invariant Featuretransform)匹配算法。首先，在低阈值下，得到精度高的匹配点，并用这些点计算两视图的对极几何关系与空间拓扑结构关系;再以此关系为约束去除高阈值下精度低的匹配点。②为得到分布广的匹配点，提出基于HOG特征与空间几何约束的区域匹配算法。以第1帧图像上每个区域的内接四边形为模板，在第2帧图像上搜索与之匹配的区域。为减小搜索范围，设计了极线约束和邻域方向约束。为避免灰度变化平缓区域匹配误差大而给校正带来误差，设计了测度灰度变化算子，仅对满足一定条件的区域计算对应的匹配区域。③为保证校正的有效性，提出了非运动、遮挡边界光流平滑过渡判定准则，并对校正后的光流值施加极线约束，进行二次判定。以KITTI数据库图像为测试样本，实验结果如下:KITTI数据库194组图像，光流误差平均降低7.04％，最大可降低31.25％，该结果证实了所提算法的有效性。
　　(3)将光流算法应用于序列图像场景稠密三维重建。针对三维重建中误匹配问题，提出一种两步匹配算法。首先以光流算法计算两个视图的初始匹配点，然后用三视图几何约束去除误匹配点。针对多视图三维重建过程中，随着重建视图的增加，三维冗余点不断增加的现象，利用多视图几何关系自动判断当前重建的点云在之前的视图中是否被重建。如果已被重建，则在两次重建的点云中保留反投影残差较小的点;如果未被重建，则直接保留。所提出的算法不仅能降低整体数据量，同时可提高点云整体精度，不丢失被测量物体曲率较大处表面细节信息，且同样适用于主动三维重建系统冗余点删除。用多视图立体重建数据库中temple图像、以及结构光三维重建系统验证了所提算法的有效性。

目录

声明

摘要

第1章 绪论

1．1 研究背景与意义

1．1．1 光流定义及相关概念

1．1．2 光流计算研究意义

1．2 研究进展与现状

1．2．1 光流计算研究进展

1．2．2 光流计算尚未解决的典型问题

1．3 本文研究内容与结构安排

1．4 本章小结

第2章 微分光流计算

2．1 微分光流基本约束方程

2．2 局部光流计算方法

2．2．1 LK方法

2．2．2 其他方法

2．3 全局计算方法

2．3．1 全局光流中的数据项

2．3．2 全局光流中的平滑项

2．3．3 数据项和平滑项之间的权重

2．3．4 罚函数

2．4 局部和全局相结合的方法

2．5 光流模型的求解方法

2．5．1 基于金字塔分解的分层求解策略

2．5．2 基于拉格朗日方程的光流求解方法

2．5．3 基于迭代最小二乘的光流求解方法

2．6 光流场的表示与精度评价

2．6．1 光流场表示方法

2．6．2 光流场精度评价

2．6．3 光流测试数据库

2．7 本章小结

第3章 光照变化条件下光流自适应算法

3．1 引言

3．2 光照变化类型分类

3．2．1 光照模型

3．2．2 数宇相机成像模型

3．2．3 光照变化因素分析与光照分类

3．2．4 基于直方图分布差异的光照类型判别准则

3．3 自适应光照变化的光流计算总体框架

3．4 基于改进Census变换的光照单调变化光流计算

3．4．1 传统Census变换

3．4．2 改进的完备Census变I换

3．4．3 基于改进完备Census变换的光匐宅模型

3．4．4 光流求解

3．4．5 实验与结果

3．5 基于纹理和改进Census变换自适应权重的随机光照变化光流计算

3．5．1 图像纹理提取

3．5．2 光流模型

3．5．3 数据项不同分量自适应权重t-I-lg

3．5．4 光流求解

3．5．5 实验与结果

3．6 本章小结

第4章 基于离散可信匹配点的光流误差评估与校正算法

4．1 引言

4．2 光流误差评估与校正算法

4．2．1 算法总体框架

4．3 关键技术

4．3．1 图像超像素分割

4．3．2 基于双阈值和空间几何约束的特征点匹配

4．3．3 基于HOG特征和空间几何约束的区域匹配

4．3．4 光流误差评估与校正准则

4．4 完整的算法步骤

4．5 实验与结果

4．5．1 光流误差评估实验与结果

4．5．2 光流误差校正实验与结果

4．6 本章小结

第5章 基于光流和多视图约束的稠密三维重建

5．1 引言

5．2 基于光流和三视图约束的三维重建算法

5．2．1 多相机高精度标定

5．2．2 光流与匹配

5．2．3 三视图约束原理

5．2．4 算法步骤

5．2．5 实验与结果

5．3 多视图重建过程中重叠点去除算法

5．3．1 重叠区域的判定

5．3．2 重叠部分三维坐标求解

5．3．3 算法特点

5．3．4 实验与结果

5．4 本章小结

总结与展望

致谢

附录

参考文献

攻读博士学位期间发表的论文及科研成果