基于单目摄像机的增强现实场景感知技术研究

摘要

增强现实通过分析场景特征，可以将计算机生成的几何信息以视觉融合的方式叠加至真实环境中，加强人对世界的认知。作为一种全新的人机交互方式，增强现实技术的发展备受关注。虚实融合是增强现实的核心问题，其关键在于:如何利用2D视觉信息恢复真实的3D场景，如何估算视觉传感器在空间的位置和姿态，如何对场景中出现的物体进行感知和处理。尽管计算机视觉已经取得长足进步，但在实际应用中仍然面临着移动摄像机的姿态在三维场景中求解困难、应用场景中一直存在的噪声干扰及遮挡、复杂背景中的物体识别和姿态求解困难等不利因素。因此设计稳定可靠、高效的场景构建和场景识别算法在当前仍然是一项很有挑战性的工作。
　　基于上述研究背景，本文将以构建增强现实装配系统为目标，研究如何从单目摄像机拍摄的视频序列中恢复出场景三维几何和摄像机运动信息，获取场景中物体的姿态并应用于装配指导系统中。本文希望能有效解决在移动增强现实环境中，虚实融合面临的配准准确性、实时性和鲁棒性等问题，促进场景感知在增强现实中的发展。本文主要工作总结如下:
　　针对三维重构效率低，后期识别和感知困难的问题，提出了一个基于视频序列的场景重构算法，从图像序列中恢复场景的3D稀疏表面结构。算法采用局部集束优化方法，不仅可以提高运算效率，还保证了重构结果的精确度和鲁棒性。针对视觉重建噪声多的特点，本文用统计离群值滤波法对场景的重构点云进行滤波，可以在不需要增加很多计算代价的条件下有效地过滤大量噪声，在减少空间点数量的同时还能够保持和增强点云的表面特征。
　　为了获取虚实融合的正确呈现效果，需要计算移动摄像机在空间的位姿，为此提出了一个高效的基于稀疏光流的摄像机跟踪算法。特别针对移动摄像机的姿态在立体场景中求解不稳定、效率低等问题，提出了一种基于关键帧簇的跟踪方法，由稀疏光流对相邻关键帧的对应特征点的位置进行预测和跟踪，建立关键帧之间对应特征点的匹配约束关系，利用与这些特征点对应的3D点位置，对摄像机位姿进行定位及更新，从而提高摄像机姿态的求解效率和精度，有效避免配准漂移问题。
　　为了识别与理解装配环境中出现的真实物体对象，提出了一种基于配准的3D感知方法。通过驱动虚拟模型点云，使之与真实场景的点云匹配，利用点云的相似度对场景中出现的真实物体进行感知。为了降低场景点云中噪声对配准结果的影响，提出一个基于密度自适应的匹配算法，自适应调整不同来源的点云密度，再提取共面四点描述特征对场景点云和模型点云进行相似度匹配，利用共面四点特征的仿射不变性实现对真实物体的识别。该方法可以减少点云的数据量，降低运算复杂度，还能提高匹配精确度。实验结果表明，这种方法能准确在装配环境点云中识别出零部件并能计算出它们的姿态，可用于噪声条件下增强现实交互应用。
　　构建了一个基于单目摄像机的增强现实装配实验平台。该平台以交互操作任务为目标，可以在装配过程中向操作者提供所需的文字、二维图像以及三维模型，帮助用户理解装配任务，获得装配经验;还可以根据装配内容生成装配序列和工艺规划文件。平台综合运用了场景重构、摄像机跟踪以及三维感知方法。实验验证了本文算法的实时性、鲁棒性以及精确性，很好地解决了增强现实应用中所面临的零部件姿态求解问题，3D虚实融合问题。

目录

摘要

图表

第一章 绪论

1．1 研究背景

1．1．1 增强现实面临的问题和难点

1．1．2 研究目标和意义

1．1．3 课题来源

1．2 增强现实的研究现状

1．2．1 增强现实场景表达的研究现状

1．2．2 增强现实场景虚实配准的研究现状

1．2．3 物体3D姿态求解的研究现状

1．3 摄像机跟踪技术

1．3．1 摄像机模型

1．3．2 目标检测

1．3．3 目标姿态估计

1．3．4 摄像机的跟踪

1．3．5 运动估计结构技术

1．3．6 鲁棒估计技术

1．4 局部特征提取与匹配

1．4．1 图像特征检测

1．4．2 图像特征的描述

1．4．3 图像特征的匹配

1．5 本文内容及结构

1．6 本章小结

第二章 基于视频的场景点云重构与处理

2．1 问题描述

2．2 场景重构流程与误差分析

2．2．1 关键帧重构误差分析

2．3 场景点云重构

2．3．1 场景三维点求解

2．3．2 局部集束优化

2．3．3 装配场景重构实验

2．4 基于统计离群值法的点云滤波

2．4．1 点云噪声处理

2．4．2 噪声过滤实验

2．5 本章小结

第三章 基于光流的单目摄像机跟踪

3．1 摄像机跟踪框架

3．1．1 关键帧选择

3．1．2 特征点检测和描述

3．1．3 场景管理

3．2 基于稀疏光流的摄像机姿态估计

3．2．1 光流约束方程

3．2．2 光流预测

3．2．3 自适应近邻搜索

3．2．4 摄像机姿态方程

3．3 摄像机姿态的恢复

3．3．1 姿态恢复策略

3．3．2 特征的匹配与恢复

3．4 实验结果

3．5 本章小结

第四章 基于点云的零部件识别和姿态估计方法

4．1 识别框架概述

4．2 匹配问题描述

4．2．1 模型和场景的配准

4．3 密度自适应的共面四点算法

4．3．1 点云描述基集的提取

4．3．2 密度自适应匹配算法

4．3．3 基于体素点权重的点云下采样

4．3．4 ICP配准

4．4 CAD模型点云库构建

4．5 实验结果

4．5．1 3D识别与配准实验

4．5．2 与基于局部特征的2D识别方法对比

4．6 本章小结

第五章 装配场景虚实融合实验平台

5．1 增强装配的模型表达

5．1．1 场景与零部件的几何模型

5．1．2 装配约束表达

5．1．3 装配层次表达

5．2 虚拟模型的叠加

5．2．1 基于2D图像的虚实场景叠加

5．2．2 基于点云的虚拟零件叠加

5．3 实验结果和分析

5．4 本章小结

结论与展望

参考文献

声明

攻读学位期间的论文及项目

致谢