移动增强现实装配系统的虚实场景融合研究

摘要

移动增强装配(Mobile Augmented Reality Assembly，MARA)是指将移动增强现实技术应用于工业装配领域，旨在降低设计成本、提高生产效率。虚实融合即指将计算机渲染的虚拟场景与用户所处的真实环境进行叠加，是增强现实关键技术之一。评价虚实融合效果的主要标准有是否具有光照一致性和几何一致性，本文主要关注几何一致性对虚实融合效果的影响，几何一致性主要考虑虚实遮挡。虚实遮挡是指根据虚拟场景与真实场景的正确空间位置关系，呈现出遮挡与被遮挡的效果，主要是实现真实场景对虚拟场景的遮挡。通过虚实遮挡处理可以使得融合场景更具有真实感，从而改善用户体验。目前针对虚实遮挡的处理方法通常有基于模型、基于深度及基于图像分析。本文着重研究在Android系统下通过基于模型的方法实现虚实遮挡处理。
　　首先，实现了基于自然特征点的场景识别及模型注册。对摄像机完成标定以获取内部参数矩阵;通过对三维场景进行特征点提取和训练完成三维场景识别，针对匹配中的错误匹配对进行优化处理;对三个体积规格、结构复杂程度及表面材质不同的目标物进行虚拟模型注册并对注册效果进行稳定性及鲁棒性实验。
　　其次，完成了虚拟模型在移动端的渲染显示。研究OBJ模型数据结构，并实现在移动端的应用层解析;研究OpenGL ES的管线渲染原理及OpenGL ES渲染成像的坐标系转换;实现基于OpenGL ES的三维模型光照模型管理，使模型更具有立体感。
　　然后，研究并实现了虚实遮挡处理。针对传统虚实融合时虚拟场景总是渲染在最顶端以遮挡真实场景的问题设计具有虚实遮挡的融合流程;对系统应用图层设计，针对场景类型的不同进行分层显示，实现了对二维虚拟辅助信息的叠加和三维虚拟模型的高效渲染;借助OpenGL ES渲染引擎获取虚拟场景的深度图，通过“虚拟替身”获取真实场景深度图;通过基于模型的方法进行遮挡处理，实现了三个目标识别物对虚拟模型的遮挡，最终获取具有正确几何关系的融合场景。
　　最后，构建一个完整的移动增强现实引导装配系统，并运行实例。研究了Android系统架构，并设计了系统整体架构;对整体架构进行功能模块设计与划分;分析研究了系统软硬件要求及实例运行环境;进行增强引导装配系统的实例运行，并在引导装配的过程中实现虚实遮挡的处理，以获取更加逼真的融合效果。

目录

摘要

第一章 绪论

1．1 课题来源

1．2 选题背景及研究意义

1．3 移动增强现实技术

1．3．1 增强现实基本概念

1．3．2 移动增强现实基本概念

1．3．3 移动增强现实关键技术

1．3．4 移动增强现实技术主要应用领域

1．4 国内外研究现状

1．4．1 增强现实

1．4．2 移动增强现实

1．4．3 增强装配

1．4．4 虚实融合光照一致性

1．4．5 虚实融合几何一致性

1．5 本文章节安排和结构

第二章 基于自然特征点的场景识别及模型注册

2．1 摄像机标定

2．1．1 摄像机模型变换

2．1．2 摄像机内参分析与求解

2．2 自然特征点提取及匹配

2．2．1 自然特征点提取

2．2．2 特征点匹配

2．3 虚拟模型的注册

2．4 本章小结

第三章 三维虚拟模型解析与渲染显示

3．1 三维模型建立与解析

3．2 OpenGL ES渲染原理

3．2．1 OpenGL ES渲染模块分析

3．2．2 OpenGL ES坐标系统转换

3．3 OpenGL ES光照模型管理

3．3．1 环境光管理

3．3．2 散射光管理

3．3．3 镜面光管理

3．3．4 三种光照通道合成

3．4 本章小结

第四章 移动增强现实几何一致性处理

4．1 虚实融合基础研究

4．1．1 虚实叠加原理

4．1．2 增强装配流程设计

4．2 虚拟场景叠加实现

4．2．1 图层设计

4．2．2 虚拟信息叠加

4．3 基于模型的遮挡处理

4．3．1 虚实遮挡理论基础

4．3．2 场景深度图获取

4．3．3 遮挡处理实现

4．4 本章小结

第五章 移动增强装配系统设计与实现

5．1 系统架构

5．1．1 Android系统架构

5．1．2 系统整体架构

5．2 系统模块及功能

5．3 系统开发工具和运行环境设计

5．3．1 系统开发工具

5．3．2 系统运行环境

5．4 系统实例运行

5．5 本章小结

总结与展望

全文总结

工作展望

参考文献

作者在攻读硕士学位期间发表的论文

声明

致谢