装配工具的增强现实虚实遮挡研究

摘要

增强现实技术在真实场景中注册虚拟信息，给用户带来场景中可视化的信息，并提供足够真实的体验，即保证注册信息在真实场景中的几何一致性，光照一致性和时间一致性。而对于面向装配引导、设计或培训的增强现实装配系统而言，虚拟物体（如零件等）与真实物体（如装配工具等）需要进行频繁的互动，因此，解决虚实物体两者之间的几何一致性问题显得尤为重要。故本文针对真实装配工具与虚拟零件之间的几何一致性虚实遮挡关系的进行研究处理。
　　本文首先通过颜色分割算法与基于Hu矩阵的识别算法对装配工具进行实时的提取与识别，然后利用Camshift算法对分割出来的装配工具进行跟踪，最后利用虚拟替身的单应性注册实现虚实遮挡的正确处理。为验证方法的有效性，开发了一个与虚拟发动机虚实遮挡的原型系统。本文具体的主要研究工作如下:
　　(1)通过张正友平面标定法进行摄像机标定，建立系统摄像机正确模型，获取摄像机内参属性，为三维注册提供离线数据。然后利用工具材质属性，考虑光照、阴影和局部反光等影响，选取常用颜色空间中针对于环境变化鲁棒性较好的通道进行颜色分割，并使用梯度信息进行边缘修复。
　　(2)根据对象轮廓，使用Hu矩进行装配工具类型识别，为虚拟替身类型的选取提供依据。再将颜色分割和Camshift算法结合进行自动区域跟踪，减小图像处理区域，提高系统的实时性。最后为实现基于平面的虚拟替身三维注册，利用装配工具的形状特性，获取其稳定的几何特征点。
　　(3)利用摄像机模型和真实物体上的几何特征点信息，使用空间平面和图像平面间的单应性进行虚拟替身的三维注册。再利用Unity3D的渲染方式，利用透明替身、深度信息和渲染队列实现虚实遮挡。
　　(4)在现有研究的基础上，设计系统实现的功能和开发软件之间的通信方式，开发一个原型系统。再通过以虚拟发动机为实例验证了本文实现满足真实虚实遮挡效果方法的有效性，并且实现遮挡效果的对比和同种多个工具的遮挡效果。

目录

摘要

第一章 绪论

1．1 选题背景与研究意义

1．2 国内外相关技术研究现状

1．2．1 基于模型的虚实遮挡

1．2．2 基于深度的虚实遮挡

1．2．3 基于图像分析的虚实遮挡

1．2．4 三种研究方向对比

1．3 课题来源

1．4 论文的章节安排

第二章 摄像机标定和遮挡对象提取

2．1 摄像机的标定

2．1．1 摄像机畸变模型

2．1．2 基于张正友平面标定法的摄像机标定实验

2．2 遮挡对象的颜色分割

2．2．1 基本思想

2．2．2 颜色通道选择

2．2．3 阈值区间确定

2．3 遮挡对象的边缘修复

2．3．1 反光和阴影的影响

2．3．2 基于梯度图的边缘信息提取

2．3．3 边缘修复

2．3．4 边缘修复实例

2．4 本章小结

第三章 遮挡对象的识别和特征提取

3．1 遮挡对象形状识别

3．1．1 轮廓形状识别流程

3．1．2 基于Hu矩的识别

3．1．3 对象识别实例

3．2 对象识别区域优化

3．2．1 基于Camshifi的区域跟踪

3．2．2 优化效果实例

3．3 对象特征点提取

3．3．1 常见的特征点

3．3．2 几何特征点提取

3．3．3 实验性验证

3．4 本章小结

第四章 遮挡对象的三维注册和渲染

4．1 虚拟物体和虚拟替身

4．1．1 基于ARToolkit的虚拟物体注册

4．1．2 虚拟替身技术

4．2 基于单应性的三维注册

4．2．1 单应性简述

4．2．2 三维注册算法

4．2．3 注册实例

4．3 遮挡渲染

4．3．1 Unity3D渲染技术

4．3．2 虚拟替身渲染

4．3．3 渲染实例

4．4 本章小结

第五章 原型系统开发与实例

5．1 原型系统

5．1．1 系统的功能模块设计

5．1．2 系统功能开发工具

5．2 Unity3D与OpenCV系统通信实现

5．3 系统运行实例

5．4 本章小结

总结与展望

全文总结

工作展望

参考文献

作者在攻读硕士学位期间发表的论文

声明

致谢