增强现实中基于深度融合的徒手交互方法研究

摘要

目前增强现实系统的应用越发广泛。在增强现实系统中，相机跟踪、虚实融合和人机交互是三大核心问题。当用户使用增强现实系统时，徒手交互是最自然的交互方式之一。然而当前手部交互场景下的增强现实系统依然存在着许多不足。例如只引入少量深度线索如透视、遮挡等线索，导致手部与虚拟物体的融合度不高。同时交互方式也局限于手势识别或者简单的碰撞交互。
　　针对上述徒手交互增强现实中的虚实融合和人机交互问题，本文提出了一套基于多通道手部实时运动信息的增强现实框架。多通道的手部实时信息包括:由手部信息采集设备得到的手部位姿、运动灵活的虚拟手交互模型、渲染虚拟手得到的手部深度图以及由肤色检测得到的肤色掩码。本文详细介绍了这些信息的获取方法以及在虚实融合以及人机交互时的应用。在虚实融合时，依据手部深度信息和手部肤色，实现真实手与虚拟物体的遮挡;由虚拟手和虚拟物体的三维模型，实现真实手对虚拟物体的投影。在交互时，既可以选择对手部位置信息进行处理识别手势，也可以选择用虚拟手模型碰撞检测的方法实现对虚拟物体的控制，达到自然人机交互的目标。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．1．1 摄像机跟踪及注册

1．1．2 虚实融合

1．1．3 人机交互

1．2 增强现实中手部交互研究现状

1．2．1 非徒手交互

1．2．2 徒手交互

1．3 本文主要工作

1．4 本章小结

第2章 多通道手部实时运动信息的获取方法

2．1 引言

2．2 基于多通道手部运动信息的增强现实框架

2．3 虚拟手交互建模

2．3．1 运动建模

2．3．2 几何建模

2．3．3 碰撞检测层

2．4 基于虚拟手渲染结果获取手部深度图

2．4．1 人手运动跟踪

2．4．2 空间一致性构建

2．4．3 虚拟手坐标变换

2．4．4 虚拟手注册及渲染

2．5 基于高斯混合模型获取肤色掩码

2．5．1 肤色模型

2．5．2 高斯混合模型

2．6 基于膨胀腐蚀的肤色掩码边缘优化

2．6．1 结构元素

2．6．2 二值形态学腐蚀

2．6．3 二值形态学膨胀

2．7 本章结果

2．8 本章小结

第3章 基于深度融合的徒手交互方法

3．1 引言

3．2 增强现实中徒手的深度融合

3．2．1 手部虚实遮挡

3．2．2 阴影绘制

3．3 基于虚拟手的徒手交互方法

3．3．1 人机交互原则

3．3．2 交互框架

3．3．3 基于碰撞检测的交互

3．3．4 基于抓取的交互

3．4 本章小结

第4章 徒手交互增强现实原型系统的设计与实现

4．1 引言

4．2 系统设计

4．2．1 手部数据采集模块

4．2．2 虚拟手注册与渲染模块

4．2．3 肤色检测模块

4．2．4 虚实融合模块

4．2．5 人机交互模块

4．3 系统实现

4．3．1 硬件环境

4．3．2 软件环境

4．4 实验结果

4．5 本章小节

第5章 总结与展望

5．1 总结

5．2 展望

参考文献

研究成果

致谢