基于增强现实的虚拟样板间多交互系统研究

摘要

近几年，随着虚拟现实与增强现实技术的发展，其应用领域也越来越广泛。与此同时，地产行业作为所有行业中一直非常火爆的行业，其宣传营销手段随着科技的发展也有了创新性的需求。将增强现实技术应用到地产行业，不仅可以开拓高端技术的应用领域，进行新的应用开发，而且将科技应用到房产，对房产的销售手段而言，也是一种突破性的创新发展。
　　本文针对地产行业销售手段的创新性需求，基于3DMAX创建了样板间三维模型；基于Unreal Engine4虚拟现实开发引擎，研发了基于增强现实的虚拟样板间多交互系统，实现了语音控制、手势控制、硬件设备控制三种交互方式下的虚拟样板间的漫游、视频嵌入播放、自动感应设备模拟、更换模型和材质、自由移动模型、声控灯以及通过生成的二维码转换到手机客户端等具体功能，改变了以往应用系统单一的人机交互方式。
　　其中，语音识别采用一阶高通滤波器对语音进行预处理，使用梅尔频率倒谱系数（MFCC）的方法来提取特征，采用混合高斯模型-隐马尔科夫模型作为声学模型，利用N-Gram模型实现语言模型的训练，最后采用Viterbi算法实现语音的解码和搜索，通过识别出的关键字与功能函数匹配等步骤，实现了“开灯”、“关闭”等关键字语音的识别与控制虚拟空间的模型操作；手势控制主要基于HSV肤色模型与形态学操作，通过截取视频流的帧图像作为输入，转换到HSV空间，进行形态学处理提取手部轮廓，并通过手部轮廓位置、形状变化来实现手势的识别与控制，整个过程主要包括运动检测、图像预处理、图像分割、形态学处理、获取轮廓、信息比对与矢量标定等处理，实现动态手势的简单识别，基于以上算法，实现系统的多交互手段控制。

目录

第一个书签之前

摘 要

Abstract

目 录

Contents

1 绪 论

1.1 研究背景和意义

1.2国内外研究现状

1.3论文主要内容和组织结构

2 系统开发技术

2.1虚拟现实与增强现实技术

2.2语音识别技术

2.3动态手势识别技术

2.4 Unreal Engine4引擎

2.5本章小结

3 虚拟样板间中多交互技术

3.1基于虚拟现实的虚拟样板间语音交互算法设计

3.2基于增强现实的虚拟样板间动态手势交互算法设计

3.3本章小结

4 基于增强现实的虚拟样板间多交互系统

4.1系统总体设计

4.2相关类及函数的定义

4.3系统功能实现

4.4系统测试

4.5本章小结

5 总结与展望

参考文献

致谢

攻读硕士学位期间主要成果