实感技术在汽车展示和虚拟驾驶中的应用研究

摘要

随着计算机技术的飞跃式发展，人机交互方式发生了重大变革，继鼠标、键盘、触控等交互方式之后，体感交互作为一种自然的人机交互方式越来越受到人们的重视。英特尔的实感技术利用Intel RealSense3D摄像头能够实时输出深度数据，借助RealSense SDK提供手势识别、脸部交互、场景感知等一系列计算机视觉算法，实现高精度的手势追踪、面部分析、语音识别等感知计算。 本课题对汽车展示、虚拟驾驶和体感技术的应用与研究现状进行了调查与剖析，分析了将体感技术应用于汽车展示和虚拟驾驶中的优势，对比目前主流的体感技术，最终选用英特尔的实感技术对汽车展示和虚拟驾驶应用程序进行研究与开发，并对Intel RealSense技术的原理进行学习分析。在前期，从用户需求的角度设计与策划系统的功能;在制作阶段，借助多媒体编辑软件对图片、音频资源进行处理，利用3ds Max创建与优化三维模型;然后在Unity引擎中实现多媒体资源的整合与交互平台的创建，并以Intel RealSense3D摄像头为硬件基础，结合Intel RealSense SDK和C#脚本实现感知控制功能，最终完成了能够通过手势控制的汽车展示和虚拟驾驶系统。 本应用包含三个子系统:汽车展厅系统、汽车展示系统和虚拟驾驶系统，三个系统之间互相联系。用户能够通过手势控制场景切换、展厅漫游、汽车旋转和缩放、车身颜色切换、虚拟驾驶等功能，利用面部控制汽车内部全景浏览，此外，辅之以键盘和鼠标操作，优化系统的交互操作，避免因手势过多造成混乱。 体感交互依托于先进的感知软硬件技术，通过多种技术手段把虚拟平台与现实相结合，颠覆了传统的交互方式，实现自然环境下对虚拟对象的感知控制。用户通过自然的肢体动作和手势，实现对屏幕中的内容隔空控制，这种全新的人机交互方式，能够给用户带来娱乐性的互动体验，增强了应用的趣味性。

目录

声明

摘要

1 前言

1．1研究背景

1．2研究目的与意义

1．3国内外研究现状

1．3．1汽车展示研究现状

1．3．2虚拟驾驶研究现状

1．3．3体感技术研究现状

1．4体感技术应用状况

1．5论文结构架构

2相关技术概述

2．1 Intel RealSense技术

2．2 Intel RealSsense 3D摄像头

2．3 Intel RealSense SDK

2．3．1 SDK架构

2．3．2会话和模块

2．3．3 SenseManager中的流

2．3．4坐标系统

2．3．5手部跟踪与手势识别

2．3．6 Unity Toolkit

2．4全景图技术

3应用开发的总体方案设计

3．1实感汽车展示和虚拟驾驶应用的总体规划

3．2可行性分析

3．3功能模块

3．4．1技术路线

3．4．2开发环境

4实感汽车展示和虚拟驾驶应用的设计与实现

4．1配置环境

4．2资源采集与优化

4．2．1音频处理

4．2．2三维模型的制作

4．2．3全景图片的制作

4．3 GUI界面的设计与制作

4．4汽车展厅漫游功能的实现

4．4．1手势控制漫游

4．4．2键盘鼠标控制漫游

4．5汽车展示模块功能的实现

4．5．1旋转缩放功能

4．5．2颜色切换

4．5．3汽车内部全景展示

4．6虚拟驾驶模块功能的实现

4．6．1搭建场景

4．6．2手势控制驾驶

4．7场景管理

4．8发布与测试

5结论

5．1结论

5．2创新点

5．3不足之处

6展望

参考文献

8攻读硕士期间发表论文情况

致谢