模拟训练系统声音信号处理与交互技术研究

摘要

模拟训练系统解决了许多传统军事训练演习中的限制和弊端，国内外已把它当做提高军事实力的一种重要手段，得到迅猛发展和普遍应用。虚拟现实系统是模拟训练系统的一种重要解决方案。人机交互是虚拟现实技术的重要内容，在仿真系统中，用户可以通过一系列方式和交互设备，与虚拟世界进行自然的交互。区别于传统人机交互方式，利用声音信息进行交互可提供附加的听觉反馈通道，丰富用户交互体验，将填补虚拟现实系统输入方式的空白。
　　Unity3D是一个可以创建三维视频游戏、建筑可视化、实时三维动画等类型互动内容的综合型游戏引擎，其本身不具备高级人机声音交互功能。Kinect是与Xbox360游戏机配套使用的一款外设，内置四元线性非对称麦克风阵列，可以根据各麦克风接收到声音信号的时延差，计算出声源方位与角度。
　　从开发模拟训练系统所涉及到的虚拟现实技术、人机交互技术、包括声源定位技术和语音增强技术的语音信号处理技术等出发，重点研究了声音定位输入技术，突破了传统虚拟现实系统输入方式的限制，填补了模拟训练系统输入的空白，实现了模拟训练系统中的声音信号处理与交互技术的设计。
　　利用 Unity3D引擎开发了一个模拟射击枪战的虚拟地形训练系统场景，经过Kinect体感设备的麦克风阵列进行声音采集，实现系统对声源方位的分辨，同时使用双声道噪声对消技术，对采集数据进行滤波除噪，从而提高定位性能和精度。自行设计了动态链接库DLL，实现了Unity3D引擎和Kinect的接口和数据融合。

目录

声明

第1章 绪论

1.1引言

1.2主要技术的发展历史和国内外研究现状

1.3本文研究主要内容

第2章 模拟仿真系统中的技术理论概述

2.1模拟仿真引擎

2.2 Unity3D模拟仿真技术引擎

2.3 Kinect技术引擎

2.4其他系统介绍

2.5本章小结

第3章 线性麦克风阵列声源定位技术

3.1声源定位技术概述

3.2基于人耳听觉机理的声源定位

3.3麦克风阵列

3.4本章小结

第4章 双声道采集系统语音增强技术

4.1语音和噪声的主要特性

4.2双声道语音增强算法

4.3双声道语音增强的硬件技术

4.4双声道语音增强的软件仿真

4.5本章小结

第5章 系统实现与运行效果

5.1基本技术思想

5.2 Unity3D技术实现

5.3 KinectCommonBridge相关介绍及Kinect与Unity的联调

5.4系统运行测试及整体效果

5.5本章小结

结论

参考文献

攻读硕士学位期间发表的论文和获得的科研成果

致谢