基于手势互动的土家虚拟乐器系统研发

摘要

中华文化上下五千年，博大精深，其中中国民族乐器的发展也源远流长，不同民族之间也具有各自的乐器发展历史。随着现代化的发展，传统乐器的传承受到了严重的打击，但是随着人民生活水平的提高，其对精神世界的追求越来越高，传统乐器的传承也受到了到了越来越多人的关注。其中具有代表性的土家族传统乐器被列入国家非物质文化遗产。随着科学技术的发展，以数字化的形式来继承和发展传统文化成为了一种新的趋势。用数字化的形式来保护传统文化也在进行着各种探索，有基于Midi（Musical Instrument Digital Interface）技术的计算机虚拟乐器，有基于多模态人机交互技术的虚拟乐器。本文中主要研究工作有下面几个方面:
　　(1)在本文中的研究中，选取了具有民族特色的土家族乐器，对虚拟乐器研究现状进行分析，提出所存在的问题并找到有效解决方法。本文研究对非物质文化遗产的传承和保护起到重要的参考和使用价值。
　　(2)本论文的研究内容主要是基于动态手势的土家虚拟乐器系统研发。面向虚拟乐器的手势互动方法研究，首先是基于隐马尔科夫模型的手势互动研究，对于隐马尔科夫模型的理论知识以及三个基本问题进行叙述。土家打击乐器手势动作的自定义以及动态手势特征的提取和优化，它们都影响隐马尔科夫模型的初始化、训练和识别的结果。其次是基于深度神经网络的手势互动研究，包括对深度神经网络中基本概念进行介绍，训练深度神经网络的基本过程。两种方法最后都会对于实验的过程和结果分析并为后面的研究做准备。
　　(3)本论文的主要研究工作，面向虚拟乐器的手势互动方法研究，土家虚拟乐器系统的设计，土家虚拟乐器系统的实现和测试。面向虚拟乐器的手势互动方法研究，使用隐马尔科夫和深度神经网络的方法分析探讨。土家虚拟乐器系统设计，根据用户需求和功能需求的分析，对土家虚拟乐器进行三维模型构建，然后虚拟乐器的传统交互方法和对手势互动的交互方法研究，最后系统将虚拟乐器在演奏的过程中的演奏乐曲保存为MIDI文件，以及对MIDI文件进行解析后虚拟乐器进行自动演奏。土家虚拟乐器系统的实现和测试，在Unity3D的开发平台上实现了整个虚拟乐器系统，其中包括系统的界面设计和交互方式、自动演奏、乐曲保存等功能，并通过功能测试、兼容性测试、界面测试来保证突击虚拟乐器系统的可靠性。
　　(4)虚拟乐器国内外研究中所面临的乐器模型构建简单，大部分缺少自动演奏研究，交互方式单一，用户体验感差等问题提出了有效解决方法。并加入先进的方法探索出了一种土家乐器保护和传承的服务模式，并且可以运用到实际当中。

目录

声明

摘要

1．1 研究背景和意义

1．2 国内外研究现状分析

1．3 论文研究内容与方法

1．4 论文研究框架

第二章 土家虚拟乐器系统理论与技术基础

2．1 虚拟乐器建模研究

2．2 基本乐理知识研究

2．3 交互方式研究

2．3．1 Kinect交互方式研究

2．3．2 传统交互方式的研究

2．4 MIDI技术研究

2．4．1 MIDI技术概述

2．4．2 MIDI文件格式分析

2．5 本章小结

第三章 面向虚拟乐器的手势互动方法研究

3．1 基于隐马尔科夫的手势互动识别方法

3．1．1 HMM基本概念

3．1．2 HMM的三个基本问题

3．1．3 HMM动态手势识别过程

3．1．4 HMM实验及结果分析

3．2 基于深度神经网络的手势互动识别方法

3．2．1 DNN基本概念

3．2．2 训练深度神经网络

3．2．3 DNN实验及结果分析

3．3 本章小结

第四章 虚拟乐器系统分析与设计

4．1 虚拟乐器系统需求分析

4．1．1 用户需求分析

4．1．2 功能需求分析

4．2 虚拟乐器系统总体设计

4．3 虚拟乐器系统的详细设计

4．3．1 虚拟乐器建模

4．3．2 音色库选择

4．3．3 交互方法

4．3．4 自动演奏的设计

4．3．5 乐曲生成设计

4．3．6 多种信息融合

4．4 本章小结

第五章 虚拟乐器系统实现与测试

5．1 虚拟乐器系统实现

5．1．1 虚拟乐器模型和场景的实现

5．1．2 音色构建

5．1．3 交互方法实现

5．1．4 自动演奏实现

5．1．5 乐曲生成实现

5．2 虚拟乐器系统测试

5．2．1 功能测试

5．2．2 界面测试

5．2．3 兼容性测试

5．3 本章小结

6．1 工作总结

6．2 工作展望

参考文献

攻读硕士学位期间发表的学术论文及参与的项目

致谢