基于隐马尔科夫模型的钢琴音符识别算法研究

摘要

钢琴音符识别是将音乐音频文件自动转换到数字音乐文件(MIDI)的过程,在钢琴辅助教学、乐谱自动记录等工作中具有重要作用。本课题主要研究钢琴音符识别的问题,即根据钢琴演奏所录制的音频文件,通过特定算法来确定某时段内的声音是由哪些单音符组合而成。根据实际应用需求和音符识别算法自身的限制,本课题将钢琴音符识别任务分为:实时稳健的单音符识别、非实时的多音符识别。对于单音符的识别,本课题侧重于实时性和稳健性两个方面。为此,本文提出采用局部能量的端点检测、多样本字典、多样本字典后处理等算法来提高单音符识别的实时性和稳健性;对于多音符的识别,由于无法通过单音符所采用的时域法,本课题转而采用模式识别法,即以多音符为基本建模单位,建立基于隐马尔可夫过程的多音符模型,进而重新编译HTK中相关模块来搭建多音符识别系统。
　　本课题的主要内容包括以下几个方面:
　　1)提取多音符音频文件的特征。在分析常用音频文件参数化原理的基础上,结合多音符音频的特性,对HTK中已有特征提取模块进行优化;
　　2)判断确定音频中音符端点的位置。在分析常用端点检测的基础上,根据单音符、多音符不同的任务需求,分别为单音符识别系统和多音符识别系统设计或该写端点检测算法;
　　3)研究基于HMM模型的语音识别原理,找出语音识别与多音符识别之间的共性与差异,建立多音符HMM声学模型和多音符间模型;
　　4)根据MIDI文件以及对应的钢琴音频文件,构建训练、测试波形数据以及相应的标注文件。在此基础上,利用重新改写编译后的HTK相关工具对各个多音符隐马尔可夫模型进行初始化和训练,进而构建出完整的多音符识别系统。最后根据实验结果与对应标注文件之间的比对,对多音符系统进行性能评价。
　　本文成功地实现了单音符的实时稳健识别、多音符的HMM建模以及多音符HMM模型识别。对于单音符的识别,与线性模型法相比,正确率提高了3％,达到了98%,且平均识别帧数达到4帧,即稳健性方面提高近2倍;对于多音符的识别,与时频域、统计法等相比,本文所采用得基于HMM的音符识别方法,识别率提高了近5%,提高了钢琴音乐转录实用化的可能性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景及意义

1.2国内外现状

1.3本文研究内容

1.4本文结构

第二章 预处理与特征提取

2.1钢琴乐音物理基础

2.2预处理

2.3特征提取

2.4 PCP特征提取

2.5信号特征参数后处理

2.6小结

第三章 端点检测算法

3.1音符端点定义

3.2时域端点检测法

3.3频域分析

3.4结合幅度相位信息的检测函数

3.5峰值提取

3.6小结

第四章 单音符识别与HMM多音符建模原理

4.1单音符识别

4.2隐马尔可夫模型

4.3 HMM模型训练

4.4 HMM模型识别

4.5多音符模型

4.6多音符间模型

4.7模型优化处理

4.8小结

第五章 钢琴音符识别系统

5.1单音符识别系统

5.2多音符识别中训练与测试数据

5.3 HMM模型参数

5.4多音符HMM模型训练

5.5多音符系统识别

5.6多音符识别结果与分析

5.7小结

第六章 总结与展望

参考文献

发表论文和参加科研情况说明

致谢