基于模式识别的手写乐谱数字化研究

摘要

近年来，光学乐谱识别逐渐受到国内外学术界的关注。尽管在谱线检测与删除、乐谱分割、音乐符号分类等方面已取得一些进展，但目前的乐谱识别效果还不够理想，尤其是手写乐谱的识别，其识别速度及准确率仍有很大的提升空间。本文对手写和印刷乐谱图像的自动识别进行了系统的研究，在谱线检测与删除、音乐符号分类、音乐乐谱识别系统的建立等方面取得了一系列进展，并提出了一些新的思路和方法。
　　论文完成的主要工作如下:
　　(1)提出了预选择稳定路径谱线检测方法，通过计算连通分量，来将谱线组周边大面积空白以及文字区域去除，使计算稳定路径的区域锁定在谱线组范围内，从而提升谱线检测速度。该算法在保持了稳定路径方法抗噪声能力强的这一原有优势的同时，弥补了其运行时间过长的不足。经测试，该算法对弯曲、不连续、以及倾斜的谱线鲁棒性很好，而且计算量降低三分之一甚至更多，有效解决了现有方法存在的抗噪性和计算时间长之间的矛盾。
　　(2)根据音乐符号的多样性和多态性特点，提出了一种基于集成神经网络的音乐符号分类方法。该方法将三个不同的多层感知模型组合，根据符号的不同形状确定三个模型的输入图像大小，然后对得到的三个分类结果进行投票，得出最终的类别，从而大大减小了分错的几率。同时，针对乐谱识别领域数据库的欠缺状态，本文建立了一个标准的音乐符号分类数据库，该数据库包含了20类手写符号和20类印刷符号，对今后的音乐符号分类算法评估具有重要的意义。
　　(3)提出一种基于有向无环图——大间隔分布机的手写音乐符号分类方法。该方法利用有向无环图结构将现有的二类分类器大间隔分布机拓展到多类，建立了基于大间隔分布机的多分类模型。我们对N类音乐符号训练N(N-1)/2个分类器，N类音乐符号的顺序依照其特征合理排序，从而防止了有向无环图结构的错误累积效应。实验表明用这种有向无环图结构解决多类分类问题的效率更高，速度更快，同时，该算法在识别手写音乐符号时效果优于其他主流分类算法。
　　(4)针对各类样本数目相差比较大的情况，提出了不平衡大间隔分布机。该算法在最大化样本分布的均值和最小化其方差的同时添加了误分惩罚系数，使得分类面逐渐向多类样本靠近，从而提高少类样本的分类准确率。不平衡大间隔分布机有效地解决了乐谱图像中各类音乐符号样本数量悬殊导致的分类效果低下的问题。实验表明，随着惩罚的增大，少类样本的分类准确率显著提高。
　　(5)针对乐谱分割造成的符号漏检率高的情况，提出了音乐符号分割和分类交替进行的识别算法。将乐谱图像交替地进行分割与分类，并应用滑动窗对初次分割的残缺符号或者高密度符号集合进行复原与多次分割，再通过提前训练的多个分类器来对音乐符号进行分类，动态找回因分割而残缺的符号，并将识别的所有符号保存。最后通过音符的类别与附点的个数确定音符的时长，通过计算符头与谱线的相对位置确定音符的音高，最终得到重建的乐谱，并输出为MIDI(Musical Instrument Digital Interface)文件。
　　(6)最后，应用MATLAB GUI开发了一个完整的光学乐谱识别系统。该系统结合音乐背景知识，实现了乐谱数据的识别和重建，将乐谱语义以标准MIDI格式的文件输出。该系统友好的界面有利于用户的使用，在系统读入乐谱图像后，可以通过简单的按键分别对乐谱进行谱线定位、符号提取等具体环节的显示，也可以将乐谱图像直接转化为MIDI文件，并播放其声音，实现了乐谱图像向电子乐谱的转化。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 乐谱识别

1．1．1 课题研究背景

1．1．2 光学乐谱识别概念

1．1．3 课题研究的意义

1．2 音乐乐谱的特点

1．2．1 音乐乐谱符号

1．2．2 乐谱图像特点

1．3 光学乐谱识别研究进展

1．3．1 乐谱图像预处理研究进展

1．3．2 谱线检测与删除研究进展

1．3．3 音乐符号分割与分类研究进展

1．3．4 乐谱重建与表示研究进展

1．4 现有研究工作的问题与挑战

1．5 本文的研究内容与结构安排

第2章 乐谱预处理和谱线检测

2．1 引言

2．2 乐谱图像二值化

2．2．1 常用图像二值化方法

2．2．2 二值化算法评估参数

2．2．3 二值化算法实验结果

2．3 谱线宽和谱线间的估计

2．4 预选择稳定路径谱线检测方法

2．4．1 基于稳定路径的谱线检测方法

2．4．2 预选择稳定路径谱线检测算法

2．4．3 实验乐谱数据

2．4．4 结果评估

2．5 本章小结

第3章 基于集成神经网络的音乐符号分类

3．1 引言

3．2 神经网络原理

3．2．1 感知器

3．2．2 多层感知器

3．2．3 反向传播算法

3．3 集成神经网络算法

3．3．1 集成神经网络结构

3．3．2 泛化误差分析

3．3．3 投票算法

3．4 实验

3．4．1 自建乐谱数据库

3．4．2 分类器训练与测试

3．5 实验结果与对比

3．6 本章小结

第4章 基于DAG-LDM的音乐符号识别

4．1 引言

4．2 二分类LDM

4．3 多类分类器DAG-LDM

4．3．1 DAG-LDM算法原理

4．3．2 泛化性能分析

4．3．3 DAG-LDM算法步骤

4．4 实验

4．4．1 数据库

4．4．2 分类器训练

4．4．3 参数选择

4．5 实验结果与对比

4．6 本章小结

第5章 样本数量不均衡的音乐符号识别

5．1 引言

5．2 音乐符号样本分析

5．3 不平衡大间隔分布机

5．3．1 不平衡大间隔分布机算法原理

5．3．2 对偶梯度下降法解ILDM目标函数

5．4 实验

5．4．1 性能评估标准

5．4．2 参数设置

5．5 实验结果与对比

5．6 本章小结

第6章 音乐符号识别与乐谱重建

6．1 引言

6．2 乐谱预处理

6．3 交替式音乐符号分割与分类

6．3．1 音乐符号提取

6．3．2 音乐符号识别

6．3．3 消除重复符号

6．4 实验结果评估

6．5 乐谱重建

6．6 本章小结

第7章 乐谱识别系统实现

7．1 引言

7．2 光学乐谱识别系统

7．2．1 光学乐谱识别系统简介

7．2．2 光学乐谱识别系统界面组成结构

7．2．3 光学乐谱识别系统功能结构

7．3 光学乐谱识别系统识别实例

7．4 本章小结

结论

参考文献

发表的学术论文

参与的科研项目

致谢