一种基于电子乐谱的乐器演奏水平精准评判的系统和方法

摘要

本发明公开一种基于电子乐谱的乐器演奏水平精准评判的系统和方法，通过将电子乐谱的音符信息进行提取并转化后与演奏者演奏效果进行精准比对评判。演奏时，显示出实时精准的评判结果，演奏结束后对演奏进行评分。本发明系统主要包括：存储设备10；电子乐谱格式解析系统11；音符信息重新组合并计算其声学频谱的系统12；主控系统13；伴奏输出系统14；乐谱排版显示系统15；乐曲演奏分析评判系统16；音频采集系统17；评分计算系统18；配套娱乐系统19。还包括了显示屏20；数码乐器采集线21；和高清MIC22。本发明所达到的评判精度可运用于广泛的专业器乐教学中，帮助学习者提高学习效率和演奏乐趣。

说明书

技术领域

本发明涉及一种基于电子乐谱的乐器演奏水平精准评判的系统和方法，通过将电子乐谱中的音符信息 进行提取并转化成可以用于显示和评判的信息。当演奏者演奏的时候，通过音频采集或者数字采集，对其 演奏效果进行实时、精准的评判。本发明中设计的评判系统可以使得评判精确到每个音符，达到专业评判 水平，解决了复音评判，和弦评判等重大难题。

背景技术

音乐作为人类文明的重要部分，已经有几百年的发展历史。音乐这种艺术形式为人类带来了美好的精 神享受。其中，器乐演奏是音乐的重要形式。演奏者可以运用各类乐器，如钢琴、小提琴等，演奏出各 种形式的美妙音乐。随着音乐的发展，一方面，音乐形式不断地丰富，器乐演奏技巧不断地被充实。另一 方面，由于音乐的丰富，音乐学习和器乐学习的教学环节变得越来越困难。这导致了很多音乐学习者都在 学习音乐的过程中半途而废。

计算机的发展为现实生活的数字化提供了平台。现实生活中的很多领域都采用计算机的数字化能力来 提高工作效率，改善工作环境。音乐在计算机中的数字化也有一段历史。这包括了计算机中数字音乐序列 MIDI，以及本系统中运用的电子乐谱。

所谓的电子乐谱，是指在计算机中存储了乐谱排版信息的文件。电子乐谱的种类繁多，数量巨大，包 括ove，gtp，mjp等，可以说现有的各类电子乐谱包含了大量有价值的音乐信息。乐谱种类含括了五线 谱；简谱；六线谱等等。遗憾的是，这么海量的乐谱信息仅仅包含了排版信息，只能用于浏览乐谱，而无 法用于更加专业的教学过程来解决实际教学中的问题。

对于音乐学习的器乐学习过程中，其中最为重要的两个环节是识谱学习和节奏学习。因此，如果能将 电子乐谱的信息进行提取转化，让学习者跟随乐谱按照指定速度演奏，并且对其演奏进行精确评判和纠错 的话，这样的方法同时可以提高学习者的识谱能力和节奏感，将能够大大提高学习者的学习效率。

另一方面，将演奏者的演奏评判结果进行实时输出，演奏结束后对其演奏过程进行评分，并且可以回 顾演奏者的演奏情况，仔细核对自己的错误并加以改正。这种方法不仅能够快速纠正自身的问题，而且可 以大大提高学习乐趣。

这样的精准评判和纠错的方法产生后，在很大程度上能够减轻老师和家长的负担。让低龄学习者在没 有人监督的情况下都可以了解自身演奏的情况。并且可以将演奏者的演奏评判结果和演奏录音保留下来， 可以让老师回头再进行人为点评。

除此之外，有了一个客观的评分结果后，还可以将评分结果转化为虚拟的积分，用积分来进行特定的 娱乐游戏激励。这种方法将对低龄学习者产生极其积极的激发作用，让其能够自觉主动地进行学习。

发明内容

本发明的主要目的是设计一种基于电子乐谱的乐器演奏水平精准评判的系统，主要是为了提供一种利 用计算机来进行全自动的专业化的评判和纠错的功能，提高学习者学习效率和兴趣。其主要功能是：一、 将普通的各类格式的电子乐谱信息进行提取和转化，让其可以方便地用于各类设备上进行显示和对比评 分；二、显示过程中，乐谱光标将跟随着节拍走动，演奏者跟随者光标演奏，同时系统将根据演奏者的演 奏情况进行实时地评判，显示出演奏的对错。完全正确的标记为五角星，音准正确节奏错误的标记为对勾， 音准错误的标记为叉。三、乐曲演奏结束后，对整个演奏过程进行客观计算评分。演奏者可以选择浏览整 个乐谱来观察自身的演奏情况，也可以将错误部分单独提取进行重新练习。四、评判得到的积分可以用于 参与排名游戏，宠物道具交换等配套娱乐游戏。五、评判标记和演奏录音全部加以保存，可以随时调出进 行观赏和分析。

本发明的另一目的是提供一种基于电子乐谱的乐器演奏水平精准评判的方法。

实现本发明目的一所采用的技术方案如下：一种基于电子乐谱的乐器演奏水平精准评判的系统主要包 含了下述模块：存储设备；电子乐谱格式解析系统；音符信息重新组合并计算其声学频谱的系统；主控系 统；伴奏输出系统；乐谱排版显示系统；乐曲演奏分析评判系统；音频采集系统；评分计算系统；配套娱 乐系统。

上述的存储设备是用来存储各类电子乐谱信息以及转化后各类文件的信息。包括：ove，GTP，MJP等 电子乐谱排版文件、音符信息、midi音频信息文件、包含乐谱排版，伴奏和频谱信息的合成文件、评判结 果文件等。

上述的电子乐谱格式解析系统负责从计算机存储器中读入各类电子乐谱。将各种类型(ove，gtp，mjp， opt，xml等)电子乐谱的音符信息，声音信息提取出来，将音符信息输出为音符排版信息文件。将音频信 息输出为midi音频信息文件，其中midi音频文件包含了整首乐曲的音频，像钢琴之类的复音乐器还将包 括单独的左右手单独轨道的midi音频文件信息。

上述的音符信息重新组合并计算其声学频谱的系统负责将上述的电子乐谱格式解析系统输出的乐谱 的音符信息，声音信息进行重新组合。并且根据声音信息完成声学频谱解析计算这个重要步骤。在计算声 学频谱的过程中，为了解决后期复音评判，和弦评判的问题(即对同时发出多个音时的频谱进行分析)， 需要对多个音中的各个音进行排列组合然后进行混音，得到各种可能的频谱，从而到达后期评判能够精准 无误。系统最后将这些信息组合成包含乐谱排版，伴奏和频谱信息的合成文件，并且输出到存储器供后期 排版、伴奏和评判使用。

上述主控系统负责接受用户指令，并从存储设备读取排版；评判；伴奏需要的数据信息，并传递给伴 奏输出系统、乐谱排版显示系统、乐曲分析评判系统所用。并且对各个模块进行调控，让他们在同一个时 序下，协调工作。在乐谱播放完毕后，控制乐曲分析评判系统输出评判结果。

上述伴奏输出系统负责将伴奏信息自动与乐谱播放进度同步输出。让用户能够享受与乐队合奏的乐 趣。另外，在多声部乐器(如钢琴)演奏时，用户可以选择练习单手，伴奏系统将自动输出另一只手的声音， 达到完美辅助学习的演奏效果。

上述乐谱排版显示系统负责将排版信息采用高效的方法，在各种尺寸大小的显示设备中进行重新排 版。排版支持两种方式，一种为单音轨滚动方式，该方式仅显示一行音轨，乐谱开始播放后将从右至左滚 动。该排版方式的最大好处是在单位大小中，显示的乐谱最大，能够在任何主流尺寸的显示屏幕都可以清 晰显示乐谱。除此之外，滚动排版方式不需要用户眼睛随着乐谱前进的方向而不断移动，只要盯着一个基 准位置即可，乐谱会自动滚动前进。另一种排版方式为静态多行排版模式，乐谱开始播放后将从上至下走 动光标，当光标到达底行乐谱的时候，上面乐谱切换到后面的乐谱，而播放完成底行乐谱的时候跳转到最 上行乐谱，这样能够让演奏者看谱流畅，没有停滞的障碍。该排版方式的最大好处是乐谱显示范围广，演 奏者在单位大小中能看到更多信息。同时，两种乐谱排版方式都具备的一个好处是避免了乐谱在出现反复 记号需要重新回到乐谱前面部分弹奏的时候，用户无需像普通乐谱一样进行大的乐谱跳跃，依然以连贯的 方式继续看谱，大大降低了看谱演奏的难度。两种显示方式可以供用户自由选择。当演奏评判系统实时评 判出结果后，将在本乐谱排版显示出评判结果。结果包含三类：完全正确；音准正确节奏错误；音准错误， 这三类分别用五角星，对勾，叉表示(也可以用类似其他符号区分)。当显示的是单音乐器乐谱时，除了 显示对错之外，还会显示出演奏者演奏偏高还是偏低。

上述乐曲演奏分析评判系统负责从存储器中读取音符和频谱信息将其与音频采集系统采集进来的信 息进行对比分析，并且将分析评判的结果传递给乐谱排版显示系统，实时地显示出来。当演奏完毕时，演 奏分析评判系统还会将评判结果传递给评分计算系统，让其对演奏结果进行计算打分。同样，演奏分析评 判系统对数字乐器和声学乐器信息的分析方法是不同的。对数字乐器采集的信息中包含了独立的音符信 息，只要将其与乐谱中包含的音符信息进行直接比较，即可判断出演奏的细节来。对于声学乐器采集的信 息，进行运算后，可以知道演奏声音的频谱特征，该频谱特征为多个音混合后的频谱，由于在前期音符信 息重新组合并计算其声学频谱的系统已经将乐谱中各种音符组合的频谱特征均已计算完成，这里就能够将 这个复杂的对比快速简洁地完成。因此使用本方法进行频谱分析能够在各类设备上实时，而不会消耗过大 系统资源。当演奏提琴等对演奏者把握音准有要求的器乐，本评判系统不仅能够评判出对错信息，还能够 对比频谱信息实时地反应出演奏者演奏的音过高还是过低，对教学将起到极其积极的作用。

上述音频采集系统负责将演奏者的演奏声音通过特定外部设备采集进来，将其传递给乐曲演奏分析评 判系统，让其进行分析。音频采集系统根据乐器的不同具有两种方式，一种是针对数字乐器的采集，该采 集方式可以将演奏的音符信息直接采集，大部分情况下，使用MIDI数据线采集MIDI格式的信息，有些乐 器接入了特定的外设时，采集的格式也可以为其他特定的数字格式。另一种采集方式是对声学乐器数据的 采集，这种采集方式使用高品质麦克风来进行数据采集，采集的数据通常为PCM格式的数据。

上述评分计算系统负责将演奏分析评判系统对每个音符评判产生的结果进行汇总。在演奏结束的时 候，自动完成运算并进行客观评分。另一方面，评分计算系统还会将该评分结果转化成一种积分，供后期 在配套娱乐系统中使用。评分计算系统在完成计算后，会将汇总的评判细节，评分结果，以及积分信息全 部都存入存储器中。

上述配套娱乐系统负责从存储器读入积分信息，将其用于排名，饲养虚拟宠物等游戏。以便激励学习 者能够自主勤快地进行练习。

实现本发明目的二所采用的技术方案如下：一种基于电子乐谱的乐器演奏水平精准评判的方法，其特 征是本发明包括以下步骤：

a.根据各类电子乐谱中的排版信息和音符信息进行预处理，转化并组合成包含乐谱排版，伴奏和频 谱信息的合成文件，供后期排版和评判使用；

b.根据演奏者的设定显示出单轨滚动乐谱，或者多轨静态乐谱；

c.当演奏者发出开始演奏的命令时，乐谱显示5，4，3，2，1共5个预备拍，供演奏者准备，5个预备 拍结束后，若为动态乐谱，乐谱开始从右到左移动，若为静态乐谱，乐谱上的光标开始走动，同 时会有相应的伴奏旋律输出，演奏者同时开始演奏；

d.在数字乐器环境中，采集数字乐器的数字信息，在声学乐器环境中，采集声学乐器的音频信息；

e.根据乐器类型，对采集来的信号进行转化，并且将转化后的信息与存储的音符和频谱信息进行比 较做出精准的评判；

f.实时显示评判标记，标记可以分类为全部正确，节奏错误，音准错误3种。部分单音乐器还可以 告知音准变高还是偏低；

g.演奏结束后对评判结果进行汇总打分，并且将分数转化为积分进行保存；

h.演奏者可以累积积分，参与排名，使用积分玩宠物游戏等激励游戏。

本发明的有益效果是：目前电子乐谱格式众多，数量巨大，可以找到很多器乐演奏的乐谱。通过本发 明就可以将这些乐谱用于专业教学和陪练的环节。让演奏者可以自我纠正错误，提高学习效率，增加学习 乐趣。除此之外，通过配套的伴奏，演奏者还能享受智能陪练的效果，可以在独自演奏的时候享受多人合 奏的效果。本方法用于教学被证明效果显著。

本发明在多处环节做了预处理优化，使得本发明对目标设备的要求低，成本小，易于普及。由于本发 明在排版显示环节对目标设备做了充分的考虑，能够适应于各种大小的屏幕，使得其可以存在于目前流行 的各类设备，如PC，平板电脑，手机，PDA，机顶盒等。这使得本发明的使用面非常广泛，操作也更加便 捷。

附图说明

图1是本发明的整体结构框图；

图2是电子乐谱格式解析系统的结构以及在系统中与其他各功能部分的具体关系示意图；

图3是音符信息重新组合并计算其声学频谱的系统的结构以及在系统中与其他各功能部分的具体关系 示意图；

图4是乐谱排版显示系统的结构以及在系统中与其他各功能部分的具体关系示意图；

图5是乐曲分析评判系统和音频采集系统的结构和关系图以及在系统中与其他各功能部分的具体关系 示意图；

图6为主控系统的控制流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

图1为本发明系统的一个具体实施例的整体结构图。由图1所示，本系统主要包括：存储设备10；电 子乐谱格式解析系统11；音符信息重新组合并计算其声学频谱的系统12；主控系统13；伴奏输出系统14； 乐谱排版显示系统15；乐曲演奏分析评判系统16；音频采集系统17；评分计算系统18；配套娱乐系统19。 另外，还包括了显示屏20；数码乐器采集线21；和高清MIC22。

上述存储设备10是实现方案中存储系统相关的各类文件的存储介质。各类文件包含了：ove、GTP、 MJP等电子乐谱排版文件101；标准排版信息、音符信息、midi音频信息文件102；包含乐谱排版、伴奏 和频谱信息的合成文件103；评判细节、评分结果、以及积分信息104。其中ove、GTP、MJP等电子乐谱 排版文件101为必需文件。而其他文件都是后期生成的非必需文件。

上述的电子乐谱格式解析系统11和音符信息重新组合并计算其声学频谱的系统12组成了预处理系 统。预处理系统负责将原始的乐谱信息转化成能够高效地用于排版、伴奏以及演奏评判的综合信息。由于 这种转化较为复杂，这里将其设计成了两个系统模块。电子乐谱格式解析系统(11)先将ove、GTP、MJP 等电子乐谱排版文件(101)转化成标准排版信息、音符信息、midi音频信息文件(102)再由音符信息重新组 合并计算其声学频谱的系统(12)进一步处理。

图2介绍了上述电子乐谱格式解析系统11，该系统负责将乐谱原始信息加以解析，转化成通用的中间 格式，让后续的重组工作更加简单。

其进行的主要操作有：

a.乐谱类型特征分析模块111从存储设备10中读取ove、GTP、MJP等电子乐谱排版文件101，并根据各 类乐谱的特征数据来区分类型，将文件分类后分别传递给ove文件解析模块112或GTP文件解析模块 113或MJP文件解析模块114或XML文件解析模块115来进行进一步的处理。

b.ove文件解析模块112、GTP文件解析模块113、MJP文件解析模块114、XML文件解析模块115这几个 模块将对应乐谱中的排版信息按照统一数据规格进行转化后传递给有效信息提取模块116。

c.有效信息提取模块116再从整理后的标准化后的排版信息中提取出标准排版信息、音符信息、midi音 频信息并输出到标准排版信息、音符信息、midi音频信息文件102中。

图3介绍了上述音符信息重新组合并计算其声学频谱的系统12，该系统负责将电子乐谱格式解析系统 11所产生的标准排版信息、音符信息、midi音频信息文件102进行进一步处理，生成最终可以被评判系 统方便高效实用的数据文件。

其进行的主要操作有：

a.标准化排版模块121负责从标准排版信息、音符信息、midi音频信息文件102中读入标准排版信息， 并且将该数据信息处理成更加适合于在各种尺寸的屏幕中进行排版的数据格式，然后传递给信息汇总 模块124。

b.伴奏制作模块122负责从标准排版信息、音符信息、midi音频信息文件102中读入midi音频信息， 并且将其根据音轨分类，便于在后期演奏中播放左右手陪练音或者乐队陪练音，数据分类完毕后然后 传递给信息汇总模块124。

c.频谱计算模块123负责从标准排版信息、音符信息、midi音频信息文件102中读入音符信息，将音符 信息进行各种排列组合，之后将各个组合中的多个音符的混合声音频谱计算得出频谱结果，然后传递 给信息汇总模块124。

d.最后，信息汇总模块124将会把各种信息数据进行整合，输出到外部存储文件包含乐谱排版、伴奏和 频谱信息的合成文件103中，供后期演奏评判时使用。

图4介绍了上述乐谱排版显示系统15，该系统负责将主控系统13传递过来的乐谱信息，根据设备屏 幕具体情况不同，经过相应处理后输出到显示屏上。除此自外，乐谱排版显示系统15还要根据乐曲分析 评判系统16所产生的实时评判的信息，将评判结果以图形化的方式显示到对应的音符上方。

其进行的主要操作有：

a.根据主控系统13传递过来的乐谱信息，根据具体主控模块13的要求，调用滚动乐谱显示模块151或 者调用多轨乐谱显示模块152进行排版。

b.调用滚动乐谱显示模块151的排版方式为，在整个屏幕中仅仅显示一行乐谱(可以包含多轨)。由于是 单行乐谱，乐谱以较大号规格进行排版。除此自外，滚动乐谱显示模块151还会将乐谱小节按照其播 放先后顺序进行连接。乐谱开始播放之后随着时序按照指定的速度从左到右滚动播放。

c.多轨乐谱显示模块152的排版方式为，根据屏幕大小，计算出合适的行数，一般在2-5行。对乐谱以 较小号规格进行排版。同样，多轨乐谱显示模块152也会将乐谱小节按照其播放先后顺序进行连接。 乐谱开始播放之后随着时序控制光标在乐谱上至下走动光标，当光标到达底行乐谱的时候，上面乐谱 切换到后面的乐谱，而播放完成底行乐谱的时候光标跳转到最上行乐谱。

d.无论采用滚动乐谱显示模块151进行排版，还是采用多轨乐谱显示模块152进行排版评判显示模块 153都将实时地接收来自乐曲分析评判系统16所产生的实时评判的信息。将评判结果以形象的图像化 (如勾和叉)信息输出到排版信息对应音符信息的上方。

e.最终无论采用滚动乐谱显示模块151进行排版，还是采用多轨乐谱显示模块152进行排版，排版信息 均需通过显示驱动154输出到外部显示器。显示驱动154一般采用设备系统API完成图形输出，某些 设备也可能采用硬显输出。

图5介绍了上述乐曲分析评判系统16，以及音频采集系统17组成的采集评判系统是如何从外部采集 信号并完成评测的。音频采集系统17负责根据外部设备的差别将型号归类传递给乐曲分析评判系统16中 的对应模块。乐曲分析评判系统16中负责将传入的信号进行对应的加工处理之后，输出给乐谱排版显示 系统15进行实时输出显示。

其进行的主要操作有：

a.在开始播放之后，主控系统13发出信号，如果是数码乐器则让音符比对系统161开始工作。如果是声 学乐器则让频谱比对系统162和频谱计算系统163开始工作。

b.当外部乐器设备为数码类型的话，信号从数码乐器采集线(MIDI线)21输入，输入信号传递到数字乐器 音频采集系统171后，数字乐器音频采集系统171经过过滤处理后将其中的演奏信息传递给音符比对 系统161，音符比对系统161将演奏者演奏信息与乐谱中的音符信息进行对比，可以直接精确无误地 判断出演奏的优劣。

c.当外部乐器设备为普通声乐设备的话，信号从声学乐器音频采集系统22输入，输入信号传递到频谱计 算系统163后，将声音信号转化为频谱信息。然后再将频谱信息传递给频谱比对系统162，频谱比对 系统162将频谱信号与预处理产生的合成的各种音组合可能频谱信息进行对比后，即可得出精确的评 判结果。

d.音符比对系统161和频谱比对系统162除了能够对比弹奏音高是否正确外，还可以对弹奏时机进行判 断，如果演奏在节拍稍前或稍后(在一个四分音符时值)之内弹奏出了正确的音的话，那么判别为音 准正确而节奏错误。

e.音符比对系统161和频谱计算系统163分别对数码乐器和声学乐器的演奏进行评判的结果，都要实时 地传递给乐谱排版显示系统15后实时地显示到显示设备。

f.当整首乐曲播放完毕后，主控系统13发出信号通知音符比对系统161或频谱计算系统163将评判的结 果全部传递给评分计算系统18。评分计算系统18最终将该评判结果转化为用户的积分。

上述的主控系统13是本系统中实现方案的主要操作逻辑，它负责接收用户的操作信号，根据处理结果 对伴奏输出系统14；乐谱排版显示系统15；乐曲分析评判系统16发出相应的控制信号。同时将在整个工 作流程中负责系统的指挥协调工作。

根据控制流程图(参加图6)，主控系统主要负责了用户指令输入和系统启动与结束，以及各个模块协 调等控制流程。其主要操作如下：

a.主控系统能够感应用户操作，在具体设备中，包括了用户采用鼠标、键盘、触摸屏等各种外设的输入。 主控系统系统将各种用户操作转化成具体的内部命令。

b.当用户进行了退出操作，整个系统立即结束。否则等待用户选择需要演奏的乐谱。参见控制流程图(参 加图6)步骤S4，S5。

c.当用户选定了乐谱之后，主控系统将包含乐谱排版、伴奏和频谱信息的合成文件103从存储器中读入。 该文件中包含了排版、伴奏以及评判相关的所有信息，是上述音符信息重新组合并计算其声学频谱的 系统12预先生成的。读入数据完毕后，主控系统会立即启动同步时钟，同步时钟是为了让其他各个模 块协调工作的基础时钟，在时钟的同步时间间隔下，可以保证显示、伴奏、评判均是实时同步的。这 个步骤参见控制流程图(参加图6)步骤S6。

d.在同步时钟启动后，立即启动乐谱排版显示系统15显示乐谱。在开始演奏之前，显示出几个倒数数字， 作为给用户的预备拍。这个步骤参见控制流程图(参加图6)步骤S7。

e.在预备拍子结束后，演奏者将开始演奏，这时立即启动伴奏输出系统14输出伴奏音乐，配合演奏者的 演奏。以及立刻启动乐曲分析评判系统16开始评测演奏者的演奏。这个步骤参见控制流程图(参加图 6)步骤S8，S9。

f.在播放过程中，演奏者可以随时发出暂停命令来暂停乐曲播放。如果收到乐曲暂停指令，立即暂停同 步时钟，以及乐谱排版显示系统15，伴奏输出系统14，乐曲分析评判系统16。并且重新回到等待用 户操作S3步骤。这个步骤参见控制流程图(参加图6)步骤S10，S13。

g.在播放过程中，如果用户未发出任何指令，则认为他在演奏。乐谱排版显示系统15，伴奏输出系统14， 乐曲分析评判系统16会在同步时钟协调下协同工作。乐谱排版显示系统15会根据用户选择的模式进 行动态滚动播放或者静态光标的移动，并且不断地输出评判结果。伴奏输出系统14会根据当前演奏的 进度，输出对应的伴奏音乐。乐曲分析评判系统16则会不断接收音频采集系统17传递来的演奏信息， 并与标准信息进行对比，并把评判结果传递给乐谱排版显示系统15，乐谱排版显示系统15实时输出 评判结果。这个步骤参见控制流程图(参加图6)步骤S11。

h.每个时钟时序下，还得判断乐谱是否播放结束，如果乐谱播放结束，即认为演奏者也应该演奏结束。 如果乐曲结束了通知乐曲分析评判系统16输出评判结果。同时立即暂停同步时钟，以及乐谱排版显示 系统15，伴奏输出系统14，乐曲分析评判系统16。并且重新回到等待用户操作S3步骤。这个步骤参 见控制流程图(参加图6)步骤S12，S14，S13。