演奏评价装置、卡拉OK装置及服务器装置

摘要

演奏评价装置具备：表情演奏参考数据获取单元，获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据；音调音量数据生成单元，根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的音调音量数据；及演奏评价单元，在由所述音调音量数据生成单元生成的所述音调音量数据所表示的音调和音量的至少一方的特性表示应在所述乐曲中的由所述表情演奏参考数据表示的预定时间范围内根据所述表情演奏参考数据而进行的表情演奏的特性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价。

说明书

技术领域

本发明涉及对乐曲演奏的优劣进行评价的技术。

背景技术

例如，提出了各种关于具备对歌唱者的歌唱演奏的优劣进行评分 的评分功能的歌唱用的卡拉OK装置(以下，只要没有特别说明，就简 称为“卡拉OK装置”)的技术。作为公开了这种技术的文献，有专利 文献1。该文献公开的卡拉OK装置按照歌唱曲的各音符来算出从利用 者的歌唱音提取的音调与从作为引导旋律而预先准备的数据提取的音 调之差，基于该差来算出基本得分。而且，该卡拉OK装置在进行运用 了颤音、上滑音等技法的歌唱的情况下算出与进行该歌唱的次数对应 的奖赏分。该卡拉OK装置将基本得分与奖赏分的总分作为最终的评价 结果而向利用者提示。根据该技术，能够将运用了颤音或上滑音等这 样的难度高的技法的歌唱反映到评价结果中。

另外，作为公开了根据表示歌唱音的波形来检测进行了运用颤音、 上滑音等技法的歌唱这一情况的技术的文献，例如有专利文献2至6。

专利文献

专利文献1：日本国特开2005-107334号公报

专利文献2：日本国特开2005-107330号公报

专利文献3：日本国特开2005-107087号公报

专利文献4：日本国特开2008-268370号公报

专利文献5：日本国特开2005-107336号公报

专利文献6：日本国特开2008-225115号公报

发明内容

发明要解决的课题

然而，在专利文献1的技术的情况下，即使在对本来不优选进行 运用了颤音或上滑音等技法的歌唱的歌唱部位进行了这样的歌唱的情 况下，也加上奖赏分。因此，存在作为评价结果而提示的得分与由人 类的感受性产生的得分发生背离这样的问题。

本发明鉴于这样的课题而作出，目的是在卡拉OK歌唱等的乐曲 演奏的评价中能够提示更接近由人类的感受性产生的得分的评价结 果。

用于解决课题的方案

为了解决上述课题，本发明提供一种演奏评价装置，具备：表情 演奏参考数据获取单元，获取以乐曲中包含的音符或音符组的发音开 始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情 演奏应在所述乐曲中进行的时机的表情演奏参考数据；音调音量数据 生成单元，根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的 音调及音量的音调音量数据；及演奏评价单元，在由所述音调音量数 据生成单元生成的所述音调音量数据所表示的音调和音量的至少一方 的特性表示应在所述乐曲中的由所述表情演奏参考数据表示的预定时 间范围内根据所述表情演奏参考数据而进行的表情演奏的特性的情况 下，提高对所述演奏者进行的所述乐曲的演奏的评价。

另外，本发明提供一种卡拉OK装置，具备：上述的演奏评价装 置；伴奏数据获取单元，获取对乐曲的伴奏进行指示的伴奏数据；及 声音信号输出单元，按照所述伴奏数据的指示来输出表示伴奏的乐音 的声音信号，所述音调音量数据生成单元按照从所述声音信号输出单 元输出的声音信号，根据从扬声器放出的伴奏，生成表示由所述演奏 者进行的所述乐曲的演奏音的音调及音量的音调音量数据。

另外，本发明一种服务器装置，具备：表情演奏出现数据获取单 元，对于任意数量的任意的演奏者演奏乐曲的演奏音，分别获取表示 在以所述乐曲中包含的音符或音符组的发音开始时刻为基准的一个时 机出现了一个表情演奏这一情况的表情演奏出现数据；表情演奏参考 数据生成单元，基于由所述表情演奏出现数据获取单元获取的任意数 量的表情演奏出现数据，对于所述乐曲中包含的音符或音符组，分别 确定在以该音符或音符组的发音开始时刻为基准的哪一时机、哪一表 情演奏以哪一频率出现，按照该确定出的信息，生成以所述乐曲中包 含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏 中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演 奏参考数据；及发送单元，将由所述表情演奏参考数据生成单元生成 的表情演奏参考数据向演奏评价装置发送。

另外，本发明提供一种歌唱评价系统，具备：表情演奏参考数据 获取单元，获取以乐曲中包含的音符或音符组的发音开始时刻为基准 来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述 乐曲中进行的时机的第一表情演奏参考数据；音调音量数据生成单元， 根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量 的音调音量数据；演奏评价单元，在由所述音调音量数据生成单元生 成的所述音调音量数据所表示的音调及音量的至少一方的特性表示应 在所述乐曲中的由所述第一表情演奏参考数据表示的预定时间范围内 根据所述第一表情演奏参考数据而进行的表情演奏的特性的情况下， 提高对所述演奏者进行的所述乐曲的演奏的评价；表情演奏出现数据 获取单元，对于任意数量的任意的演奏者演奏乐曲的演奏音，分别获 取表示在以所述任意的演奏者演奏的所述乐曲中包含的音符或音符组 的发音开始时刻为基准的一个时机出现了一个表情演奏这一情况的表 情演奏出现数据；及表情演奏参考数据生成单元，基于由所述表情演 奏出现数据获取单元获取的任意数量的表情演奏出现数据，对于所述 任意的演奏者演奏的乐曲中包含的音符或音符组，分别确定在以该音 符或音符组的发音开始时刻为基准的哪一时机、哪一表情演奏以哪一 频率出现，按照该确定出的信息，生成以所述任意的演奏者演奏的乐 曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述任意 的演奏者演奏乐曲的演奏中进行的表情演奏和该表情演奏应在所述任 意的演奏者演奏的乐曲中进行的时机的第二表情演奏参考数据。

另外，本发明提供一种演奏评价方法，获取以乐曲中包含的音符 或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的 表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数 据，根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及 音量的音调音量数据，在由所述音调音量数据表示的音调和音量的至 少一方的特性表示应在所述乐曲中的由所述表情演奏参考数据表示的 预定时间范围内根据所述表情演奏参考数据而进行的表情演奏的特性 的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价。

另外，本发明提供一种计算机能够执行的程序，使所述计算机执 行：表情演奏参考数据获取处理，获取以乐曲中包含的音符或音符组 的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏 和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据；音调 音量数据生成处理，根据演奏者演奏所述乐曲的演奏音来生成表示该 演奏音的音调及音量的音调音量数据；及演奏评价处理，在由所述音 调音量数据生成单元生成的所述音调音量数据所表示的音调和音量的 至少一方的特性表示应在所述乐曲中的由所述表情演奏参考数据表示 的预定时间范围内根据所述表情演奏参考数据而进行的表情演奏的特 性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价。

发明效果

根据本发明，实现一种演奏评价装置，在各个乐曲的演奏中，当 在希望的时机进行希望的表情演奏时，对演奏者给予高的评价。其结 果是，在由演奏者进行了表情演奏的情况下，进行与人类的感受性的 背离少的评价。

附图说明

图1是表示本发明的一实施方式的歌唱评价系统的结构的图。

图2是表示顿音的歌唱音的波形的图。

图3是表示颤音的歌唱音的波形的图。

图4是表示花腔的歌唱音的波形的图。

图5是表示上滑音的歌唱音的波形的图。

图6是表示下滑音的歌唱音的波形的图。

图7是表示本发明的一实施方式的歌唱评价系统的动作的流程 图。

图8是关于顿音而生成的统计数据的一例。

图9是关于颤音而生成的统计数据的一例。

图10是关于花腔而生成的统计数据的一例。

图11是关于上滑音而生成的统计数据的一例。

图12是关于下滑音而生成的统计数据的一例。

图13是表示本发明的演奏评价装置的框图。

具体实施方式

以下，参照附图，说明本发明的实施方式。

图1是表示本发明的一实施方式的歌唱评价系统1的结构的图。 该歌唱评价系统1具有卡拉OK装置10-m(m＝1，2…M：M为卡拉 OK装置的总数)和服务器装置30。卡拉OK装置10-m在各卡拉OK 店各设置一台或多台。服务器装置30设置在系统运营中心内。卡拉 OK装置10-m和服务器装置30与网络90连接，相互能够收发各种数 据。

卡拉OK装置10-m是进行通过对利用者的歌唱进行支援的伴奏曲 的放音和歌词的显示的歌唱演出、利用者的歌唱的优劣的评价的装置。 在此，卡拉OK装置10-m在歌唱的优劣的评价中，进行以利用者的歌 唱音的音调及音量的良好与否为评价对象的评价、以以下所示的5种 表情歌唱的良好与否为评价对象的评价，并将2个评价的评价结果即 得分与评论消息一起向利用者提示。

a1.顿音

这是使歌唱曲内的特定音的唱出故意延迟的表情歌唱。如图2所 示，在进行该歌唱的情况下，使歌唱音的音调从前一个音向该音变化 的时刻比乐谱(模范的歌唱)中的两音所对应的2个音符(音符)的 转变时刻稍微延迟一点时间。

b1.颤音

这是将歌唱曲内的特定音保持外观的音调且细微地震动的表情歌 唱。如图3所示，在进行该歌唱的情况下，歌唱音的音调横跨乐谱中 的该音所对应的音符的高度而周期性地变化。

c1.花腔

这是使歌唱曲内的特定音的声色以在发音的中途吼出的方式变化 的表情歌唱。如图4所示，在进行该歌唱的情况下，歌唱音的音调在 乐谱中的该音所对应的音符的中途一下子上升。

d1.上滑音

这是使歌唱曲内的特定音以比本来的高度低的声音发音之后接近 本来的高度的歌唱手法。如图5所示，在进行该歌唱的情况下，歌唱 音的发音开始时刻的音调比乐谱中的该音所对应的音符的高度低。并 且，该歌唱音的音调在发音开始后平缓上升而达到与音符的高度大致 相同的高度。

e1.下滑音

这是使歌唱曲内的特定音以比本来的高度高的声音发音之后接近 本来的高度的歌唱手法。如图6所示，在进行该歌唱的情况下，歌唱 音的发音开始时刻的音调比乐谱中的该音所对应的音符的高度高。并 且，该歌唱音的音调在发音开始后平缓地下降而达到与音符的高度大 致相同的高度。

返回到图1，继续进行歌唱评价系统1整体的说明。卡拉OK装置 10-m具有声源11、扬声器12、麦克风13、显示部14、通信接口15、 声音适配器16、CPU17、RAM18、ROM19、硬盘20、定序器21。声 源11输出与MIDI(Musical Instrument Digital Interface)的各种消息对 应的声音信号S_A。扬声器12将被提供的信号作为声音而放出。麦克风 13接收声音而输出收音信号S_M。显示部14显示与图像信号S_I对应的 图像。通信接口15在其与连接于网络90的装置之间收发数据。

声音适配器16测定声音信号S_M的音调及音量，并生成表示它们 的时间性的变化的音调音量数据。具体而言，声音适配器16每隔时间 T_S(例如，T_S＝30毫秒)检测从麦克风13提供的声音信号S_M的音调， 并将该检测结果作为信号S_P而输出。而且，声音适配器16每隔时间 T_S检测从麦克风13提供的声音信号S_M的音量，并将该检测结果作为 信号S_L而输出。

CPU17利用RAM18作为工作区域并执行存储于ROM19或硬盘 20的程序。该CPU17的动作的详情在后文叙述。在ROM19中存储有 IPL(Initial Program Loader)等。在硬盘20中存储有各种歌唱曲的歌 曲数据MD-n(n＝1～N)(N为歌唱曲的种类的总数)、参考数据库DBRK 及歌唱评价程序VPG。各歌唱曲的歌曲数据MD-n是以SMF(Standard  MIDI File)形式记录有歌唱曲的伴奏内容、歌唱曲的歌词及歌唱曲的 模范的歌唱内容的数据。

具体而言，如图1的框内所示，歌曲数据MD-n具有标题HD、伴 奏音轨TR_AC、歌词音轨TR_LY、模范歌唱参考音轨TR_NR。在标题HD 中记载有歌曲编号、曲名、种类、演奏时间、时基(与一个4分音符 的时间相当的滴答(tick)数)等信息。

在伴奏音轨TR_AC中，以时序的顺序记载有指示歌唱曲的乐谱的伴 奏声部中的各音符NT(i)(i表示从乐谱的对应声部的开头的音符NT (1)起计数的顺序)的音的发音的事件EV(i)_ON和指示其消音的事 件EV(i)_OFF及表示紧挨着前后的事件的执行时间差(滴答数)的增 量时间DT。

在歌词音轨TR_LY中，以时序的顺序记载有表示歌唱曲的歌词的各 数据D_LY、表示各歌词的显示时刻(更具体而言，各歌词的显示时刻与 该各歌词的前面的歌词的显示时刻之间的时间差(滴答数))的增量 时间DT。

在模范歌唱参考音轨TR_NR中，以时序的顺序记载有指示歌唱曲的 乐谱的歌唱声部的各音符NT(i)的音的发音的事件EV(i)_ON、指示 其消音的事件EV(i)_OFF及表示紧挨着前后的事件的执行时间差(滴 答数)的增量时间DT。

在参考数据库DBRK存储有5种表情歌唱参考数据DD_a1、DD_a2、 DD_a3、DD_a4、DD_a5。表情歌唱参考数据DD_a1是表示以歌唱曲中包含的 音符NT(i)的发音开始时刻为基准点t_BS的时间轴上的各时刻t与在 这些时刻t进行了基于顿音的歌唱时的评价分VSR(t)的各对的数据。 表情歌唱参考数据DD_a2是表示以歌唱曲中包含的音符NT(i)的发音 开始时刻为基准点t_BS的时间轴上的各时刻t与在这些时刻t进行了基 于颤音的歌唱时的评价分VSR(t)的各对的数据。表情歌唱参考数据 DD_a3是表示以歌唱曲中包含的音符NT(i)的发音开始时刻为基准点 t_BS的时间轴上的各时刻t与在这些时刻t进行了基于花腔的歌唱时的评 价分VSR(t)的各对的数据。表情歌唱参考数据DD_a4是表示以歌唱曲 中包含的音符NT(i)的发音开始时刻为基准点t_BS的时间轴上的各时 刻t与在这些时刻t进行了基于上滑音的歌唱时的评价分VSR(t)的 各对的数据。表情歌唱参考数据DD_a5是表示以歌唱曲中包含的音符NT (i)的发音开始时刻为基准点t_BS的时间轴上的各时刻t与在这些时刻 t进行了基于下滑音的歌唱时的评价分VSR(t)的各对的数据。以下， 在不对5种表情歌唱参考数据DD_a1、DD_a2、DD_a3、DD_a4、DD_a5进行区 别的情况下记为表情歌唱参考数据DD。

歌唱评价程序VPG具有如下的3个功能。

a2.标准评价功能

这是如下的功能：对声音适配器16的输出信号S_L及S_P表示的音 调及音量与通过模范歌唱参考音轨TR_NR内的各事件EV(i)_ON及EV (i)_OFF决定的各音符NT(i)的模范音调PCH_REF及模范音量LV_REF进行比较，并基于该比较的结果来评价歌唱的优劣。

b2.表情歌唱评价功能

这是如下的功能：每当在声音适配器16的输出信号S_P表示的音 调波形中出现表情歌唱的特征波形时，求出以成为表情歌唱的对象的 音符NT(i)的发音开始时刻为基准点t_BS的时间轴上的表情歌唱的特 征波形的出现时刻，从参考数据库DBRK内的对应的表情歌唱参考数 据DD的各评价分VSR(t)之中选择与该出现时刻对应的评价分VSR (t)，并基于该评价分VSR(t)来评价歌唱的优劣。

c2.评价结果提示功能

这是如下的功能：根据a2的评价的评价结果及b2的评价的评价 结果来算出得分，将该得分与评论消息一起显示在显示部14。

在以遥控器(未图示)对歌唱曲的歌唱开始操作为契机而将对应 歌曲的歌曲数据MD-n从硬盘20传送到RAM18的情况下，定序器21 将该歌曲数据MD-n内的事件EV(i)_ON、EV(i)_OFF及数据D_LY向装 置各部供给。具体而言，当在RAM18中存储有歌曲数据MD-n时，定 序器21基于该歌曲数据MD-n的标题HD中记述的时基和由遥控器(未 图示)指定的拍子来决定1滴答的时间长，根据该时间长的经过而对 滴答进行计数并进行如下的3个处理。

在第一处理中，每当滴答的计数值与伴奏音轨TR_AC内的增量时间 DT一致时，定序器21将其后续的事件EV(i)_ON(或EV(i)_OFF)读 出而向声源11供给。声源11当从定序器21被供给事件EV(i)_ON时， 将该事件EV(i)_ON指定的声音信号S_A向扬声器12供给，当从定序器 21被供给事件EV(i)_OFF时，停止向扬声器12供给声音信号S_A。

在第二处理中，每当滴答的计数值与歌词音轨TR_LY内的增量时间 DT一致时，定序器21将其后续的数据D_LY读出而向显示部14供给。 显示部14当从定序器21被供给数据D_LY时，将该数据D_LY转换成歌 词反射式字幕的图像，并将该图像显示在显示器(未图示)。

通过定序器21进行该第一及第二处理，而进行来自扬声器12的 伴奏音的放音和歌词向显示器的显示。利用者听取从扬声器12放出的 伴奏音并朝向麦克风13歌唱显示于显示器的歌词。在利用者朝向麦克 风13进行歌唱期间，麦克风13输出利用者的歌唱音的收音信号S_M， 声音适配器16输出表示该信号S_M的音调及音量的信号S_P及S_L。

在第三处理中，每当滴答的计数值与模范歌唱参考音轨TR_NR内的 增量时间DT一致时，定序器21将其后续的事件EV(i)_ON(或EV(i) _OFF)读出而向CPU17供给。CPU17使用从定序器21供给的事件EV (i)_ON及EV(i)_OFF、声音适配器16的输出信号S_P及S_L，来评价利 用者的歌唱的优劣。详情在后文叙述。

服务器装置30是起到对卡拉OK店铺的服务的提供进行支援的作 用的装置。服务器装置30具有通信接口35、CPU37、RAM38、ROM39、 硬盘40。通信接口35在其与连接于网络90的装置之间收发数据。 CPU37利用RAM38作为工作区域，并执行存储于ROM39或硬盘40 的各种程序。该CPU37的动作的详情在后文叙述。在ROM39中存储 有IPL等。

在硬盘40中存储有歌唱采样数据库DBS、参考数据库DBRS及 歌唱分析程序APG。在歌唱采样数据库DBS单独存储有分别与1个歌 唱曲对应的歌唱采样数据DS组。歌唱采样数据DS是记录了具有一定 水准以上的歌唱力的人对歌唱曲进行歌唱时的歌唱音的音调波形及音 量波形的数据。在参考数据库DBRS存储有应在各卡拉OK装置10-m 的参考数据库DBRK内存储的最新的表情歌唱参考数据DD。

歌唱分析程序APG具有如下的3个功能。

a3.蓄积功能

这是如下的功能：从卡拉OK装置10-m一曲曲地获取各歌唱曲的 歌唱采样数据DS，并将获取的歌唱采样数据DS蓄积于歌唱采样数据 库DBS。

b3.改写功能

这是如下的功能：对于蓄积在歌唱采样数据库DBS中的歌唱采样 数据DS，分别从该歌唱采样数据DS表示的波形内搜索表情歌唱的特 征波形，根据该搜索结果，生成表示以成为表情歌唱的对象的音符NT (i)的发音开始时刻为基准点t_BS的时间轴上的各时刻t与这些时刻t 的表情歌唱的出现数Num的关系的统计数据，基于统计数据的内容来 改写参考数据库DBR内的表情歌唱参考数据DD中的与各时刻t对应 的评价分VSR(t)。

c3.发送功能

这是如下的功能：根据来自卡拉OK装置10-m的要求，将通过改 写功能改写后的表情歌唱参考数据DD向卡拉OK装置10-m发送。

接下来，说明本实施方式的动作。图7是表示本实施方式的动作 的流程图。在图7中，在进行了歌唱曲的歌唱开始操作的情况下(S100 为“是”)，卡拉OK装置10-m的CPU17向定序器21供给控制信号 S_O而使定序器21开始处理(上述的第一～第三处理)(S120)。当基 于定序器21的处理开始时，CPU17进行标准歌唱评价处理(S130)和 表情歌唱评价处理(S140)这两个处理。这两个处理的详情如下所述。

a4.标准歌唱评价处理(S130)

在该处理中，CPU17将从定序器21被供给事件EV(i)_ON起到被 供给下一事件EV(i)_OFF为止的时间设为相当于第一个音符NT(i) 的音的发音时间T_NT(i)。CPU17求出发音时间T_NT(i)期间的声音 适配器16的输出信号S_P表示的音调与对事件EV(i)_ON的音符标号进 行了变换的模范音调PCH_REF之差PCH_DEF、及此期间的信号S_P表示的 音量与对事件EV(i)_ON的速率进行了变换的模范音量LV_REF之差 LV_DEF，在该差PCH_DEF及差LV_DEF收敛于预定范围的情况下，判定为 音符NT(i)的歌唱合格。CPU17在从利用者的歌唱的开始起到结束 为止的期间进行该音符判定，将歌唱的结束时刻的全部音符TN(i)的 数目除以判定为合格的音符NT(i)的数目所得到的值乘以100，并将 所得到的值作为基本得分SR_BASE。

另外，在该处理中，CPU17判定在声音适配器16的输出信号S_P表示的音调波形内是否出现了顿音、颤音、花腔、上滑音、下滑音中 的任一个表情歌唱的特征波形。在此，顿音的特征波形的判定手法的 详情参照专利文献2，颤音的特征波形的判定手法的详情参照专利文献 3，花腔的特征波形的判定手法的详情参照专利文献4，上滑音的特征 波形的判定手法的详情参照专利文献5，下滑音的特征波形的判定手法 的详情参照专利文献6。CPU17在利用者的歌唱的开始起到结束为止的 期间进行该特征波形判定，将歌唱的结束时刻的表情歌唱的出现数乘 以预定的系数所得到的值作为加算分SR_ADD。并且，在该处理中，将基 本得分SR_BASE与加算分SR_ADD的总计作为标准得分SR_NOR。

b4.表情歌唱评价处理(S140)

在该处理中，CPU17将从声源事件EV(i)_ON的输出起到下一事 件EV(i)_OFF的输出为止的时间作为相当于第一个音符NT(i)的音 的发音时间T_NT(i)。并且，在发音时间T_NT(i)期间的声音适配器 16的输出信号S_P表示的音调波形内出现了表情歌唱的特征波形的情况 下，CPU17求出发音时间T_NT(i)内的表情歌唱的出现时刻和出现的 表情歌唱的种类。CPU17生成表示如此确定出的表情歌唱的种类和出 现时刻的表情歌唱出现数据。

并且，CPU17从表情歌唱参考数据DD表示的一连串的评价分 VSR(t)之中选择与生成的表情歌唱出现数据所示的表情歌唱及其出 现时刻对应的评价分VSR(t)。CPU在利用者的歌唱的开始起到结束 为止的期间进行这样的评价分VSR(t)的选择，将歌唱的结束时刻的 评价分VSR(t)的平均值作为表情得分SR_EX。

当利用者的歌唱曲的歌唱结束时，CPU17进行评价结果提示处理 (S150)。在评价结果提示处理中，CPU17选择通过标准歌唱评价处 理而评分的标准得分SR_NOR和通过表情歌唱评价处理而评分的表情得 分SR_EX中的高的一方的得分。并且，在选择了标准得分SR_NOR的情况 下，CPU17将该得分SR_NOR和例如“真是极妙且精致的歌啊”这样的 与得分SR_NOR对应的评论消息显示在显示部14。而且，在选择了表情 得分SR_EX的情况下，CPU17将该得分SR_EX和例如“真是富有人情味 啊”这样的与表情得分SR_EX对应的评论消息显示在显示部14。

接着，CPU17进行采样发送处理(S160)。在采样发送处理中， CPU17在从歌唱曲的歌唱的开始到结束期间将声音适配器16输出的信 号S_P及S_L作为该歌唱曲的歌唱采样数据DS，将包含该歌唱采样数据 DS和在步骤S130中求出的基本得分SR_BASE(歌唱评价数据)的消息 MS1向服务器装置30发送。

服务器装置30的CPU37在从卡拉OK装置10-m获取消息MS1 时(S200为“是”)，从该消息MS1取出歌唱采样数据DS和基本得 分SR_BASE，将该基本得分SR_BASE与区分上等者和不是上等者的基准得 分SR_TH(例如80分)进行比较(S220)。在基本得分SR_BASE高于基 准得分SR_TH的情况下(S220为“是”)，CPU37将从消息MS1取出 的歌唱采样数据DS蓄积于歌唱采样数据库DBS(S230)。

接着，CPU37进行改写处理(S240)。在改写处理中，CPU37进 行如下的5个处理。在第一处理中，CPU37从蓄积于歌唱采样数据库 DBS的各歌唱采样数据DS表示的音调波形内搜索顿音的特征波形， 生成表示该搜索结果的表情歌唱出现数据(表示以顿音出现的音符NT (i)的发音开始时刻为基准点t_BS的时间轴上的各时刻t的数据)。接 着，CPU37基于关于顿音而生成的表情歌唱出现数据，生成表示以音 符NT(i)的发音开始时刻为基准点t_BS的时间轴上的各时刻t与这些 时刻t的表情歌唱“顿音”的出现数Num的关系的统计数据，并基于 该统计数据的内容来改写表情歌唱参考数据DD_a1的与各时刻t对应的 评价分VSR(t)。

图8是表示关于顿音的统计数据的一例的图。在该例子的统计数 据中，在比基准点t_BS提前时间T1_a1的时刻t1_a1与比基准点t_BS延迟时 间T4_a1的时刻t4_a1之间分布有表情歌唱的出现数Num。并且，在该例 子的统计数据中，在紧接着基准点t_BS之后的时刻t2_a1表现出出现数 Num的最大峰值，在比时刻t2_a1晚的时刻t3_a1表现出出现数Num的第 二个峰值。由此，在该例子的统计数据的改写后的表情歌唱参考数据 DD_a1中，时刻t2_a1的评价分VSR(t2_a1)为最高，时刻t3_a1的评价分 VSR(t3_a1)为第二高。

在第二处理中，CPU37从蓄积于歌唱采样数据库DBS的各歌唱采 样数据DS表示的音调波形内搜索颤音的特征波形，生成表示该搜索结 果的表情歌唱出现数据(表示以颤音出现的音符NT(i)的发音开始时 刻为基准点t_BS的时间轴上的各时刻t的数据)。接着，CPU37基于关 于颤音而生成的表情歌唱出现数据，生成表示以音符NT(i)的发音开 始时刻为基准点t_BS的时间轴上的各时刻t与这些时刻t的表情歌唱的 出现数Num的关系的统计数据，并基于该统计数据的内容来改写表情 歌唱参考数据DD_a2的与各时刻t对应的评价分VSR(t)。

图9是表示关于颤音的统计数据的一例的图。在该例子的统计数 据中，在基准点t_BS与比基准点t_BS延迟时间T2_a2的时刻t2_a2之间分布 有表情歌唱的出现数Num。并且，在该例子的统计数据中，在比基准 点t_BS延迟时间T1_a2的时刻t1_a2表现出出现数Num的最大峰值。由此， 在该例子的统计数据的改写后的表情歌唱参考数据DD_a2中，时刻t1_a2的评价分VSR(t1_a2)为最高。

在第三处理中，CPU37从蓄积于歌唱采样数据库DBS的各歌唱采 样数据DS表示的音调波形内搜索花腔的特征波形，生成表示该搜索结 果的表情歌唱出现数据(表示以花腔出现的音符NT(i)的发音开始时 刻为基准点t_BS的时间轴上的各时刻t的数据)。接着，CPU37基于关 于花腔而生成的表情歌唱出现数据，生成表示以音符NT(i)的发音开 始时刻为基准点t_BS的时间轴上的各时刻t与这些时刻t的表情歌唱的 出现数Num的关系的统计数据，并基于该统计数据的内容来改写表情 歌唱参考数据DD_a3的与各时刻t对应的评价分VSR(t)。

图10是表示关于花腔的统计数据的一例的图。在该例子的统计数 据中，在基准点t_BS与比基准点t_BS延迟时间T2_a3的时刻t2_a3之间分布 有表情歌唱的出现数Num。并且，在该例子的统计数据中，在比基准 点t_BS延迟时间T1_a3的时刻t1_a3表现出出现数Num的最大峰值。由此， 在该例子的统计数据的改写后的表情歌唱参考数据DD_a3中，时刻t1_a3的评价分VSR(t1_a3)为最高。

在第四处理中，CPU37从蓄积于歌唱采样数据库DBS的各歌唱采 样数据DS表示的音调波形内搜索上滑音的特征波形，生成以表示该搜 索结果的表情歌唱出现数据(表示以上滑音出现的音符NT(i)的发音 开始时刻为基准点t_BS的时间轴上的各时刻t的数据)。接着，CPU37 基于关于上滑音而生成的表情歌唱出现数据，生成表示以音符NT(i) 的发音开始时刻为基准点t_BS的时间轴上的各时刻t与这些时刻t的表 情歌唱的出现数Num的关系的统计数据，并基于该统计数据的内容来 改写表情歌唱参考数据DD_a4的与各时刻t对应的评价分VSR(t)。

图11是表示关于上滑音的统计数据的一例的图。在该例子的统计 数据中，在基准点t_BS与比基准点t_BS延迟时间T2_a4的时刻t2_a4之间分 布有表情歌唱的出现数Num。并且，在该例子的统计数据中，在基准 点t_BS表现出出现数Num的最大峰值，在比基准点t_BS延迟了时间T1_a4的时刻t1_a4表现出出现数Num的第二个峰值。由此，在该例子的统计 数据的改写后的表情歌唱参考数据DD_a4中，时刻t_BS的评价分VSR(t_BS) 为最高，时刻t1_a4的评价分VSR(t1_a4)为第二高。

在第五处理中，CPU37从蓄积于歌唱采样数据库DBS的各歌唱采 样数据DS表示的音调波形内搜索下滑音的特征波形，生成表示该搜索 结果的表情歌唱出现数据(表示以下滑音出现的音符NT(i)的发音开 始时刻为基准点t_BS的时间轴上的各时刻t的数据)。接着，CPU37基 于关于下滑音而生成的表情歌唱出现数据，生成表示以音符NT(i)的 发音开始时刻为基准点t_BS的时间轴上的各时刻t与这些时刻t的表情 歌唱的出现数Num的关系的统计数据，并基于该统计数据的内容来改 写表情歌唱参考数据DD_a5的与各时刻对应的评价分VSR(t)。

图12是表示关于下滑音的统计数据的一例的图。在该例子的统计 数据中，在比基准点t_BS延迟时间T1_a5的时刻t1_a5与从时刻t_BS延迟时 间T2_a5的时刻t2_a5之间分布有表情歌唱的出现数Num。并且，在该例 子的统计数据中，在时刻t2_a5表现出出现数Num的最大峰值。由此， 在该例子的统计数据的改写后的表情歌唱参考数据DD_a5中，时刻t2_a5的评价分VSR(t2_a5)为最高。

在图7中，每当预先规定的查询时刻到来时(S110为“是”)， 卡拉OK装置10-m的CPU17进行查询处理(S170)。在该查询处理 中，CPU17将要求最新数据的发送的消息MS2向服务器装置30发送 (S170)。服务器装置30的CPU37当从卡拉OK装置10-m接收到消 息MS2时(S210为“是”)，将从上次的消息MS2的接收时刻到本 次的消息MS2的接收时刻为止的期间改写了内容的表情歌唱参考数据 DD向消息M2的发送源的卡拉OK装置10-m发送(S250)。卡拉OK 装置10-m的CPU17当从服务器装置30接收到表情歌唱参考数据DD 时，将该表情歌唱参考数据DD向参考数据库DBRK覆盖而对其内容 进行更新(S180)。

以上是本实施方式的结构的详情。根据本实施方式，能得到如下 的效果。

第一，在本实施方式的带表情的歌唱评价处理中，每当在声音适 配器16的输出信号的波形中出现表情歌唱的特征波形时，求出以成为 表情歌唱的对象的音符NT(i)的发音开始时刻为基准点的时间轴上的 表情歌唱的特征波形的出现时刻，从歌唱参考数据DD内的各评价分 VSR(t)之中选择与该出现时刻对应的评价分VSR(t)，基于该选择 的评价分VSR(t)来评价歌唱的优劣。由此，根据本实施方式，即使 利用者进行了表情歌唱，若其时机不适当，则也无法得到良好的评价。 因此，根据本实施方式，能够提示出更接近人的感受性的评价结果。

第二，在本实施方式中，对于蓄积于歌唱采样数据库DBS内的表 情歌唱参考数据DD，分别从该数据DD表示的波形内搜索表情歌唱的 特征波形，根据该搜索结果，生成表示以成为表情歌唱的对象的音符 NT(i)的发音开始时刻为基准点的时间轴上的各时刻与这些时刻的表 情歌唱的出现数的关系的统计数据，并基于统计数据的内容来改写歌 唱参考数据DD的与各时刻对应的评价分VSR(t)。由此，根据本实 施方式，能够将演唱了歌唱曲的上等者们的演唱方法的倾向的变化反 映到评价结果中。

以上，说明了本发明的一实施方式，但本发明也可以包括其他实 施方式。例如，如以下所述。

(1)在上述实施方式中，CPU17从声音适配器16的输出信号S_P中检测出顿音、颤音、花腔、上滑音、下滑音这5种表情歌唱。然而， 也可以检测这5种以外的表情歌唱。例如，可以检测带有抑扬的歌唱。

(2)在上述实施方式中，CPU17使用声音适配器16的输出信号 S_P及S_L这两方进行标准歌唱评价处理，并仅使用声音适配器16的输 出信号S_P及S_L中的表示音调的信号S_P来进行表情歌唱评价处理。然 而，CPU17也可以仅使用信号S_P及S_L中的一方进行标准歌唱评价处理。 而且，CPU17也可以使用信号S_P及S_L这两方进行表情歌唱评价处理。

(3)在上述实施方式的表情歌唱评价处理中，基于表情歌唱的特 征波形的出现时刻而评价了歌唱的优劣。然而，也可以进行加入了表 情歌唱的特征波形的出现时刻以外的要素(例如，顿音、颤音、花腔、 上滑音、下滑音各自的长度、深度等)的评价。

(4)在上述实施方式的表情歌唱评价处理中，采用检测在歌唱曲 中包含的音符各自所对应的歌唱音中出现的表情歌唱的结构，但也可 以采用检测在歌唱曲中包含的一连串的多个音符(音符组)所对应的 歌唱音中出现的表情歌唱的结构。例如，渐强/渐弱那样的表情歌唱是 在一连串的多个音符的歌唱中进行的表情歌唱，因此这些表情歌唱的 检测及评价优选以音符组为单位进行。因此，与这样的表情歌唱相关 的表情歌唱参考数据DD也优选由音符组单位构成。

(5)在上述实施方式中，采用如下结构：从卡拉OK装置10对 服务器装置30发送包含在歌唱曲的歌唱的开始到结束期间声音适配器 16输出的信号S_P及S_L的歌唱采样数据DS(音调音量数据)，在服务 器装置30中根据歌唱采样数据DS进行各表情歌唱的检测及其出现的 时机的确定处理。也可以取而代之，采用如下结构：从卡拉OK装置 10对服务器装置30发送表示由麦克风13收到的声音的声音信号S_M(表 示歌唱音的声音波形数据)，在服务器装置30中进行根据声音信号S_M生成信号S_p及信号S_L的处理(上述实施方式的声音适配器16进行的 处理)。而且，也可以采用如下结构：从卡拉OK装置10对服务器装 置30发送在按照歌唱评价程序VPG进行的表情歌唱评价处理(S140) 时确定出的表示表情歌唱的类别及其出现的时机的数据(表情歌唱出 现数据)，在服务器装置30中不进行表情歌唱的检测处理而基于从卡 拉OK装置10发送来的表情歌唱出现数据来进行表情歌唱参考数据 DD的更新处理。

(6)在上述实施方式中，服务器装置30进行统计数据的生成和 基于该生成的表情歌唱参考数据DD的改写。然而，也可以将各卡拉 OK装置10-m过去自身生成、或从其他卡拉OK装置10-m直接或经由 服务器装置30获取的表示歌唱音的声音信号S_M、根据这些声音信号 S_M生成的信号S_p及信号S_L、或使用这些信号确定出的表示表情歌唱的 类别及其出现的时机的数据(表情歌唱出现数据)存储于硬盘20， CPU17将它们读出而使用，进行与服务器装置30在S240中进行的处 理同样的处理、即统计数据的生成和基于该生成的表情歌唱参考数据 DD的改写。

(7)上述实施方式中的歌唱的评价方法及评价结果向歌唱者提示 的形态可以进行各种变更。例如，在上述实施方式中，采用在标准歌 唱评价处理(S130)中将基于表情歌唱的出现次数而算出的加算分 SR_ADD与基本得分SR_BASE相加、由此算出标准得分SR_NOR的结构，但 也可以采用在标准歌唱评价处理中不考虑表情歌唱的出现而仅算出基 本得分SR_BASE的结构。而且，在上述实施方式中，对于歌唱者，显示 了通过标准歌唱评价处理而评分的标准得分SR_NOR和通过表情歌唱评 价处理而评分的表情得分SR_EX中的高的一方的得分，但也可以显示这 两方、显示它们的总分数等在其他形态中进行对歌唱者的评价结果的 提示。

(8)在上述实施方式中，在更新表情歌唱参考数据DD时，采用 将基本得分SR_BASE比基准得分SR_TH高的歌唱者作为上等者而仅使用与 上等者相关的歌唱采样数据DS进行表情歌唱参考数据DD的更新的结 构。表情歌唱参考数据DD的更新所用的歌唱采样数据DS的选择方法 并不局限于此。例如，也可以取代基本得分SR_BASE而使用基本得分 SR_BASE加上加算分SR_ADD所得到的标准得分SR_NOR作为上等者的推定 的基准。而且，为了将完全未进行表情歌唱而基本得分SR_BASE为高得 分的上等者排除在外，也可以采用如下结构：除了下侧的阈值(基准 得分SR_TH)之外，还设置上侧的阈值，比上侧的阈值高的基本得分 SR_BASE(或其他得分)的歌唱者的歌唱采样数据DS不用于表情歌唱参 考数据DD的更新。而且，也可以取代如上述那样将歌唱者分为上等者 和上等者以外这两类的情况，例如将基本得分SR_BASE高的歌唱者的歌 唱采样数据DS附加大的权重而用于表情歌唱参考数据DD的更新。

(9)在上述实施方式中，作为评价乐曲演奏的演奏评价装置的一 例，示出了设于歌唱用的卡拉OK装置并评价歌唱演奏的演奏评价装 置，但本发明的演奏评价装置没有限定于歌唱演奏的评价，也可以适 用于使用了各种乐器的乐曲演奏的评价。即，在上述实施方式中使用 的“歌唱”这样的语言由更一般的“演奏”这样的语言来置换。另外， 在评价器乐演奏的演奏评价装置中，进行例如吉他的推弦等与各个乐 器所对应的表情演奏相关的评价。而且，在乐曲不是歌唱曲而是乐器 用的乐曲的情况下，乐器演奏用的卡拉OK装置将歌曲数据MD取代 为歌词音轨TR_LY，例如包含表示乐谱的数据、表示乐谱的各区间(例 如，2小节或4小节的块等)的显示时刻的增量时间以时序依次记载的 数据即乐谱音轨，定序器21及显示部14按照乐谱音轨，伴随着乐曲 的进展而将表示与伴奏部位对应的乐谱的图像信号向显示器输出。另 外，在歌唱用的卡拉OK装置及乐器演奏用的卡拉OK装置中，在不需 要歌词或乐谱的显示的情况下，可以不进行定序器21及显示部14对 图像信号的输出处理。

(10)根据以上的例示可知，本发明的优选形态的演奏评价装置 如图13例示那样，包括性地表现作为具备表情演奏参考数据获取单元 101、音调音量数据生成单元102及演奏评价单元103的装置，其他要 素的有无、其他要素的具体的形态任意，该表情演奏参考数据获取单 元101获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表 示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲 中进行的时机的表情演奏参考数据，该音调音量数据生成单元102根 据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的 音调音量数据，该演奏评价单元103在由所述音调音量数据生成单元 102生成的所述音调音量数据所表示的音调和音量的至少一方的特性 表示应在所述乐曲中的由所述表情演奏参考数据表示的预定时间范围 内根据所述表情演奏参考数据而进行的表情演奏的特性的情况下，提 高对所述演奏者进行的所述乐曲的演奏的评价。

(11)在上述实施方式中，示出了在作为所谓专用机的卡拉OK 装置设有本发明的演奏评价装置的例子，但本发明的演奏评价装置并 不局限于专用机。例如，也可以采用通过使个人计算机、便携信息终 端(例如便携电话机或智能电话)或游戏装置等各种装置进行按照程 序的处理来实现本发明的演奏评价装置的结构。而且，该程序可以存 储于CD-ROM等记录介质进行发布，或者也可以利用互联网等电气通 信线路进行发布。

本申请基于2012年4月18日提出的日本专利申请特愿 2012-094853，并将其内容作为参照而并入到本文中。

工业实用性

根据本发明，在由演奏者进行了表情演奏的情况下，能够进行与 人类的感受性的背离少的评价。

附图标记说明

1…歌唱评价系统，10…卡拉OK装置，11…声源，12…扬声器， 13…麦克风，14…显示部，15…通信接口，16…声音适配器，17…CPU， 18…RAM，19…ROM，20…硬盘，21…定序器，30…服务器装置，35… 通信接口，37…CPU，38…RAM，39…ROM，40…硬盘，90…网络