熟练度判定装置及方法

摘要

本发明提供一种熟练度判定装置以及方法，在每次使用演奏操作件进行演奏操作时，指示产生规定的乐音，并且由状态传感器检测该各演奏操作的状态。然后，由偏差传感器检测该被检测出的各演奏操作的状态的偏差程度，基于该偏差传感器的检测结果，判定并报告所述演奏操作的熟练度。

说明书

相关申请的交叉引用

本申请基于2012年3月7日提交的日本专利申请2012-49931并要求 其优先权，该申请的全部内容以引用的方式并入于此。

技术领域

本发明涉及熟练度判定装置及方法。

背景技术

以往，提出了一种乐音产生装置（乐器游戏装置），如果检测到演奏者 （用户）的演奏操作，则发出与演奏操作相应的电子音（乐音）（例如参照 日本特许3599115号公报）。另外，在发出这种电子音的装置中，还已知以 下装置（虚拟鼓装置），如果演奏者手持相当于打击乐器的打棒（stick） 的部件（控制器）并进行挥动的动作，则与此相应地发出打击乐器音（例 如参照日本专利4586525号公报）。在这种装置中构成为：在控制器中设置 传感器，如果演奏者手持该部件并挥动，则传感器检测该动作，发出与该 检测结果相应的打击乐器音。

例如打击乐器等真实的乐器的重量较重，设置需要较大空间，因此难 以在自家等随意地进行演奏或练习。

关于这一点，通过检测演奏者的演奏操作并产生与其相应的乐音来进 行假想的乐器演奏的乐音产生装置，不需要真实的乐器就能够发出该乐器 的乐音，因此演奏场所或演奏空间不受制约，能够随意地尽情演奏。

但是，进行这种假想的乐器演奏的装置通过在实际上什么也不存在的 空间中进行敲击规定的演奏区域等演奏操作，来产生规定的乐音。因此， 到熟练演奏为止，难以知道在哪里进行操作才能发出期望的声音、以及自 己有没有在正确的演奏区域进行操作等，存在难以学习适当的演奏操作的 问题。

发明内容

本发明鉴于如上情况而做出，其目的在于，提供一种熟练度判定装置 以及方法，在进行假想的乐器演奏的情况下，能够简单易懂地表示演奏的 熟练度。

为了解决所述课题，本发明的熟练度判定装置的特征在于，具备：

乐音产生指示机构，在每次使用演奏操作件进行演奏操作时，指示产 生规定的乐音；

状态传感器，在每次进行所述演奏操作时，检测该各演奏操作的状态；

偏差传感器，检测由该状态传感器检测出的各演奏操作的状态的偏差 程度；

熟练度判定机构，基于该偏差传感器的检测结果，判定所述演奏操作 的熟练度；以及

报告机构，报告该熟练度判定机构的判定结果。

另外，本发明的熟练度判定方法的特征在于，

在每次使用演奏操作件进行演奏操作时，指示产生规定的乐音；

在每次进行所述演奏操作时，由状态传感器检测该各演奏操作的状态；

由偏差传感器检测被检测出的各演奏操作的状态的偏差程度；

基于该偏差传感器的检测结果，判定所述演奏操作的熟练度；

报告该熟练度的判定结果。

附图说明

图1（A）是表示本发明的熟练度判定装置的一个实施方式的概要的图， 图1（B）是表示本实施方式中的假想的套鼓的图。

图2是表示图1所示的打棒部的硬件构成的框图。

图3是图1所示的打棒部的立体图。

图4是表示图1所示的摄像机单元部的硬件构成的框图。

图5是表示图1所示的中心单元部的硬件构成的框图。

图6是表示运动传感器部的垂直方向的加速度的变化的图。

图7（A）是表示用打棒部击打假想的打击乐器的击打面的操作目标位 置的情形的示意图，图7（B）是用打棒部多次击打假想的打击乐器的击打 面的情况的操作位置的示意图。

图8（A）是表示用打棒部10次击打假想的打击乐器的击打面的情况的 操作位置的示意图，图8（B）是表示进行了图8（A）所示的演奏操作的情 况的显示装置的熟练度显示的一例的俯视图。

图9（A）～图9（C）是表示用打棒部多次击打假想的打击乐器的击打 面的情况的显示装置的操作位置的显示例的俯视图。

图10是表示打棒部的处理的流程的流程图。

图11是表示摄像机单元部的处理的流程的流程图。

图12是表示中心单元部的处理的流程的流程图。

图13是表示在打棒部的显示装置上进行熟练度显示的例子的立体图。

具体实施方式

［第1实施方式］

以下利用附图说明本发明的第1实施方式。其中，在以下说明的实施 方式中，附加了为了实施本发明而在技术上优选的各种限定，但本发明的 范围不限定于以下的实施方式以及图示例。

［熟练度判定装置的概要］

首先，参照图1（A）以及图1（B），说明本发明的熟练度判定装置的 一个实施方式的概要。

图1（A）是表示本实施方式的熟练度判定装置的装置构成的概要的图。

如图1（A）所示，本实施方式的熟练度判定装置1包括：打棒部10A、 10B、摄像机单元部20和中心单元部30。其中，本实施方式的熟练度判定 装置1为了实现使用两根打棒的假想的鼓演奏，设为具备两个打棒部10A、 10B，但打棒部的数量不限于此，也可以设为一个，也可以设为三个以上。 其中，以下在不区别打棒部10A、10B的情况下，将两者统称为“打棒部10”。

打棒部10是在长度方向上延伸的棒状的部件，作为演奏者能够把持的 演奏操作件发挥功能。即，演奏者手持打棒部10的一端（根侧），进行以 手腕等为中心的上挥下挥动作，由此进行演奏操作。

为了检测这样的演奏者的演奏操作，在本实施方式中，在打棒部10的 另一端（前端侧），设有加速度传感器等各种传感器（后述的运动传感器部 14，参照图2）。

由各种传感器检测的检测结果（例如由各种传感器取得的原始数据等） 被发送至中心单元部30。

另外，在打棒部10的前端侧设有标记部15，构成为在摄像时摄像机单 元部20能够容易地判别打棒部10的前端。

摄像机单元部20是具备摄像部24（例如光学式的摄像机，参照图4） 等的摄像装置，该摄像部24以规定的帧率对把持打棒部10并进行演奏操 作的演奏者的运动图像进行摄像，在本实施方式中，摄像机单元部20作为 在每次进行演奏操作时检测该各演奏操作的状态的状态传感器发挥功能。

在本实施方式中，作为状态传感器的摄像机单元部20由摄像部24摄 像以作为演奏操作件的打棒部10（更具体而言，打棒部10的标记部15） 为被摄体的摄像图像，具有作为在打棒部10（演奏操作件）每次进行演奏 操作的定时检测该摄像图像平面上的打棒部10（演奏操作件）的位置座标 的位置检测机构的摄像机控制部21，将该检测到的每次演奏操作的打棒部 10（演奏操作件）的位置座标分别作为各演奏操作的状态来检测。

中心单元部30在从打棒部10接收到由各种传感器（后述的运动传感 器部14）检测的检测结果时，按照该检测结果以及接收该检测结果时的标 记部15的位置座标数据，使规定的乐音从作为发音机构的发音部36的扬 声器等声音输出部362发出。

具体而言，中心单元部30在作为其存储机构的ROM（后述）等中，与 摄像机单元部20的摄像空间建立对应地存储有如图1（B）所示的假想的套 鼓D的位置座标数据。中心单元部30基于该假想的套鼓D的位置座标数据 和接收到运动传感器部14的检测结果时的标记部15的位置座标数据，确 定打棒部10所击打的乐器，发出该乐器对应的规定的乐音。

另外，在本实施方式中，检测由作为状态传感器的摄像机单元部20检 测的各演奏操作的状态的偏差程度，基于该检测结果，判定演奏者的演奏 操作的熟练度。

以下，具体说明本实施方式的熟练度判定装置1。

［熟练度判定装置1的结构］

首先，参照图2至图5，详细说明本实施方式中的构成熟练度判定装置 1的打棒部10、摄像机单元部20以及中心单元部30的结构。

图2是表示打棒部10的硬件构成的框图，图3是打棒部10的立体图， 图4是表示摄像机单元部20的硬件构成的框图，图5是表示中心单元部30 的硬件构成的框图。

［打棒部10的结构］

如图2所示，打棒部10包括：由CPU（Central Processing Unit）等 构成的打棒控制部11、ROM（Read Only Memory）12、RAM（Random Access  Memory）13、运动传感器部14、标记部15和数据通信部16。另外，打棒 部10具备对各部供给电源的未图示的电源部。

ROM12存储有打棒控制部11所执行的各种处理的处理程序。

另外，ROM12存储有用于标记部15的发光控制的标记特征信息。

在此，所谓标记特征信息，在同一摄像空间中存在多个标记部15的情 况下，用于区别各标记部15（在本实施方式中为打棒部10A的第1标记和 打棒部10B的第2标记）的信息，例如能够利用发光时的形状、大小、色 相、彩度或亮度，以及发光时的闪烁速度等。在存在多个打棒部10的情况 下，各打棒部10分别具有不同的标记特征信息，进行按照各标记特征信息 的发光控制。

RAM13存放运动传感器部14所输出的各种传感器值等、在处理中取得 或生成的值。

打棒控制部11执行打棒部10整体的控制。

例如，在从运动传感器部14输出作为检测结果的传感器值（以下将其 称为“运动传感器数据”）时，将该运动传感器数据经由数据通信部16发 送至中心单元部30等、进行与中心单元部30之间的通信控制。

另外，打棒控制部11从ROM12读出标记特征信息，按照该标记特征信 息，进行标记部15的发光控制。如上所述，在存在多个打棒部10A、10B 的情况下，各打棒部10A、10B分别进行按照不同的标记特征信息的发光控 制。这是为了能够根据由摄像机单元部20的摄像部24摄像的图像，对打 棒部10A的标记部15（第1标记）与打棒部10B的标记部15（第2标记） 进行区别并检测。即，在存在多个打棒部10的情况下，如果标记部15以 相同的方式发光，则在摄像机单元部20摄影时，有可能无法判别各标记部 15是哪个打棒部10的标记部。因此，打棒部10A的打棒控制部11以及打 棒部10B的打棒控制部11读出各自不同的标记特征信息，与其相应地进行 标记部15的发光控制，由此使各标记部15的发光不同，易于进行两者的 区别。

其中，由打棒控制部11进行的控制不限于此，例如也可以基于来自中 心单元部30的指示或作为运动传感器部14的检测结果的传感器值（运动 传感器数据）等，进行标记部15的点灯/关灯等的发光控制。

运动传感器部14例如设于打棒部10的内部，是用于检测打棒部10的 状态（例如下挥位置、下挥速度、下挥角度等）的各种传感器，运动传感 器部14作为检测结果而输出规定的传感器值（运动传感器数据）。由运动 传感器部14检测的检测结果（运动传感器数据）经由数据通信部16发送 至中心单元部30。

在此，作为构成运动传感器部14的传感器，例如能够使用加速度传感 器、角速度传感器以及磁传感器等。

作为加速度传感器，能够使用输出X轴、Y轴、Z轴这三个轴方向分别 产生的加速度的3轴传感器。其中，关于X轴、Y轴、Z轴，如图3所示， 能够将与打棒部10的长度方向的轴一致的轴设为Y轴，将与配置有加速度 传感器的基板（未图示）平行、且与Y轴正交的轴设为X轴，将与X轴以 及Y轴正交的轴设为Z轴。加速度传感器也可以取得X轴、Y轴、Z轴各自 的成分的加速度，并且计算将各自加速度合成而得到的传感器合成值。

在本实施方式中，在使用熟练度判定装置1进行演奏的情况下，演奏 者把持打棒部10的一端（根侧），以手腕等为中心进行使打棒部10的另一 端（前端侧）上下运动的上挥下挥动作，由此使打棒部10产生旋转运动。 在此，在打棒部10静止的情况下，加速度传感器作为传感器合成值计算出 与重力加速度1G相当的值，在打棒部10进行旋转运动的情况下，加速度 传感器作为传感器合成值计算出比重力加速度1G大的值。其中，传感器合 成值例如通过计算X轴、Y轴、Z轴的成分的加速度各自的平方的总和的平 方根来得到。

另外，作为角速度传感器，例如能够使用具备陀螺仪的传感器。在本 实施方式中，角速度传感器如图3所示，输出打棒部10的Y轴方向的旋转 角501、打棒部10的X轴方向的旋转角511。

在此，Y轴方向的旋转角501是在演奏者持有打棒部10时从演奏者观 察的前后轴的旋转角，因此可以称为滚动角。滚动角对应于表示X－Y平面 以何种程度相当于X轴倾斜的角度502，由于演奏者手持打棒部10并以手 腕为轴使打棒部10左右旋转而产生。

另外，X轴方向的旋转角511是在演奏者持有打棒部10时从演奏者观 察的左右轴的旋转角，因此可以称为俯仰角。俯仰角对应于表示X－Y平面 以何种程度相对于Y轴倾斜的角度512，由于演奏者手持打棒部10并在上 下方向挥动手腕而产生。

其中，虽省略图示，角速度传感器也可以还输出Z轴方向的旋转角。 此时，Z轴方向的旋转角基本上具有与X轴方向的旋转角511相同的性质， 是由于演奏者手持打棒部10并在左右方向挥动手腕而产生的俯仰角。

另外，作为磁传感器，能够使用如图3所示的可输出X轴、Y轴、Z轴 这3个轴方向的磁传感器值的传感器。从这种磁传感器，针对X轴方向、Y 轴方向、Z轴方向分别输出表示磁铁的北极（磁北）的矢量。被输出的各轴 方向的成分根据打棒部10的姿势（朝向）而不同，因此根据这些成分，打 棒控制部11能够计算出打棒部10的滚动角、X轴方向以及Z轴方向的旋转 角。

在此，参照图6说明由运动传感器部14检测的检测结果（运动传感器 数据）。其中，在此表示上述各种传感器之中的加速度传感器的检测结果。

在演奏者使用打棒部10进行演奏的情况下，一般而言，进行与击打真 实的乐器（例如鼓）的动作相同的动作。在这种（演奏）动作中，演奏者 首先上挥打棒部10，然后向假想的乐器的击打面（演奏面）下挥。然后， 由于实际上不存在击打面，演奏者在刚要将打棒部10击打到假想的乐器之 前，施加使打棒部10的动作停止的力。

图6是表示使用这种打棒部10进行演奏操作的情况的运动传感器部14 的垂直方向的加速度的变化的图，表示从打棒部10发送至中心单元部30 的运动传感器数据的一例。

其中，所谓垂直方向的加速度，指的是相对于等级面的垂直方向的加 速度，既可以从Y轴成分的加速度分解并计算，也可以从Z轴方向的加速 度（根据滚动角，或是X轴方向的加速度）分解并计算。另外，在图6中， 负的加速度表示向打棒部10施加的向下方向的加速度，正的加速度表示向 打棒部10施加的向上方向的加速度。

即使在打棒部10静止的状态下（图6中由a示出的部分），在打棒部 10上也施加有重力加速度，因此以反抗重力加速度的方式静止的打棒部10 的运动传感器部14检测到垂直向下、即负方向的一定的加速度。其中，向 打棒部10施加的加速度为0，是在打棒部10自由落体的状态时。

接着，如图6中b所示的区间，在打棒部10静止的状态下，演奏者与 上挥动作相应地抬起打棒部10时，在相对于重力加速度更加相反的方向上 动作，因此向打棒部10施加的加速度在负方向上增加。然后在为了使其静 止而减小抬起的速度时，加速度从负方向转换为正的方向，在上挥动作达 到最高速的时刻（参照图6中的p1）的加速度仅为重力加速度（即重力加 速度1G）。

接着，如图6中c所示的区间，在通过上挥动作而打棒部10达到顶点 时，演奏者进行打棒部10的下挥动作。在下挥动作中，打棒部10在按照 重力加速度的方向上动作，因此向打棒部10施加的加速度与重力加速度相 比在正方向上增加。然后，在下挥动作达到最高速时，在打棒部10上再次 成为仅施加重力加速度（即重力加速度1G）的状态（参照图6中的p2）。

其后，如图6中d所示的区间，再次对打棒部10进行上挥动作时，施 加的加速度在负方向上增加，想要使上挥动作静止时，施加的加速度从负 方向转换为正方向。

在演奏操作持续的期间，按照演奏者对打棒部10的上挥下挥动作，如 图6所示的加速度的变化反复发生，该加速度的变化由运动传感器部14检 测。

返回图2，标记部15是设于打棒部10的前端侧的例如LED等的发光体， 按照来自打棒控制部11的控制进行发光以及关灯。

具体而言，标记部15基于打棒控制部11从ROM12读出的标记特征信 息来发光。如上所述，打棒部10A的标记特征信息与打棒部10B的标记特 征信息设定为不同。因此，如后所述，摄像机单元部20能够对打棒部10A 的标记部（第1标记）与打棒部10B的标记部（第2标记）进行判别，能 够区分各自的位置座标为哪个打棒部10的位置坐标并取得。

数据通信部16至少与中心单元部30之间进行规定的无线通信。规定 的无线通信以任意的方法进行皆可，在本实施方式中，通过红外线通信进 行与中心单元部30之间的无线通信。其中，数据通信部16既可以与摄像 机单元部20之间进行无线通信，另外也可以与打棒部10A以及打棒部10B 之间进行无线通信。另外，数据通信部16的通信方式不限定于无线通信。 例如也可以构成为：通过缆线连接打棒部10与中心单元部30等，通过数 据通信部16进行有线通信。

［摄像机单元部20的结构］

接着，参照图4，说明摄像机单元部20的结构。

摄像机单元部20包括：由CPU等构成的摄像机控制部21、ROM22、RAM23、 摄像部24和数据通信部25。另外，摄像机单元部20具备对各部供给电源 的未图示的电源部。

ROM22存放有摄像机控制部21所执行的各种处理的处理程序。

RAM23存放由摄像部24得到的表示标记部15的位置的数据（进行演奏 操作的演奏者的图像等）、根据该表示位置的数据计算的打棒部10A、10B 的标记部15（第1标记以及第2标记）各自的位置座标的数据等、在处理 中取得或生成的值。

另外，RAM23存放从中心单元部30发送的标记检测条件信息。所谓标 记检测条件信息，是用于区别打棒部10A、10B各自的标记部15并检测的 条件，由中心单元部30的主体控制部31根据标记特征信息生成。

摄像机控制部21执行摄像机单元部20整体的控制。

在本实施方式中，摄像机控制部21例如进行如下的标记位置检测处 理：基于由摄像部24得到的表示标记部15的位置的数据（即，持有打棒 部10进行演奏操作的演奏者的图像等、摄像至少包括标记部15的打棒部 10周边而得到的图像的数据）以及标记检测条件信息，计算打棒部10A、 10B的标记部15（第1标记以及第2标记）各自的位置座标。

即，摄像机控制部21在打棒部10（演奏操作件）每次进行演奏操作的 定时，作为根据由摄像部24得到的图像检测打棒部10的标记部15来检测 该摄像图像平面上的所述演奏操作件的位置座标（摄像空间内的打棒部10 的标记部15的位置座标）的位置传感器发挥功能，与摄影部24一起构成 状态传感器。另外，在检测到多个打棒部10A、10B的标记部15的情况下， 摄像机控制部21从RAM23读出标记检测条件信息，判别各标记部15是打 棒部10A的标记部15（第1标记）还是打棒部10B的标记部15（第1标记 以及第2标记）。然后，将该检测出的每次演奏操作的打棒部10（演奏操作 件）的位置座标分别作为各演奏操作的状态来检测。

另外，摄像机控制部21进行如下的通信控制：将计算出的打棒部10A、 10B的标记部15（第1标记以及第2标记）各自的位置座标的数据（即， 按照第1标记以及第2标记的判别结果的、各标记部15的位置座标的数据。 以下将其称为“标记检测位置信息”）经由数据通信部25发送至中心单元 部30。

摄像部24例如是光学式的摄像机，以规定的帧率摄像持有打棒部10 进行演奏操作的演奏者的运动图像等、以至少包括标记部15的打棒部10 （演奏操作件）为被摄体的摄像图像。

在本实施方式中，摄像部24构成在演奏者每次进行演奏操作时检测该 各演奏操作的状态的状态传感器。

在此，所谓由摄像部24检测的基于演奏者的演奏操作的演奏操作件的 状态，是打棒部10（演奏操作件）在演奏操作时的操作位置。

所谓打棒部10（演奏操作件）在演奏操作时的操作位置，是演奏操作 时作为假想的乐器的演奏面（例如在鼓的情况下，是作为打棒部10的击打 对象的击打面）而下挥打棒部10的位置，是后述的击中（shot）定时的打 棒部10的前端部的标记部15的位置。

由摄像部24摄像的每帧的摄像数据输出至摄像机控制部21。其中，摄 像机单元部20确定摄像空间内的打棒部10的标记部15的位置座标，但是 关于标记部15的位置座标的确定（即标记位置检测处理，参照图15），既 可以由摄像部24进行，也可以由摄像机控制部21进行。同样，关于摄像 所得到的图像内的标记部15是哪个打棒部10A、10B的标记部15（第1标 记以及第2标记）的判别，既可以在摄像部24中进行，也可以在摄像机控 制部21中进行。

数据通信部25至少与中心单元部30之间进行规定的无线通信（例如 红外线通信）。在本实施方式中，数据通信部25从中心单元部30接收标记 检测条件信息。另外，数据通信部25向中心单元部30发送标记检测位置 信息。

其中，数据通信部16也可以与打棒部10之间进行无线通信。另外， 数据通信部25的通信方式不限定于无线通信。例如也可以构成为：通过缆 线连接摄像机单元部20与中心单元部30等，通过数据通信部25进行有线 通信。

［中心单元部30的结构］

接着，参照图5，说明中心单元部30的结构。

中心单元部30包括：由CPU等构成的主体控制部31、ROM32、RAM33、 开关操作检测电路34、显示电路35、发音部36和数据通信部37。另外， 中心单元部30具备对各部供给电源的未图示的电源部。

ROM32存放有主体控制部31所执行的各种处理的处理程序。

另外，ROM32将各种音色的波形数据（即各乐器的音源数据）、例如低 音鼓、踩钹、小军鼓、钹、嗵嗵鼓等构成本实施方式中设想的假想的套鼓D （参照图1（B））的打击乐器的波形数据，与各乐器的空间上的演奏区域5 （参照图2等）的位置座标等建立对应地存放。其中，ROM32中存放的音色 的波形数据不限定于这些打击乐器，例如也可以将长笛、萨克斯、小号等 管乐器、钢琴等键盘乐器、吉他等弦乐器的音色的波形数据存放在ROM32 中。

RAM33存放从打棒部10接收的与打棒部10的状态相关的信息、即由打 棒部10的运动传感器部14检测出的与打棒部10（演奏操作件）的运动相 关的检测结果（运动传感器数据）等、从作为检测机构的摄像机单元部20 接收的打棒部10A、10B的标记部15（第1标记以及第2标记）各自的位置 座标的数据（第1标记检测位置信息以及第2标记检测位置信息）等。

另外，RAM33存放有从打棒部10A、10B发送的打棒部10A的标记部15 （第1标记）、打棒部10B的标记部15（第1标记以及第2标记）各自的标 记特征信息。

主体控制部31执行中心单元部30整体的控制。

在本实施方式中，主体控制部31从功能来看，具备发音控制部311、 偏差检测部312、熟练度判定部313等。作为该发音控制部311、偏差检测 部312、熟练度判定部313等的功能由CPU与ROM32等中存储的程序的联动 来实现。

发音控制部311是在每次由演奏者使用打棒部10（演奏操作件）进行 演奏操作时指示产生规定的乐音的熟练度判定指示机构。发音控制部311 在作为演奏操作件的打棒部10在演奏操作时的操作位置处于规定的演奏区 域5内的情况下，向作为发出规定的乐音的发音机构的发音部36施加发音 指示。

即，发音控制部311对应于由作为检测机构的运动传感器部14检测出 的与打棒部10（演奏操作件）的运动相关的检测结果（运动传感器数据） 以及从摄像机单元部20发送的标记检测位置信息，向作为发音机构的发音 部36施加发音指示的信号（音符开启（发音）事件）以使其发出规定的乐 音。在此，在音符开启事件（发音指示信号）中，包含击中定时（发音定 时）、音量、音色（即乐器的种类）等信息。

具体而言，首先，从各打棒部10（演奏操作件）发送由运动传感器部 14检测出的与打棒部10（演奏操作件）的运动相关的检测结果（运动传感 器数据）时，发音控制部311基于该检测结果，检测演奏者所持的打棒部 10的朝向或角度等状态（也可以称为演奏者的演奏状态）。另外，发音控制 部311基于加速度传感器所输出的加速度（或传感器合成值），检测打棒部 10对假想的乐器的击打定时（击中定时）。

在此，参照图6，说明发音控制部311的击中定时的检测。

如上所述，图6是表示使用打棒部10进行演奏操作的情况的运动传感 器部14的垂直方向的加速度的变化的图。

演奏者设想为在打棒部10击中假想的乐器的瞬间产生乐音，因此优选 在熟练度判定装置1中也能够在演奏者所设想的定时产生乐音。因此，在 本实施方式中，设为在演奏者用打棒部击中假想的乐器的击打面的瞬间或 稍前发出乐音。

即，在本实施方式中，中心单元部30的发音控制部311作为演奏者用 打棒部10击中假想的乐器的击打面的瞬间，检测进行了下挥动作之后开始 上挥动作的瞬间。也就是说，发音控制部311在图6中d所示的区间中， 将从静止状态、换言之施加的加速度仅为重力加速度的时刻（参照图6中 的p2）起在负方向上增加规定值后的A点，检测为击中定时（发音定时）。

然后，发音控制部311在检测到该击中定时之时生成音符开启事件（发 音指示信号）以进行发音。

另外，发音控制部311基于由运动传感器部14检测出的与打棒部10 （演奏操作件）的运动相关的检测结果（运动传感器数据），检测演奏者对 打棒部10的下挥动作的速度或力度、下挥打棒部10的位置或角度等。另 外，在本实施方式中，发音控制部311在对发音部36进行发音控制时，不 仅基于由运动传感器部14检测出的与打棒部10（演奏操作件）的运动相关 的检测结果（传感器值），还加入了从摄像机单元部20接收的打棒部10A、 10B的标记部15（第1标记以及第2标记）各自的标记检测位置信息。

然后，发音控制部311生成与这样的演奏者的演奏操作相应的音符开 启事件。即，基于运动传感器数据以及标记检测位置信息，判断何种乐器 以何种程度的速度、力度在怎样的定时被击中等，从ROM33读出与符合该 判断结果的乐器种类（音色）对应的波形数据，并且将发音指示信号（音 符开启事件）输出至发音部36，以便按照与击中的速度、力度对应的音量 在规定的击中定时发出该规定的乐音。

偏差检测部312是基于由摄像机单元部20的摄像部24检测的打棒部 10（演奏操作件）的状态检测演奏操作的偏差程度的偏差检测机构。

本实施方式的熟练度判定装置1除了通常的演奏模式之外，还能够选 择对演奏者的熟练度进行判定的熟练度判定模式，在选择了该熟练度判定 模式时，偏差检测部312基于从摄像机单元部20接收的第1标记以及第1 标记的标记检测位置信息所表示的打棒部10（演奏操作件）的状态，检测 演奏操作的偏差程度。

在本实施方式中，偏差检测部312将打棒部10（演奏操作件）的演奏 操作时的操作位置以何种程度偏离规定的演奏区域5内设定的操作目标位 置的偏离量的偏差，检测为演奏操作的偏差程度。

在此，所谓操作目标位置，例如如图7（A）等所示，是规定的演奏区 域5的中心点cp。

另外，所谓打棒部10（演奏操作件）的演奏操作时的操作位置，如上 所述，例如是根据从摄像机单元部20接收的第1标记以及第1标记的标记 检测位置信息来确定的击中定时的打棒部10（演奏操作件）的前端部的位 置，在图7（B）等中表示为操作位置sp。

操作位置以何种程度偏离操作目标位置的偏离量，例如是从作为操作 目标位置的演奏区域5的中心点cp到操作位置sp的直线距离。

偏差检测部312根据检测机构的检测结果，对于各个击中，分别检测 该操作位置sp以何种程度偏离作为操作目标位置的演奏区域5的中心点cp， 并将其存储于RAM33等。偏离量的检测例如通过比较中心点cp的位置座标 和操作位置sp的位置座标来进行。

熟练度判定部313是基于作为偏差检测机构的偏差检测部312的检测 结果来判定演奏者的演奏操作的熟练度的熟练度判定机构。

熟练度判定部313例如针对10次等规定次数的击中，对由偏差检测部 312检测的各击中的从中心点cp的偏离量取得合计，判断该合计值是否超 过规定的阈值。阈值例如准备四个，熟练度判定部313在第1阈值以下时 判断为熟练度最高的等级5，超过第1阈值且为第2阈值以下时判断为等级 4，超过第2阈值且为第3阈值以下时判断为等级3，超过第3阈值且为第 4阈值以下时判断为等级2，超过第4阈值时判断为熟练度最低的等级1。

其中，阈值的数量和判定的熟练度的等级数量不限于在此例示的情况。 例如也可以设置一个阈值，偏离量的合计值为该阈值以下则判断为熟练度 高，超过规定的阈值则判断为熟练度低。

另外，熟练度判定部313判定演奏操作的熟练度的方法不限定于此。

例如，也可以计算由偏差检测部312检测出的各击中的从中心点cp的偏离 量的平均值，根据其是否超过规定的阈值等来进行熟练度的判定。

另外，主体控制部31经由数据通信部37，进行与打棒部10以及摄像 机单元部20之间的通信控制。

在本实施方式中，主体控制部31经由数据通信部37，从打棒部10接 收运动传感器数据，并且从摄像机单元部20接收第1标记以及第1标记的 标记检测位置信息。

另外，主体控制部31基于标记特征信息生成标记检测条件信息，经由 数据通信部37向摄像机单元部20发送标记检测条件信息。

开关操作检测电路34与开关341连接，接受经由该开关341的输入信 息。作为输入信息，例如包括发音的乐音的音量或发音的乐音的音色的变 更、显示装置351的显示的切换等。另外，在本实施方式中，如上所述， 除了通常的演奏模式之外，还能够选择熟练度判定模式，能够从开关341 输入模式切换的指示。在经由开关341输入了模式切换的输入信息时，开 关操作检测电路34接受该输入信息，在主体控制部31中进行按照输入信 息的模式切换。

另外，数据通信部37与打棒部10以及摄像机单元部20之间进行规定 的无线通信（例如红外线通信）。

另外，显示电路35与显示装置351连接，进行显示装置351的显示控 制。

显示装置351是例如由液晶显示器（LCD：Liquid Crystal Display） 等构成的显示机构。

在本实施方式中，在显示装置351上显示熟练度判定部313的判定结 果等，显示装置351作为报告熟练度判定机构的判定结果的报告机构发挥 功能。

例如，在由演奏者进行10次演奏操作（击中）、演奏者的各击中的操 作位置sp与假想的演奏区域5之间的位置关系如图8（A）所示的情况下， 熟练度判定部313将其判定为等级3时，如图8（B）所示，在显示装置351 上显示点灯到5级中的第3级为止的指示画面。其中，判定结果的显示方 式不限定于此。例如，也可以使显示装置351显示“您的熟练度为3”等字 符。

另外，在选择了熟练度判定模式时，也可以将演奏者的各演奏操作（各 击中）中的操作位置sp随时显示在显示装置351上。

例如，也可以如图9（A）所示，在演奏区域5（击打区域）中描绘以 作为操作目标位置的演奏区域5的中心点cp为中心的同心圆而得到的图像 上，重叠根据标记检测位置信息来确定的各演奏操作中的操作位置sp并作 为平面座标显示在显示装置351上。

另外，也可以如图9（B）所示，在将演奏区域5（击打区域）立体地 表现为以其中心点cp为中心的圆环状而得到的图像上，重叠根据标记检测 位置信息来确定的各演奏操作中的操作位置sp并显示在显示装置351上。

另外，也可以如图9（C）所示，使从上方向俯视观察假想的套鼓D而 得到的图像显示在显示装置351上，在演奏者进行演奏操作时，改变与该 演奏操作对应的乐器（例如低音落地鼓）的演奏区域5（击打区域）的颜色， 或者使在该假想的套鼓D的图像上重叠根据标记检测位置信息来确定的各 演奏操作中的操作位置sp而得到的图像等显示在显示装置351上。

发音部36是发出规定的乐音的发音机构，包括乐音数据生成部361和 声音输出部362。

乐音数据生成部361是按照来自发音控制部311的发音指示，从ROM32 读出波形数据并生成乐音数据，并且将生成的乐音数据变换为模拟信号的 功能部。

声音输出部362例如是扬声器等，发出基于乐音数据生成部361中生 成的乐音数据的乐音。其中，声音输出部362不限定于扬声器，也可以是 使耳机等输出声音的输出端子等。

［熟练度判定装置1的处理］

接着，参照图10至图12，说明熟练度判定装置1的处理。

图10是表示打棒部10的处理的流程图，图11是表示摄像机单元部20 的处理的流程图，图12是表示中心单元部30的处理的流程图。

［打棒部10的处理］

如图10所示，打棒部10的打棒控制部11读出ROM12中存放的标记特 征信息（步骤S1）。在该处理中，打棒部10A、10B的打棒控制部11分别读 出不同的标记特征信息。不同的标记特征信息的读出能够通过任意的方法 进行，例如，既可以是打棒部10A、10B直接或经由中心单元部30通信来 进行，另外也可以是将每个打棒部10预先与一个标记特征信息建立对应， 打棒部10A、10B的打棒控制部11分别读出建立了对应的独自的标记特征 信息。

打棒控制部11在读出了标记特征信息时，将该标记特征信息存放在 RAM13中，并且经由数据通信部16发送至中心单元部30（步骤S2）。此时， 打棒控制部11将打棒部10A、10B分别与可区别的识别信息（打棒识别信 息）建立对应，并将标记特征信息发送至中心单元部30。

另外，打棒控制部11按照标记特征信息使标记部15点灯（步骤S3）。

接下来，打棒控制部11从运动传感器部14读出运动传感器数据、即 各种传感器所输出的传感器值（检测结果），并存放在RAM13中（步骤S4）。 然后，打棒控制部11将读出的运动传感器数据与打棒识别信息建立对应， 经由数据通信部16发送至中心单元部30（步骤S5）。

打棒控制部11判断一系列的演奏动作是否结束（步骤S6），在判断为 演奏动作结束的情况下（步骤S6：是），使标记部15关灯（步骤S7）。其 中，打棒控制部11判断演奏动作结束的情况，例如是运动传感器部14所 输出的传感器值是否有一定以上的变化、打棒部的开关（未图示）被断开 的情况、从中心单元部30发送了演奏结束的信号的情况等。另一方面，在 打棒控制部11判断为演奏动作未结束的情况下（步骤S6：否），返回步骤 S4并反复进行处理。

［摄像机单元部20的处理］

如图11所示，摄像机单元部20的摄像机控制部21取得从中心单元部 30发送的标记检测条件信息，并存放在RAM23中（步骤S11）。其中，所谓 标记检测条件信息，是用于检测打棒部10A、10B各自的标记部15的条件， 根据标记特征信息来生成（参照图12的步骤S22、步骤S23）。作为标记特 征信息，如上所述，例如能够使用标记的形状、大小、色相、彩度或亮度。

接下来，摄像机控制部21基于标记检测条件信息，进行摄像部24的 各种设定（步骤S12）。

接下来，摄像机控制部21使摄像部24的摄像机摄像包括打棒部10的 标记部15等的图像，进行第1标记位置检测处理（步骤S13）以及第2标 记位置检测处理（步骤S14）。在这些处理中，摄像机控制部21根据由摄像 部24摄像的图像，取得打棒部10A的标记部15（第1标记）以及打棒部 10B的标记部15（第2标记）各自的位置座标、尺寸、角度等标记检测位 置信息（本实施方式中的演奏操作件的演奏操作时的操作位置的信息），并 存放在RAM23中。

接下来，摄像机控制部21将步骤S13以及步骤S14中取得的标记检测 位置信息经由数据通信部25发送至中心单元部30（步骤S15）。

摄像机控制部21判断一系列的演奏动作是否结束（步骤S16），在判断 为演奏动作结束的情况下（步骤S16：是），结束处理，在判断为演奏动作 未结束的情况下（步骤S16：否），返回步骤S13并反复进行处理。

［中心单元部30的处理］

如图12所示，首先，根据来自开关341的输入操作，设定通常的演奏 模式或熟练度判定模式。其中，模式设定不限定于根据来自开关341的输 入来进行的情况。另外，也可以设为：在针对模式设定没有任何输入的情 况下设为通常的演奏模式，仅在设为熟练度判定模式的情况下进行表示其 意的输入操作。

中心单元部30的主体控制部31从打棒部10接收标记特征信息，并存 放在RAM33中（步骤S22）。接下来，主体控制部31根据标记特征信息以及 经由开关341设定的检测条件，生成标记检测条件信息，经由数据通信部 37发送至摄像机单元部20（步骤S23）。

接下来，主体控制部31从摄像机单元部20接收第1标记以及第2标 记各自的标记检测位置信息，并存放在RAM33中（步骤S24）。另外，主体 控制部31从打棒部10A、10B分别接收与打棒识别信息建立了对应的姿势 信息、击中信息以及动作信息等运动传感器数据，并存放在RAM33中（步 骤S25）。

接下来，发音控制部311基于接收的运动传感器数据，检测击中定时 （步骤S26）。即，在例如图6所示的运动传感器数据的情况下，在图6所示 的A点、即进行将作为演奏操作件的打棒部10上挥后再下挥的动作的情况 下，将进行该下挥动作后开始上挥动作的瞬间的时刻检测为击中定时（发 音定时）。然后，如果检测到击中定时，则发音控制部311基于运动传感器 数据和标记检测位置信息，判断该击中的操作位置sp（即，击中时的标记 部15的位置）是否处于规定的演奏区域5（击打区域）内（步骤S27）。在 判断为该击中的操作位置sp是规定的演奏区域5的情况下（步骤S27：是）， 发音控制部311向发音部36输出发音指示信号（音符开启事件），以使其 在该击中定时发出与演奏区域5对应的乐器的乐音。由此，从扬声器等声 音输出部362发出规定的乐音（步骤S28）。另一方面，在判断为该击中的 操作位置sp不是规定的演奏区域5的情况下（步骤S27：否），不进行发音 指示而进入下面的处理。

主体控制部31判断作为模式设定是否设定了熟练度判定模式（步骤 S29），在判断为设定了熟练度判定模式的情况下（步骤S29：是），使该击 中的标记检测位置信息（即，打棒部10的操作位置的座标）存储在RAM33 等中（步骤S30）。然后，主体控制部31判断RAM33等中存储的标记检测位 置信息是否为规定数量（例如10次），即从成为熟练度判定模式开始，是 否进行了规定数量的击中并存储了规定数量的操作位置sp（步骤S31）。在 未存储规定数量的标记检测位置信息（操作位置sp）的情况下（步骤S31： 否），主体控制部31返回步骤S24并反复进行处理。

另一方面，在存储了规定数量（例如10次）的标记检测位置信息（操 作位置sp）的情况下（步骤S31：是），转移至熟练度判定处理（步骤S32）。

具体而言，首先，由作为偏差检测机构的偏差检测部312检测各击中 的操作位置sp的从中心点cp的偏离量。然后，熟练度判定部313对由该 偏差检测部312检测出的偏离量取得合计，判断该合计值是否超过规定的 阈值。阈值例如准备四个，熟练度判定部313在第1阈值以下时判断为熟 练度最高的等级5，在超过第1阈值且为第2阈值以下时判断为等级4，在 超过第2阈值且为第3阈值以下时判断为等级3，在超过第3阈值且为第4 阈值以下时判断为等级2，在超过第4阈值时判断为熟练度最低的等级1。

在由熟练度判定部313判定了演奏者的熟练度时，在显示装置351上 显示基于该判定结果的报告画面，向演奏者报告判定结果（步骤S33）。

在由熟练度判定部313针对规定次数（例如10次）的击中进行了熟练 度的判定后，从RAM33中删除用于判定的操作位置sp的位置座标的数据（即 标记检测位置信息）（步骤S34）。

在不是熟练度判定模式的情况（即通常的演奏模式的情况，步骤S29： 否）以及在熟练度判定模式中熟练度判定处理结束并完成了用于判定处理 的标记检测位置信息的删除的情况下（步骤S34），主体控制部31常时判断 演奏动作是否结束（步骤S35），在判断为演奏动作结束的情况下（步骤S35： 是），结束熟练度判定处理。另外，在判断为演奏动作未结束的情况下（步 骤S35：否），返回步骤S24并反复进行处理。

如上所述，根据本实施方式的熟练度判定装置1，基于由作为检测基于 演奏者的演奏操作的打棒部10（演奏操作件）的状态的检测机构的摄像部 24检测出的打棒部10（演奏操作件）的状态，检测演奏操作的偏差程度， 基于检测出的演奏操作的偏差程度，判定演奏者的演奏操作的熟练度。由 此，在进行通过对现实中什么也不存在的空间进行击打来进行演奏的假想 的乐器演奏的装置中，即使是不习惯演奏的初学者，也能够客观地知道自 己的演奏操作以何种程度接近理想的演奏、及其熟练度，能够辅助适当的 演奏操作的学习。

另外，熟练度的判定结果通过显示装置351的显示等向演奏者报告， 因此演奏者能够简单地确认自己的熟练度。

另外，在本实施方式中，检测机构检测打棒部10的演奏操作时的操作 位置sp来作为基于演奏者的演奏操作的打棒部10（演奏操作件）的状态， 偏差检测部312检测该演奏操作时的操作位置sp以何种程度偏离规定的演 奏区域5内设定的操作目标位置（中心点cp）的偏离量的偏差，来作为演 奏操作的偏差程度。因此，演奏者通过观察判定结果，能够容易地知道自 己是否在击打适当的位置，能够知道以何种程度修正操作位置sp即可等、 为了提高自己的熟练度应该如何去做。

另外，在本实施方式中，不仅具备熟练度判定模式，而且还具备进行 通常的演奏的模式，在打棒部10（演奏操作件）的演奏操作时的操作位置 sp处于规定的演奏区域5内的情况下，从发音部36的扬声器等发出与演奏 操作对应的规定的乐音。因此，能够作为通常的乐器来娱乐。

其中，在本实施方式中，以由摄像部24、摄像机控制部21等构成的摄 像机单元部20作为在每次进行演奏操作时检测该各演奏操作的状态的状态 传感器发挥功能的情况为例，但检测机构不限定于摄像机单元部20。

例如，也可以由打棒部10的各种传感器（运动传感器部14）替代摄像 机单元部20，或者与摄像机单元部20一起，作为在每次进行演奏操作时检 测该各演奏操作的状态的状态传感器发挥功能。在该情况下，例如，磁传 感器等的运动传感器部14根据打棒部10的前端所朝向的方向或角度等， 检测打棒部10的演奏操作时的操作位置来作为基于演奏者的演奏操作的打 棒部10（演奏操作件）的状态。

在替代摄像部24而由打棒部10的各种传感器（运动传感器部14）作 为检测机构发挥功能的情况下，也可以设为熟练度判定装置1不具备包括 摄像部24的摄像机单元部20的构成。

另外，在本实施方式中，将操作目标位置设为演奏区域5的中心点cp， 但操作目标位置不限定于演奏区域5的中心点cp。例如，也可以将包括中 心点cp的一定的区域（对实际的乐器而言发出适当的发音的区域）作为操 作目标位置。在该情况下，例如偏差检测部312检测各操作位置是否处于 设为操作目标位置的区域内，将偏离操作目标位置的击中的数量存储在 RAM33等中。然后，熟练度判定部313例如在由偏差检测部312检测出的从 操作目标位置偏离的击中数为规定的阈值以上的情况下判定为熟练度低等， 并基于偏差检测部312的检测结果来判定演奏的熟练度。

另外，在本实施方式中，将操作目标位置设为演奏区域5的中心点cp， 但例如也可以将熟练度判定的等级设为多级，在初级等级下的判定中，将 包括中心点cp的一定的区域（对实际的乐器而言发出适当的发音的区域） 作为操作目标位置，在上级等级的判定中仅将中心点cp作为操作目标位置， 以更加严格的基准进行熟练度的判定等。

另外，在本实施方式中，以一个演奏区域5有一个操作目标位置（例 如中心点cp）的情况为例，但也可以针对一个演奏区域5设定两个以上的 操作目标位置，能够分别对其进行熟练度的判定。

对实际的乐器而言，即使是相同的击打面，击打中心部与击打周缘部 时声音也不同，作为高级者，甚至意识到该击打的位置造成的声音的差异 来进行演奏操作。关于这一点，如果在一个演奏区域5中设定多个操作目 标位置，对其分别进行熟练度的判定，就能够判定与这种实际的乐器接近 的演奏的熟练度。

［第2实施方式］

接着，说明本发明的熟练度判定装置的第2实施方式。其中，本实施 方式的熟练度判定处理的方法与第1实施方式不同，因此以下着重说明与 第1实施方式的不同点。

本实施方式中的熟练度判定装置与第1实施方式同样具备打棒部10、 摄像机单元部20、中心单元部30。

在本实施方式中，在每次进行演奏操作时，检测该各演奏操作的状态 的状态传感器是设于打棒部10的运动传感器部14，作为该状态传感器的运 动传感器部14具有设于打棒部10（演奏操作件）内、而且在演奏者每次进 行演奏操作时检测向打棒部10（演奏操作件）主体施加的移动速度的速度 传感器，将该检测出的每次演奏操作的移动速度分别检测为各演奏操作的 状态。

所谓打棒部10的每次演奏操作的移动速度，例如是打棒部10的每次 下挥动作的打棒部10的移动速度，例如能够根据由加速度传感器检测出的 加速度等来检测。

另外，在本实施方式中，作为偏差检测机构的偏差检测部检测由运动 传感器部14（加速度传感器）等检测机构检测出的打棒部10的各演奏操作 的状态的偏差程度。

具体而言，偏差检测部判断由加速度传感器检测的加速度等、表示演 奏操作时的打棒部10的移动状态的计测数据是否处于规定的值的范围内， 将有多少个处于规定的值的范围内的计测数据，作为演奏操作的偏差程度 来检测。在此，所谓规定的值的范围，指的是只要处于该范围内就能够看 作进行了大致相同的演奏操作的范围，具体的值适当设定。

其中，偏差检测部中的偏差程度的检测方法不限定于此。例如，也可 以不是预先决定规定的值，而是在进行了10次等规定的次数的演奏操作的 情况下，将该10次的演奏操作中的加速度等的计测数据彼此比较，来检测 各计测数据的偏离幅度。

作为熟练度判定机构的熟练度判定部基于由偏差检测部检测的检测结 果（表示演奏操作时的打棒部10的移动状态的计测数据的偏差程度），判 定演奏者的演奏操作的熟练度。

在演奏者的演奏的熟练度高的情况下，在演奏相同乐器时，演奏操作 时的姿势和力道等是一定的，由加速度传感器检测的加速度等、表示演奏 操作时的打棒部10的移动状态的计测数据有收敛于一定等级的值的倾向。 因此，在进行多次演奏操作的情况下，通过观察与该移动速度对应的计测 数据（例如加速度传感器的计测值）以何种程度收敛，能够判定该演奏者 的演奏操作的熟练度。

具体而言，熟练度判定部例如根据由偏差检测部检测的处于规定的值 的范围内的计测数据的数量是否超过规定的阈值，来判定演奏操作的熟练 度。如第1实施方式所示，阈值既可以是一个，也可以是多个。在设有多 个阈值的情况下，熟练度判定部例如在处于规定的值的范围内的计测数据 的数量为7次以上时为上级等级，4次以上且小于7次时为中级等级，小于 4次时为初级等级，像这样将熟练度的等级分为多级，判定演奏者的演奏操 作符合哪个。

其中，其他结构与第1实施方式相同，因此对同一部件赋予同一符号， 并省略其说明。

接着，说明本实施方式中的熟练度判定装置1的作用。

其中，在本实施方式中，与熟练度判定相关的处理（参照图12的步骤 S30至步骤S34）以外的处理与第1实施方式相同，因此省略其说明。

本实施方式中设定为熟练度判定模式的情况下，主体控制部使与各击 中的打棒部10的移动速度相关的数据（例如由加速度传感器取得的加速度 的计测数据）存储在RAM等中。

主体控制部判断存储的计测数据是否为规定数量，在判断为存在规定 数量（例如10次）的演奏操作中的计测数据时，转移至熟练度判定处理。

在熟练度判定处理中，首先在偏差检测部中，判断各计测数据是否处 于规定的值的范围内，检测（计数）不处于规定的值的范围内的数据数量。 接着熟练度判定部基于该偏差检测部的检测结果，判断不处于规定的值的 范围内的数据数量是否超过规定的阈值。然后，在阈值以下时判定为熟练 度高，在超过阈值时判定为熟练度低。

在判定了熟练度时，通过在显示装置上显示判定结果等来向演奏者报 告。

在完成了熟练度的判定处理以及判定结果的报告时，从RAM等中删除 用于该熟练度判定处理的计测数据，如果一系列的演奏动作结束，则就这 样结束处理，在继续进行演奏动作的情况下，从摄像机单元部以及打棒部 接收新的数据（标记检测位置信息、运动传感器数据）并反复进行处理。

如上所述，根据本实施方式的熟练度判定装置1，基于由作为检测基于 演奏者的演奏操作的打棒部10（演奏操作件）的状态的检测机构的运动传 感器部14检测出的打棒部10（演奏操作件）的状态，检测演奏操作的偏差 程度，基于检测出的演奏操作的偏差程度，判定演奏者的演奏操作的熟练 度。由此，与第1实施方式相同，在进行通过对真实中什么也不存在的空 间进行击打来进行演奏的假想的乐器演奏的装置中，即使是不习惯演奏的 初学者，也能够客观地知道自己的演奏操作以何种程度接近于理想的演奏、 及其熟练度，能够辅助适当的演奏操作的学习。

另外，打棒部10的运动传感器部14作为在每次进行演奏操作时检测 该各演奏操作的状态的状态传感器发挥功能，因此即使不额外设置摄像机 单元部20等，也能够进行熟练度判定处理。

其中，在本实施方式中，以由打棒部10的各种传感器（运动传感器部 14）作为检测打棒部10的演奏操作时的移动速度作为基于演奏者的演奏操 作的打棒部10（演奏操作件）的状态的检测机构发挥功能的情况为例，但 检测机构不限定于运动传感器部14。

例如，也可以是：摄像机单元部20的摄像部24替代运动传感器部14， 或者与运动传感器部14一起，作为检测基于演奏者的演奏操作的演奏操作 件的状态的检测机构发挥功能。在该情况下，例如，根据连续摄影的图像 来检测打棒部10的移动速度。

其中，以上说明了本发明的实施方式，但本发明不限定于上述各实施 方式，在不脱离其主旨的范围内显然能够进行各种变形。

例如，在上述实施方式中设为由打棒部10、摄像机单元部20以及中心 单元部30进行的处理之中的任意的处理，也可以设为由其他单元（打棒部 10、摄像机单元部20以及中心单元部30）进行。

即，例如也可以是：打棒部10（演奏操作件）的打棒控制部11作为乐 音发声指示机构、偏差检测机构、熟练度判定机构发挥功能，在打棒控制 部11中进行各种传感器的检测结果的分析等。在该情况下，不是将作为检 测机构的运动传感器部14的检测结果（各种传感器的原始数据等），而是 将基于各种传感器的检测结果的音符开启事件（发音指示的信号）发送至 中心单元部30。

另外，例如也可以是：在中心单元部30的CPU31中，基于由摄像机单 元部20的摄像部24检测出的表示标记部15的位置的数据（即，摄像演奏 者等而得到的图像的数据）以及标记特征信息，进行计算打棒部10A、10B 的标记部15（第1标记以及第2标记）各自的位置座标的处理。在该情况 下，摄像机单元部20仅仅摄像图像并将其发送至中心单元部30即可，因 此在摄像机单元部20的RAM23中无需存放用于识别打棒部10A、10B各自 的标记部15的标记检测条件信息。

另外，在本实施方式中，以显示装置351作为报告熟练度判定机构的 判定结果的报告机构发挥功能的情况为例，但报告机构不限定于显示装置 351。

例如，也可以与显示装置351分别设置通过灯的点灯的数量或颜色等 来显示熟练度的判定结果的指示器。

另外，也可以如图13所示，在打棒部10设置显示熟练度的判定结果 的指示器17等。

进而，也可以设为：替代显示装置351，或与显示装置351一起，使判 定结果从发音部36的声音输出部362等作为声音输出。

另外，在本实施方式中，以熟练度判定装置1除了熟练度判定模式之 外还具备进行通常的演奏的模式的情况为例，但熟练度判定装置1也可以 是仅进行熟练度判定模式的练习专用装置。在该情况下，不需要具备发音 部36。

另外，在本实施方式中，设为在选择了熟练度判定模式时也进行与演 奏操作相应的发音处理，但也可以设为：在选择了熟练度判定模式的情况 下，仅通过显示或声音进行熟练度的判定结果的报告，而不进行发音处理。

另外，在本实施方式中，作为由作为检测机构的运动传感器部14取得 的运动传感器数据，仅例示了由加速度传感器计测的加速度的数据，但运 动传感器数据的内容不限定于此，例如也可以由陀螺仪计测角加速度并使 用该计测值。

另外，在本实施方式中，说明了打棒部10不进行围绕平行的轴的旋转， 但也可以针对这些旋转等也通过角加速度传感器等进行计测来应对。

在本实施方式中，设为熟练度判定装置1具备打棒部10的运动传感器 部14和摄像机单元部20的摄像部24作为检测基于演奏者的演奏操作的打 棒部10（演奏操作件）的状态（例如下挥位置、下挥速度、下挥角度等） 的检测机构，但检测机构不限定于在此例示的部件，例如也可以具备压力 传感器等作为运动传感器部14，除了设于摄像部24的各种图像传感器之外， 也可以适用使用激光、超声波、其他能够计测距离或角度的各种传感器的 检测机构，来作为检测标记部15的机构。

另外，在本实施方式中，作为假想的打击乐器以假想的套鼓D（参照图 1（B））为例进行了说明，但不限定于此，本发明能够适用于通过打棒部10 的下挥动作发出乐音的木琴等其他乐器。

另外，在本实施方式中，以作为发音机构的发音部36设于中心单元部 30内的情况为例进行了说明，但发音机构也可以与中心单元部30分体构成。 在该情况下，构成为通过有线或无线将发音机构与中心单元部30连接，发 音机构按照来自中心单元部30的指示信号进行规定的发音。

另外，在本实施方式中，以演奏操作件为棒状的打棒部10的情况为例， 但演奏操作件不限定于此。既可以是箱型等打棒以外的形状，例如也可以 将便携式电话机等便携式终端装置用作演奏操作件。

熟练度判定装置1通过进行由演奏操作件击打空间的演奏操作来发出 规定的乐器的声音，由于实际上并不是用演奏操作件打击乐器的击打面， 因此即使在将便携式终端装置等精密的电子设备用作演奏操作件的情况下， 演奏操作件也不可能破损。

另外，在本实施方式中，构成为打棒部10、摄像机单元部20、中心单 元部30都在内部具备电源部，但也可以构成为将打棒部10、摄像机单元部 20、中心单元部30与外部的电源连接，从外部电源进行电源供给。

以上说明了本发明的几个实施方式，但本发明的范围不限定于上述实 施方式，包括权利要求书中记载的发明的范围及与其均等的范围。