演奏相关信息输出装置、具有演奏相关信息输出装置的系统、以及电子乐器

摘要

本发明提供一种演奏相关信息输出装置及演奏系统，其不会破坏音频信号的通用性，可以向音频信号中叠加演奏相关信息。演奏相关信息输出装置具有：演奏相关信息取得单元，其取得与演奏者的演奏相关的演奏相关信息；叠加单元，其将该演奏相关信息叠加在所述模拟音频信号中，以使与对应于所述演奏者的演奏操作而生成的模拟音频信号的频率成分相比更高的频带中包含所述演奏相关信息的调制成分；以及输出单元，其输出通过所述叠加单元叠加了演奏相关信息的模拟音频信号。

说明书

技术领域

本发明涉及一种输出音频信号和与演奏者的演奏相关的演奏相关信息的演奏相关信息输出装置、具有演奏相关信息输出装置的系统以及电子乐器。

背景技术

当前，提出了各种输出音频数据和乐器演奏信息的电子乐器(例如，参照专利文献1。)。

将乐器的演奏信息作为易于加工的MIDI数据，与音频数据分别存储。因此，电子乐器具有音频端子和MIDI端子，由于从音频端子输出音频数据，从MIDI端子输出乐器的演奏信息，所以必须具有2个端子(音频端子和MIDI端子)。

另外，由于在MIDI数据中包含速度信息，所以容易调整播放时间(速度)。在使音频数据和MIDI数据同步的情况下，与MIDI数据同步地对音频数据进行录音。另外，在利用已有的音频数据的情况下，必须手动地对MIDI数据的速度信息进行调整，以与音频数据的速度相对应。但是，在音频数据的中途速度发生变化的情况下，手动地对MIDI数据的速度信息进行调整这一点，非常费力。

另外，提出了各种对外部设备进行控制的电子乐器(例如，参照专利文献1。)。

例如，在由电子乐器对混频器进行控制的情况下，电子乐器将用于控制混频器的控制信号作为MIDI数据进行存储，将MIDI数据向混频器输出而进行控制。因此，电子乐器必须具有用于输出音频信号的音频输出端子、以及用于输出MIDI数据的MIDI端子。

因此，在专利文献1所记载的数据叠加方法中，通过将乐器的演奏信息与数字音频数据相关联而进行输出，可以从1个端子输出音频数据和乐器的演奏信息。

近年，也可以通过使用时间伸缩等信号处理技术，而调整音频数据的速度(参照专利文献2)。

另外，提出了一种在音频信号中嵌入各种数据的技术。例如，在专利文献3中提出了一种以著作权保护为目的，使用电子水印向音频信号中嵌入数据的技术。

另外，在专利文献4中，提出了一种使用电子水印按时间序列向音频信号中嵌入控制信号的技术。

专利文献1：日本特开2003-316356号公报

专利文献2：日本特开2003-280664号公报

专利文献3：日本特开2006-251676号公报

专利文献4：日本特开2006-323161号公报

发明内容

但是，在专利文献1的数据叠加方法中，由于在音频数据的LSB(Least Significant Bit)中存储有MIDI数据，所以如果向MP3等压缩音频变换、或者作为模拟音频信号进行放音，则存在相关联的信息丢失的问题。另外，虽然也存在对音频数据和MIDI数据进行处理的软件，但由于没有通用的数据格式，所以缺乏便利性。

另一方面，专利文献2中的时间伸缩，是从音频数据中提取节拍(拍)，按照该绝对的拍定时对曲子整体的速度进行变更的，但在此情况下，不能反映演奏者的演奏速度。即，如图13(A)所示，在实际的演奏中，演奏者不是与绝对的拍定时一致而进行演奏，而是稍微快速地进行演奏，或者相反地缓慢地进行演奏。因此，如果从音频数据中提取节拍而进行时间伸缩，如图13(B)所示按照绝对的拍定时对曲子整体的速度进行变更，则将失去演奏的微细差别(韵律)。

在专利文献3的方式中，没有对嵌入信息的定时进行任何考虑。因此，在存在例如无声部分的情况下，存在下述问题，即，无法叠加信息，实际上在相对于应实施嵌入的定时发生较大偏移的状态下叠加信息。

另一方面，在专利文献4中，嵌入有相对于音频信号的开头的时间差，为了在播放时使用控制信号，必须始终从开头读出。另外，专利文献4中记载的方式，必须预先准备表示控制信号的定时和演奏定时之间的关系的表(代码列表)，而无法在演奏者随机(实时地)进行演奏操作等的情况下使用。而且，专利文献2的方式是以帧为单位嵌入控制信号的方式，无法在需要如乐器演奏那样的高分辨率(例如，小于或等于几msec)的情况下使用。

因此，本发明的目的在于，提供一种演奏相关信息输出装置、以及具有演奏相关信息输出装置的系统，其不会破坏音频数据的通用性，可以向模拟音频信号中叠加演奏相关信息(例如，表示演奏者的演奏操作的演奏信息及表示演奏速度的速度信息、或者用于控制外部设备的控制信号等)并进行输出。

为了达到上述目的，本发明的方式中的演奏相关信息输出装置具有：演奏相关信息取得单元，其取得与演奏者的演奏相关的演奏相关信息；叠加单元，其将该演奏相关信息叠加在模拟音频信号中，以使与对应于所述演奏者的演奏操作而生成的所述模拟音频信号的频率成分相比更高的频带中包含所述演奏相关信息的调制成分；以及输出单元，其输出通过所述叠加单元叠加了演奏相关信息的模拟音频信号。

另外，在上述演奏相关信息输出装置中，所述演奏相关信息取得单元也可以作为所述演奏相关信息而取得表示演奏者的演奏操作的演奏信息。

另外，在上述演奏相关信息输出装置中，所述演奏相关信息取得单元也可以作为所述演奏相关信息而取得表示演奏速度的速度信息。

另外，在上述演奏相关信息输出装置中，所述演奏相关信息取得单元也可以作为所述演奏相关信息而取得用于控制外部设备的控制信号。

另外，在上述演奏相关信息输出装置中，所述演奏相关信息取得单元也可以作为所述演奏相关信息而取得基准时钟、序列数据、序列数据的叠加定时、与序列数据的叠加定时和基准时钟之间的时间差相关的信息。

发明的效果

根据上述演奏相关信息输出装置，不会破坏音频数据的通用性，可以向模拟音频信号中叠加演奏相关信息。

附图说明

图1是表示本发明的第1实施方式中的吉他的外观的外观图。

图2是表示第1实施方式中的吉他的功能、结构的框图。

图3是表示第1实施方式中的播放装置的功能、结构的框图。

图4是在第1实施方式中的显示器中显示的画面的一个例子。

图5是表示安装有本发明的第2实施方式中的演奏信息输出装置而构成的吉他的外观的外观图。

图6是表示第2实施方式中的演奏信息输出装置的功能、结构的框图。

图7是表示安装有第2实施方式中的演奏信息输出装置而构成的其他吉他的外观的外观图。

图8是表示本发明的第3实施方式所涉及的速度信息输出装置的结构的框图。

图9是表示第3实施方式所涉及的译码装置的结构的框图。

图10是表示第3实施方式的应用例所涉及的速度信息输出装置和译码装置的结构的框图。

图11是表示内置有第3实施方式所涉及的定序器而构成的电子钢琴的结构的框图。

图12是表示将第3实施方式所涉及的速度信息输出装置安装在原声吉他上的情况的例子的图。

图13是说明时间伸缩的图。

图14是表示本发明的第4实施方式所涉及的吉他的外观的外观图。

图15是表示第4实施方式所涉及的吉他的功能、结构的框图。

图16是表示第4实施方式所涉及的控制信号数据库的一个例子的图。

图17是表示第4实施方式所涉及的吉他的演奏环境的一个例子的说明图。

图18是表示第4实施方式所涉及的控制信号数据库的另一个例子的图。

图19是从上方观察安装有本发明的第5实施方式所涉及的控制装置而构成的吉他的外观的俯视图。

图20是表示第5实施方式所涉及的控制装置的功能、结构的框图。

图21是表示本发明的第6实施方式所涉及的声音处理系统的结构的图。

图22是表示第6实施方式所涉及的向音频信号中叠加的数据的例子、以及基准时钟和偏差值之间的关系的图。

图23是表示第6实施方式所涉及的向音频信号中叠加的数据的其他例子的图。

图24是表示第6实施方式所涉及的演奏开始定时迟于演奏信息记录定时的情况的例子的图。

图25是表示第6实施方式所涉及的数据叠加部以及定时提取部的结构的图。

符号的说明

1、4、7…吉他、3…播放装置、5…演奏信息输出装置、6…手指、11…琴体、12…琴颈、20…控制部、21…琴品开关、22…弦传感器、23…演奏信息取得部、24…演奏信息变换部、25…乐音生成部、26…叠加部、27…输出I/F、30…操作部、31…控制部、32…输入I/F、33…译码部、34…延迟部、35…扬声器、36…图像形成部、37…显示器、51…压力传感器、52…传声器、53…主体、111…弦、121…品丝、531…均衡器、532…演奏信息取得部、1001…电子钢琴、1011…控制部、1012…演奏信息取得部、1013…乐音生成部、1014…数据叠加部、1015…输出I/F、1016…速度时钟生成部、2001、2004…吉他、2005…控制装置、2010…弦、2011…琴体、2012…琴颈、2020…控制部、2021…弦传感器、2022…琴品开关、2023…演奏信息取得部、2024…乐音生成部、2025…输入部、2026…姿势传感器、2027…存储部、2028…控制信号生成部、2029…叠加部、2030…输出I/F、2051…传声器、2052…主体、2061…效果器、2062…吉他放大器、2063…混频器、2064…自动演奏装置、2121…品丝、2271…控制信号数据库、2521…均衡器、MIC…传声器、SP…扬声器、3001…电子钢琴、3011…控制部、3012…演奏信息取得部、3013…乐音生成部、3014…基准时钟叠加部、3015…数据叠加部、3016…输出I/F、3017…基准时钟生成部、3018…定时计算部

具体实施方式

下面，参照附图，对本发明的实施方式进行说明。另外，有时将下述实施方式中说明的表示演奏者的演奏操作的演奏信息、表示演奏速度的速度信息、基准时钟、以及用于控制外部设备的控制信号(控制信息)等与演奏者的演奏相关的信息总称为演奏相关信息。

“第1实施方式”

参照图1、2，对本发明的第1实施方式所涉及的吉他1进行说明。图1是表示吉他的外观的外观图。图1(A)是从上方观察吉他的外观的俯视图。图1(B)是吉他的琴颈的局部放大图。图2(A)是表示吉他的功能、结构的框图。

首先，参照图1，对吉他1的外观进行说明。如图1(A)所示，吉他1为电子弦乐器(MIDI吉他)，由作为琴身部分的琴体11和作为颈部的琴颈12构成。

在琴体11上配置有：6根弦111，按照吉他的演奏方法对这些弦进行弹奏；以及输出I/F 27，其输出音频信号。在6根弦111上分别配置有用于检测弦111的振动的弦传感器22(参照图2)。

在琴颈12中，如图1(B)所示，配置有区分音阶的品丝121。在品丝121之间配置有多个琴品开关21。

下面，参照图2(A)，对吉他1的功能、结构进行说明。如图2(A)所示，吉他1由控制部20、琴品开关21、弦传感器22、演奏信息取得部(演奏相关信息取得部)23、演奏信息变换部24、乐音生成部25、叠加部26、以及输出I/F 27构成。

控制部20基于对吉他1设定的音量及音调，对演奏信息取得部23以及乐音生成部25进行控制。

琴品开关21对自身开关的接通/断开进行检测，并将表示开关的接通/断开的检测信号向演奏信息取得部23输出。

弦传感器22由压电传感器等构成，生成将所对应的弦111的振动变换为波形而得到的波形信号，并向演奏信息取得部23输出。

演奏信息取得部23基于从琴品开关21输入的检测信号(开关的接通/断开)，取得表示演奏者的手指移动的运指信息。具体地说，演奏信息取得部23取得：与输入了检测信号的琴品开关21相对应的音符编号；以及该音符编号的音符开始(开关接通)、音符停止(开关断开)。

另外，演奏信息取得部23基于从弦传感器22输入的波形信号，取得表示弹拨强度的弹拨信息。具体地说，演奏信息取得部23取得音符开始时的力度(velocity；音的强度)。

然后，演奏信息取得部23基于取得的运指信息以及弹拨信息，生成表示演奏者的演奏操作的演奏信息(MIDI消息)，并向演奏信息变换部24以及乐音生成部25输出。此时，演奏信息取得部23在输入了音符开始而没有输入弹拨信息的情况下，判断为没有进行演奏，将对应的运指信息删除。具体地说，演奏信息取得部23在音符编号的音符开始时的力度为0的情况下，将该音符编号的音符开始、音符停止删除。

演奏信息变换部24基于从演奏信息取得部23输入的演奏信息，生成MIDI数据，并向叠加部26输出。

乐音生成部25具有音源。乐音生成部25基于从演奏信息取得部23输入的演奏信息，而生成音频信号，并向叠加部26输出。

叠加部26向从乐音生成部25输入的音频信号中叠加从演奏信息变换部24输入的演奏信息，并向输出I/F 27输出。例如，叠加部26通过将高频率的载波信号按照演奏信息(形成为0、1的数据代码序列)进行相位调制，从而使与音频信号的频率成分(音声信号成分)不同的频带中包含演奏信息的频率成分。另外，也可以使用以下所示的频谱扩展。

图2(B)是表示使用频谱扩展的情况下的叠加部26的结构的一个例子的框图。另外，在该图中，全部作为数字信号处理进行说明，但向外部输出的信号也可以是模拟信号(模拟变换后的信号)。

在本例中，通过利用乘法器265对扩展代码生成部264输出的M系列的伪噪声代码(PN代码)和演奏信息(0、1的数据代码序列)进行乘法计算，从而对演奏信息进行频谱扩展。将扩展后的演奏信息向XOR电路266输入。XOR电路266输出从乘法器265输入的代码和经由延迟器267输入的一个采样前的输出代码之间的“异”，对扩展后的演奏信息进行差分编码。将差分编码后的信号形成为以-1、1进行二值化的代码。通过输出二值化为-1、1的差分代码，并在译码侧对连续的2个采样的差分代码进行乘法计算，由此可以提取出扩展后的演奏信息。

另外，差分编码后的演奏信息，由LPF(奈奎斯特滤波器)268将频带限制在基础频带内，并向乘法器270输入。乘法器270对载波信号生成器269输出的载波信号(与音声信号成分相比高频带的载波信号)和LPF 268的输出信号进行乘法计算，将差分编码后的演奏信息向通带进行频移。另外，差分编码后的演奏信息也可以在上采样后进行频移。频移后的演奏信息由增益调整器271进行增益调整，在利用加法器263与音频信号进行混频后，向输出I/F 27输出。

另外，从乐音生成部25输出的音频信号，由LPF 261将通带的频带截去，在由增益调整器262进行增益调整后向加法器263输入，但LPF 261不是必须的，不需要对音声信号成分和调制信号成分(叠加的演奏信息的频率成分)完全地进行频带分割。例如，只要将载波信号设为20～25kHz程度，则即使音声信号成分和调制信号成分有一些重复，收听者也难以听出调制信号，且可以确保能够对演奏信息进行译码的程度的SN比。另外，优选叠加演奏信息的频带采用大于或等于20kHz的非可听频带，但在由于D/A变换及压缩音频的编码等而无法使用非可听频带的结构的情况下，通过向例如大于或等于15kHz的高频带中叠加演奏信息，由此可以减少对听感上的影响。

如上述所示，将叠加有演奏信息的音频信号从作为音频输出端子的输出I/F 27输出。将音频信号向例如存储装置(未图示)输出，作为音频数据进行录音。

下面，说明录音后的音频信号的使用方法。可以使用通常的播放装置，对基于录音后的音频信号的乐曲进行播放，但在这里，说明使用播放装置3对录音后的音频信号进行播放的方法，该播放装置3可以对叠加在音频信号中的演奏信息进行译码。参照图3、4，对播放装置3的功能、结构进行说明。图3(A)是表示播放装置的功能、结构的框图。图4是显示在显示器上的画面的一个例子。图4(A)表示代码信息，图4(B)表示演奏者的运指信息。

如图3(A)所示，播放装置3由操作部30、控制部31、输入I/F 32、译码部33、延迟部34、扬声器35、图像形成部36、以及显示器37构成。

操作部30接受用户的操作输入，并将与操作输入相对应的操作信号向控制部31输入。例如，操作部30是指示音频信号播放的开始按钮、及指示音频信号停止的停止按钮等。

控制部31基于从操作部30输入的操作信号，对译码部33进行控制。

向输入I/F 32中输入叠加有演奏信息的音频信号。输入I/F 32将输入的音频信号向译码部33输出。

译码部33基于控制部31的指示，对叠加在从输入I/F 32输入的音频信号中的演奏信息进行提取、译码，而取得该演奏信息。译码部33将音频信号向延迟部34输出，将取得的演奏信息向图像形成部36输出。译码部33的译码方式随着叠加部26中的演奏信息的叠加方式不同而不同，但在使用上述频谱扩展的情况下，按照下述方式进行。

图3(B)是表示译码部33的结构的一个例子的框图。将从输入I/F输入的音频信号向延迟部34以及HPF 331输入。HPF 331是用于除去音声信号成分的滤波器。将HPF 331的输出信号向延迟器332以及乘法器333输入。将延迟器332的延迟量设定为与差分代码的1个采样相应的时间。在对差分代码进行上采样的情况下，设定为与上采样后的一个采样相应的时间。乘法器333对从HPF 331输入的信号和从延迟器332输出的一个采样前的信号进行乘法计算，进行延迟检波处理。由于差分编码后的信号被二值化为-1、1，表示相对于一个采样前的代码的相位变化，所以通过与一个采样前的信号进行乘法计算，从而提取差分编码前的演奏信息(扩展后的代码)。

然后，乘法器333的输出信号经由奈奎斯特滤波器即LPF 334而作为基础频带信号被提取，并向相关器335输出。相关器335利用与上述扩展代码生成部264输出的扩展代码相同的扩展代码，求与输入信号之间的相关值。由于扩展代码使用自相关性高的PN代码，所以相关器335所输出的相关值通过峰值检测部336，以扩展代码的周期(数据代码的周期)提取正负的峰值成分。代码判定部337将各峰值成分作为演奏信息的数据代码(0、1)，而进行译码。按照上述方式，对叠加在音频信号中的演奏信息进行译码。另外，叠加侧的差分编码处理、译码侧的延迟检波处理不是必须的。

延迟部(同步输出单元)34与吉他1中的演奏信息生成及叠加、以及播放装置3中的译码所花费的时间(以下称为延迟时间)相应地，将音频信号延迟并输出。具体地说，延迟部34具有缓冲存储器(未图示)，其用于存储与延迟时间(例如，1毫秒～几秒)对应量的音频信号。延迟部34将从译码部33输入的音频信号暂时存储在缓冲存储器中。并且，如果缓冲存储器没有了空容量，则延迟部34从存储在缓冲存储器中的音频信号中取得最初存储的音频信号，向扬声器35输出。由此，延迟部34可以在与延迟时间相应地进行延迟后，将音频信号向扬声器35输出。

扬声器35基于从延迟部34输入的音频信号，对声音进行放音。

图像形成部36基于从译码部33输入的演奏信息，生成表示演奏操作的图像数据，并向显示器37输出。例如，图像形成部36如图4(A)所示，与进行演奏的定时(开始演奏后的经过时间)相对应，按照演奏者所演奏的顺序生成显示代码信息的图像数据。另外，或者例如图4(B)所示，生成显示运指信息的图像数据，该运指信息表示由哪个手指6对品丝121以及弦111进行按压。

显示器37显示从图像形成部36输入的图像数据。

如上述所示，由于使音频信号与演奏信息相比以延迟时间进行延迟而输出，所以播放装置3可以将音频信号和演奏信息同时(即，同步)输出。由此，由于播放装置3可以将基于演奏信息的代码信息及运指信息，与该演奏信息所对应的声音放音同时地显示在显示器37中，所以收听者可以一边通过显示器37对代码信息及运指信息进行确认，一边收听放音的声音。

另外，在第1实施方式中，作为演奏信息而输出运指信息和弹拨信息，但并不限于此，作为演奏信息，也可以仅输出运指信息，也可以将用于变更音程及音量的按钮操作信息等作为演奏信息而输出。

另外，在第1实施方式中，在输入了音符开始而没有弹拨信息的情况(即，判断为没有演奏的情况)下，演奏信息取得部23将对应的运指信息删除，但也可以不将运指信息删除。由此，吉他1也可以将演奏者没有演奏吉他1的期间内的手指动作，作为演奏信息而取得。例如，在直至下次演奏操作为止还存在时间的情况下，吉他1可以将演奏者正使手指位于哪个位置上进行待机，作为演奏信息而取得。

而且，在第1实施方式中，将叠加有演奏信息的音频信号经由输出I/F 27输出并录音，但也可以对基于叠加有演奏信息的音频信号的声音进行放音，并使用传声器进行录音。

另外，在第1实施方式中，以吉他1为例进行了说明，但并不限于此，也可以是电子钢琴、电子小提琴(MIDI小提琴)等电子乐器。例如，在电子钢琴的情况下，只要将电子钢琴键盘的音符开始、音符停止信息、效果及滤波器等的操作信息作为演奏信息而生成即可。

而且，在第1实施方式中，基于由译码部33取得的演奏信息，将代码信息及运指信息显示在显示器37中，但也可以基于演奏信息而生成乐谱。由此，由于作曲者仅通过演奏吉他1就可以生成乐谱，所以可以不必为了制作乐谱而进行书写音阶那样繁杂的作业。另外，也可以基于演奏信息，驱动电子乐器。只要将电子乐器选择为其它的吉他的音色，吉他1的演奏者就可以与其它的吉他(电子乐器)进行齐奏。

而且，在第1实施方式中，通过使音频信号与演奏信息相比以延迟时间进行延迟而输出，由此播放装置3将音频信号和演奏信息同时输出。但是，播放装置3也可以通过预先将音频信号所叠加的演奏信息进行译码，基于延迟时间，使演奏信息与音频信号同步而输出，由此可以将音频信号和演奏信息同时输出。

“第2实施方式”

参照图5、6，说明第2实施方式所涉及的演奏信息输出装置5。图5是表示安装有演奏信息输出装置的吉他的外观的外观图。图5(A)是从上方观察吉他的外观的俯视图。图5(B)是吉他琴颈的局部放大图。图6是表示演奏信息输出装置的功能、结构的框图。第2实施方式与第1实施方式的不同点在于，不是针对电子弦乐器的吉他(MIDI吉他)1的音频信号，而是利用传声器拾取原声(acoustic)的弦乐器、即吉他4(原声吉他)的音频信号，并进行录音。以下，针对不同点进行说明。

如图5(A)、(B)所示，演奏信息输出装置5由多个压力传感器51、传声器52(相当于生成单元)、以及主体53构成。传声器52设置在吉他4的琴体11上。另外，多个压力传感器51设置在形成于吉他4的琴颈12上的品121之间。

传声器52例如是在吉他的拾音等中使用的接触式传声器(contact mic)或电吉他的电磁传声器。接触式传声器是通过安装在乐器的主体上，而可以将外部噪音消除，不仅检测吉他4的弦111的振动，还检测吉他4的声音的传声器。如果电源接通，则传声器52不仅对吉他4的弦111的振动进行拾音，还对吉他4的声音进行拾音，并生成音频信号。然后，传声器52将生成的音频信号向均衡器531(参照图6)输出。

压力传感器51将表示所对应的品121的按压/放开的检测结果，向演奏信息取得部532输出。

如图6所示，主体53具有均衡器531、演奏信息取得部532、演奏信息变换部24、叠加部26、以及输出I/F 27。另外，由于演奏信息变换部24、叠加部26、以及输出I/F 27具有与第1实施方式相同的功能、结构，所以省略说明。

均衡器531对从传声器52输入的音频信号的频率特性进行调整，并将音频信号向叠加部26输出。

演奏信息取得部532基于来自压力传感器51的检测结果，生成表示各品121的按压/放开的运指信息。演奏信息取得部532将运指信息作为演奏信息，向演奏信息变换部24输出。

如上述所示，由于即使对于不生成音频信号的吉他4，也可以与吉他4的弦111的振动及吉他4的声音相对应而生成音频信号，所以演奏信息输出装置5可以向音频信号中叠加演奏信息并进行输出。

另外，在第2实施方式中，说明了不具有用于检测各弦111的振动的弦传感器22的例子，但也可以与第1实施方式相同地，具有用于检测各弦111的振动的弦传感器22。在此情况下，演奏信息输出装置5可以生成由运指信息和弹拨信息构成的演奏信息。

另外，图7是表示安装有演奏信息输出装置的其他吉他的外观的外观图。在第2实施方式中，以原声的吉他4为例进行了说明，但如图7所示，即使是电吉他，也可以输出演奏信息。由于电吉他7自身生成音频信号，所以不使用传声器52，将该音频信号从输出I/F 27向演奏信息输出装置5输出。另外，在电吉他7中设置传感器，其对用于变更音程的手柄(arm)及用于变更音量的音量按钮的操作信息进行检测，演奏信息输出装置5也可以将操作信息作为演奏信息而输出。

而且，在第2实施方式中，以吉他4为例进行了说明，但并不限于此，也可以是三角钢琴(键盘乐器)或小号(管乐器)等原声乐器。例如，在三角钢琴的情况下，在三角钢琴的琴架上设置传声器52，演奏信息输出装置5通过传声器52的拾音而生成音频信号。另外，也可以在三角钢琴上设置：压力传感器51，其对各键盘的按压/放开和向各键盘施加的压力进行检测；以及开关，其对是否踏下踏板进行检测，由演奏信息输出装置5基于压力传感器51和开关的检测结果，而生成演奏信息。

另外，例如，在小号的情况下，以覆盖喇叭的开口部的方式设置传声器52，演奏信息输出装置5利用传声器52对发出的音声进行拾音，并生成音频信号。另外，也可以在小号上设置：压力传感器51，其用于取得活塞阀(piston valve)的运指信息；以及空气压力传感器，其用于取得吹口(mouth piece)的吹法，由演奏信息输出装置5基于压力传感器51和空气压力传感器的检测结果，而生成演奏信息。

演奏信息输出装置取得表示演奏者的演奏操作的演奏信息(例如，如果是吉他，则是表示按压哪根弦第几品的运指信息、表示弹拨强度的弹拨信息、音量调整及音程调整等的各种按钮的操作信息等)。演奏信息输出装置以使与对应于演奏信息而产生的音频信号的频率成分不同的频带中包含演奏信息的调制成分的方式，将该演奏信息叠加在模拟音频信号中并输出。

例如，演奏信息输出装置通过利用演奏信息对M系列伪噪声(PN代码)进行相位调制，而进行编码。优选叠加演奏信息的频带采用大于或等于20kHz的非可听频带，但在由于D/A变换及压缩音频的编码等而无法使用非可听频带的结构的情况下，向例如大于或等于15kHz的高频带中叠加演奏信息，减少对听感上的影响。另外，演奏信息输出装置对基于叠加后的音频信号的声音进行放音，或者将叠加后的音频信号从音频端子输出。

由此，演奏信息输出装置可以从一个端子(或者通过放音)输出演奏信息和音频信号这两者，并且，在对该信号进行记录的情况下，可以向通用的音频数据中叠加演奏信息。

另外，演奏信息输出装置具有由拾音器或声音传声器等构成的生成单元，生成音频信号。并且，演奏叠加输出装置也可以在生成的音频信号中叠加演奏信息并输出。

由此，演奏信息输出装置不仅采用内置于电子乐器中的方式，也可以追加安装在已有乐器(例如，原声吉他、三角钢琴、原声小提琴等)而使用。

演奏系统由上述的演奏信息输出装置和播放装置构成。播放装置对演奏信息输出装置所输出的音频信号进行译码，而取得演奏信息。播放装置输出已取得的演奏信息和音频信号。此时，播放装置通过使音频信号与演奏信息相比以上述演奏信息的叠加及译码所需的时间进行延迟并输出，从而将音频信号和演奏信息同时输出。或者，播放装置通过事先对叠加在音频信号中的演奏信息进行译码，将音频信号和演奏信息同步输出，从而将音频信号和演奏信息同时输出。

由此，由于将基于演奏信息的代码信息及运指信息，与对应于该演奏信息的声音的放音同时显示在显示器中，所以收听者可以一边通过显示器对代码信息及运指信息进行确认，一边收听放音的声音。

“第3实施方式”

图8(A)是表示本发明的第3实施方式所涉及的速度(tempo)信息输出装置(演奏相关信息输出装置)的结构的框图。在图8(A)中，示出电子乐器(电子钢琴)兼作速度信息输出装置的例子。图8(A)所示的电子钢琴1001具有控制部1011、演奏信息取得部(演奏相关信息取得部)1012、乐音生成部1013、数据叠加部1014、输出接口(I/F)1015、速度时钟生成部1016、节拍音生成部1017、混频器部1018、以及头戴式耳机I/F 1019。

演奏信息取得部1012与演奏者的演奏操作相对应而取得演奏信息。演奏信息为例如按下的键盘的信息(音符编号)、按键的定时(音符开始、音符停止)、按键盘的速度(力度)等。通过控制部1011指示对哪个演奏信息进行输出(基于哪个演奏信息生成乐音)。

乐音生成部1013内置有音源，与控制部1011的指示(音量等的设定)相对应，从演奏信息取得部1012输入演奏信息，并生成乐音(音频信号)。

速度时钟生成部1016生成与设定的速度(tempo)相对应的速度时钟。速度时钟是例如以MIDI时钟(每4个音符为24个时钟)为标准的时钟，始终进行输出。速度时钟生成部1016将生成的速度时钟向数据叠加部1014以及节拍音生成部1017输出。节拍音生成部1017与输入的速度时钟相对应而生成节拍音。节拍音通过混频器部1018与由演奏者演奏的乐音进行混频，并向头戴式耳机I/F 1019输出。演奏者一边收听从头戴式耳机听到的节拍音(速度)，一边进行演奏。

另外，也可以构成为，在电子钢琴1001中设置专用于输入速度信息的操作件(分线开关等，图中虚线的速度信息输入部)，将演奏者划分的节拍作为基准速度信号而输入，并提取速度信息。另外，在利用搭载有自动演奏系统(定序器)的乐器进行自动伴奏的情况下，速度时钟生成部1016也将速度时钟向自动演奏系统输出(例如参照图11)。

数据叠加部1014向从乐音生成部1013输入的音频信号中叠加速度时钟。叠加方式使用如叠加的信号难以被听到那样的方法。例如，通过将高频率的载波信号按照速度信息(按时钟定时使代码呈现为1的数据代码序列)进行相位调制，从而使与音频信号的频率成分(音声信号成分)不同的频带中包含速度信息的频率成分。

另外，也可以采用通过不会在听感上产生不适感的微弱电平而叠加PN代码(M系列)那样的伪噪声的方法。此时，可以将叠加伪噪声的频带限制在可听范围以外(大于或等于20kHz)的频带中。由于如M系列那样的伪噪声的自相关性非常高，所以通过在译码侧求出音频信号和与叠加的伪噪声相同的代码之间的相关值，可以提取出速度时钟。另外，并不限于M系列，也可以使用Gold系列等其他的随机数。

数据叠加部1014在每次从速度时钟生成部1016输入速度时钟时，生成规定长度的伪噪声并向音频信号中叠加，向输出I/F 1015输出。

另外，在使用伪噪声的情况下，也可以使用如下述所示的频谱扩展。图8(B)是表示使用频谱扩展的情况下的数据叠加部1014的结构的一个例子的框图。

在本例中，通过利用乘法器1265对扩展代码生成部1144输出的M系列的伪噪声代码(PN代码)和速度信息(0、1的数据代码序列)进行乘法计算，从而对速度信息进行频谱扩展。将扩展后的速度信息向XOR电路1146输入。XOR电路1146输出从乘法器1145输入的代码、和经由延迟器1147输入的一个采样前的输出代码的“异”，对扩展后的速度信息进行差分编码。将差分编码后的信号形成为以-1、1进行二值化的代码。通过输出二值化为-1、1的差分代码，并在译码侧对连续的2个采样的差分代码进行乘法计算，由此可以提取出扩展后的速度信息。

另外，差分编码后的速度信息由LPF(奈奎斯特滤波器)1148将频带限制在基础频带内，并向乘法器1150输入。乘法器1150对载波信号生成器1149输出的载波信号(与音声信号成分相比高频带的载波信号)和LPF 1148的输出信号进行乘法计算，将差分编码后的速度信息向通带进行频移。另外，差分编码后的速度信息也可以在上采样后进行频移。频移后的速度信息由增益调整器1151进行增益调整，在利用加法器1143与音频信号进行混频后，向输出I/F 1027输出。

另外，从乐音生成部1013输出的音频信号，利用LPF 1141将通带的频带截去，在由增益调整器1142进行增益调整后向加法器1143输入，但LPF 1141不是必须的，不需要对音声信号成分和调制信号成分(叠加的速度信息的频率成分)完全地进行频带分割。例如，只要将载波信号设为20～25kHz程度，则即使音声信号成分和调制信号成分有一些重复，收听者也难以听出调制信号，且可以确保能够对速度信息进行译码的程度的SN比。另外，优选叠加速度信息的频带采用大于或等于20kHz的非可听频带，但在由于D/A变换及压缩音频的编码等而无法使用非可听频带的结构的情况下，通过向例如大于或等于15kHz的高频带中叠加速度信息，由此可以减少对听感上的影响。

如上述所示，将叠加有速度信息的音频信号从作为音频输出端子的输出I/F 1015输出。

将从输出I/F 1015输出的音频信号，向如图9(A)所示的译码装置1002输入。译码装置1002具有下述功能，即：作为对音频信号进行录音的录音机的功能；作为对音频信号进行播放的播放机的功能；以及作为对叠加在音频信号中的速度信息进行译码的译码机的功能。另外，由于从电子钢琴1001输出的音频信号可以与通常的音频信号相同地进行处理，所以可以利用其他通常的录音机进行录音。另外，由于录音后的音频数据为通用的音频数据，所以可以利用通常的音频播放机进行播放。

在这里，对于译码装置1002，主要说明对叠加在音频信号中的速度信息进行译码的功能、以及译码后的速度信息的利用方式。

在图9(A)中，译码装置1002具有：输入I/F 1021、控制部1022、存储部1023、以及速度时钟提取部1024。控制部1022对从输入I/F 1021输入的音频信号进行录音，作为通用的音频数据记录在存储部1023中。另外，控制部1022读出记录在存储部1023中的音频数据，并向速度时钟提取部1024输出。

速度时钟提取部1024生成与由电子钢琴1001的数据叠加部1014产生的伪噪声相同的伪噪声，并求出与播放的音频信号之间的相关值。由于叠加在音频信号中的伪噪声是自相关性非常高的信号，所以如果求出音频信号与伪噪声之间的相关值，则如图9(B)所示，定期地提取出陡立的峰。该相关值的峰值产生定时表示演奏速度(速度时钟)。

另外，在使用图8(B)中说明的频谱扩展的情况下，速度时钟提取部1024按照下述方式对速度信息进行译码，并提取出速度时钟。图9(C)是表示速度时钟提取部1024的结构的一个例子的框图。将输入的音频信号向HPF 1241输入。HPF 1241是用于除去音声信号成分的滤波器。将HPF 1241的输出信号向延迟器1242以及乘法器1243输入。将延迟器1242的延迟量设定为与上述差分代码的1个采样相应的时间。在对差分代码进行上采样的情况下，设定为与上采样后的一个采样相应的时间。乘法器1243对从HPF 1241输入的信号和从延迟器1242输出的一个采样前的信号进行乘法计算，进行延迟检波处理。由于差分编码后的信号二值化为-1、1，表示相对于一个采样前的代码的相位变化，所以通过与一个采样前的信号进行乘法计算，从而提取差分编码前的速度信息(扩展后的代码)。

然后，乘法器1243的输出信号经由奈奎斯特滤波器即LPF 1244而作为基础频带信号被提取，并向相关器1245输入。相关器1245利用与上述扩展代码生成部1244输出的伪噪声代码相同的伪噪声代码，求出与输入信号之间的相关值。相关器1245所输出的相关值通过峰值检测部1246，以伪噪声的周期(数据代码的周期)提取正负的峰值成分。代码判定部1247将各峰值成分作为速度信息的数据代码(0、1)，而进行译码。按照上述方式，对叠加在音频信号中的速度信息进行译码。另外，叠加侧的差分编码处理、译码侧的延迟检波处理不是必须的。

如果按照上述方式提取出的速度时钟是以MIDI时钟为基准的，则可以在通过定序器进行的自动演奏中使用。例如，可以利用定序器实现反映了自身演奏速度的自动演奏。

另外，如图11所示，如果在内置有定序器1101的电子钢琴1005中构成为，定序器1101基于速度信息进行自动演奏，则可以取得由演奏者演奏的乐音和自动演奏的乐音之间的同步。由此，演奏者通过仅进行演奏操作，就可以生成自身演奏的乐音和自动演奏的乐音同步的音频信号。另外，也可以如卡拉OK装置那样取得与图像信号之间的同步。

另外，也可以将提取出的速度时钟用作进行音频数据的时间伸缩时的基准时钟，可以大幅度地降低编辑时的复杂度。如图13(C)所示，通过根据进行时间伸缩的原来的音频数据中包含的速度信息和演奏信息之间的差，计算校正时间，并在与新的速度相对应的时间伸缩后的音频数据中加上校正时间，由此可以变更速度而不丢失演奏的微细差别(nuance；韵律)。例如，如果将速度信息的各拍和音符开始的定时之间的差设为α，将原来的速度设为T1，将时间伸缩后的速度设为T2，则校正时间为α×(T2/T1)。由此，即使进行时间伸缩，也不会改变演奏的微细差别。

另外，在使用如M系列那样的伪噪声进行叠加的叠加方式的情况下，也可以是以下所示的应用例。图10是表示应用例所涉及的速度信息输出装置和译码装置的结构的框图。另外，对于与图8及图9通用的结构，标注相同的标号，省略其说明。

应用例所涉及的电子钢琴1003中，取代速度时钟生成部1016，而具有强拍速度时钟生成部1161、以及弱拍速度时钟生成部1162。另外，译码装置1004中，取代速度时钟提取部1024，而具有强拍速度时钟提取部1241、以及弱拍速度时钟提取部1242。

强拍速度时钟生成部1161在每个强拍(小节)定时生成速度时钟。另外，弱拍速度时钟生成部1162在每个弱拍(拍)定时生成速度时钟。

数据叠加部1014在每次从强拍速度时钟生成部1161输入速度时钟时、以及每次从弱拍速度时钟生成部1162输入速度时钟时生成伪噪声，并向音频信号中叠加。数据叠加部1014在从强拍速度时钟生成部1161输入了速度时钟的定时和从弱拍速度时钟生成部1162输入了速度时钟的定时，产生不同形式的伪噪声(强拍用伪噪声以及弱拍用伪噪声)。

在译码装置1004的强拍速度时钟提取部1241、以及弱拍速度时钟提取部1242中，分别生成与由数据叠加部1014产生的强拍用伪噪声及弱拍用伪噪声相同的伪噪声，并求出与播放的音频信号之间的相关值。

在每个小节定时，向音频信号中叠加强拍用伪噪声，在每个拍定时，向音频信号中叠加弱拍用伪噪声，由于它们是自相关性非常高的信号，所以如果求出音频信号和伪噪声之间的相关值，则如图10(C)所示，可以定期地提取出陡立的峰。由强拍速度时钟提取部241提取出的峰值产生定时表示小节定时(强拍速度时钟)，由弱拍速度时钟提取部1242提取出的峰值产生定时表示拍定时(弱拍速度时钟)。由于上述伪噪声使用不同的形式，所以伪噪声彼此不会发生干涉，可以分别高精度地计算出相关值。

另外，对于小节定时，由于如果为4个拍子，则成为拍定时的4倍的周期，所以可以将伪噪声的噪声长度设定为4倍。由此，可以相应地确保SN比，可以使伪噪声的电平下降。

另外，通过使用更多的伪噪声形式，由此可以在各拍定时将不同的伪噪声叠加，可以应对复合拍子等多种多样的速度。特别地，在作为伪噪声而使用Gold系列的情况下，由于可以生成多种类的代码系列，所以即使在复合拍子或拍子数较多的情况下，也可以针对各拍使用不同的代码系列。另外，在使用图8(B)及图9(C)中说明的频谱扩展的情况下，也可以针对各拍定时及小节定时使用不同的伪噪声，对速度信息进行扩展处理。

另外，本实施方式的速度信息输出装置并不限于内置在电子乐器中的方式，也可以追加安装在已有乐器上。图12是表示将速度信息输出装置安装在吉他上的情况的例子的图。在图12中，说明输出模拟音频信号的电原声吉他。另外，对于与图8通用的结构，标注相同的标号，省略其说明。

如图12(A)及图12(B)所示，速度信息输出装置1009具有音频输入I/F 1051以及脚踏开关1052，吉他1007的线路输出端子与音频输入I/F 1051连接。

音频输入I/F 1051从吉他1007输入演奏音(音频信号)，并向数据叠加部1014输出。脚踏开关1052是专用于输入速度信息的操作件，将演奏者划分的拍子作为基准速度信号而输入。速度时钟生成部1016从脚踏开关1052输入基准速度信号，并提取速度信息。

如上述所示，只要是已有的具有音频输出端子的乐器，就可以使用本发明的速度信息输出装置，可以将反映了演奏者的演奏速度的速度信息向音频信号中叠加。

另外，本实施方式的速度信息输出装置并不限于安装在电子钢琴或电原声吉他中的例子。只要利用通常的传声器对乐音进行拾音，则即使是没有线路输出端子的原声乐器，也可以使用本发明的速度信息输出装置。另外，并不限于乐器，歌声也包含在与本发明中的演奏操作对应地生成的音频信号的技术范围内，可以利用传声器对歌声进行拾音，并叠加速度信息。

速度信息输出装置(演奏相关信息输出装置)具有输出单元，其输出与演奏者的演奏操作相对应而生成的音频信号。在音频信号中叠加有表示演奏者的演奏速度的速度信息。速度信息输出装置对该速度信息进行叠加，以使与音频信号的频率成分不同的频带中含有速度信息的调制成分。速度信息作为如MIDI时钟那样的节拍信息(速度时钟)而进行叠加。该节拍信息始终通过自动演奏系统(定序器)输出。

因此，速度信息输出装置可以将反映了演奏者的演奏速度的速度信息包含在音频信号中(由1根传输线)而进行输出。另外，由于对于输出的音频信号可以与通常的音频信号相同地进行处理，所以可以利用录音机等进行录音，并作为通用的音频数据而使用。并且，可以根据速度信息求出与实际的演奏定时之间的时间差，即使在利用时间伸缩等而调整了播放时间的情况下，也不会改变演奏的微细差别。另外，速度信息输出装置包含内置于电子钢琴等电子乐器中的方式、从已有的乐器输入音频信号的方式、以及利用传声器对原声乐器或歌声进行拾音而输入音频信号的方式等。

另外，也可以构成为，从节拍器等外部输入作为演奏速度的基准的基准速度信号，基于基准速度信号来提取速度信息。另外，也可以构成为，利用脚踏开关等，将演奏者划分的节拍作为基准速度信号而输入。在此情况下，即使如原声乐器等那样自身无法生成速度信息，也可以提取速度信息。

另外，也可以是使用上述的速度信息输出装置，形成进一步具有译码装置的声音处理系统的方式，其中，该译码装置用于对上述速度信息进行译码。速度信息输出装置的叠加单元通过在基于上述演奏速度的定时向上述音频信号中叠加伪噪声，而叠加上述速度信息。作为伪噪声使用例如PN代码那样的自相关性高的信号。速度信息输出装置在基于演奏速度的定时(例如每拍)生成自相关性高的信号，并向音频信号叠加。由此，即使作为模拟音频信号而进行放音，也不会丢失叠加的速度信息。

译码装置具有：输入单元，其输入上述音频信号；以及译码单元，其对速度信息进行译码。译码单元求出向输入单元输入的音频信号与上述伪噪声之间的相关值，基于该相关值的峰值产生定时，对上述速度信息进行译码。由于叠加在音频信号中的伪噪声是自相关性非常高的信号，所以如果通过译码装置求出音频信号和伪噪声之间的相关值，则在每个拍定时提取出相关值的峰值。因此，相关值的峰值产生定时表示演奏速度。

由于如PN代码那样的自相关性高的伪噪声，即使为低电平也可以提取出相关值的峰值，所以为听感上没有不适感的声音(难以听到的声音)，并且可以高精度地对速度信息进行叠加、译码。另外，如果将伪噪声仅叠加在大于或等于20kHz等的高频带中，则更难以听到。

另外，速度信息提取单元也可以构成为，与演奏速度的各定时相对应而提取出多个不同的速度信息(例如拍定时、小节定时)，叠加单元也可以构成为，通过将多个不同的伪噪声叠加，从而分别叠加上述多个不同的速度信息。在此情况下，译码装置的译码单元分别求出向上述输入单元输入的音频信号与上述多个不同的伪噪声之间的相关值，基于各相关值的峰值产生定时，对上述多个不同的速度信息进行译码。即，由于在拍定时和小节定时，将不同形式的伪噪声叠加，所以伪噪声彼此不会发生干涉，可以针对拍定时、小节定时分别高精度地进行叠加、译码。

另外，在使用伪噪声对速度信息进行叠加的情况下，速度信息输出装置可以通过利用速度信息对M系列伪噪声(PN代码)进行相位调制，而进行编码。优选叠加速度信息的频带采用大于或等于20kHz的非可听频带，但在由于D/A变换及压缩音频的编码等而无法使用非可听频带的结构的情况下，通过向例如大于或等于15kHz的高频带中叠加速度信息，由此可以减少对听感上的影响。

“第4实施方式”

参照图14、15，说明本发明的第4实施方式所涉及的电子弦乐器即MIDI吉他2001。图14是表示吉他的外观的外观图。图14(A)是从上方观察吉他的外观的俯视图。图14(B)是吉他琴颈的局部放大图。图15(A)是表示吉他的功能、结构的框图。图16是表示控制信号数据库的一个例子的图。

首先，参照图14，说明MIDI吉他(以下简称为吉他)2001的外观。如图14(A)所示，吉他2001由琴体2011和琴颈2012构成。

在琴体2011中配置有：6根弦2010，按照吉他的演奏方法对这些弦进行弹奏；以及输出I/F 2030，其输出音频信号。在6根弦2010上分别配置用于检测弦2010的振动的弦传感器2021(参照图15(A))。

在琴颈2012中，如图14(B)所示，配置有区分音阶的品2121。在品丝2121之间配置有多个琴品开关2022。

下面，参照图15(A)，说明吉他2001的功能、结构。如图15(A)所示，吉他2001具有控制部2020、弦传感器2021、琴品开关2022、演奏信息取得部2023、乐音生成部2024、输入部2025、姿势传感器2026、存储部2027、控制信号生成部(控制信号生成单元以及演奏相关信息取得单元)2028、叠加部2029、以及输出I/F 2030。

控制部2020基于对吉他2001设定的音量及音调，对演奏信息取得部2023以及乐音生成部2024进行控制。

弦传感器2021由压电传感器等构成，生成将对应的弦2010的振动变换为波形后得到的波形信号，并向演奏信息取得部2023输出。

琴品开关2022对自身开关的接通/断开进行检测，并将表示开关的接通/断开的检测信号向演奏信息取得部2023输出。

演奏信息取得部2023基于来自琴品开关2022的检测信号，取得表示演奏者的手指移动的运指信息。具体地说，演奏信息取得部2023取得：与输入了检测信号的琴品开关2022相对应的音符编号；以及该音符编号的音符开始(开关接通)、音符停止(开关断开)。

另外，演奏信息取得部2023基于来自弦传感器2021的波形信号，取得表示弹拨强度的弹拨信息。具体地说，演奏信息取得部2023取得音符开始时的力度(音的强度)。

然后，演奏信息取得部2023基于取得的运指信息以及弹拨信息，生成表示演奏者的演奏操作的演奏信息(MIDI消息)，并向乐音生成部2024以及控制信号生成部2028输出。另外，向控制信号生成部2028输出的演奏信息并不限于MIDI消息，可以是任意形式的数据。

乐音生成部2024具有音源，基于从演奏信息取得部2023输入的演奏信息，生成模拟形式的音频信号，并向叠加部2029输出。

输入部2025接受用于控制外部设备的操作输入，将与操作相对应的操作信息向控制信号生成部2028输出。然后，控制信号生成部2028生成与来自输入部2025的操作信息相对应的控制信号，并向叠加部2029输出。

姿势传感器2026对吉他2001的姿势进行检测，并将生成的姿势信息向控制信号生成部2028输出。例如，如果琴颈2012相对于琴体2011朝上，则姿势传感器2026生成姿势信息(上)，如果琴颈2012相对于琴体2011朝左，则姿势传感器2026生成姿势信息(左)，如果琴颈2012相对于琴体2011朝左上，则姿势传感器2026生成姿势信息(左上)。

存储部2027存储如图16所示的控制信号数据库(以下，称为控制信号DB)。控制信号生成部2028对控制信号DB进行参照。控制信号DB是将控制外部设备的特定的演奏信息(例如，特定的琴品开关2022的接通/断开)及吉他2001的特定姿势信息进行数据库化而成的。控制信号DB将这些特定的演奏信息及姿势信息与控制外部设备的控制信号相对应，而进行存储。

控制信号生成部2028基于来自演奏信息取得部2023的演奏信息、以及来自姿势传感器2026的姿势信息，从存储部2027中取得控制外部设备的控制信号，并向叠加部2029输出。

叠加部2029向从乐音生成部2024输入的音频信号中叠加从控制信号生成部2028输入的控制信号，并向输出I/F 2030输出。例如，叠加部2029通过将高频率的载波信号按照控制信号(形成为0、1的数据代码序列)进行相位调制，从而使与音频信号的频率成分(音声信号成分)不同的频带中包含控制信号的频率成分。另外，也可以使用以下所示的频谱扩展。

图15(B)是表示使用频谱扩展的情况下，叠加部2029的结构的一个例子的框图。另外，在该图中，全部作为数字信号处理进行说明，但向外部输出的信号也可以是模拟信号(模拟变换后的信号)。

在本例中，通过利用乘法器2295对扩展代码生成部2294输出的M系列的伪噪声代码(PN代码)和控制信号(0、1的数据代码序列)进行乘法计算，从而对控制信号进行频谱扩展。将扩展后的控制信号向XOR电路2296输入。XOR电路2296输出从乘法器2295输入的代码和经由延迟器2297输入的一个采样前的输出代码之间的“异”，对扩展后的控制信号进行差分编码。将差分编码后的信号形成为以-1、1进行二值化的代码。通过输出二值化为-1、1的差分代码，并在译码侧对连续的2个采样的差分代码进行乘法计算，由此可以提取出扩展后的演奏信息。

另外，差分编码后的控制信号由LPF(奈奎斯特滤波器)2298将频带限制在基础频带内，并向乘法器2300输入。乘法器2300对载波信号生成器2299输出的载波信号(与音声信号成分相比高频带的载波信号)和LPF 2298的输出信号进行乘法计算，将差分编码后的控制信号向通带进行频移。另外，差分编码后的控制信号也可以在上采样后进行频移。频移后的控制信号由增益调整器2301进行增益调整，在利用加法器2293与音频信号进行混频后，向输出I/F 2030输出。

另外，从乐音生成部2024输出的音频信号，由LPF 2291将通带的频带截去，在由增益调整器2292进行增益调整后向加法器2293输入，但LPF 2291不是必须的，不需要对音声信号成分和调制信号成分(叠加的控制信号的频率成分)完全地进行频带分割。例如，只要将载波信号设为20～25kHz程度，则即使音声信号成分和调制信号成分有一些重复，收听者也难以听出调制信号，且可以确保能够对控制信号进行译码的程度的SN比。另外，优选叠加控制信号的频带采用大于或等于20kHz的非可听频带，但在由于D/A变换及压缩音频的编码等而无法使用非可听频带的结构的情况下，通过向例如大于或等于15kHz的高频带中叠加控制信号，由此可以减少对听感上的影响。

将按照上述方式叠加了控制信号的音频信号，从作为音频输出端子的输出I/F 2030输出。输出I/F 2030将从叠加部2029输入的音频信号向效果器2061(参照图17)输出。

下面，参照图17，说明通过吉他1的演奏等进行的外部设备控制。图17是表示吉他的演奏环境的一个例子的说明图。如图17(A)所示，吉他2001按顺序连接有：效果器2061，其调整音效；吉他放大器2062，其对吉他2001的演奏音的音量进行放大；混频器2063，其对输入的声音(吉他2001的演奏音、传声器MIC所拾取的声音、自动演奏装置2064播放的声音)进行合成；以及扬声器SP。在混频器2063上连接有：传声器MIC，其用于对演唱者(vocal)的声音进行拾音；以及自动演奏装置2064，其进行内部所具有的MIDI数据的自动演奏。

图17(A)所示的效果器2061、吉他放大器2062、混频器2063、自动演奏装置2064这些外部设备中的至少一个具有译码部，进行叠加在音频信号中的控制信号的译码。译码方式随着叠加部2029中的控制信号的叠加方式不同而不同，但在使用上述频谱扩展的情况下，按照下述方式进行。

图17(B)是表示译码部的结构的一个例子的框图。将向译码部输入的音频信号，向HPF 2091输入。HPF 2091是用于除去音声信号成分的滤波器。将HPF 2091的输出信号向延迟器2092以及乘法器2093输入。将延迟器2092的延迟量设定为与差分代码的1个采样相应的时间。在对差分代码进行上采样的情况下，设定为与上采样后的一个采样相应的时间。乘法器2093对从HPF 2091输入的信号和从延迟器2092输出的一个采样前的信号进行乘法计算，进行延迟检波处理。由于差分编码后的信号被二值化为-1、1，表示相对于一个采样前的代码的相位变化，所以通过与一个采样前的信号进行乘法计算，从而提取差分编码前的演奏信息(扩展后的代码)。

然后，乘法器2093的输出信号经由奈奎斯特滤波器即LPF 2094而作为基础频带信号被提取，并向相关器2095输出。相关器2095利用与上述扩展代码生成部2294输出的扩展代码相同的扩展代码，求与输入信号之间的相关值。由于扩展代码使用自相关性高的PN代码，所以相关器2095所输出的相关值通过峰值检测部2096，以扩展代码的周期(数据代码的周期)提取正负的峰值成分。代码判定部2097将各峰值成分作为控制信号的数据代码(0、1)，而进行译码。按照上述方式，对叠加在音频信号中的控制信号进行译码。译码后的控制信号用于对各外部设备进行控制。另外，叠加侧的差分编码处理、译码侧的延迟检波处理不是必须的。

例如，在图17(A)中，如果吉他2001没有通过弦传感器2021检测出弦2010的振动，而通过琴品开关2022检测出正在按压1品的1弦～6弦这一情况，则从控制信号DB(参照图16)中取得用于指示使自动演奏装置2064的演奏开始的控制信号。吉他2001将该控制信号向音频信号中叠加并进行输出。自动演奏装置2064取得控制信号，使自动演奏装置2064的演奏开始。如上述所示，可以与吉他2001的演奏操作(没有生成音频信号的演奏操作)相对应，使作为外部设备的自动演奏装置2064开始演奏。另外，在此情况下，也可以通过在自动演奏装置2064中内置译码部，向自动演奏装置2064中输入叠加有控制信号的音频信号，从而利用自动演奏装置2064对控制信号进行译码，也可以在混频器2063中内置译码部，利用混频器2063对控制信号进行译码，将译码后的控制信号向自动演奏装置2064输入。

另外，如果吉他2001通过姿势传感器2026检测出在琴颈2012相对于琴体2011朝向上后，紧接着使琴颈2012又相对于琴体2011朝向下这一情况，则从控制信号DB(参照图16。)中取得用于指示使自动演奏装置2064的演奏停止的控制信号。吉他2001将该控制信号向音频信号中叠加并进行输出。自动演奏装置2064取得控制信号，使自动演奏装置2064的演奏停止。如上述所示，可以与吉他2001的姿势(即，演奏者使用吉他2001进行的表演)相对应，使作为外部设备的自动演奏装置2064停止演奏。

另外，如果吉他2001通过姿势传感器2026检测出琴颈2012相对于琴体2011朝向上这一情况，且利用弦传感器2021检测出弦2010的振动，则从控制信号DB(参照图16。)中取得用于指示混频器2063以提高吉他音量的控制信号。吉他2001将该控制信号向音频信号中叠加并进行输出。混频器2063取得控制信号，提高吉他的音量。如上述所示，可以与吉他2001的姿势(即，演奏者使用吉他2001进行的表演)和吉他2001的演奏操作之间的组合相对应，使作为外部设备的混频器2063调整合成时的音量。

而且，如果吉他2001通过琴品开关2022检测出正在对特定的品丝(2弦5品、3弦6品)进行按压这一情况，且通过弦传感器2021检测出弦2010的振动，则从控制信号DB(参照图16。)中取得用于指示效果器2061以变更效果的控制信号。吉他2001将该控制信号向音频信号中叠加并进行输出。效果器2061取得控制信号，并对效果进行变更。如上述所示，可以与吉他2001的演奏操作(生成音频信号的演奏操作)相对应，使作为外部设备的效果器2061变更效果。

另外，上述内容是一个例子，对于吉他2001，通过在控制信号DB中登录用于控制外部设备的控制信号，可以将效果器2061、吉他放大器2062等与音声相关的装置、照明及照相机等与舞台相关的装置，作为外部设备而进行控制。根据上述内容，可以与演奏者使用吉他2001进行的表演及吉他2001的演奏操作相对应，对外部设备(自动演奏装置2064及混频器2063等)进行控制。

另外，也可以对存储在控制信号DB中的控制信号和演奏信息或姿势信息之间的对应关系进行编集。在此情况下，吉他2001中设置有控制信号输入部(未图示)，演奏者将用于控制外部设备的控制信号向控制信号DB中登录。然后，演奏者进行演奏及表演，演奏信息取得部2023取得演奏信息及姿势信息，与已登录的控制信号相对应，向控制信号DB中登录。根据上述内容，演奏者可以与自身的用途相对应，而容易地登录控制信号。

另外，也可以采用下述结构，即，取代控制信号DB，而具有将特定的演奏信息及姿势信息、接受特定的演奏信息及姿势信息的输入的接受期间，与控制信号相对应地进行存储的控制信号DB。图18是表示控制信号数据库的另一个例子的图。在此情况下，吉他2001具有测量部(未图示)，其对开始演奏后的经过时间(或者拍数)进行测量。例如，如果吉他2001在演奏开始后1分钟～2分钟的期间内，通过姿势传感器2026检测出琴颈2012相对于琴体2011朝向上这一情况，且通过弦传感器2021检测出弦2010的振动，则从图18所示的控制信号DB中取得用于指示混频器2063以提高吉他音量的控制信号。另外，即使吉他2001在演奏开始后的1分钟～2分钟的期间以外的情况下检测出上述举动(gesture)，也由于没有取得控制信号，而不进行混频器2063的操作。

另外，例如，如果吉他2001在演奏开始后8拍～10拍、或者14拍～20拍的期间内，通过琴品开关2022检测出正在按压5品的2弦和6品的3弦这一情况，且通过弦传感器2021检测出弦2010的振动，则从控制信号DB中取得用于指示使效果器2061的效果变更的控制信号。另外，即使吉他2001在演奏开始后8拍～10拍、或者14拍～20拍的期间以外检测出上述举动，也由于没有取得控制信号，而不进行效果器2061的操作。

如上述所示，可以与吉他2001的演奏操作(演奏信息)、演奏者使用吉他2001进行的表演(姿势信息)、和接受期间(演奏开始后的经过时间和拍数)的组合相对应，进行外部设备的控制。由此，即使是相同的演奏操作，演奏者也可以与经过时间相对应，而容易地对不同的外部设备进行控制。由于吉他2001可以与经过时间相对应而对外部设备(例如，效果器2061及吉他放大器2062)进行控制，变更效果及音量，所以优选在对曲调与经过时间对应地变化的乐曲进行演奏的情况下使用。

另外，在第4实施方式中，以吉他2001为例进行了说明，但也可以是电子钢琴、MIDI小提琴等电子乐器。

而且，也可以采用基于来自多个乐器的操作信息、演奏信息及姿势信息，使混频器2063对外部设备进行控制的结构。例如，吉他2001将表示吉他2001的演奏操作的演奏信息、表示演奏者使用吉他2001进行的表演的姿势信息向音频信号中叠加，并向混频器2063输出。相同地，传声器MIC也将表示演唱者使用传声器MIC进行的表演的姿势信息(传声器MIC的姿势)向演唱者的语音中叠加，并向混频器2063输出。然后，混频器2063基于从音频信号以及语音中取得的演奏信息及姿势信息，对外部设备进行控制(例如，对扬声器SP的放音音量进行调整，或者变更效果器2061的效果，或者通过混频器2063变更音频信号和语音的合成比率。)。

另外，在第4实施方式中，基于演奏信息、操作信息和姿势信息而生成控制信号，但基于操作信息、演奏信息或者姿势信息中的至少一种而生成控制信号即可。在此情况下，吉他2001只要根据需要而具有姿势传感器2026或输入部2025即可。

“第5实施方式”

参照图19、20，说明本发明的第5实施方式所涉及的控制装置(演奏相关信息输出装置)2005。图19是从上方观察安装有控制装置的吉他的外观的俯视图。图20是表示控制装置的功能、结构的框图。第5实施方式与第4实施方式的不同点在于，在原声弦乐器即原声吉他(以下简称为吉他)2004中安装有控制装置2005，向来自吉他2004的音频信号中叠加用于控制外部设备的控制信号并进行输出。以下，针对不同点进行说明。

如图19所示，控制装置2005由传声器2051(相当于本发明的音频信号生成单元)和主体2052构成。将传声器2051设置在吉他2004的琴体2011上。另外，如图20所示，主体2052具有：均衡器2521、输入部2025、存储部2027、控制信号生成部2028、叠加部2029、以及输出I/F 2030。在吉他2004的演奏中，可以由演奏者携带主体2052，也可以从主体2052上仅将输入部2025拆下，由演奏者仅携带输入部2025。另外，存储部2027、控制信号生成部2028、叠加部2029、以及输出I/F 2030具有与第4实施方式相同的功能、结构。

传声器2051例如是在吉他的拾音等中使用的接触式传声器或电吉他的电磁传声器。接触式传声器是通过安装在乐器的主体上，而可以将外部噪音消除，不仅检测吉他2004的弦2010的振动，还检测吉他2004的声音的传声器。如果电源接通，则传声器2051不仅对吉他2004的弦2010的振动进行拾音，还对吉他2004的声音进行拾音，并生成音频信号。然后，传声器2051将生成的音频信号向均衡器2521输出。

均衡器2521对从传声器2051输入的音频信号的频率特性进行调整，而将音频信号向叠加部2029输出。

根据上述内容，由于即使对于不生成音频信号的吉他2004，也可以通过传声器2051与吉他2004的弦2010的振动及吉他2004的声音相对应而生成音频信号，所以控制装置2005可以向音频信号中叠加控制信号并进行输出。

另外，控制装置2005也可以具有：琴品开关2022(或者按压传感器)，其对品丝2121的按压/放开进行检测，品丝2121用于取得吉他2004的演奏信息；以及弦传感器2021，其对各弦2010的振动进行检测。另外，控制装置2005也可以具有姿势传感器26，其用于取得吉他2004的姿势信息。

另外，在第5实施方式中，以吉他2004为例进行了说明，但并不限于此，也可以是三角钢琴(键盘乐器)或鼓(打击乐器)等原声乐器。例如，在三角钢琴的情况下，在三角钢琴的琴架上设置传声器2051，控制装置2005通过传声器2051的拾音而生成音频信号。另外，也可以在三角钢琴上设置：压力传感器，其对各键盘的按压/放开和向各键盘施加的压力进行检测；以及开关，其对是否已经踏下踏板进行检测，由控制装置2005取得演奏者使用三角钢琴进行的表演及三角钢琴的演奏操作。

另外，例如，在鼓的情况下，在鼓的附近设置传声器2051，控制装置2005利用传声器2051对发出的声音进行拾音，并生成音频信号。另外，也可以在敲打鼓的鼓槌上设置：姿势传感器2026，其对演奏者的鼓槌运动进行检测(检测鼓槌的姿势)；以及压力传感器，其用于测量敲打鼓的力，由控制装置2005取得演奏者使用鼓进行的表演及鼓的演奏操作。

控制装置(演奏相关信息输出装置)接受用于控制外部设备(例如，效果器、混频器、自动演奏装置等与音声相关的装置、照明及照相机等与舞台相关的装置等)的操作输入。控制装置与该操作输入相对应，生成用于控制外部设备的控制信号。并且，控制装置进行该控制信号叠加，以使与对应于演奏操作而生成的音频信号的频率成分相比更高的频带中包含控制信号的调制成分，并向音频输出端子输出。例如，可以通过利用控制信号对M系列的伪噪声(PN代码)进行相位调制而进行编码。优选叠加速度信息的频带采用大于或等于20kHz的非可听频带，但在由于D/A变换及压缩音频的编码等而无法使用非可听频带的结构的情况下，通过向例如大于或等于15kHz的高频带中叠加控制信号，由此可以减少对听感上的影响。

由此，控制装置可以从一个音频输出端子输出控制信号和音频信号这两者。另外，控制装置仅通过输出叠加有控制信号的音频信号，就可以容易地控制与本装置连接的外部设备。

另外，本发明的控制装置是作为用于对外部设备进行控制的操作输入，而接受例如演奏操作的输入(吉他品丝的按压/放开及弦的振动等)的乐器。控制装置具有存储单元，其将表示演奏操作的演奏信息与控制信号相对应地进行存储。另外，控制装置也可以采用从存储单元中取得与所输入的演奏操作对应的控制信号的结构。

由此，作为控制装置的乐器，可以在演奏中与自身的演奏操作相对应，而控制外部设备。例如，演奏者在演奏中可以通过演奏操作而变更效果器的效果，或者使自动演奏装置(例如卡拉OK等)开始演奏。另外，由于可以与演奏操作相对应而对外部设备进行控制，所以不需要设置新的输入单元。

而且，本发明的控制装置也可以采用下述结构，即，不仅与演奏操作相对应，还与通过设置在本装置中的姿势传感器获得的姿势信息(演奏者的表演)相对应，而对外部设备进行控制。

由此，由于演奏者仅通过进行将控制装置的朝向变更等的表演，就可以控制外部设备，所以不会对与演奏中的乐曲相对应，通过演奏操作而生成的音频信号造成影响。

而且，本发明的控制装置具有测量单元，其对演奏开始后的经过时间及拍数进行测量。控制装置将接受用于控制外部设备的演奏操作输入的接受期间，与控制信号相对应地存储在存储单元中。另外，控制装置也可以采用在测量单元所测量出的经过时间处于接受期间内的期间，从存储单元中取得与演奏操作对应的控制信号的结构。例如，仅在高潮区间变更效果器的效果，或者仅在独奏的时间提高混频器的音量。

由此，由于控制装置可以与演奏开始后经过的时间相对应而控制外部设备，所以即使是相同的操作，也可以与经过时间相对应，对不同的外部设备进行控制。特别地，由于控制装置可以与经过时间相对应而对外部设备(例如，效果器及吉他放大器)进行控制，变更效果及音量，所以优选在对曲调与经过时间对应地变化的乐曲进行演奏的情况下使用。

另外，本发明的控制装置也可以采用具有登录单元的结构，该登录单元将用于控制外部设备的操作和与该操作对应的控制信号相关联，而进行登录。

由此，演奏者与演奏的乐曲相对应，将控制信号与在特定的定时出现的演奏操作、及不会对通过演奏操作而生成的音频信号造成影响的演奏操作相关联，并预先进行登录。另外，演奏者通过执行已登录的演奏操作，可以对外部设备进行控制。例如，演奏者将控制信号与表示独奏开始的演奏操作相关联，并预先进行登录。然后，如果演奏者进行独奏，则控制装置对聚光灯进行控制，可以将聚光灯的焦点对准演奏者。另外，例如，将控制信号与在演奏的乐曲中不出现的演奏操作相关联，并预先进行登录。然后，如果演奏者在乐曲间隔中以不产生与演奏操作相对应的音频信号的方式进行已登录的演奏操作，则控制装置可以对效果器进行控制而变更音效。

另外，本发明的控制装置具有由拾音器和音声传声器构成的音频信号生成单元，基于控制装置的振动及声音，生成音频信号。另外，控制装置也可以采用将控制信号叠加在生成的音频信号中并进行输出的结构。

由此，控制装置可以追加安装在已有的乐器(例如，原声吉他、三角钢琴、鼓等)上而使用。

“第6实施方式”

图21是表示本发明的实施方式所涉及的声音处理系统的结构的图。声音处理系统由序列数据输出装置以及译码装置构成。在图21(A)中，示出了电子乐器(电子钢琴)兼作输出作为基准时钟的速度信息的装置的例子。在本实施方式中，说明作为序列数据将演奏信息向音频信号中叠加的例子。

图21(A)所示的电子钢琴3001具有控制部3011、演奏信息取得部3012、乐音生成部3013、基准时钟叠加部3014、数据叠加部3015、输出接口(I/F)3016、基准时钟生成部3017、以及定时计算部3018。另外，有时将基准时钟叠加部3014和数据叠加部3015一起简称为叠加部。

演奏信息取得部3012与演奏者的演奏操作相对应，取得演奏信息。将取得的演奏信息向乐音生成部3013以及定时计算部3018输出。演奏信息是例如按下的键盘的信息(音符编号)、按键的定时(音符开始、音符停止)、按压键盘的速度(力度)等。输出哪个演奏信息(基于哪个演奏信息生成乐音)，是通过控制部3011进行指示的。

乐音生成部3013内置有音源，与控制部3011的指示(音量等的设定)相对应，从演奏信息取得部3012输入演奏信息，并生成乐音(音频信号)。

基准时钟生成部3017生成与设定的速度相对应的基准时钟。在利用速度时钟作为基准时钟的情况下，速度时钟是例如以MIDI时钟(每4个音符为24个时钟)为标准的时钟，始终进行输出。基准时钟生成部3017将生成的基准时钟向基准时钟叠加部3014以及定时计算部3018输出。

另外，也可以设置与速度时钟相对应而生成节拍音的节拍音生成部，将节拍音与演奏的乐音进行混频，从头戴式耳机I/F等输出。在此情况下，演奏者一边收听从头戴式耳机听到的节拍音(速度)，一边进行演奏。

另外，也可以构成为，在电子钢琴3001中设置专用于输入速度信息的操作件(分线开关等，图中虚线的速度信息输入部)，将演奏者划分的节拍作为基准速度信号而输入，并提取速度信息。

基准时钟叠加部3014将基准时钟向从乐音生成部3013输入的音频信号中叠加。叠加方式使用如叠加的信号难以被听到那样的方法。例如，通过不会在听感上产生不适感的微弱电平而叠加PN代码(M系列)那样的伪噪声。此时，可以将叠加伪噪声的频带限制在可听范围以外(大于或等于20kHz)的频带中。另外，在由于D/A变换及压缩音频的编码等而无法使用非可听频带的结构的情况下，即使对于例如大于或等于15kHz的高频带，也可以减少对听感上的影响。由于如M系列那样的伪噪声的自相关性非常高，所以通过在译码侧求出音频信号和与叠加的伪噪声相同的代码之间的相关值，可以提取出基准时钟。另外，并不限于M系列，也可以使用Gold系列等其他的随机数。

使用图21(B)及图21(C)，说明译码侧的基准时钟提取处理。图21(B)所示的译码装置3002具有下述功能，即：作为对音频信号进行录音的录音机的功能；作为对音频信号进行播放的播放机的功能；以及作为对叠加在音频信号中的基准时钟进行译码的译码机的功能。在这里，对于图21(B)所示的译码装置3002，主要说明对叠加在音频信号中的基准时钟进行译码的功能。

在图21(B)中，译码装置3002具有：输入I/F 3021、控制部3022、存储部3023、基准时钟提取部3024、以及定时提取部3025。控制部3022对从输入I/F 21输入的音频信号进行录音，作为通用的音频数据而记录在存储部3023中。另外，控制部3022读出记录在存储部3023中的音频数据，并向基准时钟提取部3024输出。

基准时钟提取部3024生成与由电子钢琴3001的基准时钟叠加部3014产生的伪噪声相同的伪噪声，并求出与播放的音频信号之间的相关值。由于叠加在音频信号中的伪噪声是自相关性非常高的信号，所以如果求出音频信号与伪噪声之间的相关值，则如图21(C)所示，定期地提取出陡立的峰。该相关值的峰值产生定时表示基准时钟。

另外，在使用速度信息作为基准时钟的情况下，通过在拍定时和小节定时叠加多个不同的伪噪声，由此可以在译码侧对拍定时和小节定时进行区分。在此情况下，也可以设置多个拍定时提取用和小节定时提取用的速度时钟提取部。通过在拍定时和小节定时，将不同形式的伪噪声叠加，由此伪噪声彼此不会发生干涉，可以针对拍定时、小节定时分别高精度地进行叠加、译码。

如果按照上述方式提取出的基准时钟是以MIDI时钟等速度信息为基准的，则可以在通过定序器进行的自动演奏中使用。例如，可以利用定序器实现反映了自身演奏速度的自动演奏。

在图21(A)中，基准时钟叠加部3014在每次从基准时钟生成部3017输入基准时钟时，生成规定长度的伪噪声并向音频信号中叠加，向数据叠加部3015输出。另外，定时计算部3018从演奏信息取得部3012中取得演奏信息，并向数据叠加部3015输出。

数据叠加部3015在从基准时钟叠加部3014输入的音频信号中叠加演奏信息。此时，定时计算部3018对基准时钟和数据叠加部3015中的演奏信息的叠加定时之间的时间差进行计算，与演奏信息一起，将与该时间差相关的信息向数据叠加部3015输出。与时间差相关的信息由与基准时钟的差(偏差值)表示。另外，为了可以向音频信号中叠加演奏信息以及偏差值，定时计算部3018将这些数据变换为规定的数据形式，并向数据叠加部3015输出(参照图22(A))。

数据叠加部3015向音频信号中叠加从定时计算部3018输入的演奏信息以及偏差值。叠加方式为，通过将高频率的载波信号按照演奏信息及偏差值(0、1的数据代码序列)进行相位调制，从而使与音频信号的频率成分(音声信号成分)不同的频带中包含调制成分。另外，也可以使用如下述所示的频谱扩展。

图25(A)是表示使用频谱扩展的情况下的数据叠加部3015的结构的一个例子的框图。另外，在该图中，全部作为数字信号处理进行说明，但向外部输出的信号也可以是模拟信号(模拟变换后的信号)。

在本例中，通过利用乘法器3155对扩展代码生成部3154输出的M系列的伪噪声代码(PN代码)和演奏信息以及偏差值(0、1的数据代码序列)进行乘法计算，从而对数据代码序列进行频谱扩展。将扩展后的数据代码序列向XOR电路3156输入。XOR电路3156输出从乘法器3155输入的代码和经由延迟器3157输入的一个采样前的输出代码之间的“异”，对扩展后的数据代码序列进行差分编码。将差分编码后的信号形成为以-1、1进行二值化的代码。通过输出二值化为-1、1的差分代码，并在译码侧对连续的2个采样的差分代码进行乘法计算，由此可以提取出扩展后的数据代码序列。

另外，差分编码后的数据代码序列由LPF(奈奎斯特滤波器)3158将频带限制在基础频带内，并向乘法器3160输入。乘法器3160对载波信号生成器3159输出的载波信号(与音声信号成分相比高频带的载波信号)和LPF 3158的输出信号进行乘法计算，将差分编码后的数据代码序列向通带进行频移。另外，差分编码后的数据代码序列也可以在上采样后进行频移。频移后的数据代码序列由增益调整器3161进行增益调整，在利用加法器3153与音频信号进行混频后，向输出I/F 3016输出。

另外，从基准时钟叠加部3014输出的音频信号，由LPF 3151将通带的频带截去，在由增益调整器3152进行增益调整后向加法器3153输入，但LPF 3151不是必须的，不需要对音声信号成分和调制信号成分(叠加的数据代码序列的频率成分)完全地进行频带分割。例如，只要将载波信号设为20～25kHz程度，则即使音声信号成分和调制信号成分有一些重复，收听者也难以听出调制信号，且可以确保能够对数据代码序列进行译码的程度的SN比。另外，优选叠加数据代码序列的频带采用大于或等于20kHz的非可听频带，但在由于D/A变换及压缩音频的编码等而无法使用非可听频带的结构的情况下，通过向例如大于或等于15kHz的高频带中叠加数据代码序列，由此可以减少对听感上的影响。

如上述所示，将叠加有数据代码序列(演奏信息以及偏差值)以及基准时钟的音频信号从作为音频输出端子的输出I/F 3016输出。

译码装置3002如上述所示通过基准时钟提取部3024进行基准时钟的译码，并且通过定时提取部3025对叠加在音频信号中的演奏信息以及偏差值进行译码。在使用上述频谱扩展的情况下，按照下述方式进行。

图25(B)是表示定时提取部3025的结构的一个例子的框图。将向定时提取部3025输入的音频信号，向HPF 3251输入。HPF 3251是用于除去音声信号成分的滤波器。将HPF 3251的输出信号向延迟器3252以及乘法器3253输入。将延迟器3252的延迟量设定为与差分代码的1个采样相应的时间。在对差分代码进行上采样的情况下，设定为与上采样后的一个采样相应的时间。乘法器3253对从HPF3251输入的信号和从延迟器3252输出的一个采样前的信号进行乘法计算，进行延迟检波处理。由于差分编码后的信号被二值化为-1、1，表示相对于一个采样前的代码的相位变化，所以通过与一个采样前的信号进行乘法计算，从而提取差分编码前的演奏信息以及偏差值(扩展后的代码)。

然后，乘法器3253的输出信号经由奈奎斯特滤波器即LPF 3254而作为基础频带信号被提取，并向相关器3255输入。相关器3255利用与上述扩展代码生成部3254输出的扩展代码相同的扩展代码，求出与输入信号之间的相关值。由于扩展代码使用自相关性高的PN代码，所以相关器3255输出的相关值通过峰值检测部3256，以扩展代码的周期(数据代码的周期)提取正负的峰值成分。代码判定部3257将各峰值成分作为演奏信息以及偏差值的数据代码(0、1)进行译码。按照上述方式，对叠加在音频信号中的演奏信息以及偏差值进行译码。另外，叠加侧的差分编码处理、译码侧的延迟检波处理不是必须的。另外，对于基准时钟，也可以通过将扩展代码按照基准时钟进行相位调制，从而向音频信号中叠加。

下面，图22是表示在音频信号中进行叠加的数据例、以及基准时钟和偏差值的关系的图。首先，在图22(A)中，示出实际的演奏开始定时(乐音产生定时)和演奏信息记录定时一致的例子。在此情况下，定时计算部3018对与前一个基准时钟之间的差进行检测，计算相对于乐音产生的时间差(偏差值)，并生成图22(B)所示的数据。

如图22(B)所示，叠加在音频信号中的数据由偏差值以及演奏信息构成。偏差值表示演奏信息记录定时(演奏开始定时)和前一个基准时钟之间的时间差时间差(msec)。

由于在图22(A)及图22(B)所示的例子中，演奏开始定时和基准时钟之间的时间差为200msec，所以偏差值＝200。由此，定时计算部3018将“偏差值＝200”的信息、以及包含演奏信息的数据向数据叠加部3015输出。

如上述所示，由于电子钢琴3001将相对于基准时钟的偏差值向音频信号中叠加并进行输出，所以可以以高分辨率嵌入与时间差相关的信息。例如，假设采样频率为44.1kHz，相对于对2047点的M系列信号进行16倍过采样时的周期、即大约740msec周期的基准时钟，采用8bit的偏差值，则可以得到3msec程度的高分辨率。另外，由于将相对于基准时钟的偏差值作为与时间差相关的信息而记录，所以在播放侧不需要从开头读出音频信号。

下面，图23是表示叠加在音频信号中的数据的其他例子的图。在图23(A)中，示出从演奏开始定时延迟7拍，而使数据叠加部3015叠加数据的例子。从乐音的产生至数据叠加为止的延迟，在例如存在无音区间，无法叠加水印信息的情况下，或者直至取得演奏信息为止的延迟较大的情况下等发生。定时计算部3018对上述无音区间进行检测，计算相对于乐音产生的时间差，并生成图23(B)所示的数据。

如图23(B)所示，在本例中，作为偏差值，规定了基准时钟偏差值和时钟内偏差值。基准时钟偏差值表示演奏信息记录定时的前一个基准时钟、与实际的演奏开始定时的前一个基准时钟之间的差(时钟的数量)。时钟内偏差值表示演奏开始定时与其前一个基准时钟之间的时间差(msec)。

在图23(A)及图23(B)所示的例子中，由于从演奏开始定时的前一个基准时钟至演奏信息记录定时的前一个基准时钟为止的差存在7个时钟，所以基准时钟偏差值＝7。另外，由于演奏开始定时与前一个基准时钟之间的时间差为200msec，所以时钟内偏差值＝200。由此，定时计算部3018将“基准时钟偏差值＝7、时钟内偏差值＝200”的信息、以及含有演奏信息的数据向数据叠加部3015输出。

另外，在从指示演奏开始至乐音产生为止的延迟时间固定的情况下，只要定时计算部3018从取得演奏信息的定时始终减去固定的值而计算出偏差值即可。

另外，如果基准时钟偏差值为0，则不需要与基准时钟偏差值相关的信息，因此，与图22(A)及图22(B)所示的例子相同。在实际使用中，图22(A)及图22(B)所示的状况较多的情况下，也可以如下述所示，将基准时钟偏差值的有无规定为1位的标志，以减少数据容量。

即，如图23(C)所示，在数据的开头规定表示基准时钟偏差值有无的标志(flag)。由于在标志为0的情况下基准时钟偏差值为0，所以在数据中仅包含如图23(D)所示的时钟内偏差值。由于在标志为1的情况下基准时钟偏差值大于或等于1(或者如后述所示小于或等于-1)，所以如图23(E)所示形成为包含基准时钟偏差值、时钟内偏差值、以及演奏信息的数据。

另外，如图24所示，即使在演奏开始定时迟于演奏信息记录定时的情况(指定未来时间的情况)下，也可以对偏差值进行计算并叠加。在此情况下，只要将基准时钟偏差值作为负值(例如基准时钟偏差值＝-3)即可。适合于例如自动演奏钢琴等从指示演奏开始至产生实际的乐音为止产生较长的机械延迟的情况。另外，在叠加于音频信号中的序列数据为用于控制外部设备(效果器、照明等)的控制信息的情况下、以及演奏者进行操作输入以提前几秒开始动作的情况下等也适用。

下面，对基准时钟和偏差值的利用方式进行说明。在图21(B)中，将从输出I/F 3016输出的音频信号向译码装置2输入。另外，由于从电子钢琴3001输出的音频信号可以与通常的音频信号相同地进行处理，所以可以利用其他通常的录音机进行录音。另外，由于录音后的音频数据为通用的音频数据，所以可以利用通常的音频播放机进行播放。

控制部3022读出记录在存储部3023中的音频数据，并向定时提取部3025输出。定时提取部3025对叠加在音频信号中的偏差值以及演奏信息进行译码，并向控制部3022输入。控制部3022基于从基准时钟提取部3024输入的基准时钟和上述偏差值，将音频信号和演奏信息同步并向外部输出。另外，在作为基准时钟而使用速度时钟的情况下，此时也可以输出速度时钟。

输出的音频信号和演奏信息被使用在乐谱显示等中。例如，通过基于包含在演奏信息中的音符编号，将乐谱显示在显示器中，并且对乐音进行放音，由此可以作为练习用教材使用。另外，也可以向定序器等中输出，而进行与音频信号同步的自动演奏。如上述所示，由于基准时钟偏差值也可以使用负值，所以即使在演奏开始定时迟于演奏信息记录定时的情况下，也可以准确地进行同步演奏。

另外，优选控制部3022将某种程度的音频数据在内置RAM(未图示)等中缓冲后进行播放，或者事先进行译码，预先读出演奏信息和偏差值。

另外，本实施方式的序列数据输出装置并不限于内置在电子乐器中的方式，也可以追加安装在已有乐器上。在此情况下，设置音频信号的输入端子，向从输入端子输入的音频信号中叠加控制信号。例如，也可以通过与具有线路输出端子的电吉他连接，或者与通常的传声器连接，从而取得音频信号，而且，通过追加安装传感器电路，而取得演奏信息。由此，即使在原声乐器中，也可以使用本发明的序列数据输出装置。

序列数据输出装置(演奏相关信息输出装置)具有输出单元，其输出与演奏者的演奏操作相对应而生成的音频信号。在音频信号中，将基准时钟和根据演奏者的操作而得到的序列数据(演奏信息及外部设备的控制信息)，叠加在与该音频信号的频率成分相比更高的频带中。在作为基准时钟而利用速度信息的情况下，将速度信息作为如MIDI时钟那样的节拍(beat)信息(速度时钟)进行叠加。该节拍信息通过例如自动演奏系统(定序器)而始终进行输出。另外，在音频信号中，也将与序列数据的叠加定时和基准时钟之间的时间差相关的信息，叠加在与该音频信号的频率成分相比更高的频带中。

因此，序列数据输出装置可以将基准时钟、序列数据、与时间差相关的信息包含在音频信号中(由1根传输线)而进行输出。另外，由于对于输出的音频信号可以与通常的音频信号相同地进行处理，所以可以利用录音机等进行录音，并作为通用的音频数据而使用。另外，在作为基准时钟而利用速度信息的情况下，由于在音频信号中嵌入有速度时钟与进行序列数据叠加的定时之间的时间差，所以如果序列数据为MIDI数据(演奏信息)，则可以实现与已有自动演奏装置之间的同步。另外，通过对与基准时钟之间的时间差进行校正，可以实时地对演奏信息的生成延迟、至乐音产生为止的机械延迟等进行校正。

另外，由于采用对与以一定间隔产生的基准时钟之间的时间差进行叠加的方式，所以不需要从音频信号的开头读出，可以以高分辨率嵌入与时间差相关的信息。例如，在将与时间差相关的信息利用与前一个基准时钟之间的差(偏差值)表示的情况下，假设采样频率为44.1kHz，相对于对2047点的M系列信号进行16倍过采样时的周期、即大约740msec周期的基准时钟，采用8bit的偏差值，则可以得到3msec程度的分辨率，也可以在如乐器演奏那样需要高分辨率的情况下使用。

序列数据输出装置以使与对应于演奏操作而生成的音频信号的频率成分相比更高的频带中包含所叠加的信息(例如上述与时间差相关的信息)的调制成分的方式，对该信息进行叠加并输出。例如，也可以通过利用上述与时间差相关的信息对M系列伪噪声(PN代码)进行相位调制，而进行编码。优选叠加与时间差相关的信息的频带采用大于或等于20kHz的非可听频带，但在由于D/A变换及压缩音频的编码等而无法使用非可听频带的结构的情况下，向例如大于或等于15kHz的高频带中叠加与时间差相关的信息，减少对听感上的影响。另外，对于序列数据及速度信息，也可以使用相同于与时间差相关的信息的叠加方式。

另外，序列数据也可以与演奏者的操作输入相对应而生成。在此情况下，对操作输入定时(例如乐音产生定时)和序列数据的叠加定时之间的差进行叠加。

另外，序列数据输出装置包含内置于电子钢琴等电子乐器中的方式、从已有的乐器输入音频信号的方式、以及利用传声器对原声乐器或歌声进行拾音而输入音频信号的方式等。

另外，也可以是使用上述的序列数据输出装置，形成进一步具有译码装置的声音处理系统的方式，其中，该译码装置用于对上述序列数据进行译码。

在此情况下，译码装置对音频信号进行缓冲，或者预先根据音频信号对各种信息进行译码，基于译码后的基准时钟以及偏差值，使音频信号和序列数据同步。

另外，序列数据输出装置的叠加单元通过在基于上述基准时钟的定时向上述音频信号中叠加伪噪声，而叠加上述基准时钟。作为伪噪声使用例如PN代码那样的自相关性高的信号。在作为基准时钟而使用速度信息的情况下，序列数据输出装置在基于演奏速度的定时(例如每拍)生成自相关性高的信号，并向音频信号中叠加。由此，即使作为模拟音频信号而进行放音，也不会丢失叠加的速度信息。

译码装置具有：输入单元，其输入上述音频信号；以及译码单元，其对基准时钟进行译码。译码单元求出向输入单元输入的音频信号与上述伪噪声之间的相关值，基于该相关值的峰值产生定时，对上述基准时钟进行译码。由于叠加在音频信号中的伪噪声是自相关性非常高的信号，所以如果通过译码装置求出音频信号和伪噪声之间的相关值，则提取出固定周期的相关值的峰值。因此，相关值的峰值产生定时表示基准时钟。

由于如PN代码那样的自相关性高的伪噪声，即使为低电平也可以提取出相关值的峰值，所以为听感上没有不适感的声音(难以听出的声音)，并且可以高精度地对速度信息进行叠加、译码。另外，如果将伪噪声仅叠加在大于或等于20kHz等的高频带中，则可以更难以听到。

另一方面，对于序列数据的叠加方式，可以使用任何方式。例如，可以使用频谱扩展、通过调制方式实现的水印技术，也可以是向大于或等于16kHz的可听频带以外的频带中嵌入信息的方式。

本申请基于2008年7月29日申请的日本专利申请(特愿2008-194459)、2008年7月30日申请的日本专利申请(特愿2008-195687)、2008年7月30日申请的日本专利申请(特愿2008-195688)、2008年8月20日申请的日本专利申请(特愿2008-211284)、2009年7月22日申请的日本专利申请(特愿2009-171319)、2009年7月22日申请的日本专利申请(特愿2009-171320)、2009年7月22日申请的日本专利申请(特愿2009-171321)、2009年7月22日申请的日本专利申请(特愿2009-171322)，在此引用其内容作为参照。

工业实用性

根据本发明所涉及的演奏相关信息输出装置，不会损坏音频数据的通用性，可以向模拟音频信号中叠加演奏相关信息(例如，表示演奏者的演奏操作的演奏信息、表示演奏速度的速度信息、或者用于控制外部设备的控制信号等)并进行输出。