内容数据再现设备、内容数据再现方法和声音处理系统

摘要

本发明涉及一种内容数据再现设备、内容数据再现方法和声音处理系统。再现设备(2)利用麦克风(20)收集叠加有扩频码的声音，以计算收集到的声音信号和与进行叠加的设备的扩频码相同的扩频码之间的相关值，从而根据计算出的相关值的峰的强度来识别由再现设备(1)再现的内容。控制部(22)识别与识别出的内容相关并且为再现设备(2)所需的内容。控制部(22)从内容数据存储部(25)读出识别出的内容数据，以将乐谱数据和音频数据分别输出至显示部(23)和再现部(26)。显示部(23)在画面上显示所输入的乐谱数据，而再现部(26)再现所输入的音频数据以生成声音信号。

说明书

技术领域

本发明涉及用于再现内容数据的内容数据再现设备和使用该内容数据再现设备的声音处理系统。

背景技术

传统上，存在以下系统：利用该系统将歌曲信息作为电子水印叠加在音频数据上，使得接收到音频数据的设备可以识别该音频数据的内容(参见日本特开2002-314980号公报)。

发明内容

然而，传统的接收音频数据的设备仅识别内容，而不与其它设备进行任何协作操作。

因此，本发明提供一种识别内容并能够与其它设备进行协作操作的内容再现设备。

本发明的内容数据再现设备包括：输入部件，用于输入叠加有第一信息的声音信号，其中所述第一信息用于识别要再现的内容数据；内容数据识别部件，用于基于叠加在所述声音信号上的所述第一信息来识别要再现的内容数据；以及再现部件，用于再现所识别出的内容数据。所述输入部件可以通过利用麦克风收集声音来输入声音信号，或者通过经由使用音频线缆的线路进行传输来输入声音信号。此外，内容数据再现的概念不仅包括声音再现，而且还包括图像显示。

如上所述，在声音信号叠加有用于识别内容数据的第一信息的情况下，可以通过解调第一信息来识别由不同的设备再现的内容数据。例如，在采用相位调制作为数据叠加手段的情况下，进行调制的设备使用用于识别内容数据的信息(内容识别信息)的位数据(bit data)(0，1)来对扩频码(spread code)进行相位调制(反转)，而进行解调的设备判断相关值的峰为正还是为负以解码位数据。

内容数据再现设备根据解码出的位数据识别内容数据，以进一步识别与所识别出的内容数据相关且由该内容数据再现设备再现该所识别出的内容数据时所需的内容数据。内容数据再现设备所需的内容可以是与其它设备再现的内容数据相同的内容数据，或者也可以是不同的内容(例如，在其它设备正在再现音频数据的情况下，所需的内容可以是乐谱数据)。例如，在其它设备正在发出钢琴演奏的声音(叠加有内容识别信息的钢琴声音)的情况下，本发明的内容数据再现设备可以收集这些钢琴声音，以再现作为与这些钢琴声音相关的内容数据的伴奏声音(accompaniment sound)。

此外，内容数据识别部件可以根据再现部件能够再现的内容数据来识别所需的内容数据。例如，在内容数据再现设备是能够再现音频数据的数字音频播放器的情况下，内容数据识别部件识别音频数据作为所需的内容数据。在内容数据再现设备是自动演奏设备的情况下，内容数据识别部件可以识别乐器数字化接口(MIDI)数据作为所需的内容数据。在内容数据再现设备是具有显示部件的设备的情况下，内容数据识别部件可以识别乐谱数据作为所需的内容数据。

此外，叠加在声音信号上的信息可以包括表示再现内容数据的时刻的同步信息。例如，在设备发送叠加有符合MIDI的参考时钟(MIDI-compliant reference clock)作为同步信息的声音信号的情况下，接收到这些声音信号的设备能够通过利用解码出的参考时钟使音序器工作来进行自动演奏。因此，由其它设备进行的内容数据再现可以与由内容数据再现设备进行的内容数据再现同步。在其它设备是再现MIDI数据的自动演奏乐器(例如，自动演奏钢琴)的情况下，当将本发明的内容数据再现设备置于该其它设备附近以收集钢琴声音时，该内容数据再现设备再现与这些钢琴声音同步的伴奏声音。在本发明的内容数据再现设备具有显示部件的情况下，该内容数据再现设备还能够与钢琴声音同步地显示乐谱以表示当前再现的位置，从而还随着再现歌曲的进度来更新所显示的乐谱。

此外，内容数据再现设备可以包括叠加部件，该叠加部件用于在再现部件要再现的内容数据的声音信号上叠加作为用于识别要再现的内容数据的信息且不同于第一信息的第二信息。在这种情况下，可以实现在多个内容数据再现设备之间协作再现内容数据。例如，该内容数据再现设备可以从位于远离家的商店处的其它设备获取内容数据，且该内容数据再现设备可以在家往该内容数据上再次叠加信息，从而与时间上的差异和位置上的差异无关地实现设备之间的协作操作。

内容数据再现设备还可被配置成将解调出的信息和表示该内容数据再现设备能够再现的内容数据的信息(例如，表示该设备的功能的信息，诸如该设备是否具有显示部件等)发送至服务器，从而该服务器将提取出相关内容数据。

根据本发明，内容数据再现设备获取与识别出的内容数据相关且为该内容数据再现设备所需的相关内容数据，然后再现获取到的内容数据，从而使得可以与其它设备进行协作操作。

附图说明

图1A是表示声音处理系统的示例基本结构的框图；

图1B是表示声音处理系统的其它示例基本结构的框图；

图2A是表示图1A所示的再现设备1的结构的框图；

图2B是表示图2A所示的叠加部的示例结构的框图；

图3A是表示图1A所示的再现设备2的结构的框图；

图3B是表示图3A所示的解调部的示例结构的框图；

图4A是表示存储在再现设备的内容数据存储部中的数据库的图；

图4B是表示存储在服务器的歌曲信息存储部中的数据库的图；

图5是表示图1A所示的再现设备3的结构的框图；

图6是表示再现设备的示例硬件结构的框图；

图7是由图6所示的再现设备执行的编码程序的流程图；

图8是由图6所示的再现设备执行的解码程序的流程图；

图9是表示根据应用例1的声音处理系统的结构的框图；

图10是表示根据应用例1的再现设备5的结构的框图；

图11是表示根据应用例2的声音处理系统的结构的框图；以及

图12是表示根据应用例2的再现设备6的结构的框图。

具体实施方式

图1A表示根据本发明实施例的声音处理系统的结构。该声音处理系统具有经由网络7相互连接的再现设备1、再现设备2、再现设备3和服务器9。再现设备1连接有扬声器10。再现设备2连接有麦克风20。再现设备3连接有麦克风30。再现设备1再现特定的内容数据以从扬声器10发出声音(例如，发出钢琴演奏的乐音)。

麦克风20和麦克风30既可以与它们各自的再现设备2、3一体化，也可以经由线路端子设置在各自再现设备2、3的外部。此外，如图1B所示，在无麦克风的情况下，再现设备1、2和3可以通过音频线缆彼此连接。麦克风20和麦克风30收集声音(从扬声器10发出的声音)，并将收集到的声音信号分别输出至再现设备2和再现设备3。再现设备2和再现设备3根据叠加在所输入的声音信号上的信息识别再现设备1当前再现的内容，以再现与再现设备1当前再现的内容相关且为再现设备2和再现设备3各自所需的内容数据。在再现设备2和再现设备3未配置有它们各自所需的内容数据的情况下，再现设备2和再现设备3经由网络获取各自所需的内容数据，以再现所获取到的内容数据。如上所述，声音处理系统使得这些设备可以彼此协作。例如，在再现设备1正在发出钢琴演奏的声音(叠加有用于识别内容的信息的声音)的情况下，再现设备2收集这些钢琴声音以再现作为与这些钢琴声音相关的内容的伴奏音。

图2A是表示再现设备1和服务器9的结构的框图。再现设备1具有控制部11、内容数据存储部12、再现部13、叠加部14和通信部15。服务器9具有通信部91、控制部92和歌曲信息存储部93。

将内容数据从内容数据存储部12输入至控制部11。作为包括了诸如歌曲名和歌手名等的歌曲信息的数据的内容数据由诸如MPEG1音频层3(MP3)等的压缩数据或乐器数字化接口(MIDI，Musical Instrument Digital Interface)数据等构成。在该例子中，将内容数据存储在本设备中。然而，本设备可以从外部接收作为电视广播的内容数据，也可以通过网络从外部(例如，从服务器9)接收内容数据。可选地，本设备可以从诸如CD等的介质接收PCM数据和内容表(TOC，Table of Contents)。

控制部11将所读取到的内容数据输入至再现部13。再现部13再现所输入的内容数据以生成声音信号。在内容数据是压缩音频的情况下，再现部13对这些声音信号进行解码并将解码后的信号输出至叠加部14。在内容数据是MIDI数据的情况下，再现部13控制音调发生器(未示出)以生成乐音(声音信号)，并将这些乐音输出至叠加部14。

另外，控制部11将用于识别要再现的内容的信息(内容识别信息)输入至叠加部14以叠加在将输出的声音信号上，以使得该内容识别信息将被叠加在将输出的声音信号上。内容识别信息包括上述的歌曲信息和歌曲ID等。对每首歌曲设置歌曲ID作为特有ID。通过将从内容数据获取到的歌曲信息通过通信部15发送至服务器9，控制部11获取该内容的歌曲ID。更具体地，具有歌曲信息存储部93的服务器9基于控制部92通过通信部91接收到的歌曲信息来参考歌曲信息存储部93以识别歌曲ID，其中，歌曲信息存储部93存储了将歌曲信息与歌曲ID相关联的数据库(参见图4B)。将识别出的歌曲ID发送至再现设备1的控制部11。歌曲信息存储部93还具有诸如致密盘数据库(CDDB，Compact Disk Database)等的数据库。因此，在控制部11已从介质接收到TOC的情况下，控制部11将该TOC发送至服务器9以获取歌曲信息。

叠加部14对例如从控制部11输入的内容识别信息进行调制，并将调制成分(modulated component)叠加在从再现部13输入的声音信号上。将已经叠加有调制成分的声音信号提供给扬声器10，以发出这些声音信号。

叠加部14的叠加方案可以是任何方案，但优选人类听不见调制成分的方案。例如，以高频按听觉上不怪异的非常弱的水平来叠加诸如最大长度序列(m序列，m-sequence)或黄金序列(gold-sequence)等的扩频码(伪噪声码(PN码))。在利用扩频码等将信息预先叠加在内容数据上的情况下，叠加部14对于再现设备1而言不是必需的。

图2B是表示叠加部14的示例结构的框图。叠加部14具有低通滤波器(LPF)140、加法器141、扩频码生成部142、乘法器144、异或(exclusive OR)电路(XOR电路)145、延迟装置146、LPF 147、乘法器148和载波信号生成器149。

扩频码生成部142根据控制部11作出的指示，按固定间隔生成为m序列等的扩频码。乘法器144将扩频码生成部142生成的扩频码和内容识别信息(使用-1和1的二值化的码序列)相乘。结果，对扩频码进行了相位调制。更具体地，在位数据为“1”的情况下，扩频码相位不变。在位数据为“0”的情况下，扩频码相位反转。

将相位调制后的扩频码输入至XOR电路145。XOR电路145输出从乘法器144输入的码和通过延迟装置146输入的紧挨着的前一样本的输出码之间异或的结果。将差分编码之后的信号二值化为-1或1。由于输出了二值化为-1或1的差分码，因此进行解调的设备能够通过将连续两个样本的差分码相乘来提取差分编码前的扩频码。

在LPF 147中，将差分编码后的扩频码带限在基带内，并将带限后的扩频码输入至乘法器148。乘法器148将从载波信号生成器149输出的载波信号(比内容数据的声音信号的听得见的频带高的载波信号)与从LPF 147输出的信号相乘，以将差分编码后的扩频码的频率移位至通带。可在频移之前对差分编码后的扩频码进行上采样(upsample)。加法器141将频移后的扩频码与内容数据的声音信号组合在一起。LPF 140将内容数据的声音信号限制为与扩频码的频率成分的频带不同的频带。

优选叠加扩频码的频带是20kHz以上的听不见的频带。然而，在该听不见的频带由于D/A转换或压缩音频的编码等而不可用的情况下，10～15kHz量级的频带也可能降低听觉效果。此外，在该例子中，LPF 140使内容数据的声音信号的频带与扩频码的频带完全分离。然而，即使内容数据的声音信号的频带与伪噪声的频率成分的频带略微重叠，也可以使听众难以听到调制信号并且确保了使得收集声音的设备能够解调调制成分的S/N比。

再现设备2和再现设备3分别利用麦克风20和麦克风30收集叠加有扩频码的声音，计算收集到的声音信号和与叠加部14的扩频码相同的扩频码之间的相关值，以根据所计算出的相关值的峰解码内容识别信息(诸如歌曲名、歌手名和演奏者名等的歌曲信息以及歌曲ID)。

图3A是表示再现设备2和服务器9的结构的框图。再现设备2具有通信部21、控制部22、显示部23、解调部24、内容数据存储部25、再现部26和扬声器27。解调部24解调叠加在从麦克风20输入的声音信号上的信息，以解码内容识别信息。在该例子中，再现设备既具有显示部又具有再现部。然而，再现设备可以仅配置有显示部或仅配置有再现部。

图3B是表示解调部24的结构的框图。解调部24具有HPF241、延迟装置242、乘法器243、LPF 244、相关器245、峰检测器246和码判断部247。将麦克风20收集到的声音输入至HPF241。HPF 241是用于去除内容数据的声音信号成分的滤波器。将从HPF 241输出的信号输入至延迟装置242和乘法器243。

延迟装置242的延迟量设置为差分码的1个样本的时间。在上采样差分码的情况下，延迟量设置为上采样的1个样本的时间。乘法器243将从HPF 241输入的信号与从延迟装置242输出的紧挨着的前一样本的信号相乘，以执行延迟检测处理。由于差分编码后的信号被二值化为-1或1以表示相对于紧挨着的前一样本的码的相位偏移，因此可以通过与紧挨着的前一样本的信号相乘来提取差分编码之前的扩频码。

从乘法器243输出的信号通过LPF 244被提取为基带信号以输入至相关器245。由以下的有限冲激响应(finite impulse response)滤波器(FIR滤波器)(匹配滤波器)构成的相关器245获得所输入的声音信号和扩频码之间的相关值：在该有限冲激响应滤波器中，将在扩频码生成器142中生成的扩频码设置为滤波器系数。由于扩频码利用诸如m序列或黄金序列等的高自相关性，因此峰检测器246按扩频码的间隔(按数据码的间隔)提取相关器245输出的相关值的正峰成分和负峰成分。码判断部247将各个峰成分解码为内容识别信息的数据码(正峰为1，而负峰为0)。

在解码出的内容识别信息所包括的信息中，将诸如歌曲名、作曲者名和表演者名等的歌曲信息输入至显示部23以显示在屏幕上。将歌曲ID输入至控制部22以用来识别内容。控制部22根据所输入的歌曲ID识别内容，并进一步识别与所识别出的内容相关且为本设备自身所需的内容数据(与再现设备1的内容数据相同的内容数据、专门针对本设备自身的内容数据或者诸如乐谱数据等的内容数据)。例如，在再现设备如图3A所示具有再现音频数据的功能和显示画面的功能的情况下，控制部22识别音频数据和乐谱数据作为所需的内容数据。在下文中，将这种内容数据称为相关内容数据，并将表示相关内容数据的信息称为可再现内容信息。

更具体地，控制部22在内容数据存储部25中搜索与歌曲ID相对应的相关内容数据(音频数据和乐谱数据)。在内容数据存储部25中，如图4A所示，存储了设备可再现的相关内容数据及其相应的歌曲ID和相应的歌曲信息的组。在控制部22已经找到了相应的相关内容数据的情况下，控制部22从内容数据存储部25读出作为相关内容数据的音频数据和乐谱数据，并将该乐谱数据和该音频数据分别输出至显示部23和再现部26。显示部23根据所输入的乐谱数据显示乐谱，而再现部26再现所输入的音频数据以生成声音信号。将所生成的声音信号输出至扬声器27以作为声音而发出。

在内容数据存储部25没有存储与歌曲ID相对应的相关内容数据的情况下，控制部22将解码出的歌曲ID和表示本设备的再现功能(音频再现功能、乐谱显示功能、自动演奏功能等)的可再现内容信息(包括与本设备可再现的乐器部分有关的信息)发送至通过通信部21连接的服务器9。在图3A所示的结构的情况下，控制部22将解码出的歌曲ID和表示可以进行音频再现和乐谱显示的可再现内容信息发送至服务器9。

服务器9的控制部92基于通过通信部91接收到的各种信息参考歌曲信息存储部93，以提取与再现设备2所需的内容数据等同的相关内容数据。如图4B所示，歌曲信息存储部93存储将各个歌曲ID与歌曲信息及各种相关内容数据相关联的数据库。这些相关内容数据包括歌曲信息、音频数据、乐谱数据和歌曲数据(MIDI数据)等。

控制部92基于接收到的歌曲ID和可再现内容信息获取相关内容数据。在图3A的例子中，由于再现设备2发送了表示可以进行音频再现和乐谱显示的可再现内容信息，因此控制部92获取与接收到的歌曲ID相关联的音频数据和乐谱数据。将获取到的内容数据发送至再现设备2的控制部22并存储在内容数据存储部25中。

控制部22将从服务器9发送来的乐谱数据输出至显示部23，并将音频数据输出至再现部26。显示部23根据所输入的乐谱数据显示乐谱，而再现部26再现所输入的音频数据以生成声音信号。将所生成的声音信号输出至扬声器27以作为声音而发出。

在设备如图5所示的再现设备3那样具有自动演奏功能的情况下，控制部22在内容数据存储部25中搜索与解码出的歌曲ID相对应的歌曲数据(MIDI数据)。如果已经找到了歌曲数据(MIDI数据)，则控制部22读出所找到的歌曲数据(MIDI数据)并将该歌曲数据输出至自动演奏部36。如果内容数据存储部25没有存储相应的相关内容数据，则控制部22将解码出的歌曲ID和表示本设备能够进行自动演奏的可再现内容信息发送至服务器9。再现设备3被配置为与图3A所示的再现设备2相类似，其中，移除了再现设备2中的显示部23，并且代替再现部26而添加了自动演奏部36。

在这种情况下，已经从再现设备3接收到表示该设备能够进行自动演奏的可再现内容信息的服务器9的控制部92获取与识别出的歌曲ID相对应的歌曲数据(MIDI数据)。将获取到的歌曲数据(MIDI数据)发送至再现设备3的控制部22以存储在内容数据存储部25中。再现设备3的控制部22将从服务器9发送来的歌曲数据(MIDI数据)输出至自动演奏部36。自动演奏部36根据所输入的歌曲数据(MIDI数据)随着时间的推移生成乐音信号(声音信号)。将所生成的乐音信号(声音信号)输出至扬声器27以作为乐音(声音)而发出。

以上已经参考功能框图说明了声音处理系统的再现设备1、2、3各自的功能和工作。然而，实际上，这些再现设备1、2、3由各自具有微计算机的设备配置而成，以使得通过程序处理来进行这些工作中的大部分工作。因此，将简要解释这种程序处理的具体例子。例如，再现设备1、2、3配置有如图6的框图所示的硬件结构。

再现设备1、2、3均具有输入操作元件71、输入电路72、解调电路73、显示单元74、再现电路75、叠加电路76、输出电路77、计算机部78、闪速存储器79和通信接口电路80。这些电路和装置71～80连接至总线81。用户操作输入操作元件71从而指示再现设备1、2、3的工作。输入操作元件71通过用于检测输入操作元件71的操作的检测电路82连接至总线81。输入电路72输入来自麦克风83和输入端子84的声音信号(叠加有歌曲信息和歌曲ID等的声音信号)，以将所输入的声音信号从模拟信号转换为数字信号，并将转换后的声音信号提供给总线81和解调电路73。解调电路73被配置为与上述的图3B的解调部24相类似。然而，解调电路73根据计算机部78作出的指示而工作。

显示单元74显示文字、数字、乐谱和图像等。显示单元74通过显示电路85连接至总线81。在计算机部78的控制下，显示电路85控制显示单元74上文字、数字和乐谱等的显示。再现电路75根据诸如键码、键接通信号和键断开信号等的乐音控制信号生成数字乐音信号，并将所生成的数字乐音信号输出至叠加电路76。在将音频信号提供给再现电路75的情况下，由于这些音频信号是压缩的，因此再现电路75对所输入的音频信号进行解码并将解码后的音频信号输出至叠加电路76。叠加电路76被配置为与上述的图2B的叠加部14类似。然而，叠加电路76根据计算机部78作出的指示而工作。在计算机部78的控制下，包括混音电路和D/A转换器的输出电路77将声音信号输出至扬声器86。代替由作为硬件电路的叠加电路76进行上述叠加处理的这种结构，可通过由计算机部78进行程序处理来进行叠加处理。

具有CPU 78a、ROM 78b、RAM 78c和计时器78d的计算机部78通过执行后面将说明的程序来控制再现设备。闪速存储器79用作大容量的非易失性存储器。在闪速存储器79中，存储了图7所示的编码程序和图8所示的解码程序。此外，在闪速存储器79中，还存储了由图4A所示的歌曲ID、歌曲信息和相关内容数据构成的内容。可以将这些数据和程序预先存储在闪速存储器79中。可选地，可以通过通信接口电路80从外部获取这些数据和程序。通信接口电路80连接至与上述服务器9相连接的网络7。然而，通信接口电路80可以在内部设置有无线通信电路和天线等，以通过无线电与服务器9进行通信。

接着，将解释再现设备1、2、3利用如图6所示配置的硬件电路在程序控制下工作的情况。首先，将说明与上述再现设备1的工作相同的工作。用户操作输入操作元件71以使计算机部78执行编码程序。如图7所示，编码程序开始于步骤S10。在步骤S11中，计算机部78从闪速存储器79读出内容数据。在这种情况下，用户使显示单元74显示与闪速存储器79中存储的内容数据的组有关的信息，并且操作输入操作元件71以指定一组内容数据。

在步骤S12中，计算机部78将所输入的该组内容数据提供给再现电路75，并且指示再现电路75再现该组内容数据以再现声音信号。在这种情况下，如果该内容数据是音频数据，则计算机部78执行单独设置的音频再现程序(未示出)，以将随着时间的推移输入的音频数据连续提供给再现电路75。再现电路75对所提供的音频数据进行解码，并将解码后的数据顺次输出至叠加电路76。如果该内容数据是MIDI数据，则计算机部78执行单独设置的MIDI数据再现程序(例如，自动演奏程序)，以将随着时间的推移输入的MIDI数据(诸如键码、键接通信号和键断开信号等的乐音控制数据)顺次提供给再现电路75。再现电路75使得音调发生器可以利用所提供的MIDI数据生成乐音信号(声音信号)，并将所生成的乐音信号顺次输出至叠加电路76。

在步骤S12之后，在步骤S13中，计算机部78将伴随内容数据的歌曲信息(歌曲名、歌手名和演奏者名)通过通信接口电路80发送至服务器9，以获取内容识别信息(在这种情况下，获取歌曲ID)。如果计算机部78已经获得了歌曲ID，则不需要进行步骤S13。然后，计算机部78进入步骤S14，以将内容识别信息(诸如歌曲名、歌手名和表演者名等的歌曲信息以及歌曲ID)输出至叠加电路76，并且指示叠加电路76将内容识别信息叠加在声音信号上。叠加电路76将内容识别信息叠加在从再现电路75输入的声音信号上，并将这些信号输出至输出电路77。然后，计算机部78进入步骤S15，以指示输出电路77开始输出声音信号。在步骤S16中，计算机部78终止该编码程序。输出电路77将所输入的声音信号从数字信号转换为模拟信号，并将转换后的信号输出至扬声器86。结果，从扬声器86发出叠加有内容识别信息的声音信号作为乐音。

接着，将说明与上述再现设备2的工作相同的工作。用户操作输入操作元件71以使计算机部78执行解码程序。如图8所示，解码程序开始于步骤S20。在步骤S21中，计算机部78输入声音信号。更具体地，计算机部78指示输入电路72通过麦克风83或输入端子84从外部输入声音信号(叠加有包括诸如歌曲名、歌手名和表演者名等的歌曲信息以及歌曲ID的内容识别信息的声音信号)。结果，输入电路72从外部输入声音信号并将所输入的声音信号从模拟信号转换为数字信号，以将转换后的信号输出至解调电路73。然后，计算机部78进入步骤S22，以指示解调电路73解调叠加在这些声音信号上的内容识别信息。通过该步骤，解调电路73解调(解码)内容识别信息。在步骤S23中，计算机部78从解调电路73输入解码出的内容识别信息，并将所输入的内容识别信息中包含的诸如歌曲名、作曲者名、表演者名等的歌曲信息输出至显示电路85。显示电路85将诸如歌曲名、作曲者名和表演者名等的歌曲信息显示在显示单元24上。

在步骤S23之后，计算机部78进入步骤S24，以根据所输入的内容识别信息中包括的歌曲ID来识别内容。在步骤S25中，计算机部78识别设备所需的内容数据。在这种情况下，根据再现设备具有的功能来识别内容数据。然而，可以根据用户对输入操作元件71的操作来将内容数据识别为相关内容数据。可选地，可以将预定的内容数据识别为相关内容数据。然后，计算机部78进入步骤S26，以参考闪速存储器79中存储的内容数据来搜索识别出的相关内容数据。在步骤S27中，计算机部78判断闪速存储器79中是否存储了整组识别出的相关内容数据。

当闪速存储器79中存储了整组识别出的相关内容数据时，在步骤S27中计算机部78得出“是”并进入步骤S28，以从闪速存储器79读出整组识别出的相关内容数据。当闪速存储器79中没有存储整组识别出的相关内容数据时，在步骤S27中计算机部78得出“否”并进入步骤S29，以将歌曲ID和可再现内容信息通过通信接口电路80发送至服务器9。同样，在这种情况下，可以根据用户对输入操作元件71的操作来输入可再现内容信息，或者可以使用预定的可再现内容信息。通过将歌曲ID和可再现内容信息发送至服务器9，服务器9将与歌曲ID和可再现内容信息相对应的相关内容数据发送至再现设备。因此，在上述步骤S29之后的步骤S30中，计算机部78通过通信接口电路80获取从服务器9发送来的相关内容数据。

在上述步骤S28或步骤S30之后，在步骤S31中，计算机部78再现获取到的相关内容数据，然后进入步骤S32以终止该解码程序。在这种情况下，如果相关内容数据是乐谱数据，则将该乐谱数据输出至显示电路85。因此，根据该乐谱数据，显示电路85在显示单元74上显示乐谱。

如果相关内容数据是音频数据，则计算机部78通过与上述步骤S12类似的步骤S31，将所输入的相关内容数据(音频数据)提供给再现电路75，并且指示再现电路75再现该内容数据以再现声音信号。如果相关内容数据是诸如自动演奏数据和自动伴奏数据等的MIDI数据，则计算机部78通过与上述步骤S12类似的步骤S31，将该MIDI数据(诸如键码、键接通信号和键断开信号等的乐音控制数据)顺次提供给再现电路75，以使得再现电路75的音调发生器再现与该MIDI数据相对应的乐音信号(声音信号)。将再现出的乐音信号(声音信号)顺次输出至叠加电路76。在这种情况下，在计算机部78的控制下，从再现电路75提供给叠加电路76的声音信号(乐音信号)仅通过叠加电路76。此外，在计算机部78的控制下，输出电路77将声音信号(乐音信号)输出至扬声器86以从扬声器86发出乐音。

根据本实施例的声音处理系统，如上所述，当再现内容数据的再现设备1发出包括了调制成分的声音时，收集到这些声音的其它再现设备再现它们各自的相关内容数据，从而实现了这些设备之间的协作操作。例如，在再现设备1发出钢琴演奏的声音的情况下，当再现设备2收集到这些钢琴声音时，再现设备2使得显示部23可以显示这些钢琴声音的歌曲信息以及乐谱数据作为与这些钢琴声音相关的内容，并且还再现伴奏音(弦音(tone of string)和节拍音(rhythm tone)等)。另外，再现设备3通过自动演奏发出伴奏音。

再现设备1的叠加部14不仅可以叠加内容识别信息，而且还可以叠加其它信息。例如，叠加部14可以叠加表示要再现内容数据的时刻的同步信息，以使得再现设备1可以与再现设备2和再现设备3同步地再现内容数据。

在同步再现的情况下，声音处理系统可被配置成由再现设备1叠加表示从再现开始起经过的时间的信息作为同步信息，并由再现设备2和再现设备3根据表示经过的时间的信息再现它们各自的内容数据。然而，在内容数据为MIDI数据的情况下，可以使用提取出扩频码的峰的时刻作为用以实现同步再现的参考时钟。在这种情况下，控制部11控制叠加部14，以使得按参考时钟的时间间隔输出扩频码。再现设备2的再现部26和再现设备3的自动演奏部36可以使各自的音序器将按固定间隔计算出的相关值的峰定义为参考时钟而工作，以进行自动演奏。

此外，通过叠加与生成乐音的时刻和参考时钟之间的时间差有关的信息，解调该信息的设备可以实现更精准的同步再现。通过附加叠加诸如音符数和速度等的演奏信息，即使解调该信息的设备没有存储MIDI数据也能够执行自动演奏。

在同步再现的情况下，例如，可以在诸如生成钢琴部分的声音的再现设备1、生成弦乐部分的声音并同时显示乐谱的再现设备2和生成鼓乐部分的声音的再现设备3等的设备之间进行协作操作。此外，对于乐谱显示，再现设备还能够在乐谱上表示当前的再现时刻(表示歌曲的进度)。

尽管以上例子被配置成再现设备1再现内容数据以从扬声器10发出声音，但再现设备1可以连接至自动演奏乐器(例如，自动演奏钢琴)以从该自动演奏乐器生成乐音。自动演奏钢琴是如下的声乐器，在该声乐器中，针对钢琴的键动作所设置的螺线管(solenoid)根据所输入的MIDI数据而工作以按下键。在这种情况下，再现设备1从扬声器10仅输出调制后的声音。

尽管上述实施例被配置成各个设备存储内容数据，但各个设备可以经由电视广播从外部接收内容数据，或者通过网络(例如，从服务器9)接收内容数据。可选地，各个设备可以从诸如CD等的介质获取PCM数据。

特别地，在设备通过网络接收内容数据的情况下，声音处理系统可被配置成对识别出的内容数据收费，以使得在支付之后才可以下载该识别出的内容数据。在服务器9不仅存储内容数据而且对内容数据收费的情况下，服务器9还能够响应于接收到了歌曲ID，进行内容数据的识别和对识别出的内容数据收费这两者。在用于对内容数据收费的服务器被设置为与用于识别内容数据的服务器9分离的情况下，声音处理系统可被配置成使接收歌曲ID的服务器9将歌曲ID转换成收费专用的特有ID，以分开进行下载和收费。

应用例1

图9是表示根据应用例1的声音处理系统的结构的框图。在这种情况下，声音处理系统由经由网络7相互连接的再现设备1、再现设备2、再现设备5和服务器9构成。再现设备5连接有麦克风50和扬声器51。然而，可以使麦克风50和扬声器51与再现设备5一体化。

再现设备1、再现设备2和再现设备5可以在同一时间置于同一位置处。然而，在该例子中，将作为便携式设备的再现设备5置于再现设备1所在的位置A处，以向再现设备5输入声音信号。在声音信号输入至再现设备5之后，将再现设备5转移到再现设备2所在的位置B处，以向再现设备2输入声音信号。

图10是表示再现设备5和服务器9的结构的框图。除图3所示的再现设备3的结构以外，再现设备5还具有用于将调制成分(内容识别信息)叠加在从再现部26输入的声音信号上的叠加部28，以使得再现设备5可以从扬声器51发出已经叠加了调制成分的声音。叠加部28要叠加的调制成分可以是之前已经被再现设备5解调的内容识别信息。可选地，调制成分可以是再现设备5新生成的内容识别信息。

叠加部28被配置为与图2B所示的叠加部14相类似。在这种情况下，再现设备5具有以下功能：将解调部24解调出的内容识别信息再次叠加在要再现的内容数据(音频数据)的声音信号上，从而再现这些声音信号，然后将这些声音信号发出为声音。更具体地，在位置A(例如，远离家的位置)处，再现设备5通过例如有线广播收集由再现设备1再现的内容数据的声音，并识别该内容数据。然后，在位置B(例如，家)处，当再现设备5将与识别出的内容数据相对应的内容识别信息叠加在相关内容数据(例如，与在位置A处再现(广播)的内容相同的音频数据)上并再现该相关内容数据时，再现设备2也再现该相关内容数据。如上所述，该应用例的声音处理系统使得三个以上的再现设备可以中继相关内容数据，从而实现该相关内容数据的协作再现。

再现设备5叠加的扩频码可以是与再现设备1叠加的扩频码相同的扩频码，或者是不同的扩频码。然而，在扩频码与再现设备1的扩频码不同的情况下，要解调这些码的设备(再现设备2)需要存储再现设备5将叠加的扩频码。

此外，再现设备5的控制部22还能够通过LPF从麦克风50收集到的声音信号中仅提取内容数据的声音信号，并将提取出的声音信号存储在内容数据存储部25中作为所记录的数据。在这种情况下，再现设备5能够在所记录的数据上再次叠加内容识别信息，并发出包含有调制成分的声音。LPF不是绝对必要的。更具体地，可以将包含有扩频码的声音信号直接记录在内容数据存储部25中，从而针对稍后的再现输出所记录的声音信号。在这种情况下，不需要叠加部28。

应用例2

图11是表示根据应用例2的声音处理系统的结构的框图。在该例子中，声音处理系统由通过网络7相互连接的再现设备1、再现设备2、再现设备6和服务器9构成。再现设备6连接有麦克风60和扬声器61。然而，可以使麦克风60和扬声器61与再现设备6一体化。

应用例2的声音处理系统被配置成由再现设备6将收集到的声音信号发送至分析服务器(与服务器9相同或者与服务器9不同)，从而该服务器将解调这些声音信号以识别内容。也就是说，应用例2是服务器9附加设置有分析功能的例子。

图12是表示应用例2的再现设备6和服务器9的结构的框图。作为一般的数字音频播放器的再现设备6被配置为与图3A所示的再现设备2相类似，只是再现设备6未设置有解调部24。

在这种情况下，控制部22将麦克风60收集到的声音信号(或编码后的数据)通过通信部21发送至服务器9。此外，控制部22还发送表示该设备能够再现的内容的类型的信息(可再现内容信息)。

服务器9配置有功能和结构与解调部24的功能和结构相同的解调部94。控制部92将接收到的声音信号输入至解调部94以解码内容识别信息。然后，控制部92将解码出的内容识别信息发送至再现设备6的控制部22。另外，控制部92根据解码出的内容识别信息中包括的歌曲ID和从再现设备6接收到的可再现内容信息提取相关内容信息(内容ID)，并将提取出的相关内容信息发送至再现设备6的控制部22。

控制部22将接收到的内容识别信息中包括的歌曲信息显示在显示部23上。另外，控制部22在内容数据存储部25中搜索与接收到的内容ID相对应的内容数据(音频数据和乐谱数据)。在找到了该内容数据的情况下，控制部22读出所找到的内容数据并将该内容数据输出至再现部26。在内容数据存储部25中没有找到该内容数据的情况下，控制部22从服务器9下载相关内容数据。显示部23根据所输入的乐谱数据显示乐谱，而再现部26再现所输入的内容数据以生成声音信号。将所生成的声音信号输出至扬声器61以作为声音而发出。

此外，再现设备6的控制部22将麦克风60收集到的声音信号作为记录数据记录在内容数据存储部25中。在这种情况下，将包括有扩频码的声音信号直接记录在内容数据存储部25中。当在位置B(例如，家)处再现记录数据时，利用再现设备2来再现相关内容数据。

如上所述，再现设备6被配置为发送收集到的声音信号并接收分析结果以进行工作。因此，在应用例2的声音处理系统中，一般的数字音频播放器可用作为本发明的内容数据再现设备。

上述例子被配置成各再现设备利用扬声器发出声音，利用麦克风生成声音信号并通过广播传输声音。然而，可以通过线路连接来传输音频信号。

尽管上述实施例采用了再现设备向服务器发送表示该再现设备能够再现的内容的类型的信息的例子，但可以对本实施例进行变形，以使得再现设备向服务器发送用于识别该再现设备的信息(例如，该再现设备特有的ID)。在该变形例中，服务器存储表示各再现设备可再现的内容的类型的信息作为数据库，以使得通过基于接收到的用于识别再现设备的信息来参考该数据库，该服务器可以识别再现设备能够再现的内容数据。

此外，可以对本实施例进行变形，以使得再现设备向服务器发送表示该再现设备能够再现的内容的类型的信息(可再现内容信息)和用于识别该再现设备的信息这两者。在该变形例中，即使可再现内容的类型根据再现设备的工作状态而变化，服务器也能够识别适合于该再现设备的内容数据。此外，在上述应用例1、2中，还可以利用图6所示的设备来配置各个再现设备1、2、5、6，从而通过程序处理来控制各设备的操作。