动作协同运算装置和方法、程序、以及动作协同播放系统

摘要

本发明提供了一种动作协同运算装置和方法、程序、以及动作协同播放系统。所述动作协同运算装置包括：运动信息输入单元，用于输入从多个用户上分别装配的各个传感器装置提供的运动信息；以及运算单元，用于根据来自各个传感器装置的输入运动信息对表示多个用户的身体或者身体一些部分的动作同步性的协同信息进行运算，并且基于协同信息生成用于对用户反馈输出的控制信息。

说明书

技术领域

本发明涉及一种用于对表示多个用户的运动一致性的协同信息进行运算的动作协同运算装置和方法以及程序。另外，本发明涉及一种用于使用动作协同运算装置基于针对各个用户的动作协同信息执行播放的动作协同播放系统。

背景技术

在日本注册实用新型No.3083641中，公开了如下这种装置作为舞步练习机：通过由压力传感器检测舞蹈节奏的一致性并且将其通过LED显示而使得即使一个人也可以学习舞步。

在日本未审查专利申请公开No.2001-293246、日本注册实用新型No.3098422、日本未审查专利申请公开No.2007-293042、以及日本未审查专利申请公开No.2007-236765中，公开了一种针对节奏游戏和音乐游戏等中用户的输入时刻执行评估的装备，以及使用加速度传感器作为输入装置在人造乐器上演奏的装置等。

在日本专利No.3685731中，公开了一种把多个用户的各操控信息之间的相关性当作确定目标的装置。在此情形中，针对音乐伴奏的演奏评估多个用户的切换操控时刻。

发明内容

例如，在诸如多个用户所进行的舞蹈等协调运动的情形中，正在进行运动的人难以评估运动是否相互一致。到目前为止，由第三方检查运动，或者将运动拍摄成视频以供随后评估。

此处，这在排练舞蹈等以评估多个用户身体的运动同步或者把同步反馈给用户方面是有效的。

舞蹈等强调如何使多个人的运动相互一致，一种用于简单地评估多个人的协调性以及接收其反馈的系统使得可以迅速学习协调的动作。

另外，通过把这种系统应用于各种其它种类的体育运动、游戏和娱乐，认为该系统适合于功能熟练或者有助于乐趣的提升。

在相关领域中，在用户动作或运动的评估这一点上，如在上述专利文献中一样存在用于游戏机等中的技术。然而，根据日本注册实用新型No.3083641、日本未审查专利申请公开No.2001-293246、日本注册实用新型No.3098422、日本未审查专利申请公开No.2007-293042、以及日本未审查专利申请公开No.2007-236765中描述的技术，未评估例如诸如舞蹈等动作的多个用户的身体的动作同步性。

另外，根据日本专利No.3685731，评估多个用户的切换操控时刻。然而，这始终是评估操控时刻，而不是评估用户身体的动作同步性。

即，在多个用户所进行的舞蹈的情形中，不存在用于评估每个人是否与其他人同步舞蹈以及使得每个人识别评估结果的系统。

鉴于以上状况，期望使得可以提供如下这种装置和系统：可以通过把多个用户的动作同步性，例如身体运动的节奏和模式等，确定为协同信息并且向用户提供反馈来实现功能熟练或者提升乐趣。

根据本发明的一个实施例，提供了一种动作协同运算装置，包括：运动信息输入单元，用于输入从多个用户上分别装配的各个传感器装置提供的运动信息；以及运算单元，用于根据来自各个传感器装置的输入运动信息对表示多个用户的身体或者身体一些部分的动作同步性的协同信息进行运算，并且基于协同信息生成用于对用户反馈输出的控制信息。

根据本发明的实施例的动作协同运算装置还包括记录单元；其中，记录单元记录从各个传感器装置输入到运动信息输入单元的运动信息，并且运算单元以预定间隔从记录单元读取运动信息以及执行协同信息的运算。

在根据本发明的实施例的动作协同运算装置中，运算单元根据从各个传感器装置提供的运动信息计算个体信息(例如，运动节奏、运动节拍、运动模式、运动的节奏模式、或者运动强度)作为各个用户的运动，并且通过使用个体信息的运算计算协同信息。

另外，在根据本发明的实施例的动作协同运算装置中，运算单元根据各个用户的个体信息确定所有用户的组的基本运动信息，以及通过使用基本运动信息和个体信息的运算计算协同信息。

在根据本发明的实施例的动作协同运算装置中，运算单元通过使用各个用户的个体信息的运算计算所有用户的整个组的协同信息。

在根据本发明的实施例的动作协同运算装置中，运算单元通过把各个用户的个体信息与指定用户的个体信息相比较来计算协同信息。

在根据本发明的实施例的动作协同运算装置中，运算单元通过把预设引导运动信息与各个用户的个体信息相比较来计算协同信息。

在根据本发明的实施例的动作协同运算装置中，运算单元生成用于对各个用户执行不同反馈输出的控制信息。

在根据本发明的实施例的动作协同运算装置中，运算单元生成用于对各个用户执行相同反馈输出的控制信息。

在根据本发明的实施例的动作协同运算装置中，运算单元生成用于向用户给出触觉推动的装置的驱动控制信息作为用于对用户反馈输出的控制信息。

根据本发明的另一个实施例，提供了一种能够执行信息输入/输出和运算处理的运算处理装置中的动作协同运算方法，所述动作协同运算方法包括以下步骤：输入从多个用户上分别装配的各个传感器装置提供的运动信息；根据来自各个传感器装置的输入运动信息对表示多个用户的身体或者身体一些部分的运动同步性的协同信息进行运算；并且基于协同信息生成用于对用户反馈输出的控制信息。

根据本发明的又一个实施例，提供了一种用于使得运算处理装置执行动作协同运算方法的程序。

根据本发明的又一个实施例，提供了一种动作协同播放系统，包括多个传感器装置、动作协同运算装置、以及反馈装置。多个传感器装置中的每一个传感器装置包括：检测单元，用于检测用户运动信息；以及输出单元，用于输出检测单元检测到的运动信息。反馈装置包括播放控制单元，用于基于控制信息控制用户的播放装置的驱动。

即，根据本发明的实施例，检测多个用户的动作作为运动信息，并根据针对各个用户检测到的运动信息获得表示多个用户的动作同步性的协同信息。协同信息意为表示各个用户的动作(例如，诸如舞蹈等的身体动作)是否彼此一致的信息为相关或差异。

另外，基于协同信息向各个用户给出反馈。例如，可以通过用户可以通过触觉感知识别的推动(振动等)把动作的“一致”、动作的“不一致”、或者动作的偏离程度通知用户。

根据本发明的实施例，通过以基于多个用户的运动的节奏、模式、以及强度等的协同信息为基础向用户给出反馈，用户在执行动作时知晓与其它用户的相关性(同步性)。相应地，变得可以迅速学习动作的协调性或者提升乐趣作为娱乐。

附图说明

图1是根据本发明的实施例的动作协同播放系统的框图；

图2是示出了根据本发明的实施例的动作协同运算的示例的说明图；

图3是示出了根据本发明的实施例的动作协同运算的示例的说明图；

图4是示出了根据本发明的实施例的动作协同运算的示例的说明图；

图5是示出了根据本发明的实施例的第一处理示例的流程图；

图6是根据本发明的实施例的基本运动节奏的设置的说明图；

图7是根据本发明的实施例的运动节拍的一致/不一致的说明图；

图8A和图8B是根据本发明的实施例的动作模式和节奏模式的说明图；

图9是示出了根据本发明的实施例的第二处理示例的流程图；

图10是示出了根据本发明的实施例的第三处理示例的流程图；以及

图11是示出了根据本发明的实施例的第四处理示例的流程图。

具体实施方式

1.系统配置

2.第一处理示例

3.第二处理示例

4.第三处理示例

5.第四处理示例

6.应用、修改以及程序

[1.系统配置]

图1是根据本发明的实施例的动作协同播放系统的框图。

此动作协同播放系统包括动作协同运算装置1、多个传感器装置2、反馈装置3、一个或多个播放装置4、以及引导装置5。

每个传感器装置2包括检测单元21和运动信息输出单元22。检测单元21例如可以是加速度传感器、压力传感器、角速度传感器、或者振动传感器等，并且根据运动等检测用户的动作、加速度。运动信息输出单元22实时地把检测单元21检测到的信号输出到动作协同运算装置1。

多个传感器装置2中的每一个传感器装置可以是装配在用户的身体上以由用户携带或者由用户拿在他的/她的手中的装置。另外，还认为传感器装置是用户在其上进行练习的椅子或支撑物的形式的。

在用户的身体上携带传感器装置的情形中，例如，认为传感器装置是可以通过装配系带和胶带等装配在诸如腕、踝、脖子、手臂、躯干、以及腿部等必要位置中的形式的。另外，传感器装置可以是装配在头部的耳机类型或帽子类型的。此外，传感器装置可以是戴在脖子上的围巾类型、用夹子装配在衣服上的类型、以及放入口袋中的类型的。

不论以任何类型，如果传感器装置2可以响应于用户身体的一部分(例如，手或者脚等)或者整个身体的运动检测运动信息则是足够的。

还认为传感器装置并非专用传感器装置，而是例如内置于远程控制器中的传感器装置2的形式的、用户携带的装置。

作为示例，可以把多个传感器装置2而非单个传感器装置2分别装配在用户的右手、左手、右脚以及左脚上。即，每个用户可以携带多个传感器装置2。

运动信息输出单元22根据检测单元21检测到的加速度或压力输出信号作为运动信息，并通过有线输出或无线输出(无线电波信号或者红外线信号等)执行与动作协同运算装置1的通信。

另外，多个用户并非必定在相同地点，例如，用户可以分别在远程地点。在此情形中，各传感器装置2可以通过网络通信把运动信息传输到动作协同运算装置1。

作为从运动信息输出单元22传输到动作协同运算装置1的数据的运动信息可以是检测单元21的检测值数据或者编码数据。

在此情形中，为了使动作协同运算装置1识别各个用户的运动信息，在传输的数据中包括传感器装置2的ID或者用户ID是适当的。

然而，在有线传输的情形中或者即使在通过调制频率的设置未使用ID的情况下，动作协同运算装置1也可以识别运动信息是从哪个传感器装置2传输的。

动作协同运算装置1包括动作信息输入单元14、记录单元15、运算单元11、以及控制信息输出单元13。根据动作协同运算装置1，在诸如CPU、RAM(随机存取存储器)、ROM(只读存储器)、以及输入/输出接口等硬件配置上实现动作信息输入单元14、记录单元15、运算单元11、以及控制信息输出单元13。相应地，可以把动作协同运算装置1配置成诸如个人计算机等的通用运算处理装置。当然，可以把动作协同运算装置1配置成专用装置。

运动信息输入单元14通过有线、无线、或者网络通信从各个传感器装置2接收运动信息。另外，运动信息输入单元14根据通信系统执行解调等。

把从各个传感器装置2接收到运动信息输入单元14中的运动信息记录在记录单元12中。记录单元12可以包括RAM、HDD(硬盘驱动器)、其它种类的记录媒体、以及它们的记录/播放处理系统。

记录单元12记录接收的运动信息，同时根据来自运算单元11的请求播放预定时段中来自各个传感器装置2的运动信息以把运动信息传输到运算单元11。

运算单元11如在后面要描述的第一至第四处理示例中一样使用运动信息执行运算处理。即，运算单元11根据来自各个传感器装置2的运动信息对表示多个用户的身体或者身体一些部分的同步性的协同信息进行运算，并且基于协同信息生成用于对用户反馈输出的控制信息。

例如，在运动信息是表示加速度传感器检测到的用户动作的信息的情形中，运算单元11能够通过使用加速度执行频谱分析或者自相关运算而根据加速度的波形峰值获得加速度的峰峰时间或者知晓运动的强度而非运动(在步行/跑动的情形中，脚跟的着地)的节奏、节拍、时刻或幅度值。

另外，可以根据加速度的已有波形模式知晓运动模式。

运算单元11可以基于加速度传感器检测到的运动节拍检测多个用户的动作是否相互一致或者动作是否存在于数百毫秒至数秒的预定范围中。

计算用户的动作同步性作为协同信息。

在后面要描述的详细示例中，使用表述“相关性”和“差异性”作为协同信息。相关性和差异性两者均为表示多个用户同步性的指标，它们的关系为：差异性＝1/相关性。

具体地，例如，根据加速度传感器的运动信息对数百毫秒至数秒的时段评估运动节拍、运动强度、运动区域、以及运动模式，并确定针对时间序列的数个帧时段多个用户之间是否存在关系。把相关性和差异性表示成运动节拍、运动强度、运动范围、运动模式、协调人的数量、以及不协调人的数量的函数。

另外，运算单元11基于协同信息生成使得用户识别同步状况的用于反馈播放的控制信号。

在本发明的描述中，反馈播放意为通过触觉推动、视频、或者声音等向用户呈现用户动作之间的同步程度或者同步性的播放。

把运算单元11生成的用于反馈播放的控制信息从控制信息输出单元13提供给反馈装置3。

把反馈装置3配置成与动作协同运算装置1成整体或者与动作协同运算装置分开。特别地，反馈装置3是用于驱动播放装置4的装置，由于其必要性，它可以是与动作协同运算装置1分开的装置。即，在把反馈装置3安装在用户所在的位置中的意义上，可以把反馈装置3布置在被设置得与动作协同运算装置1相隔开的位置中。

反馈装置3包括控制信息输入单元3a和反馈播放控制单元3b。

控制信息输入单元3a从动作协同运算装置1的控制信息输出单元13接收和输入控制信息。

控制信息输出单元13与控制信息输入单元3a之间的通信可以是有线通信、无线通信、以及网络通信中的任何一项。如果把动作协同运算装置1和反馈装置3合并到设备中，则可以将通信实现为相应设备的内部控制信息的传输。

反馈播放控制单元3基于控制信息输入单元3a接收的控制信息控制播放装置4的驱动。

作为示例，播放装置4可以是向用户给出触觉推动的装置。例如，假定播放装置4是装配在用户的身体、手臂、腕、或者腿部等上以向用户给出节奏、振动、或者压力等的装置。在这种播放装置4的情形中，可以考虑把播放装置4和传感器装置2一体配置到装置中。

另外，播放装置4可以是视频监视器装置、音频扬声器装置或者耳机装置等，并且通过视频或音频呈现关于用户的信息。

即，播放装置4可以是用户的身体上携带的装置或者所谓的装配型装置。

另外，播放装置4可以针对每个用户或者针对所有用户执行播放，播放可以是触觉推动播放、音频播放、以及视频播放中的任何一种。

引导装置5是用于执行用户运算的引导输出的装置。引导装置5例如包括引导控制单元5a和引导播放单元5b。

引导控制单元5a控制引导播放的执行。引导播放向用户执行信息呈现作为引导。

在系统方面并不必定安装引导装置5。

例如，在集体舞的情形中，可以考虑引导装置5通过作为引导播放单元5b的音频扬声器装置或监视器装置播放舞蹈、音乐、以及视频等的节拍。在此情形中，不是把引导装置5当作系统配置设备，而是当作群组的音频装置或视频装置。

另一方面，还考虑与系统运算相关联地使用引导装置5。

例如，在播放装置4中，还考虑执行与反馈播放重叠的引导播放。

在此情形中，引导控制单元5a可以通过从动作协同运算装置1接收控制信息来执行预定控制，或者除了引导播放之外还请求反馈播放控制单元3b通过播放装置4执行播放运算。

在这种动作协同播放系统中，即使各个装置具有多种形状、布置或者整体/单独形成，也可以获得多个用户的全部身体或者身体一些部分的运动同步性作为协同信息，以及适当地执行对用户的反馈播放。为了实现相应运算，可以根据各用户所处的地点适当改变装置之间的通信类型和装置配置。

另外，根据系统运算的目的，诸如系统用于什么运动、以及要确定的是哪种同步等，适当地设置传感器装置2的配置(检测内容)、以及反馈播放类型等。

另外，可以考虑动作协同运算装置1的多种运算处理类型。在下文中，图2、图3、以及图4中示出了运算处理类型的示例。

图2示出了用户(用户A、B、以及C)中的每个用户上装配了一个传感器装置2的情形。在此情形中，动作协同运算装置1的运算单元11执行运算M1、M2、以及M3。

作为运算M1，运算单元11使用来自各个传感器装置2的运动信息执行用户A、B、以及C的个体信息运算。个体信息是通过评估各个用户的个人运动信息而获得的信息。例如，运算单元11确定每个用户的运动节奏、运动节拍、运动强度、运动模式、以及运动节奏模式。

接下来，运算单元11执行协同信息运算作为运算M2。即，运算单元11根据各个用户运动计算相关性或差异性，即通过个体信息运算获得的动作信息作为各个用户之间的同步性。

最后，运算单元11执行反馈控制运算作为运算M3。在运算M3中，运算单元11例如根据从运算M2获得的协同信息生成用于用户触觉推动播放的控制信息。在此情形中，可以生成针对各个用户的个体控制信息或者可以生成针对整个用户组的控制信息。

例如，作为个体控制信息，针对基本运动节奏为每个用户生成用于把各用户运动节奏的偏离状态表示成反馈播放的控制信息。

另外，作为针对整个组的控制信息，可以生成用于把一致状态或偏离状态表示成反馈播放的控制信息作为所有人的运动同步性。

图3示出了在每个用户上装配了多个传感器装置2的情形。作为示例，用户分别在他的/她的右手、左手、右脚、以及左脚上携带传感器装置2。相应地，各个传感器装置2分别输出运动信息作为右手的运动、左手的运动、右脚的运动、以及左脚的运动。

即使在此情形中，运算单元11也根据来自各个传感器装置2的运动信息执行个体信息运算作为运算M1A。然而，此情形中的个体信息运算为用于根据来自各个用户上装配的各个传感器装置2的运动信息获得身体各个部分的动作信息的运算。

即，运算单元11确定用户A的右手、左手、右脚、以及左脚的运动节奏、运动节拍、运动强度、运动模式。运算单元11还针对用户B确定这些内容。

随后，运算单元11执行用户信息运算作为以用户为单位的个体信息作为运算M1B。例如，运算单元11根据用户A的右手、左手、右脚、以及左脚的运动节奏计算用户的整体运动信息。例如，运算单元11获得整体运动的节奏或模式。

随后，运算单元11执行协同信息运算作为运算M2。即，运算单元11根据各个用户动作，即通过个体信息运算M1A和用户信息运算M1B获得的各个运动信息计算相关性或差异性作为各个用户之间的同步性。

最后，运算单元11执行反馈控制运算作为运算M3。在运算M3中，运算单元11例如根据从运算M2获得的协同信息生成用于用户触觉推动播放的控制信息。即使在此情形中，也可以生成针对各个用户的个体控制信息或者可以生成针对整个用户组的控制信息。

如图3中所示，可以考虑检测一个用户多个部分的动作作为运动信息，根据检测到的运动信息评估一个人的用户身体的复合运动，随后通过比较多个用户之间身体的复合运动执行协同信息运算。

以同样的方式，将如图4中所示的运算处理作为用户装配多个传感器装置2的示例。

如在图3的情形中一样，每个用户上装配了多个传感器装置2。

运算单元11根据来自传感器装置2的运动信息执行个体信息运算作为运算M1A。即，运算单元11执行运算以根据来自各个用户上装配的各个传感器装置2的运动信息获得运动节奏等作为身体各个部分的动作信息。

随后，运算单元11执行用户身体各个部分的协同信息运算作为运算M2A。

即，运算单元11比较各个用户右手的运动节奏。另外，运算单元11比较各个用户右脚的运动节奏。另外，运算单元11比较各个用户左脚的运动节奏。另外，运算单元11比较各个用户左手的运动节奏。

如上所述，运算单元11计算每个身体区域的动作的相关性或差异性。

随后，运算单元11执行用户的复合协同信息运算作为运算M2B。即，运算单元11使用各个用户的右手、右脚、左脚、以及左手的相关性或差异性值计算复合相关性或差异性。

最后，运算单元11执行反馈控制运算作为运算M3。在运算M3中，运算单元11例如根据从运算M2B获得的复合协同信息生成用于用户触觉推动播放的控制信息。即使在此情形中，也可以生成针对各个用户的个体控制信息或者可以生成针对整个用户组的控制信息。

如图4中所示，可以考虑检测一个用户的多个部分的动作作为运动信息，根据它们，对各个用户的身体部分运算协同信息，随后根据身体各个部分的协同信息，在多个用户之间执行协同信息运算。在此情形中，对身体各部分的相关性或差异性加权，随后执行复合协同信息运算。

上述示例只是运算技术的示例，可以考虑其它多种示例。按照传感器装置的种类、使用的传感器装置的数量、检测的内容、装配位置、运动的内容、以及反馈播放的目的等，可以选择运算技术。

[2.第一处理示例]

在下文中，将描述动作协同运算装置1的详细处理示例。假定动作协同播放系统在多个用户集体练习体操或舞蹈的情形中针对各个用户执行反馈播放。

图5示出了动作协同运算装置1的处理。

假定多个用户例如在用户携带或者用户上装配各个传感器装置2的情况下跳舞，如图2中所示。传感器装置2例如包括作为加速度传感器的检测单元21，并且通过运动信息输出单元22实时地输出检测到的加速度信息作为运动信息。

在图5的步骤F101中，动作协同运算装置1开始运动信息的记录。即，如果动作协同运算装置1的动作信息输入单元14从各个传感器装置2接收到运动信息，则动作协同运算装置1把接收的运动信息记录在记录单元12中。此后，连续执行这种记录处理。

在此情形中，记录来自各个传感器装置2的运动信息以使得辨别运动信息来自哪个传感器装置(哪个用户)。例如，如上所述，执行记录以使得传感器装置2的ID(识别信息)对应于各运动信息。

在步骤F102中，运算单元11针对记录单元12中记录的、来自各个传感器装置2的运动信息读取预定时段的运动信息。预定时段例如是诸如10秒、30秒、或者一分钟等的设定时段。

虽然图7中示出了时段t1、t2、t3等，但是运算单元11在优先时段t1中从记录单元12读取运动信息。

在步骤F103中，运算单元11使用从记录单元12读取的、来自各个传感器装置2的运动信息执行各个传感器装置2的用户的个体信息运算。此处，以执行运动节奏的评估为示例。

如果用户执行的运动是周期性运动，则可以使用节拍(例如，每分钟的拍数(BPM))作为运动节奏的评估。

例如，作为个体信息运算，根据加速度传感器等的运动信息评估此时对象时段(t1：例如，一分钟)中每个用户的节拍(BPM)。具体地，通过检测加速度传感器的峰值一分钟来计算节拍。可以通过执行加速度值的频谱分析或者其自相关运算进行峰值检测。

针对各个用户(来自各个传感器装置2的运动信息)执行上述计算。

在此情形中，可以考虑按照用户的动作、体操或舞蹈的种类、以及其它运动类型计算运动模式、节奏模式、或者运动强度而非运动节奏(节拍)。

例如，图8A示出了用户A和B的加速度传感器值。在各个用户上装配的每个传感器装置2上，装配X、Y、以及Z方向上的加速度传感器，获得图中实线、虚线、以及点划线所表示的波形作为各个方向上的加速度传感器值(运动信息)。可以通过加速度传感器值的已有波形模式知晓运动模式。

另外，图8B示出了用户A的节奏。例如，通过检测来自用户A上装配的传感器装置2的加速度传感器值的峰值，可以检测用户A的节奏模式。在此情形中，节奏模式不是作为节奏的简单节拍，而是表示各个拍子时刻之间的时长改变。

另外，虽然未示出，但是可以根据加速度传感器的波形幅度检测运动强度或强度模式。

在图5的步骤F103中，计算节拍(运动节奏)等作为每个用户的个体信息。

随后，在步骤F104中，运算单元11评估作为多个用户的组中的基本运动节奏。例如，在评估每个用户的节拍作为运动节奏的情形中，把作为节拍的比较基础的节拍确定为基本运动节奏。

此基本运动节奏是组中的代表性运动节奏。例如，针对步骤F103中计算的个体用户的运动节奏，辨别如图6中所示的分布。由于运动节奏(节拍(BPM))对于每个用户而言有些不同，所以获得如图6中所示的分布，并且把频率最高的节拍(即，用户数量最大的节拍)确定为基本运动节奏。

在此情形中，无论频率(用户的数量)如何，可以考虑把基本运动节奏评估为所有用户的节拍的平均值，或者通过把频率最高的节拍校正为平均值等来计算基本运动节奏。

无论如何，如果基本运动节奏是要评估节拍等，则所有用户期望与节拍一致是足够的。

在图5的步骤F105中，针对各个用户的运动节奏计算基本运动节奏和差异性。可以如下计算差异性。

首先，如果某个用户的运动节奏(节拍(BPM))高于基本运动节奏(节拍(BPM))，则假定“节拍α”是用户的运动节奏，“节拍β”是基本运动节奏。

另一方面，如果用户的运动节奏(节拍(BPM))低于基本运动节奏(节拍(BPM))，则假定“节拍α”是基本运动节奏，“节拍β”是用户的运动节奏。即，较快的一个为“节拍α”。

另外，如下获得差异性。

差异性＝节拍α/节拍β-int(节拍α/节拍β)

此处，“int”表示整数值部分。

例如，如果假定某个用户的运动节奏的节拍＝60，基本运动节奏的节拍＝56，则差异性为60/56-int(60/56)。如果60/56＝1.07，则int(60/56)为“1”，即1.07的整数部分。

相应地，获得差异性为：差异性＝1.07-1＝0.07。

另外，例如，如果假定另一用户的运动节奏的节拍＝48，基本运动节奏的节拍＝56，则差异性为56/48-int(56/48)。如果56/48＝1.16，则获得差异性为1.16-1＝0.16。

另外，如果另一用户的运动节奏等于基本运动节奏的节拍(＝56)，则差异性变成1-1＝0。

结果，差异性值随着用户的节拍与基本运动节奏的节拍之间的差异性变大而变大。

运算单元11针对各个用户的运动节奏获得差异性。

在步骤F106中，运算单元11生成反馈控制信息，并且把反馈控制信息从控制信息输出单元13传输到反馈装置3。

根据差异性生成反馈控制信息。

作为示例，反馈播放是把基本运动节奏传递给用户作为触觉推动。例如，假定播放装置4可以是用户的皮肤上装配的压力装置、或者振动器等。

另外，假定由播放装置4传递基本运动节奏。即，以基本运动节奏的节拍的形式向用户给出触觉推动。

此处，对每个用户，根据差异性的值设置触觉推动的强度。

即，运算单元11生成作为基本运动节奏的节拍信息和根据每个用户的差异性值的强度系数作为反馈控制信息，并且把它们的控制信息输出到反馈装置3。

强度系数可以是差异性值本身或者通过把差异性值乘以预定系数获得的值，另外，可以是通过把它们乘以时间值获得的值。例如，虽然预期差异性值在运动过程中改变，但是把获得超过预定值的差异性值的时段的长度当作系数。即，随着动作偏离出现的时段变长，强度系数变高。

通过这种反馈控制信息，反馈装置3的反馈播放控制单元3b针对各个用户上装配的各个播放装置4控制触觉推动播放的驱动。

即，虽然针对所有用户把作为基本运动节奏的节拍传递给触觉，但是触觉推动随着动作偏离变大而变大。即，动作偏离较大的用户感觉到的基本运动节奏的节拍更强。

此时，虽然为此这样做是合理的，但是有必要使各个用户的控制信息对应于各个用户上装配的播放装置4。反馈播放控制单元3b通过按照针对各个用户的控制信息(根据差异性的强度系数)设置用户上装配的播放装置4的播放强度来控制播放装置4的驱动。

如果各个用户的节拍彼此一致，则用户通过播放装置4针对用触觉感觉到的节奏感觉小，然而如果节拍彼此偏离，则用户针对用触觉感觉到的节奏感觉大。

运算单元11在步骤F106中的处理之后从步骤F107返回步骤F102以继续同样的过程。即，在连续系统运算期间，运算单元11重复执行步骤F102至F106。

如果系统运算结束，则运算单元11从步骤F107进行到步骤F108，并且结束记录单元12中运动信息的记录过程、运算单元11的运算过程、以及反馈控制信息的生成/输出过程以终止一系列运算。

将参照图7描述图5的处理实现的系统运算的示例。

如上所述，运算单元11对t1、t2、或者t3等的每个时段针对各个用户的运动信息执行图5的处理。

在图7中，竖直轴代表运动节拍，水平轴代表时间。虚线表示某个用户A的运动节奏(节拍)，实线表示步骤F104中评估的基本运动节奏(节拍)。

在图中把用户A的节拍与基本运动节奏几乎一致的时段表示成“一致”。把用户A的节拍偏离基本运动节奏的时段表示成“不一致”。

另外，当用户的运动节拍是基本运动节奏节拍的n倍(例如，双倍速度一致)时，表示为“双倍速度一致”。

此处，用户A在用户的运动节奏是“一致”或“双倍速度一致”的时段中通过触觉推动播放针对基本运动节奏感觉小。另一方面，用户A在“不一致”的时段中感觉到根据偏离量(或者用户的运动节拍进一步偏离基本运动节奏的时长)强调的基本运动节奏。

如果用触觉感觉到的基本运动节奏变强，则用户感觉到其运动偏离基本运动节奏，并且在注意节拍与基本运动节奏一致的情况下表演舞蹈。通过这么做，可以校正动作以使得节拍与整体运动一致。即，如果执行动作以使得尽可能感觉不到触觉推动则是足够的。换言之，由于推动大小所致的触觉推动播放成为反馈播放，诸如使具有运动偏离的用户采用根据偏离状态的播放强度学习校正节拍。

相应地，用户可以在执行运算时意识到与其它用户的关系，并且迅速学习运算的协调性。另外，用户可以在增加相关性的过程中取得乐趣。

此时，在上述示例中，虽然示例为差异性是

差异性＝节拍α/节拍β-int(节拍α/节拍β)，

但是设置了预定阈值X，如果X是

|节拍α/节拍β-int(节拍α/节拍β)|＜X，

则它对应于“一致”。如果X是

|节拍α/节拍β-int(节拍α/节拍β)|≥X，

则它对应于“不一致”。在此情形中，可以通过两个值(一致/不一致)表示动作的相关性。

在此情形中，可以考虑根据触觉推动播放的强度即“一致”和“不一致”通过两级或者通过开/关运算控制反馈播放。

另外，可以考虑向“一致的”用户给出指定触觉推动的播放。

另外，可以通过关系(相关性＝1/差异性)而非差异性来处理播放。

例如可以通过节拍β/节拍α-int(节拍β/节拍α)计算相关性。相关性越高，给出预定触觉推动越强的反馈播放。

另外，在如图7中所示的双倍速度一致的情形中，认为更难以执行诸如两倍、以及三倍等的节拍一致。因此，在双倍速度一致的情形中，可以处理成具有更高的相关性。

另外，反馈播放并非执行为强度对于每个用户各自不同的触觉推动播放，而是可以向所有用户共同播放。

例如，在步骤F105和F106中，针对基本运动节奏根据各个用户的运动节奏的分布宽度设置差异性的强度。

即，把反馈控制信息的强度系数提高到使各个用户的动作分散的程度。

相应地，当从所有用户的偏离变大时所有用户可以强烈地感觉到触觉推动播放，以及可以从身体上感知同时运动的所有用户的动作一致状态。

如上所述，以根据作为运动节奏的节拍值计算差异性和相关性为示例。然而，如上所述，可以考虑使用运动模式或节奏模式。

在根据运动模式获得相关性的情形中，例如，把加速度传感器的X、Y和Z方向上波形的互相关系数的最大值乘以1/lag。lag是最大相关系数的时间差异性。

如果假定具有两个离散值的不规则变化为x(t)和y(t)，则它们的互相关系数C_xy(r)如式(1)中一样表示。

$\mathrm{Cxy}\left(r\right)=\frac{1}{N}\underset{t-n}{\overset{N-r-1}{\Sigma }}x\left(t\right)y(t+r)---\left(1\right)$

此处，r代表表示被称为lag的、在y(t)的时间轴上的平行运动的参数。

当提高相关性时，波形变得彼此类似，时间差异性变小。

另外，在使用节奏模式的情形中，可以通过把如图8B中所示的用户节奏与作为基本节奏的节奏模式相比较来计算相关性(或差异性)。

例如，可以通过把预定时段内各个位时刻(运动的峰值时刻)的偏离量相累加的技术获得相关性。

即使在运动强度的情形中，也可以用同样的方式获得相关性。

[3.第二处理示例]

将参照图9描述动作协同运算装置1的第二处理示例。

即使在后面要描述的第二至第四处理示例中，也以与第一处理示例相同的方式，假定多个用户例如在用户携带或者用户上装配各个传感器装置2的情况下跳舞，如图2中所示。传感器装置2例如包括作为加速度传感器的检测单元21，并且通过运动信息输出单元22实时地输出检测到的加速度信息作为运动信息。

在图9的步骤F201中，动作协同运算装置1开始运动信息的记录。即，如果动作协同运算装置1的动作信息输入单元14从各个传感器装置2接收到运动信息，则动作协同运算装置1把接收的动作信息记录在记录单元12中。此后，连续执行这种记录处理。

在步骤F202中，运算单元11针对记录单元12中记录的、来自各个传感器装置2的运动信息读取预定时段的运动信息。

另外，在步骤F203中，运算单元11使用从记录单元12读取的、来自各个传感器装置2的运动信息执行各个传感器装置2的用户的个体信息运算。例如，运算单元11把运动节拍确定为各个用户的运动节奏。

上述步骤与根据处理示例1的步骤F101至F103相同。

在步骤F204中，运算单元11计算各个用户之间的差异性。

例如，在三个用户A、B、以及C的示例中，计算用户A与B之间、用户B与C之间、以及用户C与A之间的差异性。

例如，如果假定针对两个用户之间的运动节拍，“节拍α”是节拍快的一侧，“节拍β”是节拍慢的一侧，则如下获得差异性。

差异性＝节拍α/节拍β-int(节拍α/节拍β)

如果获得了各个用户组合的差异性，则运算单元11在步骤F205中计算整个组的差异性。例如，各个组合的差异性的平均值或者分布的宽度为整个组的差异性。

在步骤F206中，运算单元11生成反馈控制信息，并且把反馈控制信息从控制信息输出单元13传输到反馈装置3。

根据整个组的差异性生成反馈控制信息。

例如，在整个组的差异性变大(或变小)时运算单元11生成播放强度系数高的反馈控制信息，并且把控制信息从控制信息输出单元13输出到反馈装置3。

通过反馈控制信息，反馈装置3的反馈播放控制单元3b针对各个用户上装配的各个播放装置4控制触觉推动播放的驱动。

当用户的动作分散(或者相反地彼此一致)时，反馈播放强度提高。

由此，各个用户能够通过触觉推动播放的强度识别所有运动的相关性状态。

运算单元11在步骤F206中的处理之后从步骤F207返回步骤F202以继续同样的处理。

如果系统运算结束，则运算单元11从步骤F207进行到步骤F208，并且结束记录单元12中运动信息的记录过程、运算单元11的运算过程、以及反馈控制信息的生成/输出过程，以终止一系列运算。

在第二处理示例中，根据任意地点中用户的组合之间的差异性确定整体差异性，并且执行根据整体差异性的反馈播放。

当然，可以根据相关性而非差异性执行运算。另外，可以根据运动模式、节奏模式、以及运动强度而非运动节拍确定差异性或相关性。

[4.第三处理示例]

将参照图10描述动作协同运算装置1的第三处理示例。

图10中的步骤F301、F302、以及F303与处理示例1的步骤F101、F102、以及F103相同，因此将略去其说明。

在步骤F304中，运算单元11评估指定用户的运动节奏。例如，如果多个用户之一是舞蹈等中的领导者，则把该用户确定为指定用户。运算单元11根据来自指定用户上装配的传感器装置2的运动信息评估运动节奏。

此时，在实践中，在步骤F303中，把运动节奏(运动节拍)确定为所有用户的个体信息，在步骤F304中，在所有用户的运动节奏中选择指定用户的运动节奏。

在步骤F305中，运算单元11计算指定用户的运动节奏与每个用户的运动节奏之间的差异性。例如，如果用户A是指定用户，则计算指定用户A与另一用户之间，诸如用户A与B之间、用户A与C之间、以及用户A与D之间等运动节奏的差异性。

例如，如果假定针对指定用户与另一用户之间的运动节拍，“节拍α”是节拍快的一侧，“节拍β”是节拍慢的一侧，则如下获得差异性。

差异性＝节拍α/节拍β-int(节拍α/节拍β)

如果各个其它用户的节拍针对指定用户A的节拍的差异性变大，则差异性值变大。

另外，在步骤F306中，运算单元11生成反馈控制信息，并且把反馈控制信息从控制信息输出单元13传输到反馈装置3。

根据指定用户与除了指定用户以外的其它用户之间的差异性生成反馈控制信息。即，根据差异性值为各个用户设置触觉推动强度。

运算单元11根据各个用户的差异性值生成作为指定用户A的运动节奏和强度系数的节拍信息作为反馈控制信息，并且把控制信息输出到反馈装置3。

强度系数可以是差异性值本身、通过把差异性值乘以预定系数获得的值、或者通过把它们乘以时间值获得的值。

通过反馈控制信息，反馈装置3的反馈播放控制单元3b针对各个用户上装配的各个播放装置4控制触觉推动播放的驱动。

即，虽然针对除了指定用户A以外的用户把作为指定用户A的运动节奏的节拍传递给触觉，但是触觉推动随着动作偏离指定用户A的变大而变大。即，动作偏离指定用户A较大的用户感觉到指定用户A的节拍更强。

此时，虽然为此这样做是合理的，但是有必要使针对各个用户的控制信息对应于各个用户上装配的播放装置4。反馈播放控制单元3b设置用户上装配的播放装置4的播放强度，并且根据针对各个用户的控制信息(根据差异性的强度系数)控制播放装置4的驱动。

如果作为比较的结果，各个用户的节拍与指定用户A(例如，领舞者等)的节拍一致，则用户通过播放装置4针对用触觉感觉到的节奏感觉小，然而如果节拍偏离指定用户A的节拍，则用户针对用触觉感觉到的节奏感觉大。

运算单元11在步骤F306中的处理之后从步骤F307返回步骤F302，以继续同样的处理。

如果系统运算结束，则运算单元11从步骤F307进行到步骤F308，并且结束记录单元12中运动信息的记录过程、运算单元11的运算过程、以及反馈控制信息的生成/输出过程以终止一系列运算。

在如上所述的第三处理示例中，如果用触觉感觉到的基本运动节奏变强，则用户感觉到用户的动作偏离指定用户例如领导者的动作，并且在注意与领导者一致的情况下表演舞蹈。相应地，用户可以在执行运算时意识到与领导者的一致状态。另外，用户可以取得在增加动作相关性的过程中的乐趣。

在此情形中，可以通过相关性而非差异性执行运算处理。另外，可以根据运动模式、节奏模式、以及运动强度而非运动节拍确定差异性或相关性。

另外，反馈播放不是执行为强度对于每个用户各自不同的触觉推动播放，而是可以向所有用户共同播放。

例如，在步骤F305和F306中，针对指定用户A的运动节奏根据各个用户运动节奏的分布的宽度或者根据各个用户的差异性的平均值来设置差异性的强度。

即，当各个用户的运动分散时反馈控制信息的强度系数提高。

相应地，当偏离领导者变大时所有用户强烈地感觉到触觉推动播放，并且从身体感知所有用户同时运动、模仿领导者的动作的一致状态。

[5.第四处理示例]

将参照图11描述第四处理示例。

在第四处理示例中，反馈装置3在引导装置5的控制下以触觉推动的形式向用户给出引导节奏。

在作为动作协同运算装置1的处理的步骤F401中，动作协同运算装置1开始运动信息的记录。即，如果动作协同运算装置1的动作信息输入单元14从各个传感器装置2接收到运动信息，则动作协同运算装置1把接收的动作信息记录在记录单元12中。此后，连续执行这种记录处理。

在步骤F402中，运算单元11生成用于引导节拍的推动播放的控制信息，并且把控制信息从控制信息输出单元13输出到引导装置5和反馈装置3。即，运算单元11向引导装置5指示必要的引导节拍。另外，运算单元11向反馈装置3指示引导节拍的触觉推动播放的开始。引导控制单元5a根据指示向反馈播放控制单元3b指示引导节拍。

相应地，各个播放装置4执行预定引导节拍的触觉推动，从而各个用户从身体感知引导节拍。

此时，引导播放单元5b还可以通过音频或视频同时执行根据引导节拍的播放。

在步骤F403中，运算单元11针对记录单元12中记录的、来自各个传感器装置2的运动信息读取预定时段的运动信息。

在步骤F404中，运算单元11使用从记录单元12读取的、来自各个传感器装置2的运动信息执行各个传感器装置2的用户的个体信息运算。例如，运算单元11执行运动节奏的评估。如上所述的步骤F403和F404与根据处理示例1的步骤F102和F103相同。

接下来，在步骤F405中，运算单元11计算作为各个用户的运动节奏的节拍与引导节拍之间的差异性。

例如，如果假定针对引导节拍和各个用户的运动节拍，“节拍α”是节拍快的一侧，“节拍β”是节拍慢的一侧，则如下获得差异性。

差异性＝节拍α/节拍β-int(节拍α/节拍β)

如果用户的节拍与引导节拍之间的差异性变大，则差异性值变成更大的值。

如果针对用户获得了各个引导节拍的差异性，则在步骤F406中，运算单元11计算整个组中的差异性。例如，运算单元11把分布宽度或者各个用户的差异性的平均值当作整个组的差异性。

在步骤F407中，运算单元11生成反馈控制信息，并且把反馈控制信息从控制信息输出单元13传输到反馈装置3。

根据整个组的差异性生成反馈控制信息。

例如，当整个组的差异性变大(或变小)时，运算单元11生成播放强度系数高的反馈控制信息，并且把控制信息从控制信息输出单元13输出到反馈装置3。

通过如上所述的反馈控制信息，反馈装置3的反馈播放控制单元3b针对各个用户上装配的各个播放装置4控制触觉推动的驱动。

随后，当用户的动作针对引导节拍分散(或者相反地彼此一致)时，提高反馈播放强度。

由此，各个用户能够通过触觉推动播放的强度识别运动的相关性状态。

运算单元11在步骤F407中的处理之后从步骤F408返回步骤F403以继续同样的处理。

如果系统运算结束，则运算单元11从步骤F408进行到步骤F409，并且结束记录单元12中运动信息的记录过程、运算单元11的运算过程、以及反馈控制信息的生成/输出过程以终止一系列运算。

在第四处理示例中，把所有用户的动作的整体差异性确定为用户识别的引导节拍，并执行根据整体差异性的反馈播放。

当然，可以根据相关性而非差异性执行运算。另外，可以根据运动模式、节奏模式、以及运动强度而非运动节拍确定差异性或相关性。

[6.应用、修改以及程序]

如上所述，已描述了各种处理示例作为本发明的实施例。此处，将描述各种处理示例中的应用和修改。

作为本发明的实施例的应用，可以考虑如上所述以集体的形式表演的舞蹈或体操。在多人表演舞蹈的情形中，在相关领域中，监督者观察跳舞的人的动作是否相互一致或者运动录制在视频上以在以后确认。通过使用根据本发明的示例的系统，可以实时地或者预先把舞蹈节奏传递给表演者，并可以反馈执行的动作是否与其它人的动作协同。

另外，可以考虑同游表演、游行、实况地点的人的动作、以及节奏游戏。

如果基于多个用户的运动状态同步性生成反馈播放则是足够的。

还可以考虑用户运动节拍、运动强度、运动区域、以及运动模式在预定范围中是否彼此一致，或者在节拍的情形中，如果节奏由弱拍(up beat)以及和声组成，则是否向用户给出预定反馈。

在触觉推动播放中，通过同步状态改变压力装置感觉到的拍子的强度和弱度、拍子间隔、振动强度、以及振动时间等。

另外，在用声音或音乐执行反馈播放的情形中，例如，如果运动模式彼此一致，则可以通过在下一次测量中使多个声音重叠而输出噪声，或者给出大意为运动彼此协调的通告。

如果运动模式早或晚，则可以给出大意为如下内容的通告：音乐的重叠未在下一次测量中出现、不协调出现、或者运动彼此不协调。在节奏由弱拍组成的情形中，还可以添加拍子声音或节奏声音。

当相关性变大时，重叠和音的数量或音量变大。另一方面，随着相关性变小，重叠和音的数量或音量也变小，不协调的数量或音量变大。

可以在用户上装配或者由用户携带传感器装置2。然而，例如，还可以通过摄像机装置拍摄用户的动作以及通过图像识别处理确定各个用户的动作。

另外，例如，在处理示例4中，还考虑对于独立于系统运算的引导装置5的播放或引导节奏，在模板已经存在时通过给出触觉推动来教导运动方向或下一个节奏。

另外，当协调运动已成功时，记录尚未执行的信息，从而可以转变用户的动作。

动作协同运算装置1把传感器输出值连同时间信息一起记录在记录单元12中。基于此日志，可以播放时间序列运动模式和反馈。

还可以回顾用户与另一用户之间的相关性或者用户与预注册模板之间的动作差异性，并且使用日志作为模板。

用户可以准备运动的模板。

通过对接合到身体的传感器装置2(例如，加速度传感器)的操控或者通过启动专用软件，可以对软件执行模板播放操控，从而可以记录此后的运动。

另外，虽然在处理示例1、2、3、以及4中以如图2中所示把传感器装置2装配在用户上为示例，但是可以如图3和图4中所示以同样的方式把多个传感器装置2装配在每个用户上。

例如，在图5的处理示例1中，在步骤F103中执行图3中的运算M1A和M1B。

另外，在图9的处理示例2中，在步骤F204中执行图4中的运算M2A和M2B。

在其它处理示例中，通过恰当地执行图3和图4的运算，用户上可以装配多个传感器装置2。

另外，在实施例中，以动作协同运算装置1把运动信息记录在记录单元12中为示例。然而，根据运算单元11的处理能力，运算单元11可以直接处理运动信息输入单元14中接收的信息而不采取记录操作。

将描述程序。

在本发明的实施例中，程序是用于实现上述动作协同运算装置1的功能的程序。例如，计算机装置中安装的程序开始使计算机装置如在处理示例1、2、3、以及4中一样执行处理。

在此实施例中，可以把程序预先记录在作为内置于诸如个人计算机等设备中的记录介质的HDD、专用动作协同运算装置1、或者具有CPU的微计算机中的ROM中。

另外，可以把程序暂时地或永久地存储在软盘、CD-ROM(压缩光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、蓝光盘、磁盘、半导体存储器、诸如记忆卡的可拆除记录介质中。可拆除记录介质可以提供为所谓的封装软件。

另外，除了从可拆除记录介质安装在个人计算机中之外，还可以通过诸如LAN(局域网)、或者互联网等网络从下载站点下载程序。

根据相应程序，动作协同运算装置1可以使用诸如个人计算机的信息处理装置实现，并且适合于系统运算的大范围提供。

本申请包含与2009年10月23日提交于日本专利局的日本在先专利申请JP 2009-244304中公开的主题相关的主题，其全部内容通过引用合并于此。

本领域的技术人员应当理解，根据设计要求和其它因素，可以进行各种修改、组合、子组合和改变，只要这些修改、组合、子组合和改变在所附权利要求或其等价内容的范围内。