感觉导入装置、感觉导入系统和感觉导入方法

摘要

提供能够通过将声音输出和振动输出联动来提高真实感的一种感觉导入装置、一种感觉导入系统和一种感觉导入方法。一种感觉导入装置包含多个致动器和多个扬声器。感觉导入装置包含相互关联的致动器和扬声器的多个集合，其中多个致动器中的至少一个致动器以及多个扬声器中的至少一个扬声器相互关联。来自致动器的输出以及来自扬声器的输出受到控制而针对相互关联的致动器和扬声器的每一集合而联动。

说明书

技术领域

本公开涉及感觉导入装置、感觉导入系统和感觉导入方法。

背景技术

存在通过如下方式将感觉反馈给用户以提高真实感的技术：将扬声器或致动器包含在各种数字装置中并通过来自扬声器的声音输出或致动器的振动呈现伪触觉或肌动觉(下文中，在一些状况下，通称为“触觉”)。

作为将感觉反馈给用户的装置的具体实例，可示范例如游戏控制台等信息处理装置中所使用的控制器。例如，通过基于用户对控制器的操纵的细节来驱动控制器中的致动器，可以将真实感或沉浸感呈现给用户，如同用户实际上操纵游戏中的对象一般。下文中，在一些状况下，将感觉反馈给用户的装置被称为“感觉导入装置”。

引用文献列表

专利文献

专利文献1：JP 2009-72600A

发明内容

技术问题

另一方面，作为用于将感觉反馈给用户的技术，能够通过将与触觉的呈现相关的振动输出和声音输出联动来馈送更直观的感觉以提高真实感的技术是必要的。

因此，希望提供能够通过将声音输出和振动输出联动来改进真实感的一种新颖且改进的感觉导入装置、一种新颖且改进的感觉导入系统以及一种新颖且改进的感觉导入方法。

问题的解决方案

根据本公开，提供一种感觉导入装置，包含：多个致动器；以及多个扬声器。感觉导入装置包含多个致动器中的至少一个致动器以及多个扬声器中的至少一个扬声器相互关联的多个集合。来自致动器的输出以及来自扬声器的输出受到控制而针对相互关联的致动器和扬声器的每一集合而联动。

根据本公开，提供一种感觉导入系统，包含：感觉导入装置，包含多个致动器和多个扬声器，并且包含多个致动器中的至少一个致动器以及多个扬声器中的至少一个扬声器相互关联的多个集合；信息处理装置，被配置成输出用于控制感觉导入装置的操作的控制信号；以及控制单元，被配置成执行控制以使得来自致动器的输出以及来自扬声器的输出基于控制信号针对相互关联的致动器和扬声器的每一集合而联动。

根据本公开，提供一种控制装置，包含：信号处理单元，被配置成产生控制信号，所述控制信号用于执行控制以使得在包含多个致动器和多个扬声器并且包含多个致动器中的至少一个致动器以及多个扬声器中的至少一个扬声器相互关联的多个集合的感觉导入装置中，来自致动器的输出以及来自扬声器的输出针对相互关联的致动器和扬声器的每一集合而联动；以及输出单元，被配置成将所产生的控制信号输出到感觉导入装置。

根据本公开，提供一种感觉导入方法，包含：输出控制信号，所述控制信号用于执行感觉导入装置的操作的控制，所述感觉导入装置包含多个致动器和多个扬声器并且包含多个致动器中的至少一个致动器以及多个扬声器中的至少一个扬声器相互关联的多个集合；以及基于控制信号来执行控制以使得来自致动器的输出以及来自扬声器的输出针对相互关联的致动器和扬声器的每一集合而联动。

本发明的有利效果

根据上文所述的本公开，可以提供能够通过将声音输出和振动输出联动来提高真实感的感觉导入装置、感觉导入系统以及感觉导入方法。

应注意，上文所述的效果未必受限制，并且与所述效果一起或代替所述效果，希望在本说明书中引入的任何效果或可从本说明书预期的其它效果可得以展现。

附图说明

图1是图示根据本公开的实施例的感觉导入系统的示意性系统配置的实例的说明图。

图2是图示根据实施例的感觉导入装置的示意性配置的说明图。

图3是用于描述致动器的实例的图。

图4是用于描述致动器的实例的图。

图5是图示根据实施例的感觉导入装置的每一扬声器和每一致动器的联动的控制的实例的说明图。

图6是图示来自感觉导入装置的每一扬声器的声音输出以及来自每一致动器的振动输出的控制的实例的说明图。

图7是图示来自感觉导入装置的每一扬声器的声音输出以及来自每一致动器的振动输出的控制的实例的说明图。

图8是图示根据实施例的感觉导入装置的硬件配置的实例的图。

图9是图示根据实施例的感觉导入系统的功能配置的实例的框图。

图10是图示来自相互关联的扬声器和致动器中的每一个的信号输出的波形的实例的图。

图11是图示图10所图示的每一信号波形的频率分量的分布的图。

图12是图示根据实施例的感觉导入系统的一系列操作的流程的说明图。

图13是图示根据实施例的感觉导入系统的一系列操作的流程的实例的图。

图14是图示在执行控制以使得用户操纵、视频、声音输出和触觉反馈被协调的定向的实例的说明图。

图15是图示根据实例1的感觉导入装置的示意性配置的说明图。

图16是图示根据实例1的致动器的实例的说明图。

图17是图示根据实例2的感觉导入装置的示意性配置的说明图。

图18是图示根据实例3的感觉导入装置的概述的说明图。

图19是图示根据实例3的感觉导入装置的示意性配置的实例的说明图。

图20是图示根据实例3的感觉导入装置的示意性配置的实例的说明图。

图21是图示根据实例3的感觉导入装置的示意性配置的实例的说明图。

图22是图示根据实例4的感觉导入装置的示意性配置的实例的说明图。

图23是图示根据实例4的感觉导入装置的示意性配置的实例的说明图。

图24是图示根据实例5的感觉导入装置的概述的说明图。

图25是图示根据实例5的感觉导入装置的示意性配置的实例的说明图。

具体实施方式

下文中，将参照附图来详细地描述本公开的优选实施例。在本说明书和附图中，以相同附图标记来表示具有基本上相同的功能和结构的元件，并且省去重复的解释。

将按以下次序进行描述。

1.实施例

1.1.示意性配置

1.2.来自扬声器和致动器的输出的控制

1.3.硬件配置

1.4.功能配置

1.5.过程

2.实例

2.1.实例1：致动器和扬声器的第一配置实例

2.2.实例2：致动器和扬声器的第二配置实例

2.3.实例3：应用到便携式终端的实例

2.4.实例4：感觉导入装置的实例

2.5.实例5：应用到控制器的实例

3.总结

<1.实施例>

【1.1.示意性配置】

首先，将参照图1来描述根据本公开的实施例的感觉导入系统的概述。图1是图示根据本公开的实施例的感觉导入系统的示意性系统配置的实例的说明图。

如图1所图示，根据本公开的实施例的感觉导入系统包含例如感觉导入装置10、控制装置20和显示装置90。

例如，图1图示如下状况的实例：控制装置20被配置为播放视频游戏或视频工作的装置(例如，游戏控制台)且感觉导入装置10被配置为用于对装置进行操纵的控制装置(下文中，在一些状况下，被称为“控制器”)。

感觉导入装置10包含输入装置(例如，按钮)，其中输入装置供用户用来对游戏控制台执行操纵(例如，当前活动的游戏的输入操纵)。感觉导入装置10可包含一种检测感觉导入装置10的壳体的移动或方向的改变的传感器，例如，加速度传感器或陀螺仪传感器(角速度传感器)。通过将此传感器安装在感觉导入装置10中，用户可通过执行移动感觉导入装置10的壳体的动作来对控制装置20(例如，游戏控制台)执行操纵。用户通过感觉导入装置10来执行操纵的上述方法和配置仅是实例且不限于上述实例。例如，触摸板或模拟摇杆可作为输入装置而安装在感觉导入装置10中。可应用用户的移动由例如相机等成像装置感测且用户的所感测的移动被辨识为操纵的细节的配置。

根据实施例的感觉导入装置10包含扬声器和致动器，以使得伪触觉可通过来自扬声器的声音输出和致动器的振动而反馈给用户。

例如，在图1所图示的实例的状况下，控制装置20基于来自被配置为控制器的感觉导入装置10的用户输入，来控制显示装置90的显示单元91上所显示的对象的操作。此时，控制装置20通过基于对象的操作而从感觉导入装置10的扬声器输出声音并使感觉导入装置10的致动器振动，而将根据对象的操作的触觉反馈给用户。在此配置中，图1所图示的感觉导入系统可向用户供应真实感较高的操纵感。下文中，在一些状况下，致动器的振动被称为“振动输出”，并且通过振动输出而呈现(反馈)给用户的伪触觉被称为“触觉反馈”。

此处，将参照图2来描述根据实施例的感觉导入装置10的配置的实例。图2是图示根据实施例的感觉导入装置10的示意性配置的说明图。图2图示在感觉导入装置10被用户握持且从用户的相对侧观察时的感觉导入装置10的配置(即，感觉导入装置10在后侧的配置)。具体来说，当用户握持感觉导入装置10且面向感觉导入装置10的前表面(即，安装有例如按钮等输入装置的表面)时，图的左侧对应于用户观察时的右侧(R)且图的右侧对应于用户观察时的左侧(L)。下文中，在一些状况下，用户握持感觉导入装置10且面向感觉导入装置10的前表面的状况被称为“用户面向感觉导入装置10的状况”。

如图2所图示，扬声器11R和11L安装在感觉导入装置10的壳体的后表面上。具体来说，当用户面向感觉导入装置10时，扬声器11R安装在感觉导入装置10的壳体的右后表面上，并且扬声器11L安装在感觉导入装置10的壳体的左后表面上。

扬声器11R是主要朝向用户的右耳输出声音的扬声器。类似地，扬声器11L是主要朝向用户的左耳输出声音的扬声器。下文中，在一些状况下，当扬声器11R和11L未相互特别区分时，扬声器11R和11L被简称为“扬声器11”。

根据实施例的感觉导入装置10包含握持单元101R和101L，其中握持单元101R和101L供用户用来接近壳体的位于相互相对侧的两端而握持壳体。在图2所图示的实例中，当用户面向感觉导入装置10时，握持单元101R安装在感觉导入装置10的壳体的右侧，并且对应于用户用其右手握持感觉导入装置10的壳体的部分。类似地，握持单元101L安装在感觉导入装置10的壳体的左侧，并且对应于用户用其左手握持感觉导入装置10的壳体的部分。

在握持单元101R内，容纳基于所供应的控制信号而振动的致动器13R。类似地，在握持单元101L内，容纳致动器13L。下文中，在一些状况下，当致动器13R和13L未相互特别区分时，致动器13R和13L被简称为“致动器13”。

图3是用于描述致动器13的实例的图。例如，图13图示致动器的实例，其中所述致动器被配置成能够在沿着相互垂直的x轴、y轴和z轴的方向(下文中，在一些状况下，被称为“x方向”、“y方向”和“z方向”)上振动。当按此方式应用在多个相互不同的方向上振动的致动器且调整致动器振动的每一方向上的振动的振幅或相位时，感觉导入装置10可将各种触觉反馈给用户。

如图2所图示，根据实施例的感觉导入装置10包含多个致动器13(例如，致动器13R和13L)。因此，感觉导入装置10调整多个致动器中的每一个的振动的振幅或相位以将各种触觉呈现给用户。作为具体实例，感觉导入装置10通过使振动的振幅在图3所图示的致动器13R与13L之间出现偏差而使呈现给用户的肌动觉能够具有方向性。

感觉导入装置10可通过在多个致动器的振动的输出之间提供时间差而执行控制。作为具体实例，感觉导入装置10通过使图3所图示的致动器13R与13L之间的振动的输出定时(即，相位)移位而使呈现给用户的肌动觉能够具有方向性。当然，不用说，感觉导入装置10可组合致动器的振幅的控制(例如，增益或音量的控制)以及致动器的振动的输出定时的控制。

图3所图示的致动器13仅是实例，且致动器13的配置不限于图3所图示的实例。例如，致动器13可被配置成仅在一个方向上振动。致动器13振动的方向未必限于笔直方向。例如，图4是用于描述致动器13的另一实例的图。如图4所图示，致动器13可被配置成在预定平面中的圆形方向上(在图4所图示的状况下，在xz平面中的圆形方向上)振动。当然，不用说，与图4所图示的致动器13相同的振动可通过在x方向和y方向上调整图3所图示的致动器13的振幅和相位来再现。

接着，将描述根据实施例的来自感觉导入装置10中的每一扬声器的声音输出和来自每一致动器的振动输出的控制的概述。

在根据实施例的感觉导入装置10中，触觉的呈现被实现以使得通过协调来自每一扬声器的声音输出的定向以及基于每一致动器的振动的触觉反馈的定向，真实感更高。具体来说，感觉导入装置10被配置成包含多个致动器中的至少一个致动器以及多个扬声器中的至少一个扬声器相互关联的多个集合。针对相互关联的致动器和扬声器的每一集合，来自感觉导入装置10的每一扬声器的声音输出以及来自每一致动器的振动输出受到控制而联动。

例如，在图2所图示的实例的状况下，位于感觉导入装置10的右侧(R)的扬声器11R以及安装在用户的右手所握持的握持单元101R内的致动器13R预先关联。来自扬声器11R的声音输出以及来自致动器13R的振动输出受到控制而相互联动。

作为具体实例，当执行控制以使得来自扬声器11R的声音输出的振幅增大时，执行控制以使得来自与扬声器11R相关联的致动器13R的振动输出的振幅也增大。

来自扬声器11的声音输出和来自致动器13的振动输出的控制实体不受特定限制。例如，感觉导入装置10可执行控制以使得来自扬声器11的声音输出和来自致动器13的振动输出联动。作为另一实例，控制装置20可执行控制以使得来自扬声器11的声音输出和来自致动器13的振动输出联动。稍后将分开描述关于扬声器11和致动器13的联动的控制的细节。控制装置20对应于输出用于控制感觉导入装置的操作的控制信号的“信息处理装置”的实例。

类似地，位于感觉导入装置10的左侧(L)的扬声器11L以及安装在用户的左手所握持的握持单元101L内的致动器13L预先关联。来自扬声器11L的声音输出以及来自致动器13L的振动输出受到控制而相互联动。

在此配置中，基于来自感觉导入装置10的扬声器11的声音输出以及来自致动器13的振动输出的触觉反馈的定向在根据实施例的感觉导入系统中被协调。具体来说，当声音从扬声器11R和11L输出时，如同在声音输出中一样，通过使致动器13R和13L振动而将触觉反馈给用户。此时，例如，根据来自扬声器11R和11L的声音输出的振幅的比(即，右侧和左侧的声音输出的振幅之间的比)来调整致动器13R和13L所进行的触觉反馈的振幅之间的比。此控制可在根据实施例的感觉导入系统中使得通过感觉导入装置10进行的触觉反馈的真实感的显著提高。

【1.2.来自扬声器和致动器的输出的控制】

接着，将参照图5和图6将如下状况作为实例来描述：在感觉导入装置10的每一扬声器11和每一致动器13在根据实施例的感觉导入系统中联动的控制的实例中，感觉导入装置10具有图2所图示的配置。图5是图示根据实施例的感觉导入装置10的每一扬声器11和每一致动器13的联动的控制的实例的说明图。图5图示在感觉导入装置10被配置为游戏控制台等的控制器时的操纵图像的实例。

例如，图5图示在用户通过将感觉导入装置10向右和向左倾斜而将显示装置90的显示单元91上所显示的对象v10向右和向左操纵时的操纵图像。具体来说，当用户将感觉导入装置10向左倾斜时，控制装置20(未图示)控制显示装置90的显示以使得显示单元91上所显示的对象v10向左移动。

此时，基于来自控制装置20的指令，来自感觉导入装置10的扬声器11R和11L的声音输出的振幅以及来自致动器13R和13L的振动输出(即，触觉反馈)的振幅根据显示单元91上的对象v10的操作而受到控制。例如，图6是图示来自感觉导入装置10的每一扬声器11的声音输出以及来自每一致动器13的振动输出的控制的实例的说明图。

在图6的上侧所图示的曲线图g11R和g11L中，图示了来自扬声器11R和11L的声音输出与显示单元91上所显示的对象v10在显示单元91的水平方向上的位置之间的关系的实例。垂直轴表示扬声器输出，即，来自扬声器11R和11L的声音输出的振幅(相对值)。水平轴表示显示单元91上的对象v10在水平方向上的坐标x。曲线图的右侧对应于显示单元91的右侧，并且曲线图的左侧对应于显示单元91的左侧。曲线图g11R是指示来自扬声器11R的声音输出的振幅与显示单元91上的对象v10在水平方向上的坐标x之间的关系的曲线图。类似地，曲线图g11L是指示来自扬声器11L的声音输出的振幅与显示单元91上的对象v10在水平方向上的坐标x之间的关系的曲线图。

在图6的下侧所图示的曲线图g13R和g13L中，图示了来自致动器13R和13L的振动输出与显示单元91上所显示的对象v10在显示单元91的水平方向上的位置之间的关系的实例。垂直轴表示致动器输出，即，来自致动器13R和13L的振动输出的振幅(相对值)。水平轴与图6的上侧所图示的关于来自扬声器11R和11L的声音输出的曲线图中的相同。曲线图g13R是指示来自致动器13R的振动输出的振幅与显示单元91上的对象v10在水平方向上的坐标x之间的关系的曲线图。类似地，曲线图g13L是指示来自致动器13L的声音输出的振幅与显示单元91上的对象v10在水平方向上的坐标x之间的关系的曲线图。

在图6所图示的实例中，当对象v10在显示单元91上从左侧移动到右侧时，如曲线图g11R所图示，来自扬声器11R的声音输出的振幅受到控制而线性地增大。此时，来自致动器13R的振动输出的振幅受到控制而与来自扬声器11R的声音输出的振幅(曲线图g11R)联动且因此线性地增大，如曲线图g13R所图示。

当对象v10在显示单元91上从左侧移动到右侧时，如曲线图g11L所图示，来自扬声器11L的声音输出的振幅受到控制而线性地减小。此时，来自致动器13L的振动输出的振幅受到控制而与来自扬声器11L的声音输出的振幅(曲线图g11L)联动且因此线性地减小，如曲线图g13L所图示。

在图6中，已描述来自致动器13的振动输出受到控制而与扬声器11的声音输出联动且因此线性地改变的实例。然而，输出可能未必受到控制而在声音输出和振动输出联动时线性地改变。

例如，图7是图示来自感觉导入装置10的每一扬声器11的声音输出以及来自每一致动器13的振动输出的控制的另一实例的说明图。图7的上侧所图示的曲线图g21R和g21L对应于来自扬声器11R和11L的声音输出，如同在图6的上侧所图示的曲线图g11R和g11L中一样。因此，曲线图g21R和g21L的垂直轴和水平轴与图6的上侧所图示的曲线图g11R和g11L中的相同。图7的下侧所图示的曲线图g23R和g23L对应于来自致动器13R和13L的振动输出，如同在图6的下侧所图示的曲线图g13R和g13L中一样。因此，曲线图g23R和g23L的垂直轴和水平轴与图6的下侧所图示的曲线图g13R和g13L中的相同。

在图7所图示的实例中，当对象v10在显示单元91上从左侧移动到右侧时，如曲线图g21R所图示，来自扬声器11R的声音输出的振幅受到控制而线性地增大。相反，如曲线图g23R所图示，来自致动器13R的振动输出的振幅与来自扬声器11R的声音输出的振幅(曲线图g21R)互锁且因此增大，但振动输出的振幅受到控制而非线性地改变。作为具体实例，如曲线图g23R所图示，当对象v10在显示单元91上在左侧的预定坐标上移动到右侧时，来自致动器13R的振动输出的振幅受到控制而增大。

当对象v10在显示单元91上从左侧移动到右侧时，如曲线图g21L所图示，来自扬声器11L的声音输出的振幅受到控制而线性地增大。相比之下，如曲线图g23L所图示，来自致动器13L的振动输出的振幅与来自扬声器11L的声音输出的振幅(曲线图g11L)联动且因此减小，但振动输出的振幅受到控制而非线性地改变。作为具体实例，如曲线图g23L所图示，当对象v10在显示单元91上在左侧的预定坐标上移动到右侧时，来自致动器13L的振动输出的振幅受到控制而减小。

上文参照图6和图7所述的控制仅为实例。控制方法不受特定限制，只要预先关联的扬声器11和致动器13(例如，扬声器11R和致动器13R或扬声器11L和致动器13L)的输出受到控制而联动即可。

以此方式，在根据实施例的感觉导入系统中，感觉导入装置10的扬声器11和致动器13相关联，并且得以提供相互关联的扬声器11和致动器13的多个集合。在根据实施例的感觉导入系统中，来自相互关联的扬声器11和致动器13的输出(即，声音输出和振动输出)联动。此配置和控制可在根据实施例的感觉导入系统中通过协调来自扬声器11的声音输出的定向以及基于来自致动器13的振动输出的触觉反馈的定向而使得触觉反馈的真实感显著提高。

【1.3.硬件配置】

接着，将参照图8来描述根据实施例的感觉导入装置10的硬件配置的实例。图8是图示根据实施例的感觉导入装置10的硬件配置的实例的图。

如图8所图示，例如，根据实施例的感觉导入装置10包含处理器901、存储器903、存储装置905、扬声器907、致动器909、通信装置911、操纵装置913和加速度传感器915。

处理器901可以例如是中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)或系统芯片(SoC)并执行感觉导入装置10的各种处理。例如，处理器901可由执行各种计算处理的电子电路配置而成。存储器903包含随机存取存储器(RAM)和只读存储器(ROM)，并且存储数据以及由处理器901执行的程序。存储装置905可包含例如半导体存储器或硬盘等存储介质。

扬声器907是输出声音信号的输出装置。根据实施例的感觉导入装置10包含多个扬声器907。扬声器907对应于图2所图示的扬声器11R和11L。

致动器909是根据输入控制信号而振动以将伪触觉反馈给用户的装置。根据实施例的感觉导入装置10包含多个致动器909。每一致动器909与多个扬声器907中的任一个相关联。致动器909对应于图2所图示的致动器13R和13L。

通信装置911是包含在感觉导入装置10中并经由网络而与外部装置(例如，图1所图示的控制装置20)通信的通信单元。通信装置911可被配置为用于无线或有线通信的接口。当通信装置911被配置为用于无线通信的接口时，通信装置911可包含通信天线、射频(RF)电路和基频处理器。作为具体实例，通信装置911可以是能够与例如蓝牙(注册商标)之类的预定通信区域中所存在的一个或更多个外部装置建立无线通信的通信装置。

通信装置911具有对从外部装置接收的信号执行各种信号处理的功能，并且可将从所接收的模拟信号产生的数字信号供应到处理器901。

操纵装置913具有产生供用户用来执行期望操纵的输入信号的功能。操纵装置913可被配置成包含供用户用来输入信息的输入装置(例如，按钮或开关)以及基于用户的输入而产生输入信号并将输入信号供应到处理器901的输入控制电路。

加速度传感器915是将加速度作为电压值来检测的传感器。加速度传感器915可以是三轴加速度传感器，其中三轴加速度传感器检测沿着X轴的加速度、沿着Y轴的加速度以及沿着Z轴的加速度。加速度传感器915可将所检测的加速度数据供应到处理器901。

陀螺仪传感器可代替加速度传感器915而被安装，或加速度传感器915与陀螺仪传感器两者都可被安装。陀螺仪传感器是一种检测对象的角度或加速度的测量器。陀螺仪传感器可以是三轴陀螺仪传感器，其中三轴陀螺仪传感器将围绕X轴、Y轴和Z轴的旋转角度改变的速度(角速度)作为电压值而检测。陀螺仪传感器可将所检测的角速度数据供应到处理器901。

总线917将处理器901、存储器903、存储装置905、扬声器907、致动器909、通信装置911、操纵装置913和加速度传感器915相互连接。总线917可包含多种总线。

【1.4.功能配置】

接着，将参照图9，特别着眼于感觉导入装置10和控制装置20来描述根据实施例的感觉导入系统的功能配置的实例。图9是图示根据实施例的感觉导入系统的功能配置的实例的框图。

首先，描述将着眼于控制装置20。如图9所图示，控制装置20包含控制单元21、通信单元23和信号数据存储单元25。控制单元21包含计算单元211、信号处理单元213和显示控制单元215。

通信单元23是供控制装置20的每一构成元件经由网络n1与感觉导入装置10或显示装置90(未示出)通信的通信接口。网络n1例如是连接其它装置的无线或有线发送路径。当网络n1被配置为无线发送路径时，可将基于蓝牙(注册商标)标准的无线通信网络示范为具体实例。下文中，当在控制装置20的每一构成元件与感觉导入装置10或显示装置90之间发送和接收数据时，除非另有指定，否则假设数据经由通信单元23发送和接收。

通信单元23可被配置成能够经由例如因特网等通信路径而与外部服务器通信。在此状况下，通信单元23可以例如是经由例如因特网等通信路径而建立通信的装置。下文中，为便于描述，假设通信单元23能够与感觉导入装置10、显示装置90和外部服务器中的每一个通信，但本公开未必限于此配置。例如，与感觉导入装置10、显示装置90和外部服务器中的一些执行通信的通信接口以及与剩余装置执行通信的通信接口可作为不同装置来安装。

控制单元21执行各种控制以获取例如视频游戏或视频工作等一系列内容，并且基于内容中所包含的视频数据、声音数据和触觉数据经由感觉导入装置10或显示装置90而将视频、声音和触觉呈现给用户。内容获取源不受特定限制。例如，控制单元21可获取控制装置20中的存储单元(未图示)中所存储的内容，或可经由例如因特网等网络而从外部获取内容。

下文中，将如下状况作为实例来描述：在控制单元21的每一构成元件中，用户通过被配置为控制器的感觉导入装置10而操纵显示装置90的显示单元91上所显示的对象v10的状况，如图5所图示。

计算单元211经由网络n1从感觉导入装置10获取指示用户对感觉导入装置10执行的操纵的细节的控制信号。计算单元211基于所获取的控制信号而指定用户所执行的操纵的细节(即，操纵方向或操纵量)，并且基于将操纵的指定细节用作输入的物理计算来计算对象v10的移动。

作为具体实例，计算单元211可基于操纵方向来指定作用在对象v10上的力的方向，并且可基于操纵量来指定作用在对象v10上的力的量值。因此，例如，当虚拟地设置对象v10的重量或作用在对象v10上的重力时，计算单元211可通过作用在对象v10上且基于用户操纵来计算的力的量值或方向而计算对象v10的运动方向或运动速度(除对象v10的暂时操作之外)。

本公开不限于对象v10如上所述基于用户操纵而移动的实例，实际上，计算单元211可基于物理计算来模拟各种对象的操作。作为具体实例，计算单元211可通过分析其中对象正在移动的作为内容而播放的视频来计算特定对象的运动方向或运动速度。

物理计算的细节未必限于对象的运动。例如，计算单元211可通过分析作为内容播放的对象的视频来计算特定对象的表面的形状或粗糙度中的至少一个，并且基于对象的表面的所计算的形状或粗糙度来计算通过对象的表面而产生的摩擦力。例如，用户用手触摸对象的感觉可从以此方式计算的摩擦力作为触觉反馈来模拟性地再现。

计算单元211向信号处理单元213和显示控制单元215通知物理计算的结果，例如，指示对象v10的所计算的运动方向或运动速度的信息。

显示控制单元215在显示装置90的显示单元91上显示所获取的内容中所包含的视频。因此，例如，如图5所图示，对象v10显示在显示装置90的显示单元91上。

显示控制单元215从计算单元211获取物理计算的结果，例如，指示对象v10的运动方向或运动速度的信息。基于对象v10的所获取的运动方向或运动速度，显示控制单元215计算对象v10的显示位置或显示形式(例如，形状的改变)。基于对象v10的所计算的显示位置或显示形式，显示控制单元215使显示装置90更新显示单元91上所显示的对象v10的视频。

基于计算单元211所进行的物理计算的结果，信号处理单元213对从感觉导入装置10的扬声器11R和11R输出的声音信号执行信号处理。基于物理计算的结果，信号处理单元213产生控制信号以使致动器13R和13L振动。

例如，信号处理单元213可从所播放的内容读取从扬声器11R和11L输出的声音信号，并且根据对象v10的运动方向或运动速度来控制声音信号的振幅，如上文参照图6或图7所述。

信号处理单元213从所播放的内容读取用于再现触觉的触觉数据(例如，指示振动的振动数据)，并且产生用于驱动致动器13R和13L的控制信号。作为具体实例，信号处理单元213可通过处理或控制从内容读取的振动信号而产生用于驱动致动器13R的控制信号，以使得来自致动器13R的振动输出与来自扬声器11R的声音输出联动。类似地，信号处理单元213可通过处理或控制从内容读取的振动信号而产生用于驱动致动器13L的控制信号，以使得来自致动器13L的振动输出与来自扬声器11L的声音输出联动。基于前述控制，信号处理单元213产生用于驱动致动器13R和13L的控制信号。

当信号处理单元213产生用于驱动致动器13R和13L的控制信号时，信号处理单元213可例如通过处理信号数据存储单元25中所存储的标准信号来产生控制信号。

信号数据存储单元25中所存储的标准信号例如是用作用于驱动致动器13以实现各种触觉反馈的控制信号的产生源的信号。信号数据存储单元25存储例如预先针对将再现的触觉反馈的每一分类而产生的标准信号。信号处理单元213从信号数据存储单元25读取对应于将再现的触觉反馈(例如，内容中所包含的触觉数据所指示的触觉反馈)的标准信号，并且通过调整所读取的标准信号的振幅或相位来产生用于驱动致动器13的控制信号。内容中所包含的声音数据和触觉数据所指示的标准信号(例如，声音信号或振动信号)对应于“用于控制感觉导入装置的操作的控制信号”。

取决于将播放的内容，可能未必包含用于再现触觉的触觉数据。因此，信号处理单元213可产生用于驱动致动器13的控制信号，以使得触觉反馈以声音数据或基于声音数据的声音信号为基础以模拟性方式再现，并且触觉反馈被呈现。

作为具体实例，信号处理单元213可通过将低通滤波器应用到声音信号而提取声音信号的具有低频频带(例如，等于或小于1000Hz的频带)的信号(振动信号)，并且以模拟性方式以具有低频频带的所提取的信号为基础来再现触觉反馈。通过此过程，例如，可再现具有平缓的时间变化的振动。信号处理单元213可通过将高通滤波器应用到声音信号而提取声音信号的具有高频频带(例如，等于或大于300Hz的频带)的信号，并且将具有高频频带的所提取的信号设置为将输出的声音信号。

信号处理单元213可通过分析具有低频频带的所提取的信号来检测信号的上升，并且以包含指示上升的短脉冲的信号为基础以模拟性方式再现触觉反馈。通过此处理，例如，可再现如同在碰撞时的冲击中一样的急剧变化的振动。

当以模拟性方式从声音信号再现触觉反馈时，不用说，信号处理单元213可还对所提取的信号(例如，具有低频频带的信号)执行信号处理。作为信号处理的具体实例，可示范各种滤波器(低通滤波器、高通滤波器或带通滤波器)的应用以及例如音高移位等处理的应用中的一种或其各种组合。

信号处理单元213可根据以无线或有线方式连接到控制装置20的感觉导入装置10的致动器13的振动方向的维度来产生用于驱动致动器13L的控制信号。

作为具体实例，假设致动器13在x方向、y方向和z方向上振动，产生内容中所包含的用于再现触觉的触觉数据，如图3所图示。另一方面，在一些状况下，感觉导入装置10的致动器13被配置成能够仅在x方向、y方向和z方向中的一个方向上振动。在这些状况下，例如，信号处理单元213可预先从感觉导入装置10获取关于致动器13的信息(例如，关于致动器可振动的方向的信息)，并且基于所述信息根据致动器13的振动方向的维度来产生控制信号。

例如，假设感觉导入装置10的致动器13被配置成使得致动器可仅在x方向上振动。在此状况下，信号处理单元213可产生控制信号以仅在内容中所包含的触觉数据所指示的x方向、y方向和z方向中的x方向上再现振动。

作为另一实例，信号处理单元213可基于内容中所包含的触觉数据所指示的x方向、y方向和z方向上的振动分量，通过向量计算来决定感觉导入装置10的致动器13的振动的振幅。作为具体实例，内容中所包含的触觉数据所指示的x方向、y方向和z方向上的振动分量的振幅被表示为Vx、Vy和Vz。在此状况下，例如，信号处理单元213可基于下文表述的公式1来决定感觉导入装置10的致动器13的振动的振幅V。

【数学式1】

前述的计算仅是实例，并且计算致动器13的振动的振幅的方法不受特定限制，只要内容中所包含的触觉数据所指示的振动方向的维度大于感觉导入装置10的致动器13可振动的方向的维度即可。例如，信号处理单元213可基于触觉数据所指示的x方向、y方向和z方向上的振动分量的振幅的平均值，来决定感觉导入装置10的致动器13的振动的振幅。

以此方式，信号处理单元213通过对从扬声器11R和11L输出的声音信号执行信号处理而产生用于驱动致动器13R和13L的控制信号。此时，产生用于驱动致动器13R的控制信号，以使得来自扬声器11R的声音输出与来自致动器13R的振动输出联动。此时，信号处理单元213可控制从扬声器11R输出的声音信号的振幅或相位。类似地，产生用于驱动致动器13L的控制信号，以使得来自扬声器11L的声音输出与来自致动器13L的振动输出联动。不用说，信号处理单元213可控制从扬声器11L输出的声音信号的振幅或相位。

信号处理单元213将从扬声器11R和11L输出的声音信号以及用于驱动致动器13R和13L的控制信号发送到感觉导入装置10。因此，来自感觉导入装置10的扬声器11R和11L的声音输出以及来自致动器13R和13L的振动输出受到控制。在信号处理单元213中，将声音信号和控制信号输出到感觉导入装置10的部分对应于“输出单元”的实例。

接着，将着眼于感觉导入装置10。如图9所图示，感觉导入装置10包含扬声器11R和11L、致动器13R和13L、控制单元14、通信单元12以及输入单元19。扬声器11R和11L以及致动器13R和13L分别对应于图2所图示的扬声器11R和11L以及致动器13R和13L。输入单元19包含操纵单元191和检测单元193。

通信单元12是供感觉导入装置10的每一构成元件经由网络n1与控制装置20通信的通信接口。例如，通信单元12可由图8所图示的通信装置911配置而成。下文中，当在感觉导入装置10的每一构成元件与控制装置20之间发送和接收数据时，除非另有指定，否则假设数据经由通信单元12发送和接收。

操纵单元191例如是供用户用来输入信息的输入装置，例如，按钮或开关。例如，操纵单元191可由图8所图示的操纵装置913配置而成。当接收到来自用户的操纵时，操纵单元191经由控制单元14向控制装置20通知指示操纵的细节的控制信号。

检测单元193对应于一种检测感觉导入装置10的壳体的移动或方向的改变的传感器，例如，加速度传感器或陀螺仪传感器(角速度传感器)。例如，检测单元193可由图8所图示的加速度传感器915配置而成。当用户通过移动感觉导入装置10的壳体来操纵感觉导入装置10时，检测单元193经由控制单元14向控制装置20通知指示操纵的细节(即，壳体的移动或方向的改变)的控制信号。

当从操纵单元191或检测单元193接收到指示操纵的细节的控制信号时，控制单元14向控制装置20通知控制信号。因此，控制装置20可辨识由用户对感觉导入装置10执行的操纵的细节。

控制单元14从控制装置20接收将从扬声器11R和11L输出的声音信号以及用于驱动致动器13R和13L的控制信号。

控制单元14从扬声器11R和11L输出从控制装置20接收的声音信号，并且基于所接收的控制信号来驱动致动器13R和13L。例如，控制单元14可由图8所图示的处理器901配置而成。

上文已特定着眼于感觉导入装置10和控制装置20来描述根据实施例的感觉导入系统。

当来自感觉导入装置10的扬声器11R和11L的声音输出与来自致动器13R和13L的振动输出联动时，声音输出和振动输出可未必与显示单元91上所显示的视频联动，如图5所图示。

在上文所述的图9所图示的实例中，已描述信号处理单元213安装在控制装置20一侧上的实例，但本公开未必限于图9所图示的配置。例如，通过将信号处理单元213安装在感觉导入装置10一侧，可在感觉导入装置10一侧执行对从扬声器11R和11L输出的声音信号进行的信号处理以及用于驱动致动器13R和13L的控制信号的产生。

在此状况下，例如，控制装置20一侧上的控制单元21向感觉导入装置10一侧通知计算单元211的计算结果。安装在感觉导入装置10一侧并被通知计算结果的信号处理单元213可基于所通知的计算结果来执行对从扬声器11R和11L输出的声音信号进行的信号处理以及用于驱动致动器13R和13L的控制信号的产生。

可在感觉导入装置10一侧仅执行信号处理单元213的过程中的一些。作为具体实例，可在控制装置20一侧执行对从扬声器11R和11L输出的声音信号进行的信号处理，并且可在感觉导入装置10一侧执行用于驱动致动器13R和13L的控制信号的产生。作为另一具体实例，可在感觉导入装置10一侧仅执行来自扬声器11R和11L的声音输出的振幅的控制(增益或音量的控制)或来自致动器13R和13L的振动输出的振幅的控制。

根据实施例的信号处理单元213可基于来自相互关联的扬声器11和致动器13的输出(即，声音输出和振动输出)重叠的频带中的另一输出的振幅而控制至少一个输出的振幅。

作为具体实例，在一些状况下，在声音输出和振动输出重叠的频带中，用户将振动输出感知为声音。因此，由于来自致动器13的感觉反馈(振动输出)，用户可感觉声音输出和振动输出重叠的频带中的声音如同这些声音与从扬声器11输出的声音中的其它频带中的声音相比具有增大的输出一样。

例如，图10图示从相互相关的扬声器11和致动器13输出的信号(即，声音信号和振动信号)的波形的实例。在图10的上侧和下侧所图示的信号波形g31和g32中，垂直轴表示信号波形的振幅(V)，即，表示振幅的电压值的变化，并且水平轴表示时间。图10的上侧所图示的信号波形g31指示从扬声器11输出的声音信号的波形的实例。图10的下侧所图示的信号波形g32指示从致动器13输出的振动信号的波形的实例。

图11图示图10所图示的信号波形g31和g32的频率分量的分布。在图11的上侧和下侧所图示的信号波形g33和g34中，垂直轴表示信号波形的增益，并且水平轴表示频率。

作为具体实例，在图11所图示的实例中，附图标记g331所表示的声音信号以及附图标记g341所表示的振动信号在附图标记g35所表示的频带中重叠。在此状况下，在附图标记g35所表示的频带中，声音信号g331和振动信号g341叠加，并且因此用户感觉频带g35中的声音如同这些声音与其它频带中的声音相比具有增大的输出一样。

因此，信号处理单元213可在来自扬声器11和致动器13重叠的频带中限制至少一个输出的振幅(即，可限制增益或音量)。作为具体实例，信号处理单元213可预先决定声音输出与振动输出之间的输出比，并且根据输出比而决定声音输出和振动输出衰减的衰减量。例如，当声音输出与振动输出之间的输出比被设置为1:1时，信号处理单元213可使声音输出和振动输出的振幅衰减到1/2。作为另一实例，当声音输出与振动输出之间的输出比被设置为2:1时，信号处理单元213可使声音输出的振幅衰减到2/3并使振动输出的振幅衰减到1/3。

作为又一实例，信号处理单元213可基于来自扬声器11的声音输出的振幅与来自致动器13的振动输出的振幅之间的比来执行加权，并且根据加权而使声音输出与振动输出的振幅衰减。

【1.5.处理】

接着，将参照图12和图13，着眼于感觉导入装置10和控制装置20的操作来描述根据实施例的感觉导入系统的一系列操作的流程。图12是图示根据实施例的感觉导入系统的一系列操作的流程的说明图。图12图示在感觉导入装置10被配置为游戏控制台等的控制器时的操作图像的实例。图13图示根据实施例的感觉导入系统的一系列操作的流程的实例。

在本说明书中，如图12所图示，将如下状况作为实例来描述：用户通过将感觉导入装置10向右和向左倾斜而操纵显示装置90的显示单元91上所显示的盒状对象v20，以使得对象v20中的对象v21根据操纵来操作。

(步骤S101)

例如，在图12的左图所图示的实例中，对象v21位于接近盒状对象v20的右侧的侧表面v201的内侧处。如图12的右图所图示，假设用户执行将感觉导入装置10从此状态向左倾斜的操纵。

此时，感觉导入装置10中的检测单元193(参见图9)检测到将感觉导入装置10向左倾斜的用户操纵。

(步骤S103)

检测单元193经由控制单元14向控制装置20通知指示所检测的操纵的细节(即，操纵的分类(例如，指示使感觉导入装置10倾斜的操纵的分类)、操纵方向和操纵量)的控制信号。

(步骤S105)

计算单元211经由网络n1从感觉导入装置10获取指示用户对感觉导入装置10执行的操纵的细节的控制信号。计算单元211基于所获取的控制信号来辨识操纵的分类、操纵方向和操纵量。例如，在图12所图示的实例的状况下，计算单元211辨识用户将感觉导入装置10向左倾斜有多少(例如，角度)。

例如，计算单元211基于操纵的分类和操纵方向而计算作用在对象v20上的力的方向，并且基于操纵量来计算作用在对象v20上的力的量值。计算单元211基于作用在对象v20上的力的所计算的方向和力的量而计算对象v20的移动方向和移动量。

计算单元211计算位于对象v20内的对象v21随着对象v20的移动的运动方向和运动量。此处，在本说明书中，假设对象v21由于虚拟地设置的重力的影响而朝向对象v20的侧表面v203向左移动，并且与侧表面v203的内侧碰撞。

计算单元211向信号处理单元213和显示控制单元215通知物理计算的结果，例如，指示对象v20和v21的所计算的运动方向或运动速度的信息。因此，信号处理单元213和显示控制单元215辨识盒状对象v20向左倾斜，对象v21随着对象v20的移动而朝向侧表面v203向左移动，并且对象v21与侧表面v203碰撞。

(步骤S107)

信号处理单元213通过基于计算单元211的物理计算的结果对从感觉导入装置10的扬声器11R和11R输出的声音信号执行信号处理，而产生用于使致动器13R和13L振动的控制信号。

例如，信号处理单元213从所播放的内容读取对应于对象v21正移动的操作的声音信号，并且根据对象v21的移动来控制从扬声器11R和11L输出的声音信号的振幅。作为具体实例，信号处理单元213根据对象v21从屏幕的右侧到左侧的移动而使来自扬声器11R的声音输出的振幅暂时衰减，并且放大来自扬声器11L的声音输出的振幅。

信号处理单元213产生用于驱动致动器13R的控制信号，以使得来自扬声器11R的信号输出与来自致动器13R的振动输出联动。也就是说，信号处理单元213产生用于操作致动器13R的控制信号，以使得来自致动器13R的振动输出与来自扬声器11R的声音输出的衰减联动而暂时衰减。

类似地，信号处理单元213产生用于驱动致动器13L的控制信号，以使得来自扬声器11L的信号输出与来自致动器13L的振动输出联动。也就是说，信号处理单元213产生用于操作致动器13L的控制信号，以使得来自致动器13L的振动输出与来自扬声器11L的声音输出的放大联动而暂时衰减。

信号处理单元213从所播放的内容读取对应于对象v21与对象v20的内壁碰撞的状况的操作的声音信号，并且根据碰撞位置来控制从扬声器11R和11L输出的声音信号的振幅(即，控制声音信号的增益或音量)。例如，在图12所图示的实例中，因为对象v21与位于屏幕的左侧的侧表面v203的内壁碰撞，所以信号处理单元213执行控制以使得对应于碰撞的声音信号从左侧扬声器11L输出。

信号处理单元213控制声音信号的输出定时，以使得对应于碰撞的声音信号与对象v21与侧表面v203的内壁碰撞的定时同步而从扬声器11L输出。

信号处理单元213产生用于驱动致动器13L的控制信号，以使得来自扬声器11L的声音输出与来自致动器13L的振动输出联动。也就是说，信号处理单元213产生用于驱动致动器13L的控制信号，以使得对应于碰撞的触觉反馈与来自扬声器11L的对应于碰撞的声音信号的输出联动而表现。作为具体实例，信号处理单元213首先从信号数据存储单元25读取用于呈现对象之间的碰撞的预先产生的标准信号。接着，信号处理单元213通过基于声音信号的振幅或计算单元211的物理计算的结果来控制所读取的标准信号的振幅或相位，而产生用于驱动致动器13L的控制信号。

(步骤S109)

信号处理单元213将从扬声器11R和11L输出的声音信号以及用于驱动致动器13R和13L的控制信号发送到感觉导入装置10。

(步骤S111)

从信号处理单元213发送的将从扬声器11R和11L输出的声音信号以及用于驱动致动器13R和13L的控制信号由感觉导入装置10的控制单元14接收。

控制单元14从扬声器11R和11L输出从控制装置20接收的声音信号，并且基于所接收的控制信号来驱动致动器13R和13L。

(步骤S113)

显示控制单元215基于计算单元211的物理计算的结果而辨识对象v20和v21的运动方向或运动速度，并且计算对象v20和v21的显示位置或显示形式(例如，方向或形状的改变)。显示控制单元215使显示装置90基于对象v20和v21的所计算的显示位置或显示形式而更新显示单元91上所显示的对象v20和v21的视频。

如上所述，控制装置20基于用户对感觉导入装置10的操纵而控制显示装置90的显示单元91上所显示的对象v20和v21的操作。显示单元91上所显示的对象v20和v21的操作、来自感觉导入装置10的扬声器11R和11L的声音输出以及来自致动器13R和13L的振动输出基于来自控制装置20的控制而联动。在此配置中，根据实施例的感觉导入系统在显示单元91上所显示的视频、来自扬声器11R和11L的声音输出以及基于致动器13R和13L的振动的触觉反馈之间匹配定向。因此，根据实施例的感觉导入系统可实现真实感更高的触觉反馈的呈现。

除了显示单元91上所显示的视频、来自扬声器11R和11L的声音输出、基于致动器13R和13L的振动的触觉反馈之外，控制装置20可执行控制，以使得用户操纵的定向被协调。例如，图14是图示在执行控制以使得用户操纵、视频、声音输出和触觉反馈的定向被协调的实例的说明图。

在图14所图示的实例中，图示如下状况：用户操纵被配置为控制器的感觉导入装置10的壳体的右侧所安装的操纵装置191R。在此状况下，例如，控制装置20(未图示)基于用户对操纵装置191R的操纵而在显示装置90的显示单元91的右侧显示对象v30。此时，控制装置20通过从感觉导入装置10的右侧所安装的扬声器11R输出声音并与声音输出联动而使感觉导入装置10的右侧所安装的致动器13R振动而将触觉反馈到用户的右手。

以此方式，在图14所图示的感觉导入系统中，通过协调用户操纵、视频、声音输出以及触觉反馈的定向，可以实现真实感更高的触觉反馈的呈现，且在操纵时进一步提高沉浸感。

作为另一实例，当操纵屏幕上所显示的用户界面(UI)时，基于来自扬声器11R和11L的声音输出以及致动器13R和13L的振动的触觉反馈可根据操纵目标而受到控制。

在此状况下，例如，控制装置20(未图示)在显示单元91上显示包含将经受预定操纵的对象(例如，按钮或控制条)的UI(屏幕)，并且根据用户操纵的细节来指定UI中成为操纵目标的对象。接着，当UI中的预定对象经受操纵时，控制装置20从扬声器11R和11L中的一个输出声音，并且与声音输出联动基于致动器13R和13L中的一个的振动来反馈触觉。

此时，控制装置20可控制基于来自扬声器11R和11L的声音输出以及致动器13R和13L的振动的触觉反馈，以使得用户的操纵方向、声音输出和触觉反馈的定向被协调。具体来说，例如，当用户朝向屏幕右侧执行操纵且预定对象因此经受操纵时，控制单元20可从感觉导入装置10的扬声器11R输出声音，并且通过驱动致动器13R来反馈振动。

控制装置20可控制来自扬声器11R和11L的声音输出以及基于致动器13R和13L的振动的触觉反馈，以使得将经受操纵的对象在屏幕上的位置、声音输出和触觉反馈的定向被协调。具体来说，例如，当位于屏幕的右侧的对象因用户操纵而经受操纵时，控制单元20可从感觉导入装置10的扬声器11R输出声音，并且通过驱动致动器13R来反馈振动。

<2.实例>

接着，将描述根据实施例的感觉导入装置10的实例。如上所述，在根据实施例的感觉导入系统中，感觉导入装置10包含多个致动器和多个扬声器。感觉导入装置10被配置成包含多个致动器中的至少一个致动器以及多个扬声器中的至少一个扬声器相互关联的多个集合。来自感觉导入装置10的每一扬声器的声音输出以及来自每一致动器的振动输出受到控制而针对相互关联的致动器和扬声器的每一集合来联动。在此配置中，根据实施例的感觉导入系统通过将来自每一扬声器的声音输出的定向与基于每一致动器的振动的触觉反馈的定向匹配而实现真实感更高的触觉反馈的呈现。

另一方面，当来自每一扬声器的声音输出的定向可匹配基于每一致动器的振动的触觉反馈的定向时，相互关联的扬声器和致动器的数量以及相互关联的扬声器和致动器的位置不受特定限制。例如，根据感觉导入装置10的壳体的形状、用途等，相互关联的扬声器和致动器的数量或相互关联的扬声器和致动器的位置可适当地改变。因此，此后，将着眼于根据实施例的感觉导入装置10的配置来描述实例。

【2.1.实例1：致动器和扬声器的第一配置实例】

首先，将参照图15来描述根据实例1的感觉导入装置10的配置。图15是图示根据实例1的感觉导入装置10的示意性配置的实例的说明图。如同在图2中一样，图15图示感觉导入装置10在感觉导入装置10被用户握持且从用户的相对侧观察时的配置(即，感觉导入装置10的后侧的配置)。

在上述实施例中，如图2所图示，描述如下状况：感觉导入装置10被配置为控制器，并且相互关联的一个扬声器11和一个致动器13的集合安装在感觉导入装置10的右侧和左侧。另一方面，在根据本实例的感觉导入装置10中，多个致动器13与一个扬声器11相关联。

例如，如图15所图示，根据本实例，扬声器11R和11L安装在感觉导入装置10的壳体的后表面上。具体来说，当用户面向感觉导入装置10时，扬声器11R安装在感觉导入装置10的壳体的右后表面上，并且扬声器11L安装在感觉导入装置10的壳体的左后表面上。图15所图示的扬声器11R和11L对应于图2所图示的扬声器11R和11L。

如同在图2所图示的实例中一样，根据本实例的感觉导入装置10包含握持单元101R和101L，其中握持单元101R和101L供用户用来接近壳体的位于相互相对侧的两端而握持壳体。

根据本实例的感觉导入装置10包含致动器131R、133R、131L和133L。

当用户面向感觉导入装置10时，致动器131R和133R安装在感觉导入装置10的壳体的右侧。作为具体实例，在图15所图示的实例中，致动器131R安装在握持单元101R内。致动器133R在感觉导入装置10的壳体的右侧安装在与致动器131R不同的位置处，例如，接近扬声器11R。

类似地，当用户面向感觉导入装置10时，致动器131L和133L安装在感觉导入装置10的壳体的左侧。作为具体实例，在图15所图示的实例中，致动器131L安装在握持单元101L内。致动器133L在感觉导入装置10的壳体的左侧安装在与致动器131L不同的位置处，例如，接近扬声器11L。

在根据本实例的感觉导入系统中，来自感觉导入装置10的扬声器11R的声音输出以及来自致动器131R和133R的振动输出受到控制而联动。类似地，来自感觉导入装置10的扬声器11L的声音输出以及来自致动器131L和133L的振动输出受到控制而联动。下文中，在一些状况下，当致动器131R和131L未相互特别区分时，致动器131R和131L被简称为“致动器131”。类似地，在一些状况下，当致动器133R和133L未相互特别区分时，致动器133R和133L被简称为“致动器133”。

分类或振动方向不同的致动器可作为致动器131和133来应用。

例如，图16是图示根据本实例的致动器131和133的实例的说明图。例如，在图16所图示的实例中，致动器131被配置或设置成在相互垂直的x方向、y方向和z方向中的z方向上振动。致动器133被配置或设置成在与致动器131不同的方向上(例如，在x方向上)振动。

以此方式，致动器131和133可被配置或设置成在相互不同的方向上振动，以使得致动器131和133的振动的振幅可被个别地调整。因此，根据本实例的感觉导入装置10可通过即使在仅在一个预定方向上振动的致动器作为致动器131和133应用时也调整振幅或相位之间的比而实现各种振动(即，触觉反馈)。即，根据本实例的感觉导入装置10可通过利用对来自致动器131和133的振动输出的控制来实现各种触觉反馈而进一步提高真实感。

不用说，在来自扬声器11的声音输出以及来自致动器131和133的振动输出联动(其中扬声器11与致动器131和133相互关联)时控制声音输出和振动输出的方法不受特定限制。作为具体实例，来自致动器131和133的振动输出中的一个可受到控制而线性地变化，如图6所图示，并且另一振动输出可受到控制而非线性地变化，如图7所图示。在此配置中，根据本实例的感觉导入装置10可实现更多的各种振动(即，触觉反馈)。

【2.2.实例2：致动器和扬声器的第二配置实例】

接着，将描述根据实例2的感觉导入装置10。在上述实施例和实例中，已描述扬声器11和致动器13被配置为不同装置的实例。另一方面，例如，可代替上述扬声器11和致动器13而安装例如扬声器和致动器被配置成被集成的装置(例如，音圈电机)。

例如，图17图示根据本实例的感觉导入装置10的示意性配置的实例，并且图示应用扬声器和致动器被配置成被集成的装置(例如，音圈电机)的实例。如同在图2中一样，图17图示在感觉导入装置10被用户握持且从用户的相对侧观察时感觉导入装置10的配置(即，感觉导入装置10的后侧的配置)。

如图17所图示，根据本实例，音圈电机15R和15L安装在感觉导入装置10的壳体的后表面上。具体来说，当用户面向感觉导入装置10时，音圈电机15R安装在感觉导入装置10的壳体的右后表面上，并且音圈电机15L安装在感觉导入装置10的壳体的左后表面上。

音圈电机15R的作用与参照图2所述的实例中的扬声器11R和致动器13R的作用相同。音圈电机15L的作用与参照图2所述的实例中的扬声器11L和致动器13L的作用相同。下文中，在一些状况下，当音圈电机15R和15L未相互特别区分时，音圈电机13R和13L被简称为“音圈电机15”。

当代替扬声器11和致动器13而安装音圈电机15时，例如，控制装置20可基于通过组合指示振动的振动信号与声音信号而获得的组合信号来驱动音圈电机15。在此状况下，例如，音圈电机15可将组合信号中具有等于或高于预定频率(例如，300Hz或更大)的高频频带的信号作为声音信号输出，并且将具有等于或低于预定频率(例如，1000Hz或更小)的低频频带的信号作为振动信号输出。

在一些状况下，音圈电机15被配置成能够仅在一个方向上振动。在此状况下，如上所述，控制装置20可产生振动输出的维度与音圈电机15的维度协调的振动信号，并且通过组合振动信号和声音信号来产生组合信号。

如同在根据修改实例2的感觉导入装置10中一样，如上所述，也可代替扬声器和致动器来应用扬声器和致动器被配置成被集成的装置(例如，音圈电机)。

【2.3.实例3：应用到便携式终端的实例】

接着，将根据修改实例3来描述根据实施例的感觉导入装置10被配置为例如智能电话等便携式终端的配置的实例。下文中，在一些状况下，根据本实例的感觉导入装置被称为“感觉导入装置30”。

首先，将参照图18来描述根据本实例的感觉导入装置30的概述。图18是图示根据本实例的感觉导入装置30的概述的说明图。图18的左图图示感觉导入装置30的壳体被垂直地握持的状况，并且图18的右图图示感觉导入装置30的壳体被水平地握持的状况。以此方式，在本实例中，假设感觉导入装置30可被配置成通过切换壳体的方向来握持而进行描述。

例如，图19图示根据本实例的感觉导入装置30的示意性配置的实例。下文中，在一些状况下，当图19所图示的感觉导入装置30与其它配置特别区分时，感觉导入装置30被称为“感觉导入装置30a”。

在图19所图示的实例中，图示在用户垂直地握持感觉导入装置30以使得用户面向感觉导入装置30a的前表面(即，用户面向感觉导入装置30a)时，从用户侧观察的感觉导入装置30a的配置。具体来说，当用户握持感觉导入装置30a而面向感觉导入装置30a的前表面(即，安装有例如显示器等显示单元的表面)时，图的右侧对应于用户所观察的右侧(R)且图的左侧对应于用户所观察的左侧(L)。

如图19所图示，在根据本实例的感觉导入装置30a中，显示单元39(即，显示器)安装在感觉导入装置30a的前表面上。显示单元39可被配置为触摸板。

下文中，为便于描述，在一些状况下，沿着感觉导入装置30a的壳体的前表面的外围安装的端部被称为“端部301”。在一些状况下，在感觉导入装置30a被垂直地握持时被配置为端部301的左侧、右侧、上侧和下侧的端部分别被称为端部301a、301b、301c和301d。

如图19所图示，扬声器31R和31L安装在根据本实例的感觉导入装置30a中。扬声器31L接近感觉导入装置30a的左侧的端部301a而安装在感觉导入装置30a的后表面上。类似地，扬声器31R接近感觉导入装置30a的右侧的端部301b而安装在感觉导入装置30a的后表面上。

致动器33R和33L安装在根据本实例的感觉导入装置30a中。致动器33L接近感觉导入装置30a的左侧的端部301a而安装在感觉导入装置30a的壳体内。类似地，致动器33R接近感觉导入装置30a的右侧的端部301b而安装在感觉导入装置30a的壳体内。

根据实施例的感觉导入装置30a执行控制以使得来自扬声器31R的声音输出和来自致动器33R的振动输出联动。类似地，感觉导入装置30a执行控制以使得来自扬声器31L的声音输出和来自致动器33L的振动输出联动。

如图19所图示，当端部301c如用户所观察位于上侧时，相对于用户，扬声器31L和致动器33L位于左侧且扬声器31R和致动器33R位于右侧。在此方向上，当触觉在左侧反馈给用户时，感觉导入装置30a从扬声器31L输出声音并与声音输出联动而使致动器33L振动。类似地，当触觉在右侧反馈给用户时，感觉导入装置30a从扬声器31R输出声音并与声音输出联动而使致动器33R振动。

另一方面，当端部301d如用户所观察位于上侧时，相对于用户，扬声器31L和致动器33L位于右侧且扬声器31R和致动器33R位于左侧。在此状况下，例如，感觉导入装置30a可执行控制以使得来自每一扬声器的声音输出和来自每一致动器33的振动输出与端部301c如用户所观察位于上侧的状况相反。

具体来说，当触觉在左侧反馈给用户时，感觉导入装置30a可从扬声器31R输出声音并与声音输出联动而使致动器33R振动。类似地，当触觉在右侧反馈给用户时，感觉导入装置30a可从扬声器31L输出声音并与声音输出联动而使致动器33L振动。

例如，不用说，感觉导入装置10a(即，感觉导入装置10a的壳体)可通过将加速度传感器容纳在感觉导入装置10a中而辨识壳体被用户握持的方向。

接着，将参照图20来描述根据实例的感觉导入装置30的另一实例。图20图示根据本实例的感觉导入装置30的示意性配置的另一实例。下文中，在一些状况下，当图20所图示的感觉导入装置30与其它配置特别区分时，感觉导入装置30被称为“感觉导入装置30b”。

图20所图示的感觉导入装置30b与上文参照图19所述的感觉导入装置30a的不同之处在于致动器33的安装位置。因此，下文中，将着眼于与图19所图示的感觉导入装置30a不同的配置(即，致动器33的配置)来描述感觉导入装置30b的配置。

如图20所图示，致动器33a和33b安装在根据本实例的感觉导入装置30b中。致动器33a接近感觉导入装置30b的上侧的端部301c而安装在感觉导入装置30b的壳体内。类似地，致动器33b接近感觉导入装置30b的右侧的端部301d而安装在感觉导入装置30b的壳体内。

当根据本实施例的感觉导入装置30b(感觉导入装置30b的壳体)被垂直地握持时，致动器33a和33b中的一个的振动输出与来自扬声器31R的声音输出联动，并且另一致动器的振动输出与来自扬声器31L的声音输出联动。

当感觉导入装置30b被水平地握持时，来自致动器33a和33b中如用户所观察位于右侧的致动器33的振动输出与来自扬声器31R的声音输出(即，朝向用户的右耳定向的声音输出)联动。类似地，在感觉导入装置30b中，来自致动器33a和33b中如用户所观察位于左侧的致动器33的振动输出与来自扬声器31L的声音输出(即，朝向用户的左耳定向的声音输出)联动。

如上所述，扬声器31和致动器33的组合可根据本实施例的感觉导入装置30(即，感觉导入装置30b的壳体)被握持的方向来适当地改变。

图19所图示的实例和图20所图示的实例可被组合。例如，图21图示根据本实例的感觉导入装置30的示意性配置的另一实例。下文中，在一些状况下，当图21所图示的感觉导入装置30与其它配置特别区分时，感觉导入装置30被称为“感觉导入装置30c”。

如图21所图示，参照图19所述的致动器33R和33L以及参照图20所述的致动器33a和33b两者安装在感觉导入装置30c中。感觉导入装置30c中所安装的致动器33R、33L、33a和33b可按与上文参照图19和图20所述类似的方式受到控制。

作为另一实例，感觉导入装置30c可执行控制以使得来自致动器33R、33L、33a和33b的振动输出中与来自同一扬声器31的声音输出相关联的振动输出的振幅与声音输出联动。具体控制细节与根据参照图15所述的实例1的感觉导入装置10的相同。

如上文在实例3中所述，根据实施例的感觉导入装置还可应用到例如智能电话等便携式终端。根据本实例的感觉导入装置30可根据感觉导入装置30(即，感觉导入装置30b的壳体)被握持的方向来适当地改变扬声器31和致动器33的组合。上文已描述智能电话的状况的实例，但不用说，本公开未必限于智能电话。例如，图3所述的感觉导入装置还可类似地应用到安装有显示器或操纵单元的便携式游戏终端。

【2.4.实例4：感觉导入装置的实例】

接着，将根据实例4来描述在根据实施例的感觉导入装置中的感觉导入装置的形状或用途与扬声器和致动器的设置之间的关系的实例。首先，将参照图22来描述根据实例4的感觉导入装置的实例。图22是图示根据本实例的感觉导入装置的示意性配置的实例的说明图。下文中，在一些状况下，图22所图示的感觉导入装置被称为“感觉导入装置40”。

如图22所图示，感觉导入装置40的壳体是以圆柱形状形成，具有圆形顶表面与底表面以及沿着顶表面和底表面的圆周安装的侧表面401。例如，如图22所图示，感觉导入装置40被用户握持，以使得感觉导入装置的底表面从下侧被支撑。

在感觉导入装置40中，音圈电机45a到45f在壳体内安装在底表面上，而沿着侧表面401的内侧依序布置。在一些状况下，当音圈电机45a到45f未相互特别区分时，音圈电机45a到45f被简称为“音圈电机45”。

例如，音圈电机45a到45f被设置成使得声音从感觉导入装置40的底表面输出到外部。例如，音圈电机45a到45f被设置成使得音圈电机45a到45f在从感觉导入装置40的底表面到顶表面的方向上振动。如同在根据上述实施例和实例的感觉导入装置中一样，来自音圈电机45a到45f的声音输出和振动输出受到控制而针对音圈电机45联动。

在此配置中，感觉导入装置40使得呈现给用户的肌动觉具有方向性。作为具体实例，感觉导入装置40可沿着侧表面401的内侧按照音圈电机45a到45f的次序，基于声音和振动而输出触觉反馈。根据此控制，感觉导入装置40可将触觉反馈到用户，其中所述触觉模拟球体在感觉导入装置40的壳体内沿着侧表面401的内侧滚动的状态。

当然，不用说，图22所图示的音圈电机45可替代为相关联的扬声器和致动器的集合，以使得输出被联动。

将参照图23来描述根据本实例的感觉导入装置的另一实例。图23是图示根据本实例的感觉导入装置的示意性配置的实例的说明图。下文中，在一些状况下，图23所图示的感觉导入装置被称为“感觉导入装置50”。

如图23所图示，感觉导入装置50的壳体是以圆柱形状(棒形状)形成，具有圆形顶表面与底表面以及沿着顶表面和底表面的圆周安装的侧表面501。例如，如图23所图示，感觉导入装置50被用户握持，以使得感觉导入装置的侧表面501被支撑。

在感觉导入装置50中，音圈电机55a到55c被安装成沿着侧表面501的内侧依序布置。在一些状况下，当音圈电机55a到55c未相互特别区分时，音圈电机55a到55c被简称为“音圈电机55”。

例如，音圈电机55a到55c被设置成使得声音从感觉导入装置50的侧表面501输出到外部。例如，音圈电机55a到55c被设置成使得音圈电机55a到55c在感觉导入装置50的顶表面和底表面的径向上振动。如同在根据上述实施例和实例的感觉导入装置中一样，来自音圈电机55a到55c的声音输出和振动输出受到控制而针对音圈电机55联动。

在此配置中，感觉导入装置50使得呈现给用户的肌动觉具有方向性。作为具体实例，感觉导入装置50可沿着侧表面501的内侧按照音圈电机55a到55c的次序，基于声音和振动而输出触觉反馈，并且可使声音输出和振动输出的振幅的控制量(例如，增益或音量的控制量)在音圈电机55a到55c之间出现偏差。此时，感觉导入装置50可控制来自音圈电机55a到55c的声音输出和振动输出的相位。根据此控制，感觉导入装置50可将感觉导入装置50的壳体用作标准而在将具有方向性的肌动觉呈现给用户，以在期望方向上导引用户。

当然，不用说，图23所图示的音圈电机45可替代为相关联的扬声器和致动器的集合，以使得输出被联动。

如上所述，根据实施例的感觉导入装置的壳体的形状不受特定限制，实际上，设置扬声器和致动器(或音圈电机)的位置和方向可根据壳体的形状或用途而适当地改变。如从图22和图23所图示的实例清楚的是，不用说，可三维地设置扬声器和致动器(或音圈电机)。

【2.5.实例5：应用到控制器的实例】

接着，将参照图24和图25来描述根据实例5的感觉导入装置。图24是图示根据本实例的感觉导入装置的概述的说明图。图25是图示根据本实例的感觉导入装置的示意性配置的实例的说明图。

如图24所图示，根据本实例的感觉导入装置60被配置成操作以使得不同壳体60L和60R相互联动。例如，在图24所图示的实例中，壳体60L被配置成由用户的左手握持，并且壳体60R被配置为由用户的右手握持。在壳体60R和60L中的每一个中，可安装由用户操纵的输入装置或检测壳体的方向或位置的改变的传感器(例如，加速度传感器或陀螺仪传感器(角速度传感器))。

扬声器61R和致动器63R安装在壳体60R中。例如，扬声器61R安装在用户握持壳体60R时接近用户的身体的位置(例如，与接近手的位置对应的位置)处。致动器63R接近壳体60R被用户握持时被握持的部分而安装在壳体60R内。

类似地，扬声器61L和致动器63L安装在壳体60L中。例如，扬声器61L安装在用户握持壳体60L时接近用户的身体的位置(例如，与接近手的位置对应的位置)处。致动器63L接近壳体60L被用户握持时被握持的部分而安装在壳体60L内。

扬声器61R是主要朝向用户的右耳输出声音的扬声器。类似地，扬声器61L是主要朝向用户的左耳输出声音的扬声器。

致动器63R振动以将触觉馈送到用户握持壳体60R的手(即，用户的右手)。类似地，致动器63L振动以将触觉馈送到用户握持壳体60L的手(即，用户的左手)。

来自壳体60R中所安装的致动器63R的振动输出受到控制而与来自壳体60R中所安装的扬声器61R的声音输出联动。类似地，来自壳体60L中所安装的致动器63L的振动输出受到控制而与来自壳体60L中所安装的扬声器61L的声音输出联动。被执行以使得来自每一扬声器61的声音输出和来自每一致动器63的振动输出联动的控制与上述实施例和实例的相同。

如上文在实例5中所述，根据实施例的感觉导入装置可被配置成使得多个壳体联动。在此状况下，如参照图23所述，控制优选被执行以使得至少输出(即，声音输出和振动输出)在同一壳体中所安装的扬声器与致动器之间联动。

<3.总结>

如上所述，在根据实施例的感觉导入系统中，感觉导入装置包含多个致动器和多个扬声器。感觉导入装置被配置成包含多个致动器中的至少一个致动器以及多个扬声器中的至少一个扬声器相互关联的多个集合。来自感觉导入装置的每一扬声器的声音输出以及来自每一致动器的振动输出受到控制而针对相互关联的致动器和扬声器的每一集合来联动。基于此配置，根据实施例的感觉导入系统使来自每一扬声器的声音输出的定向与基于每一致动器的振动的触觉反馈的定向匹配。因此，根据实施例的感觉导入装置可进一步提高真实感或沉浸感。

上文已参照附图来描述本公开的优选实施例，但本公开不限于上文的实例。本领域的技术人员可在随附权利要求书的范围内发现各种更改和修改，并且应理解，这些更改和修改将自然落入本公开的技术范围内。

此外，本说明书所述的效果仅仅是说明性且演示性的，而不是限制性的。换句话说，根据本公开的技术可与基于本说明书的效果一起或代替所述效果而展现本领域的技术人员清楚的其它效果。

此外，本技术还可如下配置。

(1)一种感觉导入装置，包含：

多个致动器；以及

多个扬声器，

其中所述感觉导入装置包含所述多个致动器中的至少一个致动器以及所述多个扬声器中的至少一个扬声器相互关联的多个集合，并且

来自所述致动器的输出以及来自所述扬声器的输出受到控制而针对相互关联的致动器和扬声器的每一集合而联动。

(2)根据(1)的感觉导入装置，还包含：

壳体，被配置成容纳所述多个致动器和所述多个扬声器，

其中与所述不同集合中所包含的所述扬声器相关联的所述致动器安装在所述壳体中以相互间隔开。

(3)根据(2)的感觉导入装置，

其中所述壳体包含端部，并且

其中与所述不同集合中所包含的所述扬声器相关联的所述致动器安装在接近所述端部处以相互间隔开。

(4)根据(3)的感觉导入装置，

其中所述壳体包含相互不同的多个所述端部，并且

其中与所述不同集合中所包含的所述扬声器相关联的所述致动器安装在接近所述不同端部处。

(5)根据(2)的感觉导入装置，

其中所述壳体包含用于握持所述壳体的多个握持部分，并且

其中与所述不同集合中所包含的所述扬声器相关联的所述致动器安装在所述不同握持部分内或接近所述不同握持部分处。

(6)根据(2)到(5)中任一项的感觉导入装置，

其中与所述不同集合中所包含的所述致动器相关联的所述扬声器安装在所述壳体中以相互间隔开。

(7)根据(2)到(6)中任一项的感觉导入装置，还包含：

检测单元，被配置成检测所述壳体的位置或方向的改变，

其中来自所述致动器的所述输出和来自所述扬声器的所述输出受到控制而与所述壳体的所述位置或所述方向的所述改变联动而针对相互关联的扬声器和致动器的每一集合来联动。

(8)根据(1)到(7)中任一项的感觉导入装置，

其中多个所述致动器与所述扬声器中的至少一个相关联，并且

所述多个致动器在相对不同的方向上振动。

(9)根据(1)到(8)中任一项的感觉导入装置，

其中与所述扬声器相关联的所述致动器安装在接近所述相关联的扬声器处。

(10)根据(1)到(9)中任一项的感觉导入装置，

其中所述相互关联的致动器和扬声器被配置成被集成。

(11)根据(1)到(10)中任一项的感觉导入装置，

其中来自所述相互关联的致动器和扬声器中的一个的所述输出基于另一控制信号而受到控制，其中所述另一控制信号是基于用于控制来自所述致动器和所述扬声器中的另一个的所述输出的控制信号而产生。

(12)根据(1)到(10)中任一项的感觉导入装置，

其中来自所述相互关联的致动器和扬声器的所述输出是基于用于将感觉反馈给用户的物理计算的结果而受到控制。

(13)根据(1)到(10)中任一项的感觉导入装置，

其中来自所述相互关联的致动器和扬声器的所述输出是基于根据视频的分析结果而计算的所述视频中的对象的表面的形状和粗糙度中的至少一个而受到控制。

(14)根据(1)到(13)中任一项的感觉导入装置，

其中在来自所述致动器和扬声器的输出重叠的频带中，来自所述相互关联的致动器和扬声器的输出中的至少一个的振幅受到限制。(15)根据(1)到(14)中任一项的感觉导入装置，还包含：

控制单元，被配置成控制来自所述相互关联的致动器和扬声器的所述输出，以使得来自所述致动器和扬声器的所述输出联动。

(16)根据(1)到(15)中任一项的感觉导入装置，

其中来自所述相互关联的致动器和扬声器的所述输出受到控制而与显示单元上所显示的视频输出联动。

(17)根据(16)的感觉导入装置，还包含：

所述显示单元。

(18)根据(1)到(17)中任一项的感觉导入装置，

其中来自所述相互关联的致动器和扬声器的所述输出受到控制而与经由操纵单元输入的用户输入联动。

(19)根据(18)的感觉导入装置，还包含：

所述操纵单元。

(20)根据(1)到(14)中任一项的感觉导入装置，

其中来自所述相互关联的致动器和扬声器的所述输出受到控制而基于经由操纵单元输入的用户输入和显示单元上所显示的视频输出来相互联动。

(21)根据(20)的感觉导入装置，

其中来自所述相互关联的致动器和扬声器的所述输出受到控制而根据基于所述用户输入决定的所述视频输出中的操纵目标来相互联动。

(22)一种感觉导入系统，包含：

感觉导入装置，包含多个致动器和多个扬声器，并且包含所述多个致动器中的至少一个致动器以及所述多个扬声器中的至少一个扬声器相互关联的多个集合；

信息处理装置，被配置成输出用于控制所述感觉导入装置的操作的控制信号；以及

控制单元，被配置成执行控制以使得来自所述致动器的输出以及来自所述扬声器的输出基于所述控制信号针对相互关联的致动器和扬声器的每一集合而联动。

(23)一种控制装置，包含：

信号处理单元，被配置成产生控制信号，所述控制信号用于执行控制以使得在包含多个致动器和多个扬声器并且包含所述多个致动器中的至少一个致动器以及所述多个扬声器中的至少一个扬声器相互关联的多个集合的感觉导入装置中，来自所述致动器的输出以及来自所述扬声器的输出针对相互关联的致动器和扬声器的每一集合而联动；以及

输出单元，被配置成将所述所产生的控制信号输出到所述感觉导入装置。

(24)一种感觉导入方法，包含：

输出控制信号，所述控制信号用于执行感觉导入装置的操作的控制，所述感觉导入装置包含多个致动器和多个扬声器并且包含所述多个致动器中的至少一个致动器以及所述多个扬声器中的至少一个扬声器相互关联的多个集合；以及

基于所述控制信号来执行控制以使得来自所述致动器的输出以及来自所述扬声器的输出针对相互关联的致动器和扬声器的每一集合而联动。

附图标记列表

10 感觉导入装置

101R、101L 握持单元

11、11R、11L 扬声器

12 通信单元

13、13R、13L 致动器

131、131R、131L 致动器

14 控制单元

15、15R、15L 音圈电机

19 输入单元

191 操纵单元

193 检测单元

20 控制装置

21 控制单元

211 计算单元

213 信号处理单元

215 显示控制单元

23 通信单元

25 信号数据存储单元

30、30a到30c 感觉导入装置

31、31R、31L 扬声器

33、33R、33L、33a、33b 致动器

39 显示单元

40 感觉导入装置

45、45a到45f 音圈电机

50 感觉导入装置

55、55a到55c 音圈电机

60 感觉导入装置

60R、60L 壳体

61、61R、61L 扬声器

63、63R、63L 致动器

90 显示装置

91 显示单元。