用于生成与音频信号相关联的触觉效果的系统和方法

摘要

本发明涉及一种用于生成与音频信号相关联的触觉效果的系统和方法。公开的用于输出触觉效果的系统包括处理器，该处理器被配置成接收音频信号；至少部分基于音频信号，通过下述操作来确定触觉效果：识别音频信号中的一个或多个分量；以及确定与一个或多个分量相关联的触觉效果；并且输出与触觉效果相关联的触觉信号。

说明书

相关申请的交叉引用

本申请要求于2013年9月6日提交的并且标题为“Audio to  Haptics”的美国临时申请No.61/874,933的优先权，其全部内容通过引 用被包含在此。

本申请涉及与本申请同一天提交的并且标题为“Systems and  Methods for Generating Haptic Effects Associated with Transitions in  Audio Signals”(代理人案号：No.IMM477(51851-879623))的美国专 利申请No.14/078,438，其全部内容通过引用被包含在此。

本专利申请涉及与本申请同一天提交的并且标题为“Systems and  Methods for Generating Haptic Effects Associated with an Envelope in  Audio Signals”(代理人案号：No.IMM478(51851-879624))的美国专 利申请No.14/078,442有关，其全部内容通过引用被包含在此。

技术领域

本发明一般涉及触觉反馈，更具体地，涉及用于生成与音频信号 相关联的触觉效果的系统和方法。

背景技术

触摸使能设备已经日益变得普遍。例如，移动和其它设备可以配 置有触敏显示器，使得用户能通过触摸显示器的部分提供输入。作为 另一例子，与显示器分离的触觉使能表面可以用于输入，诸如触控板、 鼠标或其它设备。此外，一些触摸使能设备利用触觉效果，例如，配 置成模拟触摸表面上的纹理或摩擦的触觉效果。在一些设备中，这些 触觉效果可以与由设备输出的音频或其它效果相关。然而，由于处理 和输出音频和触觉效果的等待时间，这些效果可能不太引人注目。由 此，需要与音频效果相关联的改进的触觉效果。

发明内容

本公开内容的实施例包括以在触摸区上感受并且与音频信号相关 联的触觉效果为特征的设备。这些触觉效果可以包括但不限于纹理的 变化、摩擦系数的变化和/或通过使用与表面接触的物体可以感知的触 摸表面中的边界、障碍或其它不连续的模拟。

在一个实施例中，本公开内容的系统可以包括处理器，其被配置 成：接收音频信号；通过识别音频信号中的一个或多个分量以及确定 与一个或多个分量相关联的触觉效果，至少部分基于音频信号来确定 触觉效果；以及输出与触觉效果相关联的触觉信号。另一实施例包括 用于至少部分基于音频信号来确定触觉效果的方法。

所述的这些示例性实施例不限制或限定本主题的范围，而是提供 帮助其理解的例子。在详细描述中论述了示例性实施例，并提供了进 一步描述。通过检验本说明书和/或通过实施所要求的主题的一个或多 个实施例，可以进一步理解由各个实施例提供的优点。

附图说明

在说明书的剩余部分中，更具体地阐述全面和详尽的公开内容。 本说明书参考下述附图。

图1A示出用于生成与音频信号相关联的触觉效果的示例性系统；

图1B示出图1A中所示的系统的一个实施例的外部视图；

图1C示例图1A中所示的系统的另一实施例的外部视图；

图2A示例用于生成与音频信号相关联的触觉效果的示例性实施 例；

图2B示例用于生成与音频信号相关联的触觉效果的示例性实施 例；

图3示例根据一个实施例的用于生成与音频信号相关联的触觉效 果的示例性实施例；

图4示例根据一个实施例的用于生成与音频信号相关联的触觉效 果的方法的流程图；

图5示例根据一个实施例的用于生成与音频信号相关联的触觉效 果的方法的流程图；

图6示例根据一个实施例的用于生成与音频信号相关联的触觉效 果的方法的流程图；

图7示例根据一个实施例的用于生成与音频信号相关联的触觉效 果的方法的流程图；

图8示例根据一个实施例的用于生成与音频信号相关联的触觉效 果的方法的流程图；

图9A示例根据一个实施例的用于生成具有A/V信号的内容的系 统概图；以及

图9B示例根据另一个实施例的用于生成具有A/V信号的内容的 系统概图。

具体实施方式

现在，将详细地参考各个和替代示例性实施例和附图。通过说明， 提供每一例子，而不是限制。对本领域的技术人员来说，能做出改进 和变化是显而易见的。例如，示例或描述为一个实施例的部分的特征 可以用在另一实施例上来产生又一实施例。因此，期望该公开内容包 括落在所附权利要求及其等同物的范围内的改进和变化。

生成与音频信号相关联的触觉效果的设备的示例性例子

本公开内容的一个示例性实施例包括计算系统，诸如智能电话、 平板电脑或便携式音乐设备。在一些实施例中，计算系统可以包括可 穿戴设备，或嵌入家具或衣服中，或具有嵌入式致动器的任何其它设 备。计算系统能包括一个或多个传感器和/或可以与一个或多个传感器， 诸如加速度计，以及用于确定相对于该例子中对应于设备的屏幕的显 示区的触摸位置的传感器(例如光学、电阻或电容式)通信。

当用户与设备交互时，一个或多个触觉输出设备，例如致动器被 用来提供触觉效果。例如，可以输出触觉效果来模拟设备的表面上的 纹理的存在。在一个这种实施例中，当用户的手指跨表面移动时，可 以输出振动、电场或其它效果来模拟设备的表面上的纹理感。类似地， 在另一实施例中，当用户移动手指跨过设备时，基于手指的位置、速 度和/或加速度或手指已经与设备接触的时间长度，能改变(例如，增 加或减小)所感知的屏幕的摩擦系数。在其它实施例中，移动设备可 以输出诸如振动、上托、点击或表面变形的触觉效果。在一些实施例 中，当某一事件发生时，可以在一定时间段(例如50ms)内输出触觉 效果。在其它实施例中，触觉效果可以随固定周期改变，例如，在实 施例中，可以输出以100Hz速率，例如100Hz正弦曲线改变的纹理。

在示例性实施例中，触觉效果包括与音频信号相关联的效果。例 如，在一些实施例中，触觉效果可以包括与音频轨相关联的触觉效果。 在一些实施例中，在确定触觉效果时，用户可能正收听音频轨(例如 使用耳机、扬声器或一些其它类型的音频输出设备)。在其它实施例 中，可以预先确定触觉效果，作为“触觉轨(haptic track)”的一部分。 可以与音频文件一起，分发该触觉轨，以便其随音频轨播放。在一些 实施例中，可以使触觉轨与音频轨同步，使得触觉效果对应于音频轨 中的分量。在其它实施例中，触觉效果可以与音频-视觉(“AV”)轨， 例如视频文件的音频部分相关联。

在一个所示的实施例中，可以通过分析音频信号来识别或确定音 频信号内的分量，确定触觉效果。在一些实施例中，分量可以包括音 频信号内的事件，诸如离散事件，例如枪击、爆炸、尖叫或战斗。此 外，在一些实施例中，分量可以包括与经常性的音频效果，诸如吉他、 钢琴或说话者相关联的源。此外，在一些实施例中，分量可以包括在 音频信号内出现的特征。术语特征是表示音频段的描述符的专门术语， 在一些实施例中，可以使算法来通过例如识别情绪，对音频信号的段 进行分类。在一个实施例中，可以将Mel频率倒频谱(MFCC)用作用 于分类的音频特征。在这种实施例中，系统可以使用那些MFCC或其 它特征或描述符，识别事件或源。此外，在一些实施例中，音频信号 可以包括音频分量，诸如语音的声音(例如，说话或唱歌)，以及与 动作(例如开火、汽车噪声和特效)以及背景噪声(例如音乐或机械 声)相关联的分量。在一个示例性实施例中，系统可以分析音频文件 来确定这些分量的位置，以及向特定分量指定触觉效果。在另一实施 例中，系统可以确定某些声音应当不包括相关触觉效果。由此，在一 个实施例中，系统可以确定音频信号内的某些分量的存在并且确定不 向这些分量指定触觉效果。

在一些实施例中，本公开内容的系统可以通过将音频信号分成多 个基于时间、频率或振幅的段，确定音频信号中的分量。然后，对这 些段单独地分析某些分量(例如语音、特效、背景噪声或音乐)的存 在。然后，基于一个或多个分量的存在，系统可以对每一段进行分类。 例如，段可以包括与开火、爆炸和车提速相关联的声音。在这种实施 例中，系统可以将段分类成“动作”段。此外，在一些实施例中，系 统可以基于分类指定触觉效果。在一个这种实施例中，在上述例子中， 系统可以将音频文件的动作段与特定触觉效果，或触觉效果集，例如， 与诸如开火和爆炸的分量的出现同步的高密集振动关联。

此外，在本公开内容的一些实施例中，系统可以分析音频信号和 隔离音频信号中的一个或多个分量的源。例如，系统可以分析音频信 号来检测和隔离各种声源。在一个实施例中，音频信号可以包括混频 音频信号(例如包括语音、特效(例如爆炸、开火、机械噪声)、动 物声音或乐器(例如钢琴、吉他、鼓、机器等等)的信号)，在这种 实施例中，系统可以隔离音频信号中的某些源，例如隔离语音、音乐 或特效。在这种实施例中，一旦系统分离声源，系统可以向该源指定 触觉效果。例如，在一个示例性实施例中，系统可以将由吉他产生的 声音与摇滚歌曲相关联的信号分离开来。在这种实施例中，系统可以 将触觉效果应用于吉他，而不应用于音频信号的其它分量。或者，在 一些实施例中，系统可以隔离多个源，并且向多个源中的一个或多个 指定触觉效果。例如，在一个示例性实施例中，系统可以将吉他和贝 斯与其余音频轨分离。在这种实施例中，系统可以将触觉效果应用于 吉他信号和贝斯信号。此外，在一个实施例中，系统可以隔离分量(例 如吉他或贝斯信号)并且确定移除与那些分量相关联的触觉效果。例 如，在一个实施例中，系统可以清除由自动转换产生的触觉轨来消除 与分量相关联的触觉效果。

在本公开内容的另一实施例中，系统可以被配置成检测音频文件 中的语音。如上所述，在一些实施例中，系统可以隔离语音源，例如 隔离一个说话者或多个说话者。此外，在一些实施例中，系统可以被 配置成分析语音来确定与说话者相关联的一个或多个情绪。例如，系 统可以分析频率、音高或音调来确定与说话者相关联的一个或多个情 绪。此外，在一些实施例中，系统可以确定或修改触觉效果，使得它 与说话者的情绪相关联。例如，在一些实施例中，与发怒说话者(或 与发怒说话者相关联的场景)相关联的触觉效果可以比与多情说话者 相关联的触觉效果更强烈。可替代地，在一些实施例中，特定情绪可 以包括没有相关联的触觉效果的情绪。例如，在一些实施例中，诸如 伤心的情绪可以不包括触觉效果，由此，在一些实施例中，当系统检 测到说话者很悲伤时，系统不向说话者，或与说话者相关联的场景指 定触觉效果。此外，在一些实施例中，系统可以隔离音频信号的分量， 例如，与语音相关联的分量，以及确定消除与那些分量相关联的触觉 效果。例如，在一个实施例中，系统可以清除由自动变换产生的触觉 轨来消除与语音相关联的触觉效果。

如在下文进一步详细所述，可以在音频信号中找到任何数量的分 量。本公开内容的实施例提供用于识别这些分量，然后确定和输出与 这些分量同步的触觉效果的系统和方法。此外，在一些实施例中，在 此所述的系统和方法可以用来确定与其它类型的信号，例如压力、加 速度、速度或温度信号相关联的触觉效果。

生成与音频信号相关联的触觉效果的示例性系统

图1A示出用于生成与音频信号相关联的触觉效果的示例性系统 100。具体地，在该例子中，系统100包括具有经由总线106与其它硬 件对接的处理器102的计算设备101。能包括诸如RAM、ROM、 EEPROM等等的任何适当的有形(且非瞬时)计算机可读介质的存储 器104实施构成计算设备的操作的程序部件。在该例子中，计算设备 101进一步包括一个或多个网络接口设备110、输入/输出(I/O)接口 部件112和附加存储114。

网络接口110能表示便于网络连接的任何部件的一个或多个。例 子包括但不限于诸如以太网、USB、IEEE 1394的有线接口，和/或诸如 IEEE 802.11、蓝牙、或用于接入蜂窝电话网络的无线电接口(例如用 于接入CDMA、GSM、UMTS或其它移动通信网络的收发器/天线)的 无线接口。

I/O部件112可以用来便于与诸如一个或多个显示器、键盘、鼠标、 扬声器、麦克风、照相机和/或用来输入数据或输出数据的其它硬件的 设备连接。例如，在一些实施例中，I/O部件112可以包括配置成播放 由处理器102提供的音频信号的扬声器。存储114表示非易失存储器， 诸如磁、光或包括在设备101中的其它存储介质。在一些实施例中， 存储114可以被配置成存储音频文件，其被配置成经由I/O部件112 被给用户播放。

系统100进一步包括触摸表面116，在该例子中，被集成到设备 101中。触摸表面116表示被配置成感测用户的触摸输入的任何表示。 一个或多个传感器108被配置成当物体接触触摸表面时检测触摸区中 的触摸，并且提供适当的数据，用于由处理器102使用。能使用任何 适当数量、类型、或排列的传感器。例如，可以将电阻和/或电容传感 器嵌入触摸表面116中，并且用来确定触摸的位置和其它信息，诸如 压力。作为另一例子，可以使用以触摸表面为目的的光传感器来确定 触摸位置。在一些实施例中，传感器108和触摸表面116可以包括触 摸屏或触摸板。例如，在一些实施例中，触摸表面116和传感器108 可以包括安装在被配置成接收显示信号和向用户输出图像的显示器的 上面的触摸屏。在其它实施例中，传感器108可以包括LED检测器。 例如，在一个实施例中，触摸表面116可以包括安装在显示器的侧面 上的LED手指检测器。在一些实施例中，处理器与单个传感器108通 信，在其它实施例中，处理器与多个传感器108，例如第一触摸屏和第 二触摸屏通信。传感器108被配置成检测用户交互，并且基于该用户 交互，将信号传送到处理器102。在一些实施例中，传感器108可以被 配置成检测用户交互的多个方面。例如，传感器108可以检测用户交 互的速度和压力，以及将该信息包含到接口信号中。

设备101进一步包括触觉输出设备118。在图1A所示的例子中， 触觉输出设备118与处理器102通信并且耦接到触摸表面116。在一些 实施例中，触觉输出设备118被配置成响应于触觉信号，输出模拟触 摸表面上的纹理的触觉效果。另外或者替代地，触觉输出设备118可 以提供以受控方式，移动触摸表面的振动触觉效果。一些触觉效果可 以利用耦接到设备的外壳的致动器，以及一些触觉效果可以依次和/或 共同地使用多个致动器。例如，在一些实施例中，可以通过以不同频 率振动表面，模拟表面纹理。在这种实施例中，触觉输出设备118可 以包括例如压电致动器、电动机、电磁致动器、音圈、形状记忆合金、 电活性聚合物、螺线管、偏心旋转质量电动机(ERM)，或线性谐振 致动器(LRA)中的一个或多个。在一些实施例中，触觉输出设备118 可以包括多个致动器，例如ERM和LRA。在一些实施例中，触觉设备 118可以包括或嵌入在可穿戴设备、家具或衣服中。

尽管在此示出了单个触觉输出设备118，但实施例可以使用相同 或不同类型的多个触觉输出设备来输出触觉效果，例如模拟表面纹理 或改变所感知的触摸表面的摩擦系数。例如，在一个实施例中，压电 致动器可以用来以超声频率垂直和/或水平地位移一些或全部触摸表面 116，诸如在一些实施例中，通过使用以大于20-25kHz的频率移动的 致动器。在一些实施例中，多个致动器，诸如偏心旋转质量电动机和 线性谐振致动器能单独或共同使用来提供不同的纹理、摩擦系数的变 化或其它触觉效果。

还在其它的实施例中，触觉输出设备118可以例如，通过使用静 电表面致动器，应用静电摩擦或吸引，来模拟触摸表面116的表面上 的纹理。类似地，在一些实施例中，触觉输出设备118可以使用静电 吸引来改变用户在触摸表面116的表面上感受到的摩擦。例如，在一 个实施例中，触觉输出设备118可以包括静电显示器或应用电压和电 流，而不是机械运动来生成触觉效果的任何其它设备。在这种实施例 中，静电致动器可以包括导电层和绝缘层。在这种实施例中，导电层 可以是任何半导体或其它导电材料，诸如铜、铝、金或银。并且绝缘 层可以是玻璃、塑料、聚合物或任何其它绝缘材料。此外，处理器102 可以通过将电信号施加到导电层来操作静电致动器。电信号可以是AC 信号，其在一些实施例中，通过在触摸表面116附近或接触触摸表面 116的物体，与导电层电容耦合。在一些实施例中，由高压放大器生成 AC信号。在其它实施例中，电容耦合可以模拟触摸表面116的表面上 的摩擦系数或纹理。例如，在一个实施例中，触摸表面116的表面可 以是平滑的，但电容耦合可以在触摸表面116的表面附近的物体之间 产生吸引力。在一些实施例中，改变物体和导电层之间的吸引水平会 改变跨触摸表面116的表面移动的物体上的模拟纹理或改变当物体跨 触摸表面116的表面移动时感受到的摩擦系数。此外，在一些实施例 中，静电致动器可以结合传统的致动器一起使用来改变触摸表面116 的表面上的模拟纹理。例如，致动器可以振动来模拟触摸表面116的 表面的纹理的变化，同时，静电致动器可以模拟触摸表面116的表面 上的不同纹理或其它效果。

本领域的普通技术人员将意识到除改变摩擦系数外，能使用其它 技术或方法来例如模拟表面上的纹理。在一些实施例中，可以使用被 配置成基于与表面可重构触觉基板(包括但不限于例如光纤、纳米管、 电活化聚合物、压电元件或形状记忆合金)或磁流变液的接触，改变 其纹理的柔性表面层，模拟或输出纹理。在另一实施例中，可以通过 提高或降低一个或多个表面部件，例如，通过变形机构、空气或液体 袋、材料的局部变形、谐振机械元件、压电材料、微机电系统(“MEMS”) 元件、热流体袋、MEMS泵、可变多孔性膜或层流调制，改变表面纹 理。

在一些实施例中，可以使用静电致动器来通过刺激触摸表面116 附近或与其接触的本体的部分，生成触觉效果。例如，在一些实施例 中，静电致动器可以刺激能响应于静电致动器的用户的手指的皮肤的 神经末梢或尖笔中的部件。例如，皮肤中的神经末梢可以被刺激并且 感测静电致动器(例如电容耦合)，作为振动或一些更具体的感觉。 例如，在一个实施例中，静电致动器的导电层可以接收与用户的手指 的导电部分耦合的AC电压信号。当用户触摸该触摸表面116并且在触 摸表面上移动他或她的手指时，用户可以感测多刺、粒状、凸凹、粗 糙、粘性的纹理或一些其它纹理。

此外，在一些实施例中，可以使用多个致动器来输出触觉效果。 这可以用来增加触觉输出设备118能输出的效果的范围。例如，在一 些实施例中，可以协同静电致动器一起，使用振动致动器来生成宽范 围的效果。在另外的实施例中，另外类型的触觉输出设备，诸如配置 成使触摸表面变形的设备可以协同其它触觉输出设备，诸如振动致动 器一起使用。

转到存储器104，描绘了示例性程序部件124、126和128来示例 如何将设备配置成生成与音频信号相关联的触觉效果。在该例子中， 检测模块124配置处理器102来经由传感器108监视触摸表面116来 确定触摸的位置。例如，模块124可以采样传感器108以便跟踪存在 或不存在触摸，如果触摸存在，则跟踪位置、路径、速度、加速度、 压力和/或随时间的触摸的其它特性的一个或多个。

触觉效果确定模块126表示分析音频数据，诸如来自音频效果的 数据来选择要生成的触觉效果的程序部件。具体地，模块126包括基 于音频数据，确定要输出的触觉效果的类型的代码。

触觉效果生成模块128表示使处理器102生成触觉信号并且将其 传送到触觉输出设备118，使得触觉输出设备118生成所选择的触觉效 果的编程。例如，生成模块128可以访问所存储的波形或命令来发送 到触觉输出设备118。作为另一例子，触觉效果生成模块128可以接收 所期望效果类型并且利用信号处理算法来生成发送到触觉输出设备 118的适当信号。一些实施例可以共同利用多个触觉输出设备来输出触 觉效果。在一些实施例中，处理器102可以流传输触觉信号或将其传 送到触觉输出设备118。

触摸表面可以或可以不覆盖(或者对应于)显示器，取决于计算 系统的具体结构。在图1B中，示出了计算系统100B的外部视图。计 算设备101包括结合触摸表面和设备的显示器的触摸使能显示器116。 触摸表面可以对应于在实际显示部件外的显示器或实际显示部件上的 一个或多个材料层。

图1C示例其中触摸表面不覆盖显示器的触摸使能计算系统100C 的另一例子。在该例子中，计算设备101包括触摸表面116，该触摸表 面116被映射到在与设备101对接的计算系统120中包括的显示器122 中提供的图形用户界面。例如，计算设备101可以包括鼠标、触控板 或其它设备，而计算系统120可以包括台式或膝上型计算机、机顶盒 (例如，DVD播放器、DVR、闭路电视盒)，或其它计算系统。作为 另一例子，触摸表面116和显示器122可以位于同一设备中，诸如包 括显示器122的膝上型计算机中的触摸使能的触控板。不管是否与显 示器一体化，在此的例子中的平面触摸表面的描述不意味着限制。其 它实施例包括进一步被配置成提供基于表面的触觉效果的弯曲或不规 则触摸使能表面。

图2A-2B示例可以生成与音频信号相关联的触觉效果的设备的例 子。图2A是示例由包括触摸使能显示器202的计算设备201组成的系 统200的外部视图的图。图2B示出设备201的截面图。设备201可以 被配置成与图1A的设备101类似，尽管为了清楚起见，在该视图中， 未示出诸如处理器、存储器、传感器等等的部件。

如在图2B看到的，设备201的特征在于多个触觉输出设备218 和附加触觉输出设备222。触觉输出设备218-1可以包括被配置成将垂 直力施加到显示器202的致动器，而218-2可以横向移动显示器202。 在该例子中，触觉输出设备218和222被直接耦接到显示器，但应当 理解到触觉输出设备218和222能耦接到另一触摸表面，诸如显示器 202的顶部上的材料层。此外，应当理解到，如上所述，一个或多个触 觉输出设备218或222可以包括静电致动器。此外，触觉输出设备222 可以耦接到包含设备201的部件的外壳。在图2A-2B的例子中，显示 器202的区域对应于触摸区域，尽管该原理能应用于与显示器完全分 离的触摸表面。

在一个实施例中，触觉输出设备218每个包括压电致动器，而附 加触觉输出设备222包括偏心旋转质量电动机、线性谐振致动器，或 另一压电致动器。触觉输出设备222能被配置成响应于来自处理器的 触觉信号，提供振动触觉效果。振动触觉效果能与基于表面的触觉效 果结合，和/或用于其它目的。例如，可以协同输出振动、模拟纹理或 改变显示器202的表面的摩擦系数，使用每一致动器。

在一些实施例中，触觉输出设备218-1和218-2的每一个或两者能 包括除压电致动器外的致动器。致动器的任何一个可以包括例如压电 致动器、电磁致动器、电活化聚合物、形状记忆合金、柔性复合压电 致动器(例如，由柔性材料组成的致动器)、静电和/或磁致伸缩致动 器。另外，示出了触觉输出设备222，尽管多个其它触觉输出设备能耦 接到设备201的外壳和/或在另外的地方耦接触觉输出设备222。设备 201还可以包括在不同位置处耦接到触摸表面的多个触觉输出设备 218-1/218-2。

现在转到图3，图3示出用于根据本公开内容，用于生成与音频 信号相关联的触觉效果的系统的一个实施例。图3中所示的系统300 包括计算设备301，具有示出包括火车304的视频的显示器302。在一 些实施例中，计算设备301可以包括手持计算设备，例如移动电话、 平板电脑、音乐播放器或膝上型计算机。在另一实施例中，计算设备 301可以包括多功能控制器。例如，在公用电话亭、ATM或其它计算 设备中使用的控制器。此外，在一个实施例中，计算设备301可以包 括在车辆中使用的控制器。

视频304可以进一步包括由耦接到计算设备301的音频输出设备 (例如扬声器或耳机)(图3中未示出)播放的可听效果。本公开内 容的实施例包括用于基于音频信号，确定触觉效果的方法。例如，一 些实施例可以将音频信号与视频信号分离，然后执行如在下文进一步 详细所述的各种操作，确定随音频轨输出的触觉效果。

在一些实施例中，显示器302可以包括触摸使能显示器。此外， 除了显示视频之外，显示器302可以为用户提供图形用户界面，例如， 用于公用电话亭、ATM、立体声系统、汽车仪表盘、电话、计算机、 音乐播放器的图形用户界面或本领域已知的一些其它图形用户界面。 在这种实施例中，计算设备301可以基于与图形用户界面相关联的音 频信号，确定触觉效果。例如，在一些实施例中，图形用户界面可以 包括当用户与图标、按钮或其它界面元件交互时输出的音频效果。在 一些实施例中，计算设备301可以进一步确定与这些音频效果的一个 或多个相关联的触觉效果。在一些实施例中，计算设备301可以从音 频信号中的包络或任何其它传感器导出信号，例如，来自诸如用户接 口、加速度计、陀螺仪、惯性测量单元等等的传感器的信号，导出触 觉效果。

在一些实施例中，可以不包括视频信号。例如，在一些实施例中， 可以随不与视频关联的音频轨，播放触觉效果。在这种实施例中，当 正播放信号或在正播放的信号前的时间，在此公开的系统和方法可以 实时地操作音频信号。例如，在一些实施例中，可以处理音频信号来 确定存储在数据仓库中，用于未来播放的触觉轨。在这种实施例中， 可以由播放触觉轨的计算设备，确定触觉轨。在其它实施例中，可以 由音频轨的作者或发布者创建触觉轨。在这种实施例中，作者或发布 者可以与音频轨一起发布触觉轨。

用于生成与音频信号相关联的触觉效果的示例性方法

图4和5是示出用于生成与音频信号相关联的触觉效果的方法400 和500的流程图。在一些实施例中，流程图400和500中的步骤可以 用由处理器，例如通用计算机、移动设备或服务器中的处理器执行的 程序代码来实现。在一些实施例中，这些步骤可以由一组处理器来实 现。在一些实施例中，图4和5中所示的步骤可以以不同的顺序来执 行。可替代地，在一些实施例中，可以跳过图4和5中所示的一个或 多个步骤，或可以执行图4和5中未示出的另外的步骤。就音频信号 而言，描述图4和5中的步骤。然而，在一些实施例中，可以使用上 述方法来确定与其它类型的信号，例如压力、加速度、速度或温度信 号相关联的触觉效果。参考就关于图1A中所示的系统100所述的部件， 描述下述步骤。

当处理器102接收音频信号402时，方法400开始。在一些实施 例中，音频信号可以包括与正在计算设备101上播放的视频相关联的 信号。在其它实施例中，音频信号可以包括与目前正在计算设备101 上播放的音频文件相关联的信号。在其它实施例中，音频信号可以与 在计算设备101上本地存储或在远程服务器上存储的音频文件相关联。 例如，在一些实施例中，音频信号可以包括存储在服务器上并且按需 下载到用户的音频文件。

当处理器102基于音频信号404，确定触觉效果时，方法400继 续。在一些实施例中，触觉效果可以包括由一个或多个触觉输出设备 118输出的振动。在一些实施例中，该振动可以用来增强在计算设备 101上播放的音频轨的用户感知。类似地，在一些实施例中，触觉效果 可以包括触摸表面116上摩擦系数的变化。在其它实施例中，触觉效 果可以包括触摸表面116的表面上的模拟纹理(例如，水、草、冰、 金属、沙滩、碎石、砖块、毛皮、皮革、皮肤、织物、橡胶、树叶或 任何其它可用纹理中的一个或多个的纹理)。

在一些实施例中，处理器102可以依赖于包含在触觉效果确定模 块126中的编程来确定该触觉效果。例如，处理器102可以访问在存 储器104中存储的并且与特定触觉效果相关联的驱动信号。作为另一 例子，可以通过访问所存储的算法和输入与效果相关联的参数，生成 信号。例如，算法可以输出在基于振幅和频率参数，生成驱动信号中 使用的数据。作为另一例子，触觉信号可以包括发送到致动器以便由 致动器解码的数据。例如，致动器本身可以响应于指定诸如振幅和频 率的参数的命令。

此外，在一些实施例中，用户能选择与音频文件相关联的振动、 纹理、摩擦系数的变化或其它触觉效果以便定制计算设备101。例如， 在一些实施例中，用户可以选择诸如允许触摸界面的感觉的个性化的 表面纹理的触觉效果。在一些实施例中，该触觉效果可以与例如用于 来电呼叫、电子邮件、文本消息、警报或其它事件的铃声相关联。在 一些实施例中，用户可以通过修改设定或下载与特定效果相关联的软 件，选择这些个性化的触觉效果或表面纹理。在其它实施例中，用户 可以通过所检测的与设备的交互指定效果。在一些实施例中，该个性 化的触觉效果会增加用户的拥有感以及用户和他或她的设备之间的连 接。

还在其它实施例中，设备制造商、艺术家、电视录像制作人或软 件开发商可以选择诸如表面纹理的不同触觉效果来在他们的设备、用 户界面或艺术作品(例如歌曲、视频或音频轨)上加品牌。在一些实 施例中，这些触觉效果对品牌设备是唯一的并且与可以增加品牌意识 的其它不同要素类似。例如，许多移动设备和平板电脑包括定制或品 牌主屏环境。例如，在一些实施例中，由不同制造商生产的设备可以 包括相同操作系统，然而，制造商可以通过修改该主屏环境区分他们 的设备。类似地，由某一公司生产的视频或音频轨可以包括特定类型 的触觉效果。由此，在一些实施例中，一些设备制造商、生产公司或 软件开发人员可以使用触觉效果，诸如基于纹理或摩擦的效果来创建 唯一和可区分的用户体验。

在一些实施例中，处理器102可以实现“触觉简档”。触觉简档 可以包括配置成使处理器102确定具有某些特征的触觉效果的特定算 法或设定。在一些实施例中，触觉简档可以由用户或设计得创建或指 定。此外，在一些实施例中，设备可以包括预编程触觉简档。在一些 实施例中，这些触觉简档可以包括例如设计成输出：活动效果、微妙 效果的触觉简档，或用于特定类型的音频信号(例如用于音乐、语音、 特效、电影类型(例如动作、戏剧、惊悚、恐怖、喜剧))、体育赛 事或在此所述的其它类型信号的定制简档。例如，在一个实施例中， 用户可以指定与摇滚音乐相关联的特定触觉简档和与体育赛事相关联 的不同触觉简档。

当处理器102输出与触觉效果406相关联的触觉信号时，方法400 继续。处理器102将触觉信号输出到被配置成输出触觉效果的触觉输 出设备118。在一些实施例中，触觉输出设备118可以将触觉效果输出 到触摸表面116上。在一些实施例中，触觉输出设备118可以包括耦 接到触摸表面116的传统的致动器，诸如压电致动器或电动机，或计 算设备101内的其它部件。在其它实施例中，触觉输出设备118可以 包括被配置成模拟纹理或使用电场，改变摩擦系数的静电致动器。在 一些实施例中，处理器102可以控制多个触觉输出设备来模拟多个触 觉效果。例如，在一个实施例中，处理器102可以控制静电致动器来 模拟触摸表面116的表面上的纹理以及处理器102可以进一步控制其 它触觉输出设备118来模拟其它特性。例如，触觉输出设备118可以 包括被配置成输出诸如被配置成模拟障碍物、止动器、运动的其它效 果或对触摸表面116的影响的致动器。在一些实施例中，处理器102 可以协调效果，使得用户当与触摸表面116交互时能一起感到多种效 果。

然后，处理器102输出音频信号408。在一些实施例中，处理器 102可以将音频信号输出到音频输出设备，诸如扬声器、耳机或耳塞。 在一些实施例中，音频输出设备可以集成在计算设备101中。在其它 实施例中，音频输出设备可以耦接到计算设备101。此外，在一些实施 例中，音频信号可以与触觉效果同步，例如，在一些实施例中，触觉 效果可以基本上同时输出为相应的音频效果。

现在转到图5，图5是示出用于确定与音频信号相关联的触觉效 果的示例性方法500的流程图。当处理器102识别音频信号502中的 分量时，方法500开始。在下文中，将进一步详细地描述用于识别音 频信号中的分量的各种示例方法。在一些实施例中，这些分量可以与 音频信号的振幅、频率、音调、音高或速度的变化相关联。这些变化 可以与例如乐器的变化、电影场景的变化、源的变化(例如扬声器的 变化)或音频文件中常见的一些其它过渡相关联。

在步骤504处，当处理器102确定与步骤502中确定的分量相关 联的触觉效果时，方法500继续。在一些实施例中，可以将触觉效果 配置成模拟分量。例如，如果所确定的分量与动作(例如开火或爆炸) 相关联，则触觉效果可以包括高强度触觉效果。在其它实施例中，触 觉效果可以包括低强度触觉效果，例如，与诸如由排箫生成的和平音 乐相关联的效果。可替代地，在一些实施例中，确定触觉效果包括确 定触觉效果不应当与分量相关联。例如，在一个实施例中，背景噪声 可以不包括触觉效果。由此，当系统确定或识别与背景噪声相关联的 分量时，系统可以确定无触觉效果。类似地，在一些实施例中，系统 可以确定与语音相关联的分量应当不具有触觉效果。此外，在一个实 施例中，系统可以隔离分量(例如背景噪声)并确定移除与这些分量 相关联的触觉效果。例如，在一个实施例中，系统可以清除由自动转 换产生的触觉轨来消除与该分量相关联的触觉效果。

此外，在一些实施例中，处理器102可以使触觉效果与分量同步。 在一些实施例中，使触觉效果与分量同步包括配置处理器102在基本 上对应于音频效果时输出与触觉效果相关联的触觉信号。在其它实施 例中，可以在音频效果后的一些时段处输出触觉效果。例如，在一些 实施例中，处理器102可以输出充当回声的触觉效果。例如，在一个 实施例中，音频轨可以包括诸如模拟开火的声音的分量。在这种实施 例中，处理器可以确定与音频效果相符的触觉效果。处理器可以进一 步确定稍后几秒要输出的第二触觉效果来模拟与开火相关联的回声。

用于确定与音频信号相关联的触觉效果的示例性方法

图6-8是示出用于确定与音频信号相关联的触觉效果的示例性方 法600、700和800的流程图。在一些实施例中，可以用由处理器，例 如通用计算机、移动设备或服务器中的处理器执行的程序代码，实现 图6-8中的步骤。在一些实施例中，这些步骤可以由一组处理器实现。 在一些实施例中，可以以不同顺序执行图6-8中所示的步骤。可替代地， 在一些实施例中，可以跳过图6-8中所示的一个或多个步骤，或可以执 行图6-8中未示出的另外的步骤。就音频信号而言，描述图6-8中的步 骤。然而，在一些实施例中，可以使用方法来确定与其它类型的信号， 例如压力、加速度、速度或温度信号相关联的触觉效果。

在一些实施例中，图6-8中所述的方法可以由耦接到最终输出触 觉效果的触觉输出设备的设备来实现。在其它实施例中，图6-8中所述 的方法可以由触觉开发人员或内容创作者实现。在这种实施例中，上 述方法可以实现为帮助设计者或内容创作者向多媒体内容指定触觉效 果的工具箱的一部分。例如，在一些实施例中，这些方法可以被发现 为用于音频或音频-视觉编辑软件(例如触觉工作室或用于开发触觉的 移动应用)的插件的一部分。

现在转到图6，图6示例根据一个实施例，用于生成与音频信号 相关联的触觉效果的方法600的流程图。如图6所示，当处理器102 接收与一个或多个分量相关联的信号时，方法600开始。在一些实施 例中，这些分量可以包括与声事件检测(AED)或自动语音识别(ASR) 相关联的方法或系统。此外，在一些实施例中，这些方法使用与Mel 频率倒频谱系数(MFCC)连同它们的第一和第二导数、MPEG-7频谱 特征、与Teager能量算子特征结合的临界频带(CB-TEO)、信号的周 期性、基于小波倒频谱系数、光谱矩心、光谱不对称性、光谱带宽、 零交叉率(ZCR)、线性预测系数(LPC)、线性预测倒频谱系数(LPCC)、 对数式频率倒频谱系数(LFCC)或基频中的一个或多个相关联的音频 特征。在一些实施例中，可以由想收听音频文件的用户识别或标记这 些分量。在其它实施例中，这些分量可以由程序员或开发音频轨的艺 术家识别或标记。

接着，在步骤604处，处理器102将音频信号划分成一个或多个 段604。在一些实施例中，这些段可以包括重叠段，或者可替代地，在 一些实施例中，段可以包括非重叠段。在一些实施例中，这些段可以 包括时间段。例如，在一些实施例中，段可以包括例如，每1,.5,.1, 或.01秒的预定周期的时间段。在其它实施例中，段可以包括值改变的 时间段。还在其它实施例中，段可以包括音频信号的不同度量。例如， 在一个实施例中，段可以包括振幅段，例如，某一振幅范围内的信号 的分量可以形成段。还在其它实施例中，段可以包括信号内的频率范 围。在这种实施例中，该频率范围内的音频信号的分量可以形成段。 在一些实施例中，示例频率范围可以包括从50Hz到200Hz，或1,000Hz 至10,000Hz的范围。

然后，在步骤606处，处理器102分析段。处理器102分析该段 来识别在步骤602中上述的一个或多个分量。例如，处理器102可以 确定诸如语音或音乐的分量是否存在。在一些实施例中，处理器102 可以使用声事件检测(AED)或自动语音识别(ASR)中的一个分析 段。在一些实施例中，分析可以包括基于频率、振幅、音调或音高的 分析中的一个或多个。例如，在一些实施例中，处理器可以在音频信 号上执行快速傅立叶变换(FFT)，并且然后分析频域中的音频信号。 例如，在一个实施例中，处理器102可以通过执行FFT，然后分离峰 值频率分量，分析段。处理器可以进一步访问音频信号数据的数据库 (例如，可经由网络110访问的远程数据库或存储114中存储的本地 数据库)并且将段与数据库进行比较。在一些实施例中，这可以使处 理器隔离音频效果的来源，例如，隔离扬声器或隔离乐器或特效(例 如，在动作电影中发现的效果，诸如开枪、爆炸或引擎声)。

接着，在步骤608处，处理器102对段进行分类。在一些实施例 中，处理器102可以基于段中的特定音频特征的值或段中的特定分量 的存在，对段进行分类。在一些实施例中，用于分类的算法(例如识 别算法)可以将段的分量或特征值与描述不同分量或特征的不同模型 比较。基于最可能模型标签，该算法可以进一步对段进行分类。

在一些实施例中，基于与模型相关联的分量的类型，可以设计该 模型。在一个实施例中，可以使用来自先前自动或手动标记有同一类 型的音频段的数据库的分量或特征，构建用于一种类型的分量或特征 的模型。在一些实施例中，该数据库可以包括由被配置成使能与音频 效果相关联的高速搜索的多个分类器组成的大数据库。在一个实施例 中，示例分类可以包括每一分量的分类系统(例如语音识别系统)或 将段指定到集合中的一个分量的分类系统。用于AED的分类技术的例 子可以包括高斯混合模型(GMM)、支持矢量机器(SVM)、隐马尔 科夫模型(HMM)、K最近邻域(KNN)、判决树、人工神经网络(ANN)、 矢量量化(VQ)或贝叶斯网络(BN)。此外，在一些实施例中，处理 器102可以访问数据库来存储特定特征或分量，或者可替代地，在与 特征或分量相关联的数据库上执行搜索。

然后，在步骤610处，处理器102基于分类指定触觉效果。在一 些实施例中，触觉效果可以包括与分类相关联的特定类型的效果。例 如，在一些实施例中，特定种类的信号可以包括特定触觉效果。在这 样的实施例中，例如，语音可以包括特定频率振动，而诸如汽车运行 的另一可听效果可以包括不同频率振动。此外，在一些实施例中，处 理器102可以确定某些种类的音频信号应当不具有触觉效果。例如， 在一些实施例中，处理器102可以确定背景噪声或语音不应当与任何 触觉效果关联。例如，在一个实施例中，用户或设计者可以调整设定， 使得处理器102将确定不输出与背景噪声或语音相关联的触觉效果。 此外，在一个实施例中，用户或设计者可以调整设定，使得处理器102 执行音频文件的搜索和清除触觉轨来消除与背景噪声或语音相关联的 触觉效果。

现在转到图7，图7示例根据一个实施例，用于生成与音频信号 相关联的触觉效果的方法700的流程图。如图7所示，当处理器102 隔离音频信号内的源702时，方法700开始。在一些实施例中，处理 器102可以实现用于隔离音频源的多个不同方法中的一个或多个。在 一些实施例中，这些方法可以包括用于声事件检测(AED)或自动语 音识别(ASR)的方法。此外，在一些实施例中，这些方法可以包括被 配置成使用Mel频率倒频谱系数(MFCC)连同它们的第一和第二导数、 MPEG-7频谱特征、与Teager能量算子特征结合的临界频带(CB-TEO)、 信号的周期性、基于小波倒频谱系数、光谱矩心、光谱不对称性、光 谱带宽、零交叉率(ZCR)、线性预测系数(LPC)、线性预测倒频谱 系数(LPCC)、对数式频率倒频谱系数(LFCC)或基频中的一个或 多个的算法。

接着，在步骤704处，处理器102将触觉效果指定给源。例如， 在一些实施例中，处理器可以确定触觉效果应当仅与某些源关联。例 如，处理器可以将触觉效果应用于与音乐相关联的音频，但消除或“清 除”与说话相关联的触觉效果。类似地，处理器可以确定用于与诸如 开火、引擎噪声、天气噪声或背景噪声的效果相关联的音频的特定效 果。在一些实施例中，处理器102可以将多个致动器指定到不同音频 效果。例如，处理器102可以指定第一触觉输出设备118来生成与一 个源(例如第一扬声器或第一吉他)相关联的触觉效果，以及指定第 二触觉输出设备118来生成与第二源(例如，音频信号中的第二扬声 器或特效)相关联的触觉效果。

现在转到图8，图8示例根据一个实施例，用于生成与音频信号 相关联的触觉效果的方法800的流程图。如图8所示，在步骤802处， 当处理器102隔离音频信号中的语音时，方法800开始。在一些实施 例中，处理器102通过将音频信号中的段进行分类，例如，通过使用 识别音频信号中的音频特征或分量，隔离语音。在一些实施例中，处 理器102可以访问预标记的音频信号的本地或远程数据库。该数据库 可以包括不同类型、不同扬声器和具有不同噪声级的声音。在一些实 施例中，处理器可以使用下述的一个或多个将信号分类为语音：信号 能量、高/低能量、Mel频率倒频谱系数(MFCC)及其导数、线性频率 倒频谱系数(LFCC)及其导数、零交叉率(ZCR)、自关联频率或频 谱重心。此外，在一些实施例中，用于判别任务的分类器可以包括： 神经网络、高斯混合模型(GMM)或隐马尔科夫模型(HMM)。

当处理器102确定与语音相关联的一个或多个情绪804时，方法 800继续。说话者的情绪状态影响他或她的语音模式。例如，说话者的 情绪可以使说话者改变声调、音量、速度或其它语音参数。在一些实 施例中，处理器102通过再次对信号进行分类，确定语音中的情绪。 在一些实施例中，该分类包括从音频信号估算一个或多个特征值或分 量以及针对标记有说话者的情绪状态的语音样本的本地或远程数据库 进行分类。在一些实施例中，用于分类的算法(例如识别算法)可以 将段的分量或特征值与描述不同情绪的不同模型比较。基于最可能情 绪，该算法可以进一步对段进行分类。在一些实施例中，可以基于与 模型相关联的情绪类型，设计该模型。在一个实施例中，可以使用来 自先前标记(例如手动或自动)相同情绪的音频段的数据库的分量或 特征，构建用于一种情绪的模型。在一些实施例中，数据库可以足够 大来包括不同年龄、性别、情绪状态和口音/语言的说话者的样本。另 外，在一些实施例中，能检测的情绪类型包括：中性、玩笑、发怒、 悲伤、挑衅、厌烦、厌恶、害怕、紧张、惊喜或愤怒。

处理器102可以将多个不同的分量用于情绪检测。在一些实施例 中，这些分量可以包括基于频率的分量，例如基频变化、平均音高、 音高范围、频谱特征、MFCC、LFCC、共振峰特征或轮廓斜率。在其 它实施例中，这些分量可以包括基于时间的分量，例如语速、应力频 率、能量或ZCR。在其它实施例中，这些分量可以包括话音质量参数， 诸如气息声、逼真度、响度、暂停不连续或音高不连续。例如，在一 些实施例中，愤怒和挑衅能被转化成具有强的高频能量和更宽音高范 围的高振幅和快语音。在其它实施例中，悲伤能产生慢且低的音高信 号。在一些实施例中，可以用于情绪分类任务的分类器可以包括：神 经网络、SVM、GMM、HMM、KNN或判决树。

此外，在一些实施例中，音频信号可以包括充当音频段的描述符 的特征，在一些实施例中，可以使算法来对音频信号的段进行分类， 例如，通过识别情绪。在一个实施例中，可以将Mel频率倒频谱(MFCC) 用作用于分类的音频特征。在这种实施例中，系统可以使用那些MFCC 或其它特征或描述符，识别事件或源。

当处理器102确定与情绪相关联的触觉效果806时，方法800继 续。在一些实施例中，处理器102可以确定生成触觉静音而不是生成 触觉效果。例如，对于一些情绪(例如沮丧、悲伤)，处理器102可 以取消该段中的所有触觉效果。处理器102也可以向段指定触觉主题。 例如，所检测的情绪可以用来调制段/场景中的触觉效果来使其更相关。 可以通过自动变换(音频和/或视频)，创建这些触觉效果并且能与语 音或任何其它声音相关联。例如，在具有来自演员的愤怒和紧张情绪 的动作电影场景中，可以确定触觉效果来模拟用于观众的类似紧张状 态。在这种实施例中，处理器102可以被配置成放大紧张场景中的所 有触觉效果。在其它实施例中，当场景愉快时，处理器可以被配置成 衰减与场景相关联的一个或多个触觉效果。还在其它实施例中，处理 器102可以被配置成确定预定效果。在这种实施例中，除了使用自动 变换之外，处理器102可以从标记的情绪直接生成效果。例如，在一 个实施例中，可以由用户、程序员或内容作者标记情绪。在一些实施 例中，能设计预定效果来配合说话者的情绪状态，在这种实施例中， 可以与话音一起播放来反映和强调该状态。还在其它实施例中，代替 使用可以不适合语音信号的自动变换算法，可以将处理器102配置成 取消与自动创建的触觉轨中的语音相关的所有效果。在这种实施例中， 处理器102可以独立于为所检测的情绪特别设计的算法处理该语音。 此外，在一些实施例中，基于所确定的情绪处理器102可以将用于语 音的预定算法应用于触觉。例如，在一个实施例中，处理器可以包括 分别与多种情绪关联的多个自动语音至触觉算法。在这种实施例中， 当处理器102确定一个情绪时，处理器102可以使用相应的算法确定 触觉效果。

用于生成与音频信号相关联的触觉内容来产生触觉媒体的示例性 系统

现在转到图9A和9B，阐述用于创建触觉内容的系统环境的实施 例。如图9A所示，系统900包括在一个或多个媒体服务器904上存储 的A/V内容902和在一个或多个触觉媒体服务器910上存储的触觉内 容908。如系统900所示，每一媒体服务器904和触觉媒体服务器910 包括具有本领域已知的标准部件，例如处理器、存储器、数据存储器、 网络连接和配置成存储和访问服务器上存储的数据的软件的一个或多 个服务器。媒体服务器904和触觉媒体服务器910耦接到云连接906 (a)或906(b)中的一个。云连接906(a)或906(b)包括本领域 公知的有线和/或无线互联网连接。

如系统900所示，与触觉内容908(诸如上述的触觉轨)分离， 传送A/V内容902(诸如音频、图像或视频文件)。当接收时，例如， 通过如上所述的类型的计算设备，可以访问应用，诸如发布者应用912 (例如触觉使能安卓应用或触觉媒体SDK)来同步和/或播放视频和触 觉流。

在另一实施例中，图9B中示为系统950，将具有嵌入式触觉信息 952的A/V内容存储在一个或多个媒体服务器954上。这些媒体服务 器可以耦接到一个或多个云连接956。在这种实施例中，可以访问应用， 诸如发布者应用958(例如，触觉使能安卓应用或触觉媒体SDK)来 确定和/或播放A/V内容和嵌入式触觉内容952。

用于生成与音频信号相关联的触觉效果的系统和方法的优点

生成具有与音频信号相关联的触觉效果具有许多优点。例如，自 动音频触觉变换算法可以尝试感触尽可能多的音频内容，在信号中混 合中的不同声音之间没有任何区别。然而，该方法导致未预期的触觉 效果，因为触觉效果会变得不可抗拒的。例如，当使用其音频轨，自 动地创建用于电影的触觉效果时，语音和背景音乐可能变为有触觉的。 那些效果与大多数用户无关，由此，能降低他们的体验。然而，本公 开内容的实施例允许仅向某些音频效果巧妙地指定触觉效果的自动音 频触觉变换。这防止最终触觉效果成为不可抗拒的。

此外，本公开内容的实施例允许用户、内容作者或系统设计者指 定应当包括触觉效果的音频信号的分量。这使得用户、内容作者或系 统设计者自动地创建用于音频信号的更引人注目的触觉效果，因为用 户能指定没有触觉输出的某些源。例如，一些类型的分量如果被感触， 则可能是恼人的，在一些实施例中，这些分量可以包括例如键盘敲击、 音乐节拍、鼓掌、欢呼、古典音乐、喊叫等待。在此公开的系统和方 法可以允许设计者避免感触这些分量，或从触觉轨移除与这些分量相 关联的触觉效果。

一般考虑

上述方法、系统和设备是示例性的。适当时，各种配置可以省略、 替代或添加不同的过程或部件。例如，在替代配置中，可以以不同于 上述的顺序，执行方法，和/或可以添加、省略和/或组合不同的步骤。 同时，参考某些配置所述的特征可以结合在不同的其它配置中。可以 以类似的方式组合配置的不同方面和要素。同时，技术在发展，由此， 许多的要素是示例性的，不限制本公开内容或权利要求的范围。

在说明书中给出具体的细节以便提供示例性结构(包括实现)的 全面理解。然而，在没有这些具体细节的情况下，也可以实施配置。 例如，在没有非必要细节的情况下，已经示出了非常公知的电路、过 程、算法、结构和技术，以避免混淆配置。本说明书仅提供示例性配 置，以及不限制权利要求的范围、可用性或配置。相反，配置的前述 描述将为本领域的技术人员提供用于实现所述技术的开放描述。在不 背离本公开内容的精神或范围的情况下，可以在要素的功能或排列方 面做出各种改变。

同时，配置可以描述为图示为流程图或框图的过程。尽管每一配 置可以将操作描述为顺序过程，但可以并行或同时地执行许多操作。 此外，可以重新排列操作的次序。过程可以具有未包括在图中的另外 的步骤。此外，可以由硬件、软件、固件、中间件、微代码、硬件描 述语言或其任意组合来实现方法的例子。当用软件、固件、中间件或 微代码实现时，可以将执行必要任务的程序代码或代码段存储在非瞬 时计算机可读介质，诸如存储介质中。处理器可以执行所述任务。

已经描述了若干示例结构，在不背离本公开内容的精神的情况下， 可以使用各种改进、替代结构和等同物。例如，上述要素可以是较大 系统的部件，其中，其它规则可以优先于或者另外修改本发明的应用。 同时，在考虑上述要素前、期间或之后，可以进行许多步骤。因此， 上述描述不限定权利要求书的范围。

在此使用“用来”或“被配置成”意为不排除用来或被配置成执 行另外的任务或步骤的设备的开放和包含性语言。此外，使用“基于” 是指开放和包含性的，即，“基于”一个或多个所述条件或值的过程、 步骤、计算或其它动作实际上可以基于除那些所述的外的另外的条件 或值。其中所包括的标题、列表和编号仅为了易于说明而不打算限制。

能在数字电子电路中、计算机硬件、固件、软件中或前述的组合 中实现根据本主题的方面的实施例。在一个实施例中，计算机可以包 括一个处理器或多个处理器。处理器包括或能够存取计算机可读介质， 诸如耦接到处理器的随机存取存储器(RAM)。处理器执行在存储器 中存储的计算机可执行程序指令，诸如执行包括传感器采样例程、选 择例程和执行上述方法的其它例程的一个或多个计算机程序。

这些处理器可以包括微处理器、数字信号处理器(DSP)、专用 集成电路(ASIC)、现场可编程门阵列(FPGA)和状态机。这些处理 器可以进一步包括可编程电子设备，诸如PLC、可编程中断控制器 (PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、 电可编程只读存储器(EPROM或EEPROM)或其它类似的设备。

这些处理器可以包括可以存储当由处理器执行时，能使处理器执 行如由处理器执行或辅助的在此所述的步骤的介质，例如有形计算机 可读介质或可以与其通信。计算机可读介质的实施例可以包括但不限 于能为诸如网络服务器中的处理器的处理器提供计算机可读指令的所 有电子、光学、磁性或其它存储设备。介质的其它例子包括但不限于 软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、结构处理 器、所有光学介质、所有磁带或其它磁性介质、或计算机处理器能读 取的任何其它介质。同时，各种其它设备可以包括计算机可读介质， 诸如路由器、专用或公用网络，或其它传输设备。所述的处理器或处 理可以在一个或多个结构中，以及可以分散在一个或多个结构中。处 理器可以包括用于执行在此所述的一个或多个方法(或部分方法)的 代码。

尽管已经参考具体实施例详细地描述了本主题，但将意识到本领 域的技术人员在完成上文的理解后，可以易于产生对这些实施例的变 更、变形和等同物。因此，应理解到为了示例性而不是限制目的给出 了本公开内容，以及对本领域的普通技术人员来说，不排除包括对本 领域的技术人员显而易见的本主题的这些改进、变形和/或增加。