用于感知具有多形态反馈的图像的系统和方法

摘要

提供了用于提供用于图像的反馈效果的方法、系统和计算机可读介质。方法包括在图像的区域中识别一个或多个特征。方法还包括将一个或多个所识别的特征映射到反馈效果的多个形态中的至少一个。另外，方法包括生成用于反馈效果输出的参数并且将所生成的参数与图像相关联地存储，从而响应于与图像的区域相对应的用户的输入坐标，与图像相关联的用户界面被配置为向用户提供反馈效果的多个形态中的至少一个。反馈效果的多个形态包括一个或多个视觉反馈效果、一个或多个触觉反馈效果和一个或多个音频反馈效果。

说明书

技术领域

本申请大体上涉及图像感知，更具体地说，涉及感知具有多形态 (multimodal)反馈的图像。

背景技术

图像，诸如图片、图形和背景，通常仅通过对静态图像的查看而在电子 设备的用户界面上被感知到。当前使用的越来越多的消费者电子设备包括触 摸屏、扬声器、以及提供触觉反馈的能力。触觉反馈是通过感应使用诸如振 动或运动的移动的触摸而提供给用户的反馈。

因此，存在对于通过使用多形态反馈来增强图像感知的需要。

发明内容

技术问题

本公开的实施例提供用于感知具有多形态反馈的图像的系统和方法。

在一个实施例中，提供了一种用于提供用于图像的反馈效果的方法。所 述方法包括在图像的区域中识别一个或多个特征。所述方法还包括将一个或 多个所识别的特征映射到反馈效果的多个形态中的至少一个。另外，所述方 法包括生成用于反馈效果输出的参数并且将所生成的参数与图像相关联地存 储，从而响应于与图像的区域相对应的用户的输入坐标，与图像相关联的用 户界面被配置为向用户提供反馈效果的多个形态中的至少一个。反馈效果的 多个形态包括一个或多个视觉反馈效果、一个或多个触觉反馈效果、和一个 或多个音频反馈效果。

在另一实施例中，提供了一种用于提供用于图像的反馈效果的系统。所 述系统包括至少一个处理器和被配置为存储程序代码的至少一个存储设备。 处理器被配置为运行程序代码，以在图像的区域中识别一个或多个特征；将 一个或多个所识别的特征映射到反馈效果的多个形态中的至少一个；以及生 成用于反馈效果输出的参数并将所生成的参数与图像相关联地存储，从而响 应于与图像的区域相对应的用户的输入坐标，与图像相关联的用户界面被配 置为向用户提供反馈效果的多个形态中的至少一个。

在又一个实施例中，提供一种非暂态计算机可读介质，其包含用于提供 用于图像的反馈效果的程序代码。计算机可读介质包括用于在图像的区域中 识别一个或多个特征的程序代码。计算机可读介质还包括用于将一个或多个 所识别的特征映射到反馈效果的多个形态中的至少一个的程序代码。另外， 计算机可读介质包括用于以下各项的程序代码：用于生成用于反馈效果输出 的参数并且用于将所生成的参数与图像相关联地存储，从而响应于与图像的 区域相对应的用户的输入坐标，与图像相关联的用户界面被配置为向用户提 供反馈效果的多个形态中的至少一个。

在下面进行详细描述之前，对贯穿本专利文件中所使用的某些词汇和短 语的定义进行阐述会是有利的：术语“包括”和“包含”及其派生词意指没 有限制的包括；术语“或”是包括性的，意指和/或；短语“与…相关联”和 “与其相关联”及其派生词的可以意指包括、被包括在内、与…互连、包含、 被包含在内、连接到或与…连接、耦接到或者与…耦接、可与…通信、与… 合作、交织、并列、接近于、绑定到或与…绑定、具有、具有…的性质等等； 并且术语“控制器”意指控制至少一个操作的任意设备、系统或它们的部件， 这样的设备可以在硬件、固件或软件或者硬件、固件或软件中的至少两个的 某种组合中实现。应当注意到，与任意特定控制器相关联的功能可以是集中 的或者分布式的，或者在本地或在远程的。提供特定词汇和短语的定义以用 于本专利文件的通篇文档，本领域普通技术人员应当理解，即便不是在大多 数情况下，那么也在许多情况下，这些定义也适用于现有的以及将来的对这 些所定义词汇和短语的使用。

附图说明

为了更完整地理解本公开及其优点，现参考下列结合附图的描述，在附 图中，同样的参考标记表示同样的部件：

图1图示了在实现本公开的各种实施例时可使用的电子设备；

图2图示了依照本公开的各种实施例的，用于生成用于图像的反馈效果 的系统；

图3图示了图2中图示的系统中的再平衡模块的示例性实施例；

图4图示了依据本公开的各种实施例的，基于基础(underlying)纹理值 来对图像块进行归类的过程的流程图；

图5图示了依照本公开的说明性实施例的，来自根据粗糙度、对比度和 梯度的平均值而归类的不同聚类(cluster)的块；

图6图示了依照本公开的说明性实施例的，被提取到纹理映射、强度映 射、和颜色映射中的输入图像的一个示例；

图7A和7B图示了依照本公开的说明性实施例的，响应于用户在图像上 触摸而提供的反馈效果；

图8A图示了依照本公开的说明性实施例的图像中的波纹(ripple)效果；

图8B图示了依照本公开的说明性实施例的图像中的辉光(glow)效果；

图8C图示了依照本公开的说明性实施例的图像中的运动模糊效果；

图9图示了依照本公开的说明性实施例的，在提取的图像特征和反馈效 果之间的示例性映射；

图10图示了依照本公开的说明性实施例的，用于移动电话的用户界面中 显示的图像；

图11图示了依照本公开的各种实施例的，用于生成用于图像的反馈效果 的过程；以及

图12图示了依照本公开的各种实施例的，用于向用户提供图像反馈效果 的过程。

具体实施方式

下面讨论的图1到图12以及本专利文档中用来描述本公开原理的各种实 施例仅是说明性的，并不应当将其解释为以任何方式来限制本公开的范围。 本领域技术人员将会理解本公开的原理可以以任意适当安排的系统或设备来 实现。

通过本公开的各种实施例认识到触觉反馈可以例如在尤其是嘈杂环境中 提供提高的生产率(productivity)。通过本公开的各种实施例还认识到触觉反 馈可以延伸到诸如图像的视觉内容的情境中，以传达沉浸式感官体验。图像 在视觉媒体中保存当前的感官体验，这使得能在需要时实现唤回体验。然而， 在场景中的听觉、触摸及其它感官内容在此过程中被丢弃。某些部分的感官 体验可以通过视觉、音频和触觉效果的集中施加来在查看图像时被再创建。 例如，本公开的实施例基于探针的形状、用户跨越虚拟表面而正在移动探针 的速度、和虚拟表面的形状来认识触觉反馈的强度。通过本公开的实施例认 识到在图像上合并触觉反馈的现有途径的限制包括：除了触觉之外缺少同时 合并的视觉和音频效果，并且缺少用于评价不同类型的触觉反馈合并的有效 性的用户学习。

通过本公开的各种实施例还认识到音频反馈可以增强图像感知。例如， 音频反馈涉及在用户正在屏幕上触摸特定种类的纹理时生成特定声音的系 统。通过本公开的实施例认识到这样的系统的限制是所涉及的计算复杂性。 例如，计算复杂性可以限制所生成的声音的多样性。通过本公开的各种实施 例还认识到视觉反馈涉及到涉及用于提高图像感知的对视觉内容的更改的途 径。通过本公开的实施例认识到如同触觉和音频一样，视觉反馈系统可能要 求大量人工干预。

因此，本公开的实施例提供音频、视觉、触觉及其它感官效果的调和来 向查看图像和/或使用与显示的图像相关联的应用的用户提供合意的(例如， 逼真的和/或有吸引力的)感官反馈。在用户触摸图像的不同部分的同时，各 种实施例使用例如触摸灵敏显示单元来向用户提供除了对图像的正常查看之 外的音频、视觉和触觉反馈。音频效果涉及在用户正在图像的特定区间上触 摸或移动其手指的同时，播放特定声音。触觉(haptics)效果，也被称为触 感(tactile)反馈涉及在用户正在图像的特定区间上触摸或移动其手指的同时， 对合成的触感反馈进行播放。触感反馈的示例是一般在手持式设备上可用的 触觉振动的开关序列。在那里，具有不同开关模式的不同振动序列给体验振 动的用户引起不同的感官响应。另一方面，视觉效果例如通过改变标明用户 正在该处触摸图像的点的邻域的图像区域的颜色和强度来变更视觉内容。这 三种类型的反馈，或者可能还有其它的类型可以被有方法地选择，并且其参 数取决于种种因素，诸如用户简档、设备类型等等，以增强对图像内容的感 官感知。

下面的图1描述了在电子设备100中实现的各种实施例。图1的描述不 意指暗示物理或体系结构限制于可实现不同实施例的方式。本公开的不同实 施例可以在任何适当安排的系统或设备中实现。

图1图示了在实现本公开的各种实施例时可使用的电子设备100。例如， 在一些实施例中，电子设备100可以是向电子设备100的用户提供与图像相 关联的音频、视觉和/或触觉反馈的具备触摸屏能力的设备。在一些实施例中， 电子设备100可以识别图像的特征并且生成要与图像一起提供的音频、视觉 和/或触觉反馈的参数。例如，没有限制地，电子设备100可以是服务器计算 机、个人计算机、膝上型计算机、平板计算机、移动电话、个人数字助理、 电视等等。

在此所示的实施例中，电子设备100包括天线105、射频(RF)收发器 110、发送(TX)处理电路115、麦克风120、接收(RX)处理电路125。电 子设备100还包括扬声器130、处理器140、输入/输出(I/O)接口(IF)145、 键区150、触摸屏155、和存储器160。存储器160还包括基本操作系统(OS) 程序165。

在本公开的有益实施例中，处理器140是微处理器或微控制器。存储器 160被耦合到处理器140。根据本公开的有益实施例，存储器160的一部分包 括随机存取存储器(RAM)，而存储器160的另一部分包括充当只读存储器 (ROM)的非易失性存储器，诸如快闪存储器。

处理器140运行存储在存储器160中的基本操作系统(OS)程序165以 便控制电子设备100的整体操作。在一个这样的操作中，处理器140依照公 知的原理，通过射频收发器110、接收器处理电路125、和发送器处理电路115 控制正向信道信号的接收和反向信道信号的发送。

在此说明性实施例中，电子设备100还包括扬声器130、处理器140、输 入/输出(I/O)接口(IF)145、键区150、触摸屏155、和存储器160。存储 器160还包括操作系统(OS)程序165。

处理器140能够运行驻留在存储器160中的其它过程和程序。在各种实 施例中，处理器140运行反馈程序170的程序代码以生成和/或提供用于图像 的音频、视觉和/或触觉反馈。处理器140可以按照运行过程所要求地将数据 移入或移出存储器160。处理器140还被耦合到输入/输出(I/O)接口145。 I/O接口145给电子设备100提供连接到诸如膝上型计算机和手持式计算机的 其它设备的能力。I/O接口145是这些辅助设备和处理器140之间的通信路径。

处理器140还被耦合到键区150和触摸屏155。在一些实施例中，电子 设备100的用户可以使用键区150来将数据输入到电子设备100中。在其它 实施例中，电子设备100可以使用触摸屏来接收用户输入。例如，触摸屏155 可以包括显示器和触摸板(诸如例如，电阻式或电容式触摸板)两者。触摸 屏155中的显示器可以例如是能够渲染来自网站的文字和/或至少有限的图形 的液晶显示器、发光二极管显示器和/或有机发光二极管显示器。替换实施例 可以使用其它类型的显示器。

触觉反馈设备175是提供触觉反馈的设备。例如，触觉反馈设备175可 以包括用于生成电子设备100的运动和/或振动以向电子设备100的用户提供 触觉反馈的电机。传感器180是感测电子设备100所处的环境的状况的传感 器。例如，没有限制地，传感器180可以是接近传感器、光传感器、或用于 感测电子设备100所处的环境的状况的其它类型的传感器。在各种实施例中， 电子设备100可以在确定对与图像一起提供的反馈的类型的约束时使用传感 器180。

对电子设备100和其中包含的组件的说明是示例性的，而并不打算对可 依照本公开的原理实现的各种实施例加以任何物理或体系结构限制。例如， 取决于所需的电子设备的类型，电子设备100的实施例可不包括图1中所图 示的所有组件。例如，计算机，诸如个人计算机或服务器计算机可以利用局 域网连接和卡通过有线连接来通信，而可不包括无线通信元件，诸如例如， 天线105、射频(RF)收发器110、发送(TX)处理电路115、麦克风120 和/或接收(RX)处理电路125。在各种实施例中，电子设备100可以从使用 鼠标的用户接收光标输入，或者电子设备100可不包括键区150。在其它实 施例中，当电子设备100仅生成用于针对图像的音频、视觉和/或触觉反馈的 参数时，电子设备100可不包括传感器180和/或触觉反馈设备175。在其它 实施例中，显示图像的电子设备100可对可提供的反馈的类型具有物理约束。 例如，在这样的实施例中，电子设备100可不包括触觉反馈设备175，可以 不具备触摸屏能力或者可不包括扬声器130。

图2图示了依照本公开的各种实施例的用于生成用于图像的反馈效果的 系统200。在此说明性实施例中，系统200通过特征提取和反馈效果之间的 映射生成用于图像的反馈效果。系统200可以例如由图1中的电子设备100 和反馈程序170实现。

在此说明性实施例中，系统200提供音频、视觉、触觉及其它感官效果 的施加和调和，以向用户提供合意的(例如，逼真的和/或有吸引力的)感官 反馈。系统200包括用于接收诸如内容和用户交互的输入的输入模块205。 输入的内容可以包括图像，诸如图形、图片、背景等等。输入的用户交互可 以包括输入到触摸屏的用户触摸的坐标或使用鼠标输入的光标或指针的坐 标。系统200为了确定图像的理想感知而包括用于识别理想感知的图像感知 模块210，以提供对实际上存在于在显示的图像中出现的场景中的观察者的 模拟。系统200还包括再平衡模块215，以利用图像特征提取和反馈效果之 间的映射实现对图像的新的期望的感知。为了实现期望的感知，再平衡模块 215包括特征提取模块220和效果生成模块225。

在各种实施例中，特征提取模块220从图像中识别和/或提取各种图像纹 理特征，如下面将更详细地论述的。这样的特征的示例包括Tamura纹理特征、 局部梯度向量等等。使用特征提取模块220提取的特征被期望用于测量应当 被用来估计要与图像一起提供的效果的参数的某些局部图像特性。在其它示 例中，特征提取模块220可以辨识(recognize)场景的元素(例如草、树、 人等等)，并且可以包括对基于局部或基于云的目标辨识系统的利用。

在各种实施例中，效果生成模块225识别特征提取模块所提取的图像特 征、图像本身、和用户正与设备交互的方式(例如，用户正在该处触摸设备 或检测到光标输入的位置的x坐标和y坐标)，并且生成可包括关于图像的音 频、视觉和触觉效果的感官反馈。下面对能够由效果生成模块225提供的各 种音频、视觉和触觉效果进行更详细地描述。在显示图像的设备直接播放和/ 或提供音频和触觉效果的同时，视觉效果以某种方式更改正显示的图像。

再平衡模块215其后将各种效果映射到图像的可适用区域，并且生成用 于给图像提供效果的输出参数230。例如，输出参数230可以是用于提供被 映射到图像的不同区域的、用于图像的效果的库中所存储的效果的指令。当 用户提供输入坐标时，系统200识别来自库的输出参数230和与用户输入坐 标相对应的区域之间的映射。所识别的输出参数230被检索和处理，以提供 期望的反馈效果。

图3图示了图2中的系统200中的再平衡模块215的示例性实施例。在 各种实施例中，特征提取模块220接收输入数据305(例如，图像)，并且提 取和/或识别图像的特征，诸如例如，纹理、强度、颜色和/或用户与图像的交 互，诸如触摸或光标输入。在这个实施例中，特征提取模块220可以使用包 括协同出现矩阵、马尔科夫(Markov)随机场、伽柏(Gabor)纹理特征和Tamura 特征的许多技术来提取图像特征。例如在Tuceryan,M.、Jain,A.K.、C.Chen、 L.Pau以及P.Wang于1998年在世界科学出版公司(World Scientific Publishing  Co.)发表的“The Handbook Pattern Recognition and Computer Vision(模式识 别和计算机视觉手册)”中并且尤其是在“Texture Analysis(纹理分析)”中的 第2.1章中描述了用于纹理特征提取的另外的技术，这些内容在本文中通过 引用并入。虽然主要使用协同出现矩阵、马尔科夫随机场、和伽柏纹理特征 来对纹理进行分类，但是即使给定这些测量结果的值，可能也难以推断或设 想纹理的种类。另一方面，Tamura纹理特征给不同特征具体地提供含义。六 个Tamura特征包括：粗糙度、对比度、方向度、线像度(line likeness)、规 整度、和粗略度，并且在H.Tamura、S.Mori和T.Yamawaki于1978年于IEEE  Transactions on Systems,Man,and Cybernetics(IEEE系统、人类和控制论学报) 第SMC-8卷第6号第460–473页中发表的题为“Texture features corresponding  to visual perception(与视觉感知相对应的纹理特征)”的文章中对其进行详细 描述，此文章在本文中通过引用并入。

粗糙度实质上对图像中的纹理元素的大小进行量化。纹理中的元素越大， 其越粗糙。作为示例，较大的石头的图像比较小的石头的图像更粗糙。注意 到图像的放大版本相比于原始图像将具有更大的粗糙度值。对比度实质上测 量图像中局部存在的强度值的范围。作为示例，黑/白棋盘的图像将比天空的 图像具有更高的对比度。方向度对存在主导梯度的不同方向的数量进行量化。 作为示例，遮光帘的图像比石头的图像更具方向性。线像度测量图像中存在 的细线的量。作为示例，铁丝网的图像比石头的图像更具线像性。规整度测 量纹理元素被放置的规整程度。作为示例，层状的砖的图像比草的图像更规 整。粗略度被取为粗糙度和对比度值的和。其测量纹理被感知的粗略程度。 除了Tamura特征之外，特征提取模块220可以使用利用Sobel算子计算的图 像梯度，来将所触摸的位置分类到许多预定类别之一。局部纹理的类别进而 被用来确定要播放的音频、视觉和触觉效果。

在其它示例中，特征提取模块220还可以识别图像的强度和颜色的值以 用作用于反馈效果映射的所识别的特征。例如，图6图示了依照本公开的说 明性实施例的，被提取到纹理映射605、强度映射610、和颜色映射615中的 输入图像600的一个示例。在此说明性示例中，特征提取模块220可以针对 图像600中的各个点识别纹理、强度和/或颜色的值，并且反馈效果可以被映 射到图像的纹理、强度和颜色中的一个或多个。例如，特征提取模块220可 以识别用于纹理、强度和/或颜色和用于再平衡模块215的值的范围，以映射 声音、视觉效果和/或触觉效果的相应范围(例如，振动频率或强度)。

在一些实施例中，系统200可以基于基础纹理、强度和/或颜色值对图像 区间、块或区域进行归类，并且将视觉、触觉和音频效果的参数映射到归类 的图像区间、块或区域中的每一个。例如，图4图示了依据本公开的各种实 施例的，基于基础纹理值来对图像块进行归类的过程的流程图。在此说明性 实施例中，系统200接收图像(步骤400)并且将图像分割成多个区间、块 或区域(步骤405)。系统200随后分析每个块的点或像素的纹理(步骤410)。 例如，系统200可以提取Tamura特征以识别图像内的梯度。系统200随后基 于所提取的特征来对每个块进行分类(步骤415)。例如，系统200可以使用 所计算的图像梯度来对块中的特征进行分类，以将所触摸的位置分类到预定 类别中。其后，系统200对图像中的每个块进行归类(步骤420)。例如，系 统200可以在诸如例如粗糙度、对比度、方向度、线像度、规整度和粗略度 的所有Tamura特征的各种水平之中对块进行归类。块的类别进而被用来确定 用于该块的要播放的和/或与用户输入相关联的音频、视觉和触觉效果。

图5图示了依照本公开的说明性实施例的，来自根据粗糙度、对比度和 梯度的平均值而归类的不同聚类的块。在此说明性实施例中，系统200从纹 理块(例如，50×50的大小)池中提取粗糙度、对比度和局部梯度大小，并 且使用K均值(K-means)聚类来对块进行聚类以生成k个不同的聚类的集 合。

在识别图像的特征之后，系统200将一个或多个反馈效果分配、生成和/ 或映射到所识别的图像的特征。在各种实施例中，这些反馈效果包括至少三 种类型：音频、视觉和触觉。在本公开的各种实施例中使用的视觉效果可以 包括三种不同的类型：位移效果、照明效果、和模糊效果。

位移效果涉及随着用户触摸某些区域的在图像中的所述区域的位移。此 效果通过移动来模拟响应于触摸的在场景中存在的物理对象。位移效果的示 例是下面更详细地描述的波纹效果。另一方面，照明效果模拟用于突出显示 图像中的某些区间的光源。光源可以具有针对不同颜色波长拥有不同强度的 特定颜色集合。照明效果的示例是下面更详细地描述的辉光效果。第三类别 的视觉效果涉及对图像的某些区间的模糊，其实质上在查看快速移动的对象 时(尤其在对象未被对焦时)突出显示人类感知的限制。模糊效果的示例是 下面更详细地描述的运动模糊效果。注意到这些效果是彼此互补的，并且可 以在彼此的顶上播放或提供或被同时播放或提供。

图8A图示了依照本公开的说明性实施例的图像中的波纹效果。如所图 示的，波纹效果模拟在屏幕上水扩散，并且用户正在触摸水表面的情形。这 里，每一个像素的位置可以基于在那个位置处的水位来更新。在每个帧中， 在特定点处的水位使用来自前两个帧的在那个点以及相邻点处的水位来确 定。一旦用户触摸屏幕，在触摸点的相邻区间中、在那个时刻显示的图像帧 中的水位就被提升到特定水平。由于对之前帧的效果的依赖，所以该效果在 之后的帧中保持播放，并且对波纹在图像上流动的感觉被感知到。存在用于 调整此效果的两个参数：阻尼参数(dampening parameter)和当用户触摸图像 时影响其中水位的圆邻域的大小。阻尼参数实质上模拟被模拟的流体的粘度。 如果阻尼参数的值低，则波纹很迅速地消失，从而指示感知到流体的粘度很 高。另一方面，如果阻尼参数的值是可能的最大值(即，1)，则波纹不停止。

图8B图示了依照本公开的说明性实施例的图像中的辉光效果。在此说明 性示例中，用户当前正在该处触摸表面的位置附近的区间基于效果的参数而 变更。与波纹效果不同，此效果是即刻效果。这意指用户一改变用户正在该 处触摸屏幕的位置，效果也就相应地移动。在我们的当前实现方式中，像辉 光那样的效果被生成，其增加了与正在被显示的图像相关联的颜色值的强度 分量。如果在特定点(x,y)处的图像的RGB颜色值分别是r、g和b，则可 以根据下面的公式1来计算更新后的颜色值：

r(x,y)＝min(r(x,y)+(X-D(x,y))/(X)*F,R_MAX)

g(x,y)＝min(g(x,y)+(X-D(x,y))/(X)*F,G_MAX)    [公式1]

b(x,y)＝min(b(x,y)+(X-D(x,y))/(X)*F,B_MAX)

$\forall D(x,y)<X$

其中X是用来调整受此效果影响的图像区间的大小的参数，D是所考虑 的当前像素离触摸点的位置的欧几里德距离，并且F是用来调整效果的强度 的参数。常数R_MAX、G_MAX和B_MAX指示对于红色、绿色和蓝色所允许的最大 值。

图8C图示了依照本公开的说明性实施例的图像中的运行模糊效果。运动 效果模拟用户正在跨越图像地移动手指的情形，并且图像在用户正在该处触 摸图像的区间中局部模糊。模糊的方向与用户正移动其手指的方向相同。与 辉光效果类似，此效果是局部且临时的，即，模糊看起来仅在其中值可被调 节为在用户在该处触摸屏幕的点附近的效果的参数的某一半径的区间中。假 设用户当前正在触摸点(T_x，T_y)，并且用户正在移动其手指的速度是(V_x， V_y)，效果执行包括其自身的七个相邻像素的像素值的加权平均。为7的此参 数值是示例性的；可以使用其它值。用来调整此运动模糊效果的一个参数是 确定所选择的相邻点离触摸点的距离的效果的大小。此运动模糊效果的另一 参数是在其中作为此效果的结果，颜色值被影响的触摸点附近的区间。

可与上述效果类似地使用的视觉效果的额外的非限制示例包括：3D网格 渲染；聚光灯；色移；网格分解多边形；点光；棕褐色调；水波纹；定向光； 透镜虚光；充水；逐像素光照；金属、橡胶或木材遮蔽；鱼眼；阴影；凹凸 映射；闪电；火；毛皮；烟；火球；膨胀；雾；水性涂料；腐蚀；放大镜； 临时遮住；锐化；雪花颗粒；辉光；浮雕；魔法粉；光晕；黑与白；樱花颗 粒；热浪；交叉影线；其它颗粒效果；正弦波；卡通渲染；反射；热视觉(捕 食模式)；底片；折射；夜视；胶状明胶效果；运动模糊；Sobel边缘检测； 布波纹；运动拖尾；拉普拉斯边缘检测；精灵效果；透镜光斑；增亮；TV静 噪(TV static)/噪音；圣光；遮暗；翻转磁粘；高斯模糊；着色；多边形上 的视频；景深；除去颜色通道、和网格畸形。

本公开的各种实施例还提供触觉反馈效果。触觉反馈效果可以涉及使用 由开关切换电路使用具有不对称权重驱动的无芯DC电机来生成的振动触感 反馈。开关切换软件(例如，沉浸式软件(immersion software))可以提供各 种切换顺序(例如，振动频率和模式)，每种切换顺序可以用来引起触摸设备 的用户的特定传感器响应。也可以使用任何其它软件驱动的触觉/触感反馈。 在一个说明性示例中，当用户触摸图像上存在水的区域时，诸如图7A中所 图示的，可以播放温和的和/或低频率的振动。在另一示例中，当用户触摸岩 石时，诸如图7B中所图示的，可以播放较强烈的和/或较高频率的振动。

本公开的各种实施例还提供音频反馈效果。例如，用户一触摸触摸灵敏 屏幕，声音就可以开始播放。播放的特定声音可以基于与触摸点相关联的纹 理特征的值来确定。在一些示例中，只要用户正在触摸屏幕，声音就可以保 持循环播放。播放的声音可以取决于局部纹理特征或颜色值而改变。例如， 声音的重放速度、声音强度或声音类型可以改变。

在一些示例中，重放速度可以按照与用户正在该处触摸图像的点相关联 的像素的纹理特征或颜色值的函数来计算。用来将纹理特征或颜色值映射到 声音重放速度的函数可以是任意的。作为示例函数，重放速度s可以按照 s＝s*(f^d)来计算，其中f是倍增因素，并且d>＝1是测量触摸点处的特定纹理 特征的整数值。在以上示范中，速度s意指利用正常速度的s倍的速度来播 放声音。注意到值d可以是图像纹理的任何单调的或非单调的函数。在一些 示例中，播放的声音的强度还可以与用来计算重放速度的方式类似的方式来 计算。

在一些示例中，与改变声音的重放速度或强度类似，播放的声音的类型 还可以基于触摸点处的纹理特征值而改变。两种不同类别的声音可以被利 用——自然的以及合成的。在从在自然(例如瀑布)中存在的声音的地方使 用麦克风来记录自然的声音的同时，合成的声音通过指定声音的音频波形来 生成。合成的声音的示例可以是具有特定频率的经采样的正弦波形。在其它 示例中，不同类型的声音或词汇的库可以被映射到特定的所识别特征。作为 一个说明性示例，当用户触摸图像上的存在水的区域时，诸如图7A中所图 示的，起安抚作用的声音，诸如水流可以被播放。在另一示例中，当用户触 摸岩石时，诸如图7B中所图示的，较刺耳的声音，诸如撞击声可以被播放。 在其它示例中，对“水”或“岩石”的词汇的录音可以被播放。这样的实施 例在帮助视力减弱的人和学习词语的儿童方面可尤其有用。

在本公开的各种实施例中，效果可以基于所提取的图像纹理特征而变更。 图9图示了依照本公开的说明性实施例的，在提取的图像特征和反馈效果之 间的示例性映射。在此说明性实施例中，系统200基于基础图像纹理以及用 户正在触摸表面的方式来确定反馈效果的参数。在此说明性实施例中，六个 主要的因素被用来调整反馈效果。

在此说明性实施例中，所提取的粗糙度值可以被用来确定辉光效果的大 小参数。粗糙度越大，参数的大小越大。此关联是基于以下事实：相比于具 有较小元素的纹理，具有较大元素的纹理将要求用户聚焦在图像的较大区间 上。为了实现此效果，辉光的半径可以乘以已基于用户偏好归一化的粗糙度 值。粗糙度值的通用可以用于增加受照明型视觉效果影响的图像区间的大小。

轻弹速度是用户在显示器上移动其手指(或光标)的速度。在此示例中， 轻弹速度被用来调整运动效果。速度越大，运动模糊的大小或任何模糊型的 视觉效果的大小越大。轻弹方向是用户在显示器上移动其手指(或光标)的 方向。在此示例中，轻弹方向还被用来调整仅沿轻弹方向模糊图像的运动效 果。

梯度大小是通过将图像与x方向和y方向这两个方向都相关联的Sobel 核卷积而计算出的值。在一个示例中，3×3Sobel核可以被用于x方向和y 方向这两个方向。在此说明性示例中，梯度大小可以被用来调整波纹效果。 因为更高的梯度值自然地将导致更大的阻尼，所以阻尼因素可以乘以梯度值。 因此，波纹在存在较大梯度量的区间中不会流动地那么快。梯度值通常可以 在位移型视觉效果中被用于限制位移量。梯度方向是与梯度相关联的方向。 在此说明性示例中，梯度方向实质上被用于如下所述地确定阻塞(obstruction) 值。

阻塞值实质上沿着轻弹方向确定梯度的量。给定轻弹向量(F_x，F_y)和 梯度向量(G_x，G_y)，阻塞值按照轻弹向量和梯度向量的点乘来计算(即，O ＝F_x*G_x+F_y*G_y)。在此说明性示例中，阻塞值进而被用来调整音频和触觉效 果。阻塞值越大，与引起期望的反馈相关联的能量越大。音频或触觉效果中 的能量可以与诸如强度和频率的这些特性相关联。

在这些参数被应用到相关联的效果之前，它们的值可以根据用户偏好来 调整或变更。机器学习系统还可以被设计为基于用户简档来推断用户偏好。 图9中所图示的映射是示例性的，并不打算暗示对可依照本公开原理实现的 不同映射的数量或类型的任何限制。

图10图示了依照本公开的说明性实施例的，在用于移动电话1000的用 户界面1005中显示的图像。在此说明性实施例中，移动电话1000是图1中 的电子设备100的一个示例。在此示例中，移动设备1000的触摸屏1010在 用户界面1005中显示与来电相关联的图像1015(例如，来电的图形和用户 选项)。用户界面1005还显示用于处理呼叫的选项，其包括发送短信响应、 接电话和拒接电话的不同选项之一。

在此说明性实施例中，系统200已生成用于此图像1015的反馈效果，以 帮助用户感知图像1015并且协助响应来电。例如，用户可能正在开会或看电 影，在这种情况下存在对聆听或查看移动电话1000的约束。在这些示例中， 移动电话1000可以向用户提供触觉反馈以帮助感知图像1015并且协助响应 来电。例如，用户可以触摸电子设备的一个角落并且感觉到指示对用于处理 呼叫的一个选项的选择的振动。在一个非限制示例中，触摸图像1015的用于 接电话的区域可以触发单个短振动触感脉冲的反馈，其中，触摸“拒绝”触 发单个长振动触感脉冲的反馈。类似地，触摸图像1015的用于发短信“我将 稍后给你电话…”的区域可以触发两个振动触感脉冲的反馈，其中触摸发短 信“不能接听。怎么了”可以触发三个振动触感脉冲的反馈。随后用户被通 知用户已选择用于响应呼叫的哪个选项，而不需要看着移动电话1000，这在 用户不能看着移动电话1000的情形下是有益的。与不同文本相关联的振动触 感脉冲模式可以按照与可被示出为不同文本框的背景图像的不同纹理的图像 相关联的参数来获得。

如以上论述以及以上论述的示例实施例所说明的，系统200还可以在生 成用于图像的反馈效果参数时识别约束310并将其考虑在内。约束310是对 例如在假设显示图像的设备的物理约束和环境限制的情况下可提供的反馈效 果的形态的数量和类型的限制，这些物理约束和环境限制例如用户不能够查 看设备(例如，设备在用户口袋里、用户正在开车、用户视力减弱等等)，在 当前环境(例如，设备的静音模式)中噪音是不能接受的，或设备并非用于 触摸(例如，计算机监视器或电视)。系统200可以从关于显示图像的设备中 的组件的信息(例如，不具备触摸屏能力的设备、不包括触觉反馈设备175、 不包括扬声器130等等)、设备的设置(例如，设备处于静音的操作模式、驾 驶的操作模式、不显示的操作模式中等等)来识别这些约束，或者这些约束 可被使用传感器180，例如通过光或接近检测(例如，没有感觉到光或者设 备被覆盖/阻挡从而视觉反馈效果可能被约束)来自动地识别。

在识别约束310之后，系统可以限制与图像一起提供的反馈的形态。例 如，当用户正在驾驶或视力减弱时，与图像一起提供的反馈的形态可以被限 制在触觉和音频反馈效果。在另一示例中，当用户正在开会或看电影时，与 图像一起提供的反馈的形态可以被限制在触觉效果。在另一示例中，当用户 正在投影仪、电视上呈现图像或者将其上传到网站时，与图像一起提供的反 馈的形态可以被限制在视觉和音频反馈效果。在又一个示例中，当医生想感 觉医学图像，从而不错过任何关键畸变时，反馈效果可以被限制为触觉反馈 效果。

这些限制可以被预先包括在图像的显示中，并且与图像相关联地存储以 用于之后的显示。例如，在显示之时，在反馈的形态中的一个或多个被约束 的情况下，系统200可以包括针对为显示的图像而设的反馈的形态的不同选 项。在其它示例中，系统200可以基于对在图像的显示之时识别的约束310 的识别来生成用于图像的反馈效果。

图11图示了依照本公开的各种实施例的用于生成用于图像的反馈效果 的过程。例如，图11中所描绘的过程可以由图1中的电子设备100或图2中 的系统200执行。

过程通过在图像的区域中识别(一个或多个)特征开始(步骤1105)。 例如，在步骤1105中，过程可以识别与图像的各个区域相关联的纹理、强度 和颜色。过程还可以识别存在于图像中的对象。区域中的特征可以基于用户 与图像的交互，诸如触摸或轻弹来提取和识别。

过程随后将(一个或多个)特征映射到反馈效果的多个形态中的至少一 个(步骤1110)。例如，在步骤1110中，过程可以将图像中的特征或特定区 域映射到要提供的不同反馈效果。反馈效果的多个形态可以包括一个或多个 视觉反馈效果、一个或多个触觉反馈效果、和一个或多个音频反馈效果。作 为此步骤的一部分，过程还可以识别对反馈效果的形态中的哪个可被映射的 约束。过程还可以基于用户与图像的交互，诸如轻弹方向或速度来映射反馈 效果。

过程随后生成用于反馈效果输出的参数(步骤1115)。例如，在步骤1115 中，过程可以在用户通过触摸或光标与图像交互时或随着用户通过触摸或光 标与图像交互来生成参数以提供反馈效果。过程随后将所生成的参数与图像 相关联地存储(步骤1120)。例如，在步骤1120中，过程可以存储所生成的 参数，从而响应于与图像的区域相对应的用户的输入坐标，与图像相关联的 用户界面被配置为向用户提供反馈效果的多个形态中的至少一个。作为此过 程的一部分，用户可能够变更所生成的参数值。

图12图示了依照本公开的各种实施例的，用于向用户提供图像反馈效果 的过程。例如，图12中所描绘的过程可以由图1中的电子设备100或图2中 的系统200执行。

过程通过显示图像开始(步骤1205)。例如，在步骤1205中，过程可以 使用具备触摸屏能力的设备来显示图像。过程随后从用户接收输入(步骤 1210)。例如，在步骤1210中，输入可以通过对触摸屏的触摸或鼠标的光标 来进行。过程随后识别与用户输入相对应的图像的坐标(步骤1215)。例如， 在步骤1215中，过程可以在图像上识别触摸或光标位置的x和y坐标。过程 还可以识别与图像的交互的特性，诸如轻弹方向和速度。

过程随后识别被映射到图像的区域中的(一个或多个)特征的(一个或 多个)反馈效果(步骤1220)。例如，在步骤1220中，过程可以基于对应于 用户输入的所提取的图像中的特征来生成反馈效果。过程还可以从所存储的 图像区域或特征和反馈效果之间的映射来识别反馈效果。反馈效果可以包括 一个或多个视觉反馈效果、一个或多个触觉反馈效果、和一个或多个音频反 馈效果。作为此步骤的一部分，过程还可以识别对不同类型的反馈效果的约 束，并且限制哪些类型的反馈效果被提供。

过程随后提供(一个或多个)反馈效果(步骤1225)。例如，在步骤1225 中，过程可以响应于所检测到的用户输入而提供一个或多个视觉反馈效果、 一个或多个触觉反馈效果、和/或一个或多个音频反馈效果。

虽然图11和图12分别图示了用于生成用于图像的反馈效果以及向用户 提供图像反馈效果的过程的示例，但是可以对图11和图12进行各种改变。 例如，虽然被示出为一系列步骤，但是每个图中的各个步骤可以重叠、并行 地发生、以不同次序发生或发生多次。

虽然已经利用示例性实施例描述了本公开，但是可以向本领域技术人员 建议各种变化和修改。本公开意图涵盖落入权利要求范围的这样的变化和修 改。