模式数据生成装置及方法、模式数据再现装置及方法

摘要

本发明公开了模式数据生成装置及方法、模式数据再现装置及方法。模式数据生成装置包括：输入数据接收单元，其用于接收基于使用者选择的输入数据；控制器，其基于输入数据确定模式信息并生成包含有确定的模式信息的模式数据；以及通信单元，其向模式数据再现装置传送生成的模式数据。

说明书

技术领域

下面的实施例涉及模式数据生成技术及模式数据再现技术。

背景技术

随着文化产业的发达，内容、视频游戏等可供使用者娱乐的内容的种类趋于多样化，消费者对提供如VR(Virtual Reality：虚拟现实)、3D图像、4D体验的具有高沉浸感的内容的方法的需求也逐渐增加。基于这种趋势，针对为使用者提供触觉反馈的触觉装置的关注度也呈逐日增加趋势。触觉装置通过控制触觉装置中流动的电流量、触觉装置中施加的电压大小，可调控触觉装置所提供的触觉刺激。

发明内容

根据一实施例的模式数据生成装置，可包括：输入数据接收单元，其接收基于使用者选择的输入数据；控制器，其基于所述输入数据确定模式信息并生成包含有所述确定的模式信息的模式数据；以及通信单元，其向模式数据再现装置传送所述生成的模式数据。

所述模式数据可包括适用于致动器的触觉模式及适用于照明单元的照明模式中的至少一个模式信息。

所述控制器通过分析所述输入数据并基于所述分析结果来确定模式等级信息，所述模式等级信息用于表示输出模式的时距的模式时距信息及模式强度。

所述输入数据接收单元基于所述使用者选择可接收声音数据、触摸输入数据及使用者模式设置数据中的任意一个。

当所述输入数据为所述声音数据时，所述控制器在构成所述声音数据的频带中确定目标频带，并利用带通滤波器(band pass filter)过滤所述目标频带的声音数据，基于临界值从所述过滤的声音数据中可确定触觉模式的模式等级信息及所述触觉模式的模式时距信息。

当所述输入数据为所述触摸输入数据时，所述控制器从所述触摸输入数据中提取触摸输入的维持时间信息及所述触摸输入的时距信息，并基于所述维持时间信息及所述时距信息可生成触觉模式的模式数据。

当所述输入数据为所述使用者模式设置数据时，所述控制器基于所述使用者模式设置数据可确定模式等级信息及模式时距信息，并基于所述确定的模式等级信息及所述模式时距信息可生成所述模式数据。

所述模式数据可包含在消息中并向所述模式数据再现装置传送，所述消息可包括：第一元素，其表示所述消息中包含的数据的类型；第二元素，其包含消息信息；以及第三元素，其表示所述消息信息的大小。

根据一实施例的模式数据再现装置，可包括：通信单元，其从模式数据生成装置接收模式数据，所述模式数据包括基于使用者选择的输入数据而确定的模式信息；控制器，其从所述接收的模式数据中提取模式信息；以及触觉模式再现单元，其基于所述提取的模式信息再现触觉模式。

所述触觉模式再现单元可基于所述模式信息中包括的表示模式强度的模式等级信息及表示输出模式的时距的时距信息来驱动致动器，从而再现触觉模式。

根据一实施例的模式数据再现装置，可进一步包括基于所述提取的模式信息再现照明模式的照明模式再现单元。

所述照明模式再现单元可基于所述模式信息中包括的照明模式的照明颜色信息及所述照明模式的输出时间信息来驱动照明单元，从而再现照明模式。

根据一实施例的模式数据生成方法，可包括：接收基于使用者选择的输入数据的步骤；基于所述输入数据确定模式信息的步骤；生成包括所述确定的模式信息的模式数据的步骤；以及向模式数据再现装置传送所述生成的模式数据再现的步骤。

根据一实施例的模式数据再现方法，可包括：从模式数据生成装置接收模式数据的步骤，所述模式数据包括基于使用者选择的输入数据而确定的模式信息；从所述接收的模式数据中提取模式信息的步骤；以及基于所述提取的模式信息再现触觉模式的步骤。

根据一实施例的模式数据再现方法，可进一步包括当所述模式数据中包括与照明模式有关的模式信息时，基于与所述照明模式有关的模式信息再现照明模式的步骤。

附图说明

图1是根据一实施例的模式数据提供系统的示图。

图2是根据一实施例的用于说明模式数据生成方法的操作的流程图。

图3是根据一实施例的用于说明基于输入数据类型生成模式数据过程的流程图。

图4是根据一实施例的用于说明基于声音数据生成模式数据过程的流程图。

图5和图6是根据一实施例的用于说明基于声音数据生成模式数据的一示例图。

图7是根据一实施例的用于说明使用者模式设置数据的示图。

图8是根据一实施例的包含模式数据的消息元素的示图。

图9是根据一实施例的用于说明模式数据再现方法的操作的流程图。

具体实施方式

下面，参照附图对实施例进行详细说明。这些实施例可进行各种变更，但本专利申请的权利范围不受限于这些实施例。针对这些实施例所做的各种变更、等同物以及替代物应理解为属于权利要求的范围。

在此使用的术语仅为了说明而提供，不应理解为用作限定本发明。对于单数的表述，如果上下文中没有其他明确的说明，则该单数表述还包括复数。本说明书中使用的术语“包含/包括”或“具有”等术语用于指示说明书中记载的特征、数字、步骤、操作、构件、组件或它们的组合的存在，但不排除一个或多个其它特征、数字、步骤、操作、构件、组件或它们的组合的存在或添加的可能性。

除非另有定义，否则这里使用的所有术语(包括技术术语和科学术语)具有与实施例所属领域的普通技术人员通常理解的含义相同的含义。这些术语(诸如在常用词典中定义的那些术语)应被解释为具有在相关技术的上下文中相同的含义，而不会被理想化或过于正式地解释。

此外，参照附图进行说明时，与附图无关，相同的组成要素将赋予相同的附图标记，与其相关的重复说明将被省略。在说明实施例的过程中，当认为与已知技术相关的详细描述会使实施例的主旨混淆时，将省略其详细说明。

图1是根据一实施例的模式数据提供系统的示图。

模式数据提供系统100是基于模式数据向使用者提供触觉刺激(触觉效果)和/或照明刺激(照明效果)的系统。例如，模式数据提供系统100通过生成用于在音乐厅、电影院、演艺厅等场所向观众提供的内容的比特模式所对应的模式数据，并且将生成的模式数据传送给观众。观众佩戴可穿戴设备而可穿戴设备可接收模式数据。可穿戴设备可通过再现模式数据向观众提供与内容相匹配的触觉刺激和/或照明刺激。观众通过触觉刺激和/或照明刺激可获得更高层次的沉浸感，可使内容的提供效果(演出效果)最大化。

作为另一示例，假设使用者通过安装有音乐再现应用程序的驱动设备听音乐内容。这种情况下，模式数据提供系统100分析音乐内容并生成与音乐内容相匹配的模式数据，并利用辅助设备再现模式数据，从而可向使用者提供与音乐内容对应的触觉刺激和/或照明刺激，所述辅助设备可通过有线或者无线与所述驱动设备连接。

作为另一示例，使用者也可通过模式数据提供系统100直接制作模式数据。使用者通过设定触觉刺激模式或者照明刺激模式发生时距和模式强度，可生成个性化的模式数据。使用者通过敲打、摩擦等触摸输入可生成自己独有的个性化模式数据。生成的模式数据被存储且可传递给设备或其它使用者。

参照图1，根据一实施例的模式数据提供系统100包括模式数据生成装置110及模式数据再现装置150。模式数据生成装置110作为生成模式数据的装置，例如可相当于个人电脑、智能手机等移动设备。模式数据生成装置110可生成模式数据并且可传递生成的模式数据。例如，模式数据生成装置110分析内容(例如，音乐等声音数据)并生成与该内容对应的模式数据，或者基于使用者输入的触摸输入数据或者使用者模式设置数据来生成模式数据。该生成的模式数据包括用于定义向使用者提供触觉刺激模式和/或照明刺激模式的模式信息。

模式数据再现装置150是基于由模式数据生成装置110传递的模式数据向使用者提供触觉刺激和/或照明刺激的装置。模式数据再现装置150还可称为触觉装置。在一实施例中，模式数据再现装置150通过再现模式数据产生振动或者敲打等，从而可向使用者提供特定模式的触觉刺激。此外，模式数据再现装置150通过再现模式数据来调控照明单元如LED的照明颜色及照明强度，从而可向使用者提供特定模式的视觉刺激。模式数据再现装置150例如可具有可穿戴设备、移动设备的辅助设备、可携带的电子设备等形态，但不限受限于所述形态。

如图1所示，模式数据生成装置110与模式数据再现装置150可通过网络105无线连接或者通过网线有线连接。

模式数据生成装置110包括输入数据接收单元120、控制器130及通信单元140。输入数据接收单元120可接收基于使用者选择的输入数据。输入数据接收单元120基于使用者的选择可接收如音乐的声音数据、触摸输入数据及使用者模式设置数据中的任意一个。触摸输入数据可通过感测触屏显示器等上施加的使用者敲打或者摩擦等触摸输入来获得。使用者模式设置数据可通过如均衡器的界面由使用者直接设定模式等级或者模式时距来获得。使用者可在声音数据、触摸输入数据及使用者模式设置数据中选择任意一个来生成模式数据。

控制器130控制模式数据生成装置110的操作，且可包括至少一个处理器。控制器130基于通过输入数据接收单元120接收的输入数据可确定模式信息，并生成包含有确定的模式信息的模式数据。控制器130可分析输入数据，并基于分析结果确定用于表示输出模式的时距的模式时距信息及用于表示模式强度的模式等级信息。模式数据可包括与适用于致动器的触觉模式及适用于照明单元的照明模式中至少一个有关的模式信息。在一实施例中，控制器130基于输入数据可确定触觉模式的模式等级信息、触觉模式的模式时距信息、照明模式的照明颜色信息及照明模式的输出时间信息并进行控制以存储确定的信息。

在一实施例中，假设输入数据为声音数据。这种情况下，控制器130可从声音数据自动地提取模式信息。控制器130在构成所输入的声音数据的频带中确定目标频带，并利用带通滤波器(band pass filter)过滤目标频带的声音数据，从而可提取可听声音区域的声音数据。控制器130基于临界值可从过滤的声音数据中确定触觉模式的模式等级信息及模式时距信息。

例如，当输入数据接收单元120接收wave或MP3文件的声音数据作为输入数据时，控制器130将在声音数据的前半部再现的前奏部分(例如，约1分钟左右的部分)以一定的时间周期(例如，200ms)进行快速傅里叶变换(Fast Fourier Transform；FFT)，并在频率域进行分析将反复最多的频带(FFT值最大的频带)确定为目标频带。如上所述，控制器130可在声音数据如音乐的开始前半部确定用于形成模式数据的目标频带。然后，控制器130进行带通滤波及快速傅立叶逆变换(Inverse Fast Fourier Transform；IFFT)，并将过滤的声音数据向时间域输出。控制器130通过将执行IFFT并沿时间域发生改变的声音数据的信号值与一定的临界值(可由使用者设定)进行比较，并确定模式等级信息和模式时距信息。例如，如果经IFFT处理的声音数据的信号值为临界值以上，则控制器130基于信号值与临界值间的差值，确定模式等级，如果信号值不足临界值，则可将模式等级设定为0。模式等级例如可确定为0至10之间的数字值。控制器130找出信号值为临界值以上的时间点，并基于找出的时间点之间的间隔可确定模式时距信息。

此外，控制器130基于目标频带确定照明模式的照明颜色信息，也可以基于模式时距信息确定用于表示输出照明模式的时间点的照明模式的输出时间信息。例如，基于目标频带的值，照明模式的颜色可确定为不同，基于分析声音数据而导出的模式时距可确定输出照明模式的时间。

在另一实施例中，假设输入数据为触摸输入数据。使用者可简单地通过触摸输入生成模式数据，该生成的触摸输入数据包括用于表示触摸输入的时距的时距信息、作为维持触摸的时间区间的维持时间信息及输入的触摸强度信息。控制器130可自动地从触摸输入数据中提取模式信息。控制器130可从触摸输入数据中提取触摸输入的维持时间信息及触摸输入的时距信息，并基于提取的维持时间信息及时距信息可生成触觉模式的模式数据。控制器130基于该维持时间信息可设定触觉模式的再现开始时间，基于该时距信息可设定触觉模式的再现停止时间。

此外，控制器130基于通过分析触摸输入数据而提取的维持时间信息及时距信息，可确定照明模式的输出时间信息。此外，控制器130基于触摸输入的强度，可确定照明模式的照明颜色信息。例如，控制器130根据如果触摸输入的强度弱则提高蓝色的比例以及如果触摸输入的强度变强则提高红色的比例的方式，可确定照明颜色信息。

在另一实施例中，假设输入数据为使用者模式设置数据。控制器130基于使用者模式设置数据确定模式等级信息及模式时距信息，基于确定的模式等级信息及模式时距信息可生成模式数据。例如，使用者可利用具有均衡器等形态的模式输入程序，输入用于生成模式数据的设定信息，输入的设定信息为使用者模式设置数据，可输入到输入数据接收单元120。控制器130可将使用者模式设置数据转变为数字化值的模式等级，并确定模式的时距。例如，当使用者按照不同的频带设定模式等级值时，控制器130可按照不同的频带对应的时间周期生成模式数据以产生该频带设定的模式等级值的触觉模式。

此外，控制器130基于通过分析使用者模式设置数据而确定的模式等级信息及模式时距信息，可确定照明模式的照明颜色信息及输出时间信息。例如，控制器130可基于确定的模式等级的大小确定照明颜色，并基于模式时距信息确定输出照明模式的时间。

通信单元140可将生成的模式数据传送至模式数据再现装置150。此时，模式数据可包含在消息中并向模式数据再现装置150传送。通信单元140例如可通过蓝牙(Bluetooth)，BLE(Bluetooth Low Energy)，WIFI(Wi-Fi)，LTE(Long Term Evolution)等网络105向模式数据再现装置150传送模式数据。在一实施例中，使用者可选择用于传送模式数据的网络105的类型，这种情况下，通信单元140可通过基于使用者选择的网络105来传送模式数据。

根据实施例，如果模式数据生成装置110结束模式数据的传送，则还可通知使用者模式数据传送已结束。此外，模式数据生成装置110可存储已传送的模式数据，并生成历史信息进行管理。存储的模式数据以后可传送给其他设备或者其他使用者。

模式数据再现装置150可接收从模式数据生成装置110传递的模式数据，并再现接收的模式数据。所述模式数据再现装置150包括通信单元160、控制器170及触觉模式再现单元180。根据实施例，模式数据再现装置150可进一步包括照明模式再现单元190。

通信单元160可从模式数据生成装置110接收模式数据。模式数据可包括基于使用者选择的输入数据而确定的模式信息。根据实施例，如果模式数据的接收结束，则接收的模式数据可存储到存储单元(未图示)，并且可通知模式数据再现装置150的使用者模式数据的接收已结束。

控制器170可控制模式数据再现装置150的操作，且包括至少一个处理器。控制器170通过分析接收的模式数据，可从模式数据中提取模式信息。例如，控制器170可从模式数据中提取触觉模式的模式等级信息、触觉模式的模式时距信息、照明模式的照明颜色信息、照明模式的输出时间信息等。

触觉模式再现单元180可基于提取的模式信息再现触觉模式。触觉模式再现单元180可基于模式信息中包括的用于表示模式强度的模式等级信息及用于表示输出模式的时距的时距信息，通过驱动致动器(触觉致动器等)来再现触觉模式。致动器可基于触觉模式再现单元180传递的控制信号并根据触觉模式来产生触觉刺激。根据实施例，致动器还可以包含在触觉模式再现单元180中。

照明模式再现单元190基于提取的模式信息再现照明模式。照明模式再现单元190可基于模式信息中包括的照明模式的照明颜色信息及照明模式的输出时间信息，通过驱动照明单元来再现照明模式。例如，照明单元如LED可安装在可穿戴设备上，照明单元可基于从照明模式再现单元190传递的控制信号并根据照明模式来产生照明刺激。根据实施例，照明单元还可包含在照明模式再现单元190中。

图2是根据一实施例的用于说明模式数据生成方法的操作的流程图。模式数据生成方法可由本说明书中说明的模式数据生成装置执行。

参照图2，在步骤210中，模式数据生成装置可接收基于使用者选择的输入数据。模式数据生成装置可接收基于使用者选择的声音数据如音乐、触摸输入数据及使用者模式设置数据中的任意一个。

在步骤220中，模式数据生成装置基于输入数据确定模式信息，并生成包括步骤230中确定的模式信息的模式数据。模式数据生成装置基于输入数据的分析结果，可确定用于表示输出模式的时距的模式时距信息及用于表示模式强度的模式等级信息。模式数据可包括与适用于致动器的触觉模式及适用于照明单元的照明模式中的至少一个有关的模式信息。

模式数据中包括的信息的示例如下表1。根据实施例，模式数据可包括与触觉模式有关的信息和与照明模式有关的信息或者只包括其中之一。基于模式数据的结构，触觉模式和照明模式产生的时间可能同步，如果不然则产生的时间可能存在差异。

表1

在步骤240中，模式数据生成装置可将生成的模式数据传送给模式数据再现装置。模式数据生成装置可通过诸如线缆的有线网络或者诸如蓝牙、BLE、WIFI、LTE等的无线将模式数据传送给模式数据再现装置。

图3是根据一实施例的用于说明基于输入数据类型生成模式数据过程的流程图。

参照图3，在步骤310中，模式数据生成装置可接收用于生成模式数据的输入数据，并且检测输入数据的类型。

经检测的结果，如果输入数据为声音数据，则模式数据生成装置可执行步骤322、步骤324及步骤326的过程。在步骤322中，模式数据生成装置可接收输入频带。输入频带例如为音乐内容的前奏等开始部分用于生成触觉模式的频带。

在步骤324中，模式数据生成装置基于输入频带可对声音数据进行FFT处理、过滤处理及IFFT处理。模式数据生成装置可对声音数据进行FFT处理，在经FFT处理的结果中可基于输入频带进行过滤。例如，模式数据生成装置利用带通滤波器可对输入频带进行过滤，可对经过滤的输入频带的声音数据进行IFFT处理。模式数据生成装置在经IFFT处理的结果中基于临界值可确定用于触觉模式的模式等级信息及模式时距信息。

然后，在步骤340中，数据生成装置基于输入频带确定照明模式的照明颜色信息，还可以基于在步骤326中确定的模式时距信息来确定照明模式的输出时间信息。在步骤350中，模式数据生成装置可存储模式等级信息、模式时距信息、照明颜色信息及输出时间信息。

在步骤310中，对接收的输入数据类型进行检测的结果，如果输入数据为触摸输入数据，则模式数据生成装置可执行步骤332及步骤334的过程。在步骤332中，模式数据生成装置可从触摸输入数据中提取作为触摸维持的时间区间的触摸输入的维持时间信息。模式数据生成装置基于提取的维持时间信息，可设定触觉模式的再现开始时间。在步骤334中，模式数据生成装置可以从触摸输入数据中提取用于表示触摸输入时距的时距信息。模式数据生成装置基于提取的时距信息可设定触觉模式的再现停止时间。

然后，在步骤340中，模式数据生成装置可基于触摸输入的强度确定照明模式的照明颜色信息，基于步骤332和步骤334中分别提取的维持时间信息和时距信息，还可以确定照明模式的输出时间信息。在步骤350中，模式数据生成装置可存储模式等级信息、模式时距信息、照明颜色信息及输出时间信息。

在步骤310中，对接收的输入数据类型进行检测的结果，如果输入数据为使用者模式设置数据，则模式数据生成装置可执行步骤342、步骤344及步骤346的过程。在步骤342中，模式数据生成装置可从使用者模式设置数据中提取模式等级设定信息及输出时间设定信息。使用者为了生成模式数据可利用模式输入程序来输入模式等级设定信息与输出时间设定信息及设定信息。其中，模式等级设定信息包括使用者直接设定的与模式等级有关的信息，输出时间设定信息可包括按照不同的频带设定的输出时间周期或者使用者直接设定的与输出时间周期有关的信息。根据实施例，模式数据生成装置还可以对输入数据进行过滤处理。在步骤344中，模式数据生成装置基于模式等级设定信息及输出时间设定信息，可确定用于触觉模式的模式等级信息及模式时距信息。

然后，在步骤340中，模式数据生成装置可基于模式等级信息确定照明模式的照明颜色信息，还可以基于步骤344中确定的模式时距信息来确定照明模式的输出时间信息。在步骤350中，模式数据生成装置可存储模式等级信息、模式时距信息、照明颜色信息及输出时间信息。

图4是一实施例的用于说明基于声音数据生成模式数据过程的流程图。

参照图4，在步骤410中，模式数据生成装置接收声音数据。根据实施例，模式数据生成装置可对接收的声音数据进行去除噪音等的处理以去除超出范围的信号值。此外，模式数据生成装置可从声音数据中提取用于确定目标频带而使用的部分。例如，模式数据生成装置可在声音数据中提取开始的前奏部分，并且可对提取部分的声音数据执行以下步骤420至步骤470的过程。

在步骤420中，模式数据生成装置通过以一定周期对声音数据进行FFT处理，可将声音数据从时间域转换至频率域。在步骤430中，模式数据生成装置在频率域的声音数据中选择目标频带，并存储与选择的目标频带有关的信息。例如，模式数据生成装置可选择多次反复的频带作为目标频带。模式数据生成装置可按照不同的频带分割声音数据，并且可选择包括FFT处理后的值最大的频率的频带作为目标频带。与存储的目标频带有关的信息可用于后续确定照明模式的模式信息。

在步骤440中，模式数据生成装置可基于目标频带进行过滤处理。例如，模式数据生成装置基于目标频带执行带通滤波器的过滤处理，可提取可听声音区域(例如，10～500Hz的区域)。在步骤450中，模式数据生成装置可通过对经过滤处理的声音数据进行IFFT处理，从而转换成时间域的数据。可通过IFFT处理将声音数据从频率域转换为时间域。

在步骤460中，模式数据生成装置可进行临界值处理。其中，使用的临界值可由使用者指定。模式数据生成装置可从通过IFFT处理转换成时间域的声音数据中提取临界值以上的信号值。

在步骤470中，模式数据生成装置可基于步骤460中提取的信号值与临界值间的差值确定模式等级，且确定模式时距。例如，对于模式数据生成装置，如果信号值与临界值间的差值大则分配较高的模式等级，如果该差值小，则可分配较小的模式等级。模式数据生成装置可将声音数据中小于临界值的信号值的等级设定为0。根据实施例，使用者可指定基准时距，此时，模式数据生成装置可基于基准时距确定模式时距。

模式数据生成装置基于步骤430中选择的目标频带确定照明模式的照明颜色，基于步骤470中确定的模式时距可确定照明模式的输出时间。

图5和图6是根据一实施例的用于说明基于声音数据生成模式数据的一示例图。

参照图5，假设为了生成模式数据输入了声音数据510。在声音数据510中，x轴表示时间，y轴表示声音数据510的信号大小或者信号值。可对声音数据510进行FFT处理，并且基于FFT处理可获得频率域的声音数据520。在频率域的声音数据520中，x轴表示频带，y轴表示FFT值。在本实施例中，频率域的声音数据520中FFT值最大的频带假设为484.00Hz。这意味着484.00Hz的频带的反复次数最多。484.00Hz的频带被选为目标频带，基于目标频带进行带通滤波器处理，并获得经过滤处理的声音数据530。然后，对经过滤处理的声音数据530进行IFFT处理，并获得转换成时间域的声音数据540。在转换成时间域的声音数据540中，x轴表示时间，y轴表示声音数据540的信号大小或者信号值。

然后，可以对转换成时间域的声音数据进行如图6所示的临界值处理。参照图6，基于声音数据610的信号大小与临界值间的差值，可确定用于触觉模式的模式等级。例如，如果信号大小与临界值间的差值大，则分配较高的模式等级，如果该差值小则可分配较小的模式等级。其中，临界值可由使用者指定。使用者还可以指定基准时距，还可以与指定的基准时距成比例地确定模式的时距。

图7是根据一实施例的用于说明使用者模式设置数据的示图。

参照图7，使用者可利用具有如图所示的均衡器形态的模式输入程序，输入用于生成模式数据的设定信息，输入的设定信息作为使用者模式设置数据，可传递给模式数据生成装置。使用者可通过模式输入程序制作自身特有的模式数据。模式输入程序例如可在个人电脑或者智能手机上驱动。

在图示的模式输入程序中，“1～10”可分别对应不同的频带或者时间。各频带具有对应的时间周期，基于该时间周期可确定触觉模式的模式时距信息。在另一实施例中，触觉模式的模式时距信息还可以基于使用者指定的时间信息确定。使用者可按照不同的频带设定等级值(例如，等级A至等级D)，基于按照不同的频带设定的等级值，可确定触觉模式的模式等级信息。此外，可基于按照不同的频带设定的等级值来确定照明模式的照明颜色信息，并且可基于各频带对应的时间周期来确定照明模式的输出时间信息。

图8是根据一实施例的包含模式数据的消息元素的示图。

在一实施例中，模式数据遵照如图8所示的消息格式包含在消息中并传送给模式数据再现装置。示出了模式数据由作为ASN.1(Abstract Syntax Notation Number One：抽象语法标记)编码规则的BER(Basic Encoding Rules：基本编码规则)方式(TLV表示法)构成的示例。

消息可包括用于表示该消息中包含的数据类型的第一元素即标签(tag)字段、包括消息信息的第二元素即值(value)字段及用于表示消息信息大小的第三元素即长度(length)字段。其中，第二元素可包括触觉模式信息及照明模式信息中的至少一个。标签字段表示消息的类型。在一实施例中，如果标签字段为0x43(ASCII码'C'，任意定义的值)，则可判定消息中记录有触觉模式信息及照明模式信息。长度字段可利用字节(bytes)表示消息值的大小。如果消息值的大小超过255(0xFF)字节，则根据BER方式可在前面可添加0x81值。例如，如果为260字节，则‘长度’可指定为‘0x81 0x01 0x04’。

值字段包括消息信息。根据情况，值字段还可包括标签、长度、值的信息全部。如果值字段中包括所有标签、长度、值的信息，则作为值字段的第二元素中可包括在触觉模式数据、照明模式数据、声音数据及表情符号数据中用于区分消息中包含的数据的标签信息。该标签信息的例子如下表2。

表2

图9是根据一实施例的用于说明模式数据再现方法的操作流程图。模式数据再现方法可由本说明书中说明的模式数据再现装置执行。

参照图9，在步骤910中，模式数据再现装置可从模式数据生成装置接收模式数据。模式数据包括基于使用者选择的输入数据确定的模式信息。该模式信息可包括与触觉模式有关的触觉模式信息及与照明模式有关的照明模式信息中的至少一个。

在步骤920中，模式数据再现装置分析接收的模式数据并从模式数据中提取模式信息。模式数据再现装置可从模式数据中提取触觉模式的模式等级信息、触觉模式的模式时距信息、照明模式的照明颜色信息、照明模式的输出时间信息等。

如果模式数据包括与触觉模式有关的模式信息，则模式数据再现装置在步骤930中基于该模式信息再现触觉模式。在步骤932中，模式数据再现装置可从模式信息中提取触觉模式的模式等级信息及模式时距信息。在步骤934中，模式数据再现装置基于模式等级信息，可将模式等级转换成适用于致动器的电压信号。在步骤936中，模式数据再现装置可将模式时距信息中表示的模式时距设定为用于产生触觉模式的延迟信息。由此，可确定产生触觉模式的时间点。在步骤938中，模式数据再现装置可驱动致动器，从而在产生触觉模式的各时间点上产生与模式等级所对应的触觉刺激。

如果模式数据包括与照明模式有关的模式信息，则模式数据再现装置在步骤940中基于该模式信息再现照明模式。在步骤942中，模式数据再现装置可从模式信息中提取照明模式的照明颜色信息及输出时间信息。在步骤944中，模式数据再现装置基于提取的输出时间信息可设定照明模式的输出时间点。在步骤946中，模式数据再现装置基于与设定的输出时间点有关的信息及照明颜色信息，可驱动照明单元，如LED。

在一实施例中，如果模式数据包括与触觉模式有关的模式信息又包括与照明模式有关的模式信息，则模式数据再现装置可以以并列的方式同时执行步骤930的触觉模式再现过程和步骤940的照明模式再现过程。

实施例涉及的方法由可通过各种计算机装置运行的计算机程序指令形态实现，可记录在计算机可读介质中。所述计算机可读介质可将程序指令、数据文件、数据结构等单独或者以组合的方式存储。所述介质中记录的程序指令是专门为实施例设计并构造的，也可以是被计算机软件技术人员所公知且可使用的。计算机可读记录媒介的例子包括：硬盘、软盘及磁盘等的磁性介质(magnetic media)、如CD-ROM、DVD的光记录介质(optical media)、如软式光盘(floptical disk)的磁光介质(magneto-optical media)以及如只读内存(ROM)、随机可读内存(RAM)、闪存等用于存储并执行程序指令而特别构成的硬件装置。程序指令例如可包括如编译器生成的机器语言编码以及利用解释器可在计算机上运行的高级语言编码。为了执行实施例的操作，上述硬件装置可作为至少一个软件模块来操作，反之亦然。

软件可包括计算机程序(computer program)、代码(code)、指令(instruction)或者它们中的一个或多个组合，可将处理装置构建成按照所需要求操作，或者可独立地或者结合地(collectively)命令处理装置。软件和/或数据为了用处理装置来解释或者向处理装置提供指令或者数据，可以在任何类型的机器、组件(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置或者传送的信号波(signal wave)上永久性地或者暂时性地具体化(embody)。软件可分布于通过网络连接的计算机系统中，也可以以分布方式存储或运行。软件和数据可存储于一个或多个计算机可读记录介质上。

如上所述，虽然基于有限的附图对实施例进行了说明，但是对于本技术领域的普通技术人员而言，可以在上述记载的基础上进行各种修改和变更。例如，即使上面所述的技术以不同于上述方法的顺序执行和/或上面所述的结构、装置等的组成要素以不同于上述方法的形态结合或者组合，或者被另一组成要素或等同物替代或者置换，也能够达到适宜的结果。

因此，其他具体化、其他实施例及与权利要求书等同的内容均属于后附的权利要求书的范围。