用于表征情绪提示的方法和系统

摘要

提供了一种供信息处理系统识别情绪并向用户通知该情绪的方式，该用户可能以其他方式识别其他人表现出的情绪存在困难。在一个或多个接收器处接收诸如音频输入和视频输入的实时输入集合。这些输入是从正与信息处理系统的用户交互的人类主体接收的，其中该信息处理系统是用户携带的便携式系统。将所接收的实时输入的集合与预定义的情绪特征集合进行比较，以便识别正在由人类主体表现出的情绪。向该系统的用户提供关于所识别的该人类主体展现的情绪的反馈。

说明书

技术领域

本公开涉及通过面部和声音提示辨认主体情绪的方式。更具体 地，本公开涉及向便携式识别系统的用户提供这种情绪识别的方式。

背景技术

患有非视觉学习障碍(NLD)、右半球脑外伤、阿斯伯格综合 症的某些方面、高功能孤独症和其他神经疾病的人通常在实现所谓 “心理理论(Theory ofMind)”时存在障碍。心理理论本质上是个 体将自己置入与同自己交流的另一个人的角色中的能力。不能实现 心理理论的人通常在视敏度测试上得分非常低，并且在与其他人进 行社交交互时存在困难。研究已经表明，个体之间所有交流中大约 有三分之二是非口头交流，诸如肢体语言、面部表情和副语言提示。 这些非口头形式的交流通常会被误读，或者不能被不能实现心理理 论的人辨认出。环境中的微妙提示，诸如，某些事情已经远远不够 时，“读懂言外之意”的能力和私人“空间”的概念，通常被这些 个体完全忽略。这使得社会环境，诸如课堂、团队运动、俱乐部等， 对于这些个体而言变得更加难以驾驭和充分参与。事实上，尽管这 些个体通常非常聪明，但是他们通常也被描绘为眼睛“向内看”而 不是“向外看”。这些个体中的多数个体发现他们没有朋友或者即 使有也为数不多，并且通常被标记为“有问题的”。由于他们通常 很聪明，所以这些个体有时在课堂和工作环境中也被认为是“差等 生”。因此，这些个体通常在渗透其生活的大部分领域的社会评价 和社会交往中具有明显的低评。尽管他们可能是很好的问题解决者， 但是他们通常做出较差的决策，因为他们无法辨识出他们的所做所 言带来的社会影响。他们与激进的个人相处较差，通常具有较低的 自尊，并且更易于出现抑郁和焦虑问题。与大部分已知的神经性紊 乱者类似，NLD、阿斯伯格综合症者等的根源神经性起因是不能动 手术的。尽管医生可以提供帮助，但是通常情况下，这些医生处理 症状，诸如，焦虑，或者增加脑激素，诸如，多巴胺，而不是解决 根本问题。有助于这些个体的大部分非药物矫正和治疗耗时耗力。 此外，这些治疗通常需要个体支持系统所有部分的高水平承诺和训 练有效。尽管父母可能能够在家中提供适当的环境，但是诸如教练、 导师、教师和雇主之类的其他人却可能不愿意或者不能满足个体的 特殊需求，使得处方开出的治疗有效。

发明内容

提供了一种供信息处理系统识别情绪并向用户通知该情绪的方 式，该用户可能以其他方式识别其他人表现出的情绪存在困难。在 一个或多个接收器处接收诸如音频输入和视频输入的实时输入集 合。这些输入是从正与信息处理系统的用户交互的人类主体接收的， 其中该信息处理系统是用户携带的便携式系统。将所接收的实时输 入的集合与预定义的情绪特征集合进行比较，以便识别由人类主体 表现出的情绪。向该系统的用户提供关于所识别的该人类主体表现 出的情绪的反馈。在一个实施方式中，人类主体表现出的情绪强度 也作为反馈从系统传递至用户。可以使用各种形式的反馈，诸如， 基于温度的反馈，振动反馈，音频反馈和可视反馈，诸如颜色和颜 色亮度。

前文是总结，并且由此必然包含细节的简化、综述和省略；因 此，本领域技术人员将理解，本发明内容仅是说明性的，而不以任 何方式做出限制。权利要求单独定义的本发明的其他方面、发明性 特征和优势将在下文给出的非限制性详细描述中变得明显。

附图说明

通过参考附图，可以更好地理解本发明，并且本发明的众多目 的、特征和优势对于本领域技术人员而言变得显然，其中：

图1是此处描述的方法可以在其中实现的数据处理系统的框图；

图2提供了图1所示信息处理系统环境的扩展，以便说明此处 描述的方法可以在于网络环境中操作的广泛的信息处理系统上执 行；

图3是示出了移动情绪识别系统的部件之间、在接收和处理外 部情绪信号时的交互的部件图示；

图4是示出了移动情绪识别系统在针对环境中的人员表现出的 情绪特征监控环境时所执行步骤的流程图；

图5是示出了向移动情绪识别系统的用户提供反馈的过程所执 行步骤的流程图；

图6是示出了在对移动情绪识别系统收集的数据进行后续分析 期间执行的步骤的流程图；以及

图7是示出了在关注于对移动情绪识别系统的用户进行趋势分 析的后续分析期间执行的步骤的流程图。

具体实施方式

在下文描述和附图中提供了某些特定细节，以便提供对本发明 各种实施方式的透彻理解。然而，未在下文公开中给出通常与计算 和软件技术相关联的某些公知细节，以便避免不必要地混淆本发明 的各种实施方式。此外，相关领域的普通技术人员将会理解，他们 可以实施本发明的其他实施方式，而无需下文详细描述的一个或多 个细节。最后，尽管在下文公开中参考步骤和序列描绘了各种方法， 但是这样的描述仅为了提供本发明实施方式的明确实现，并且这些 步骤和步骤的序列不应当被认为是实施本发明所必需的。取而代之 的，下文意在提供本发明示例的详细描述，而不应当是对本发明本 身的限制。相反，任何数量的变体都将落入本发明的范围内，该范 围是由说明书后面的权利要求定义的。

下文详细描述通常在上文给出的本发明的发明内容之后，以在 需要的时候进一步说明和扩展本发明各种方面和实施方式的定义。 为此，此详细描述首先给出了图1中的计算环境，其适于实现与本 发明关联的软件和/或硬件技术。在图2中示出的网络环境作为基本 计算环境的扩展，以强调现代计算技术可以跨多个分立设备执行。

图1示出了信息处理系统100，其是能够执行此处描述的计算操 作的计算机系统的简化示例。信息处理系统100包括耦合至处理器 接口总线112的一个或多个处理器110。处理器接口总线112将处理 器110连接至北桥115，其也公知为存储器控制器中心(MCH)。 北桥115连接至系统存储器120，并提供供处理器110访问系统存储 器的装置。图形控制器125也连接至北桥115。在一个实施方式中， PCI Express(PCI快线)总线118将北桥115连接至图形控制器125。 图形控制器125连接至显示设备130，诸如计算机监视器。

北桥115和南桥135彼此使用总线119连接。在一个实施方式 中，总线是在北桥115和南桥135之间的每个方向上、以高速传输 数据的直接媒体接口(DMI)总线。在另一实施方式中，外设部件 互联(PCI)总线连接北桥和南桥。南桥135也公知为I/O控制器中 心(ICH)，其是通常实现以比北桥提供的能力更低速度操作的能力。 南桥135典型地提供用于连接各种部件的各种总线。这些总线包括 例如PCI和PCI Express总线，ISA总线，系统管理总线(SMBus或 SMB)和/或低引脚数(LPC)总线。LPC总线通常连接低带宽设备， 诸如引导ROM196和“旧有”I/O设备(使用“超级I/O”芯片)。 “旧有”I/O设备(198)可以包括例如串行端口和并行端口、键盘、 鼠标和/或软盘控制器。LPC总线还将南桥135连接至受信平台模块 (TPM)195。通常包括在南桥135中的其他部件包括直接存储器访 问(DMA)控制器、可编程中断控制器(PIC)和存储设备控制器， 其使用总线184将南桥135连接至非易失性存储设备185，诸如硬盘 驱动。

扩展卡(ExpressCard)155是将热可插拔设备连接至信息处理系 统的插槽。扩展卡155支持PCI Express和USB连通性，因为其使 用通用串行总线(USB)和PCI Express总线二者连接至南桥135。 南桥135包括USB控制器140，其向连接至USB的设备提供USB 连通性。这些设备包括webcam(网络摄像机)150、红外(IR)接 收器148、键盘和触控板144和提供无线个人局域网(PAN)的蓝牙 设备146。USB控制器140还向其他各种USB连接的设备142(诸 如，鼠标、可移除的非易失性存储设备145、调制解调器、网卡、ISDN 连接器、传真机、打印机、USB中心和很多其他类型的USB连接设 备)提供USB连通性。尽管可移除非易失性存储设备145被示出为 USB连接的设备，但是可移除非易失性存储设备145可以使用不同 的接口(诸如，火线接口等)进行连接。

无线局域网(LAN)设备175经由PCI或PCI Express总线172 连接至南桥135。LAN设备175典型地实现空中调制技术的IEEE 802.11标准(其针对在信息处理系统100和另一计算机系统或设备 之间的无线通信都使用相同协议)中的一个。光存储设备190使用 串行ATA(SATA)总线188连接至南桥135。串行ATA适配器和 设备通过高速串行链路进行通信。串行ATA总线还将南桥135连接 至其他形式的存储设备，诸如，硬盘驱动。音频电路160(诸如声卡) 经由总线158连接至南桥135。音频电路160还提供了功能性，诸如， 音频输入和光数字音频输入端口162、光数字输出和耳机插孔164、 内部扬声器166和内部麦克风168。以太网控制器170使用总线(诸 如，PCI或PCI Express总线)连接至南桥135。以太网控制器170 将信息处理系统100连接至计算机网络，诸如，局域网(LAN)、 因特网和其他公共和私有计算机网络。

尽管图1示出了一个信息处理系统，但是信息处理系统可以采 用多种形式。例如，信息处理系统可以采用台式机、服务器、便携 式机、膝上型计算机、笔记本或其他形状因数计算机或数据处理系 统的形式。此外，信息处理系统可以采用其他形状因数，诸如个人 数字助理(PDA)、游戏设备、ATM机、便携式电话设备、通信设 备或其他设备，其包括处理器和存储器。

图1所示及此处描述的、用于提供安全功能的受信平台模块 (TPM195)仅仅是硬件安全模块(HSM)的一个示例。因此，此 处描述和要求保护的TPM包括任何类型的HSM，包括但不限于： 遵从受信计算群组(TCG)标准的硬件安全设备，其标题为“受信 平台模块(TPM)规范版本1.2”。TPM是可以并入任何数量的信息 处理系统(诸如在图2中描绘的那些)中的硬件安全子系统。

图2提供了图1所示信息处理系统环境的扩展，用于说明此处 描述的方法可以在操作于网络环境中的广泛的信息处理系统上执 行。信息处理系统的类型可以是从诸如手持式计算机/移动电话210 的小型手持设备到诸如大型计算机270的大型主机系统。手持式计 算机210的示例包括个人数字助理(PDA)、个人娱乐设备(诸如 MP3播放器)、便携式电视和紧致盘播放器。信息处理系统的其他 示例包括笔式或平板式计算机220、膝上型或笔记本计算机230、工 作站240、个人计算机系统250和服务器260。未单独在图2中示出 的其他类型的信息处理系统由信息处理系统280表示。如所示，各 种信息处理系统可以使用计算机网络200联网在一起。可以用来互 联各种信息处理系统的计算机网络类型包括局域网(LAN)、无线 局域网(WLAN)、因特网、公共交换电话网(PSTN)、其他无线 网络和可以用来互联信息处理系统的任何其他网络拓扑。信息处理 系统中的多数包括非易失性数据存储，诸如硬驱动和/或非易失性存 储器。图2所示信息处理系统的某些描绘了单独的非易失性数据存 储(服务器260利用非易失性数据存储265，大型计算机270利用非 易失性数据存储275，信息处理系统280利用非易失性数据存储 285)。非易失性数据存储可以是各种信息处理系统外部的部件，或 者可以是信息处理系统之一内部的部件。此外，可移除非易失性存 储设备145可以使用各种技术在两个或更多个信息处理系统之间共 享，诸如将可移除非易失性存储设备145连接至信息处理系统的其 他连接器或USB端口。

图3-图7描述了可以在如图1-图2中所示的信息处理系统和计 算机网络上执行的方案。在此方案中，移动情绪识别系统由用户使 用，诸如不能实现心理理论的人或在识别其他人所表现出的情绪上 存在困难的人。具有非可视学习障碍的人员、阿斯伯格综合症的谱 系障碍的某些方面以及在社交场景中存在困难的其他个体通常在读 取其周围人的面部和声音的情绪时表现出有限的能力，并且不能实 现心理理论。此外，这些个体通常不能辨别出他的言辞行动会如何 影响他人以及这些言辞行动会如何影响其他人对该个体的感知。为 了辅助这些个体，提供了反馈循环机制，其向用户指示在主体人员 (用户正与之交互的个体)的面部和声音中观察到的情绪。反馈循 环提供实时感觉信息，其可以正面影响具有社交障碍的个体的行为。 在示例性实施方式中，用户携带移动情绪识别系统，其包括输入接 收器，诸如带有麦克风的小型蓝牙视频相机。移动情绪识别系统可 以是诸如智能手机的便携式信息处理系统。反馈机制诸如是温度(热 /冷)输出设备、振动设备(例如，放置在用户手臂上的设备等)、 扬声器设备(诸如放置在用户的一只或两只耳朵中、用于产生变化 的音高和强度的声音的耳机)和显示设备(诸如，由用户穿戴的、 隐藏在眼镜框内部的多色LED)。此外，移动情绪识别系统包括存 储设备，用于存储和用户与各种主体的交互有关的数据。治疗师或 保健提供者可以在治疗期间利用此数据帮助教导用户如何更好地理 解其他用户展现的情绪。

图3是示出了移动情绪识别系统的部件之间、在接收和处理外 部情绪信号时的交互的部件图示。移动情绪识别系统300包括接收 器，用于从诸如用户与之交谈或交互的人员之类的人类主体接收实 时输入集合。这些接收器包括可视输入传感器310，诸如包括在移动 情绪识别系统中的相机，其捕获诸如由该人类主体展现的面部和脸 部表情的图像320。图像可以包括静态图像、视频(移动)图像或其 组合。此外，图像320可以包括非面部提示，诸如肢体姿势和姿态， 其由人类主体使用以传递其他非言语提示。

输入接收器还包括音频传感器330，诸如包括在移动情绪识别系 统中的麦克风，其捕获并记录来自人类主体的音频340。所捕获的音 频包括人类主体说出的词汇，以及由人类主体使用来传达词汇的语 调变化。

情绪比较器350是由包括在移动情绪识别系统中的处理器执行 的过程，其将在移动情绪识别系统处接收的实时输入集合与一个或 多个预定义的情绪特征集合进行比较，以便识别人类主体表现出的 情绪和所表现出的情绪的强度水平。预先确定的情绪特征由情绪比 较器过程350从可视情绪特征数据存储360和可听情绪特征数据存 储370取回。可视情绪特征数据存储360包括非口头面部提示的库 和身体语言提示的库。可视提示的库与由可视输入传感器310捕获 的可视数据进行比较，以便识别人类主体可视地表现出的情绪。可 听情绪特征数据存储370包括音调和变化的库。可听提示的库与音 频输入传感器330捕获的音频数据进行比较，以便通过人类主体展 现的音调和变化来识别人类主体在音频上投射的情绪。

人类主体表现出的情绪由情绪比较器过程350识别。所识别的 情绪继而被提供给情绪识别反馈过程380，其向用户提供关于人类主 体的情绪和强度的反馈。反馈过程380可以使用大量不同的反馈技 术来向用户传递回情绪和强度水平。来自于过程380的反馈作为用 户反馈390被提供给用户。如以下讨论的，这些反馈技术的某些被 设计为不唐突的，并且不容易被人类主体所察觉，以便在用户与人 类主体之间提供更自然的交互。

一个反馈技术在于使用热输出，其提供用户能感觉到的基于温 度的反馈。例如，较冷的温度可以用于通知用户，该人类主体正表 现出正面情绪，诸如，高兴、欢乐等，凉的量或程度传递这种正面 情绪的强度。同样，较热的温度可以用于通知用户，该人类主体正 展示负面情绪，诸如，生气，害怕或失望。再次，温暖的量或程度 可以用来传递这种负面情感的强度。如果期望，可以将温度反过来， 使得较冷的温度传递负面情感，而较热的温度传递正面情绪。

另一反馈技术使用振动输出，其接触用户以基于识别的情绪来 向用户提供不同的触觉感觉。例如，轻柔振动可以用来指示人类主 体正表现出正面情绪，剧烈振动用来指示负面情绪。强度可以基于 增加振动的频率得以指示。以此方式，可以使用较快的轻柔振动来 传递较强的正面情绪。同样，将使用较快的剧烈振动来传递较强的 负面情绪。如果期望的话，振动技术可以反过来，使得轻柔振动传 递负面情绪，剧烈振动传递正面情绪。

第三反馈技术使用针对用户的可听音调。在一个实施方式中， 以如下方式向用户播放可听音调或信号，即，诸如通过使用耳机或 靠近用户耳朵的小型扬声器来防止被人类主体听到。例如，较高的 音调可以用来指示人类主体正表现出正面情绪，而较低的音调用来 指示负面情绪。强度可以基于在所指示的情绪方向中增大音量或音 调得以指示。以此方式，可以使用甚至更高的音调或通过以增大的 音量播放高音调来传递较强的正面情绪。同样，将使用甚至更低的 音调或通过以增大的音量播放低音调来传递较强的负面情绪。如果 期望的话，声音技术可以反过来，使得较高的音调传递负面情绪， 而较低的音调传递正面情绪。

另一反馈技术使用针对用户的可视信号或提示。在一个实施方 式中，以下述方式向用户显示可视提示，即，诸如通过在嵌入在用 户佩戴的眼镜内部部分上的一个或多个LED灯上显示可视信号来防 止被人类主体看到该可视提示。当照射出LED光时，用户可以使用 余光以在内部框架上看到LED灯，而包括用户与之交互的人类主体 在内的其他用户不能看到这些灯。例如，绿色或白色的LED可以用 作正面可视提示，以指示人类主体正在表现出正面情绪，而红色或 蓝色LED用作指示负面情绪的负面可视提示。强度可以基于LED的 闪烁频率来指示。以此方式，可以通过更快速地闪烁绿色或白色LED 来传递强的正面情绪。同样，将通过更快速地闪烁红色或蓝色LED 来传递强的负面情绪。此外，可以使用其他可视提示来传递强度， 诸如，增大LED的亮度以指示该主体正在表现出更强烈的情绪。而 且，颜色可以使用并指派给不同的情绪(例如，欢笑、轻视、难堪、 内疚、安慰、难为情等)。附加地，所指示情绪的强度可以通过增 加所显示LED的亮度来显示。如果期望的话，可视提示技术可以根 据用户将之与正面和负面情绪关联的颜色来进行调整。

图4是示出了移动情绪识别系统在针对环境中的人员所表现出 的情绪特征对环境进行监控时所执行步骤的流程图。处理在400处 开始，此后，在步骤405，事件发生，诸如用户打开移动情绪识别系 统，接收到用户请求，检测到用户与人类主体之间的交互等。在步 骤410，移动情绪识别系统监控用户目前所在的环境。监控由包括在 移动情绪识别系统中的接收器执行，诸如视频相机，麦克风等。移 动情绪识别系统的接收器所捕获的实时输入(例如，可视输入、音 频输入等)存储在数据存储中，诸如可视图像数据存储420和音频 数据存储425。

在步骤430，移动情绪识别系统的处理器识别正在接收的实时输 入的来源。换言之，在步骤430，移动情绪识别系统识别用户正与之 交互的人类主体。在步骤440，从可视情绪特征数据存储360和可听 情绪特征数据存储370选择关于第一情绪的特征。例如，正在分析 的第一情绪是“生气”，继而从可视情绪特征数据存储360取回例 示“生气”的面部和身体语言特征。同样，从可听情绪特征数据存 储370取回例示“生气”的音调特征。在步骤450，将从人类主体 接收和捕获的所接收实时输入(可视图像和音频)与例示所选情绪 的特征数据(可视和可听)进行比较。确定从人类主体接收的实时 输入是否与例示所选情绪的特征数据(可视和可听)匹配(决策460)。 如果输入与用于所选情绪的特征数据不匹配，则决策460分支到“否” 分支，其循环回从数据存储360和370选择用于下一情绪的特征。 此循环继续，直至从人类主体接收的实时输入与例示所选情绪的特 征数据(可视和可听)匹配。

当输入与用于所选情绪的特征数据匹配时，则决策460分支到 “是”分支，以向用户提供反馈。注意，在一个实施方式中，实时 输入(可视图像、音频等)继续被接收，同时系统将实时输入与各 种情绪进行比较。以此方式，可以用来识别人类主体正表现出的情 绪的附加数据可被持续捕获和评估。此外，如果人类主体改变情绪 (例如，在开始交互时，高兴见到用户，但是继而响应于该用户说 了什么而变得生气，等等)，可以识别这种情绪的改变，并且可以 向用户提供反馈，使得在此示例中，用户将接收这样的反馈，即， 人类主体变得不再高兴并且开始变得生气，从而帮助用户确定更适 当的行为或者需要的话进行道歉。

预定义过程470向用户提供关于所识别的人类主体正表现出的 情绪的反馈(参见图6和针对处理细节的对应文字)。确定用户是 否已终止与人类主体的交互(例如，会话等)(决策480)。如果交 互尚未结束，则决策480分支到“否”分支，其循环回继续监控环 境，继续捕获实时输入，以及继续识别人类主体所表现出的情绪。 此循环继续，直至移动情绪识别系统检测到用户与人类主体之间的 交互已经结束，从该时间点起，移动情绪识别系统等待下一事件发 生(在步骤490)。当下一事件发生时，处理循环回步骤405，以再 次开始例程(例如，与另一人类主体，等等)。

图5是示出了由向移动情绪识别系统的用户提供反馈的过程所 执行步骤的流程图。此例程在图4所示的预定义过程470处进行调 用。图5中的处理开始于500，此后，在步骤505，从用户配置数据 存储510读取用户配置设置。在一个实施方式中，用户可以配置移 动情绪识别系统，以基于用户的偏好来提供不同类型的反馈。此外， 在一个实施方式中，可以向用户提示该人类主体正表现出的情绪， 用户继而针对该用户是否正确识别了正表现出的情绪而接收近乎实 时的反馈。是否向用户提示提供情绪识别也可以包括在配置设置中。

确定用户是否正在被提示识别人类主体正表现出的情绪(决策 515)。如果正在提示用户识别正表现出的情绪，则决策515分支到 “是”分支，此后，在步骤520，提示用户输入该用户认为的人类主 体正表现出的情绪。该提示可以采用感觉反馈的形式(例如，可听 的“蜂鸣”，红色和绿色LED的闪烁，等等)。此外，在步骤520， 用户诸如通过使用小型手持式控制器或输入设备来提供响应，该响 应指示用户认为该人类主体正表现出的情绪。在步骤525，将用户提 供的响应与移动情绪识别系统所识别的情绪进行比较。确定用户是 否正确地识别了人类主体正表现出的情绪(决策530)。如果用户正 确地识别了人类主体正表现出的情绪，则决策530分支到“是”分 支，此后，在步骤535，向用户提供该用户的响应正确的反馈(例如， 振动用户使用的手持式单元以利用一系列脉冲输入响应，等等)。 另一方面，如果用户未正确识别人类主体正表现出的情绪，则决策 530分支到“否”分支以进一步处理。

如果未向用户提示识别人类主体情绪的响应(决策515分支到 “否”分支)或者如果用户关于人类主体表现出的情绪的响应不正 确(决策530分支到“否”分支)，则在步骤540，基于所识别的情 绪向用户提供反馈。此外，也可以基于所识别情绪的强度来提供反 馈。图5提供了可被识别的正面和负面情绪的若干示例，然而，可 以识别更多的情绪，并将其传递给用户。如果用户主体表现出强正 面情绪，诸如欢笑，则决策545将控制权分支到过程550，其提供强 正面反馈，其中该反馈基于所采用的反馈机制类型，诸如之前结合 图3在上文描述的那些(例如，非常快速的轻柔振动，非常清凉的 温度，快速闪烁的绿色或白色LED，高音调等等)。同样，如果人 类主体展现出中等的正面情绪，诸如微笑，则决策545将控制权分 支到过程555，其提供了中等的正面反馈，其中该反馈再次基于所采 用的反馈机制类型，诸如之前在上文针对图3描述的那些(例如， 中等快速轻柔振动，中等清凉温度，中等闪烁的绿色或白色LED， 中等高音调，等等)。

如果人类主体展现出强负面情绪，诸如生气或厌恶，则决策545 将控制权分支到过程560，其提供强负面反馈，其中该反馈基于所采 用反馈机制的类型，诸如之前在上文结合图3描述的那些(例如， 非常快速的剧烈振动，非常热的温度，快速闪烁的红色LED，低音 调等等)。同样，如果人类主体展现出中等负面情绪，诸如皱眉， 则决策545将控制权分支到过程565，其提供中等负面反馈，其中该 反馈再次基于所采用的反馈机制类型，诸如之前在上文结合图3描 述的那些(例如，中等快速的剧烈振动，中等温暖温度，中等闪烁 的红色LED，中等低音调，等等)。

确定移动情绪识别系统是否正在保存事件数据以用于将来的分 析目的(决策580)。如果正在保存事件数据，则决策580分支到“是” 分支，此后，在步骤585，记录与人类主体所展示的情绪对应的事件 数据(例如，图像、声音等)以及任何用户响应(在步骤520处接 收的)。事件数据和用户响应数据被存储在事件数据存储590中以 供将来分析。另一方面，如果未保存事件数据，则决策580分支到 “否”分支而跳过步骤585。处理此后在步骤595返回到调用例程。

图6是示出了在对移动情绪识别系统收集的数据进行后续分析 期间所执行步骤的流程图。处理在600处开始，此后，确定执行分 析的人员(例如，治疗师、顾问、父母等)是否希望分析移动情绪 识别系统捕获的事件或者是否希望对事件的历史执行趋势分析(决 策610)。如果正在分析用户的移动情绪识别系统所捕获的事件，则 决策610分支到“是”分支以进行事件分析。

在步骤620，从记录在用户移动情绪识别系统处的事件数据存储 590获取第一交互事件。事件数据包括移动情绪识别系统捕获的音频 和/或视频数据，其用于识别人类主体所展示的情绪。在步骤625， 之前捕获的事件被回放给用户(例如，在与人类主体碰面期间捕获 的音频/视频等等的回放)。在步骤630，提示用户就用户现在认为 人类主体正展示出什么情绪给出响应。通过使用移动情绪识别系统， 用户可以在识别其他人所表现出得情绪方面变得更强。在步骤635， 将移动情绪识别系统所识别的情绪与用户的响应进行比较。确定用 户的响应是否正确地识别了人类主体正表现出的情绪(决策640)。 如果该用户正确识别了人类主体正表现出的情绪，则决策640分支 到“是”分支，此后，在步骤650，向用户提供关于正确响应的反馈 (例如，用户如何识别该情绪？识别此情绪是否较困难？等等)。 同样，如果用户的响应不正确，则确定640分支到“否”分支，此 后，在步骤660，也向用户提供反馈，以便帮助用户更好地理解如何 识别所识别的正由人类主体表现出的情绪(例如，恐惧与愤怒，等 等)。

在步骤670，将所识别情绪和用户对所显示事件的响应记录在用 户响应数据存储675中。在一个实施方式中，所记录的情绪和响应 数据在进一步的分析和治疗期间使用，以辅助用户识别对于该用户 而言更难以识别的情绪，以及执行历史趋势分析以辨别该用户识别 人类主体所表现出的情绪的能力是否在改进。

确定事件数据存储590中是否存在治疗师希望与用户一起审视 的更多事件(决策680)。如果存在更多事件待处理，则决策680 分支到“是”分支，该分支循环回选择并继而如上所述处理下一事 件数据集合。此循环继续，直到不存在更多数据要分析，或者治疗 师或用户希望结束此过程，在该时刻，决策680分支到“否”分支。

返回决策610，如果移动情绪识别系统所捕获的事件数据并未进 行分析，则决策610分支到“否”分支，跳过步骤620-680。预定义 的过程690使用为此用户收集的历史用户数据执行趋势分析(参见 图7和针对处理细节的对应文字)。与用户数据处理有关的分析此 后在695处结束。

图7是示出了在关注于对移动情绪识别系统的用户进行趋势分 析的后续分析期间所执行步骤的流程图。处理开始于700处，此后， 在步骤705，该过程将当前事件数据(图像、音频等)附接至历史趋 势分析数据存储750。以此方式，历史趋势分析数据存储750随着用 户继续使用移动情绪识别系统而继续增长。

确定用户(例如，父母、学生、儿童等)是否针对该用户认为 人类主体正表现出什么情绪提供了实时响应(决策710)。如果用户 针对该用户认为人类主体正表现出什么情绪提供了实时响应，则决 策710分支到“是”分支，此后，在步骤720，将包含用户响应的事 件数据包括进来以进行趋势分析。在步骤720，从事件数据存储590 取回响应数据并且将其写入趋势分析数据存储750。另一方面，如果 用户未针对该用户认为人类主体正表现出什么情绪提供实时响应， 则决策710分支到“否”分支，跳过步骤720。

确定用户是否加入了治疗疗程(例如，诸如在图6中描绘的疗 程等)，在该疗程中用户对记录的事件数据做出响应(决策730)。 如果用户参与了这种治疗疗程，则决策730分支到“是”分支，此 后，在步骤740，取回在治疗疗程期间收集的并存储在用户响应数据 存储675的响应数据，并将其写入趋势分析数据存储750中。另一 方面，如果未实施这种治疗疗程，则决策730分支到“否”分支， 跳过步骤740。

在步骤760，存储趋势分析数据存储750，以便更好地识别已被 随着时间证明用户难以正确识别的情绪。在一个实施方式中，趋势 分析数据存储750利用人类主体展示的情绪和该用户针对每种情绪 接收的不正确响应的总数(或百分比)进行排序。

在步骤770，该过程选择第一情绪，其是用户最难以识别的情绪 类型。在步骤780，治疗师向用户提供深度咨询，以通过使用用户的 移动情绪识别系统捕获的实时输入来提供帮助用户更好识别所选择 情绪类型(例如，识别“恐惧”与“愤怒”等)的工具。确定趋势 分析是否识别了用户在识别方面有困难的附加情绪类型(决策790)。 如果存在用户难以识别的更多情绪类型，则决策790分支到“是” 分支，该分支循环回针对用户选择下一个最难以识别的情绪类型， 并且基于此新选择的情绪类型来进行咨询。决策790继续循环回处 理其他情绪类型，直至不存在需要与此用户讨论的更多情绪类型， 从该时刻起，决策790分支到“否”分支，并且处理在795处返回 到调用例程(参见图6)。

本发明的一个优选实现是客户端应用，即，代码模块中的指令 集(程序代码)或其他功能描述性材料，代码模块例如可以驻留在 计算机的随机访问存储器中。直到计算机请求，可以将指令集存储 在另一计算机存储器中，例如，硬盘驱动，或可移除存储器(诸如， 光盘(在CD ROM中永久使用)或软盘(在软盘驱动中永久使用))。 由此，本发明可以实现为用于在计算机中使用的计算机程序产品。 另外，尽管描述的各种方法方便地在选择性地由软件激活或重配置 的通用计算机中实现，本领域技术人员还将认识到，这种方法可以 在硬件、固件或构建为执行所需方法步骤的更专用设备中实现。功 能性描述材料是向机器给予功能性的信息。功能性描述材料包括但 不限于计算机程序、指令、规则、事实、计算机化函数的定义、对 象和数据结构。

尽管已经示出并描述了本发明的特定实施方式，但是对于本领 域技术人员而言显然的是，基于此处的教导，可以做出改变和修改， 而不会偏离本发明和其宽广范围。因此，所附权利要求意在将所有 这种改变和修改囊括在权利要求的范围内，因为这些改变和修改落 入了本发明的真实精神和范围内。此外，应当理解，本发明仅由所 附权利要求定义。本领域技术人员应当理解，如果意在强调所引入 权利要求元素的特定数量，这种意图会明确地记载在权利要求中， 而如果缺少这种记载，则不存在任何限制。对于非限制性示例，作 为对理解的辅助，下述所附权利要求包含对介绍性短语“至少一个” 和“一个或多个”的使用，以便介绍权利要求元素。然而，这种短 语的使用不应当理解为暗示着不定冠词“一”或“一个”对权利要 求元素的介绍会将包含这种介绍的权利要求元素的任何特定权利要 求限制为仅包含一个这种元素，即使相同的权利要求包括介绍性短 语“一个或多个”或“至少一个”以及不定冠词(诸如“一”或“一 个”)时，对于在定冠词的权利要求中使用也同样如此。