基于情绪识别的在线社交方法、装置及存储介质

摘要

本发明公开了一种基于情绪识别的在线社交方法、装置及存储介质，基于用户生理特征数据识别本端聊天用户的情绪，并将用户情绪相应的情绪表达动画、情绪表达动态文字等情绪表达内容，实时发送至对端聊天用户使用的聊天客户端进行展示，情绪表达动画、情绪表达动态文字可以采用相应的动态方式展现各种不同的情绪和感情，例如，当聊天用户情绪高涨时，动画、动态文字可以具有更欢快的动作，更高的速度、更大的尺寸、更亮的颜色，而当聊天用户情绪低落时，动画、动态文字则采用更低沉的动作，较慢的速度、较小的尺寸、较暗的颜色，实现了通过动画、动态文字来形象化表现用户情感，有效保证了聊天双方获知彼此情绪，可显著提升双方聊天互动的有效性。

说明书

技术领域

本发明涉及电子技术领域，尤其涉及一种基于情绪识别的在线社交方法、装置及存储介质。

背景技术

随着互联网技术的不断发展，在线聊天应用已经成为用户进行即时通信的主要工具。然而，在线聊天相对面对面交流要原始得多，在线聊天通常很难传达很多基本信息，比如用户情绪。在实际应用中，若聊天双方无法准确获知彼此情绪，则会使得聊天内容无法被准确理解，聊天互动的有效性较差。

发明内容

本发明实施例的主要目的在于提供一种基于情绪识别的在线社交方法、装置及存储介质，至少能够解决相关技术中的聊天双方无法准确获知彼此情绪，所导致的聊天内容无法被准确理解、聊天互动的有效性较差的问题。

为实现上述目的，本发明实施例第一方面提供了一种基于情绪识别的在线社交方法，该方法包括：

通过传感器采集本端聊天用户的生理特征数据；

基于所述生理特征数据确定相应的用户情绪识别结果；

根据所述用户情绪识别结果获取对应的情绪表达内容；其中，所述情绪表达内容包括情绪表达动画、情绪表达动态文字中至少一种；

将所述情绪表达内容实时发送至对端聊天用户使用的聊天客户端。

为实现上述目的，本发明实施例第二方面提供了一种基于情绪识别的在线社交装置，该装置包括：

采集模块，用于通过传感器采集本端聊天用户的生理特征数据；

确定模块，用于基于所述生理特征数据确定相应的用户情绪识别结果；

获取模块，用于根据所述用户情绪识别结果获取对应的情绪表达内容；其中，所述情绪表达内容包括情绪表达动画、情绪表达动态文字中至少一种；

发送模块，用于将所述情绪表达内容实时发送至对端聊天用户使用的聊天客户端。

为实现上述目的，本发明实施例第三方面提供了一种电子装置，该电子装置包括：处理器、存储器和通信总线；

所述通信总线用于实现所述处理器和存储器之间的连接通信；

所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现上述任意一种在线社交方法的步骤。

为实现上述目的，本发明实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一种在线社交方法的步骤。

根据本发明实施例提供的基于情绪识别的在线社交方法、装置及存储介质，通过传感器采集本端聊天用户的生理特征数据；基于生理特征数据确定相应的用户情绪识别结果；根据用户情绪识别结果获取对应的情绪表达内容；将情绪表达内容实时发送至对端聊天用户使用的聊天客户端进行展示。通过本发明的实施，基于用户生理特征数据识别本端聊天用户的情绪，并将用户情绪相应的情绪表达动画、情绪表达动态文字等情绪表达内容，实时发送至对端聊天用户使用的聊天客户端进行展示，实现了通过动画、动态文字等来传达聊天用户的情绪信息，有效保证了聊天双方获知彼此情绪，可显著提升双方聊天互动的有效性。

本发明其他特征和相应的效果在说明书的后面部分进行阐述说明，且应当理解，至少部分效果从本发明说明书中的记载变的显而易见。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的在线社交方法的基本流程示意图；

图2为本发明第一实施例提供的一种情绪识别图谱；

图3为本发明第一实施例提供的一种情绪表达动画的示意图；

图4为本发明第一实施例提供的一种GSR数据变化示意图；

图5为本发明第二实施例提供的在线社交装置的程序模块示意图；

图6为本发明第三实施例提供的电子装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例：

为了解决相关技术中的聊天双方无法准确获知彼此情绪，所导致的聊天内容无法被准确理解、聊天互动的有效性较差的问题，本实施例提出了一种基于情绪识别的在线社交方法，如图1所示为本实施例提供的在线社交方法的基本流程示意图，本实施例提出的在线社交方法包括以下的步骤：

步骤101、通过传感器采集本端聊天用户的生理特征数据。

具体的，语言学家研究表明，通过文字聊天所能传达的信息仅占谈话中传达信息的20%至30%，从而证明了非语言信息的重要性，如情绪，这是人类认知所必需的，并影响着人们生活的不同方面。例如，当我们兴奋时，我们的感知倾向于选择快乐事件，而消极情绪则相反。这表明在线聊天将受益于对他人情绪状态的了解。有了用户情绪状态的信息，系统就能更有效地与用户交互。

在实际应用中，用户在聊天过程中连接特定传感器，传感器进行数字采样，而数据捕获可以通过使用Visual C++编写的模块来实现。

在本实施例的一种可选的实施方式中，生理特征数据可以为皮肤电反应数据和肌肉电反应数据；其中，通过皮肤电反应仪（GSR,Galvanic Skin Response apparatus）来进行皮肤电反应数据的采集，皮肤电反应仪是以曲线波纹形式记录皮肤电反应变化的仪器，并可通过肌电仪来进行肌肉电反应数据的采集，对肌肉生物电图形进行记录。

在本实施例的另一种可选的实施方式中，生理特征数据还可以为视线跟踪数据，视线跟踪数据可以包括瞳孔扩张数据、眼动数据等，在实际应用中可以通过图像传感器来进行用户眼部图像采集，然后根据图像识别算法识别连续多张眼部图像来获取视线跟踪数据。

步骤102、基于生理特征数据确定相应的用户情绪识别结果。

具体的，在实际应用中，用户在情绪变化时，通常会在生理特征上适应性有所变化，由此，本实施例可以通过生理特征数据来适应性感知用户情绪。

在本实施例中，基于生理特征数据确定相应的用户情绪识别结果的具体实现方式包括但不限于以下两种：

方式一，基于皮肤电反应数据确定相应的情绪唤醒数据，以及基于肌肉电反应数据确定相应的情绪效价数据；结合情绪唤醒数据和情绪效价数据，确定相应的用户情绪识别结果。

具体的，由于GSR数据相对于BVP数据的噪声信号较少，从而本实施例使用GSR传感器来检测情绪唤醒数据，测量皮肤电导率（SC）的GSR传感器连接在用户非支配手的中指和食指上，并可用ProComp+装置记录信号。SC随整体唤醒水平线性变化，随焦虑和压力增加而增加。在实施例中，通过分析GSR数据的波峰和波谷即可检测得到情绪唤醒数据。

如图2所示为本实施例提供的一种情绪识别图谱，其中，横轴代表情绪效价数据，纵轴代表情绪唤醒数据，各象限中的元素则为不同类型的情绪识别结果，包括兴奋、放松、悲伤、恐惧等，在本实施例中，情绪效价数据表示用户情绪类型，负价情绪包括恐惧、悲伤等，正价情绪包括快乐、兴奋等，而情绪唤醒数据则表示用户在相应情绪类型下的情绪强弱程度。

方式二，基于视线跟踪数据确定相应的注意力表征数据和兴趣表征数据；结合注意力表征数据和兴趣表征数据，确定相应的用户情绪识别结果。

具体的，本实施例对用户的视线信息作出实时反应，于在线聊天过程中记录眼睛注视和瞳孔扩张数据。眼动可以显示出用户的兴趣和注意力，通过从用户的实时眼动数据中检测注意力、兴趣等信息来丰富非语言信息，使用视线以及眼动信息来促进情绪相关的推理。

步骤103、根据用户情绪识别结果获取对应的情绪表达内容。

在本实施例中，情绪表达内容包括情绪表达动画、情绪表达动态文字中至少一种，如图3所示为本实施例提供的一种情绪表达动画的示意图。本实施例的情绪表达内容适应于用户当前的情感状态，区别于纯文本信息，可以用于抒发包括用户情绪在内的更为细微的信息。

在本实施例的一种可选的实施方式中，上述根据用户情绪识别结果获取对应的情绪表达内容的步骤，具体包括：根据用户情绪识别结果确定对应的内容类型以及内容显示属性；按照内容类型以及内容显示属性，获取对应的情绪表达内容。

具体的，情绪表达内容的内容类型可以包括：喜悦、愤怒、悲哀、高兴等，内容显示属性可以包括：变化速度、大小、色彩等。本实施例可以根据情绪唤醒数据确定情绪表达动画、情绪表达动态文字的显示属性，以及根据情绪效价数据确定情绪表达动画、情绪表达动态文字的具体类型。在实际应用中，例如，当GSR数据突然增加并出现峰值时，所对应生成的动画或动态文字可以具有更高的速度、更大的尺寸和更亮的颜色；而当GSR数据减少时，所对应生成的情绪表达内容变化速度变慢、显示颜色变暗。

步骤104、将情绪表达内容实时发送至对端聊天用户使用的聊天客户端。

具体的，本实施例采用情绪表达内容向聊天双方进行用户情绪的描述与表达，以在在线聊天时传达情感和细微的信息，由于聊天双方可以有效感知彼此的情绪，从而可以增加彼此在聊天中的参与度，更有效的进行聊天互动。在实际应用中，用户可以通过按钮、快捷键或嵌入在文本消息中的标记来制定表达动画或情绪表达动态文字，通过在文本消息特定位置（例如前面）嵌入情绪表达动画，来准确传达聊天双方的情绪，例如“我很快乐！”，其中也即图3中第一行第一列位置所示出的情绪表达动画，以通过该动画来充分传达用户的喜悦情绪。在实际应用中，根据应用场景的不同，还可以灵活采用不同类型的情绪表达动画，例如在用户情绪较为悲伤时，可以采用图3中第二行第三列位置所示出的动画。

还应当说明的是，本实施例还对采用该在线社交方法实现的聊天客户端进行了可用性研究，研究对象是同时使用本实施例的聊天客户端和传统的聊天客户端的用户。受试者被随机分配使用两种聊天系统，他们在同一幢楼里，但不应该见面。将他们分成三对分别和搭档交谈，每次谈话持续了一个多小时，他们就学校课程等进行了交谈。交谈后，受试者回答了问卷，并对聊天系统进行了评价。首先，本实施例检查了GSR数据和受试者的反应，他们被问到什么时候觉得自己最喜欢聊天，本实施例将他们的回答与GSR的结果进行了比较。GSR数据和用户报告的张力之间有很好的相关性。受试者表示他们逐渐将注意力集中在对话上，GSR也显示出类似的变化，如图4为本实施例提供的GSR数据变化示意图，随着被试更多地集中在对话上，GSR增加。（图表每分钟记录用户的GSR）。这表明GSR可以用来实时判断在线会话中情绪的变化。研究结果还表明，情感信息可能会增加受试者在谈话中的参与度。来自聊天伙伴的情感信息给用户的感觉是，他们不仅在交换文本信息，而且在相互交流自己的感受，这使得他们能够更多地参与到对话中。

根据本发明实施例提供的基于情绪识别的在线社交方法，通过传感器采集本端聊天用户的生理特征数据；基于生理特征数据确定相应的用户情绪识别结果；根据用户情绪识别结果获取对应的情绪表达内容；将情绪表达内容发送至对端聊天用户使用的聊天客户端进行展示。通过本发明的实施，基于用户生理特征数据识别本端聊天用户的情绪，并将用户情绪相应的情绪表达动画、情绪表达动态文字等情绪表达内容，实时发送至对端聊天用户使用的聊天客户端进行展示，实现了通过动画、动态文字等来传达聊天用户的情绪信息，有效保证了聊天双方获知彼此情绪，可显著提升双方聊天互动的有效性。

第二实施例：

为了解决相关技术中的聊天双方无法准确获知彼此情绪，所导致的聊天内容无法被准确理解、聊天互动的有效性较差的问题，本实施例示出了一种基于情绪识别的在线社交装置，具体请参见图5，本实施例的在线社交装置包括：

采集模块501，用于通过传感器采集本端聊天用户的生理特征数据；

确定模块502，用于基于生理特征数据确定相应的用户情绪识别结果；

获取模块503，用于根据用户情绪识别结果获取对应的情绪表达动画；其中，情绪表达内容包括情绪表达动画、情绪表达动态文字中至少一种；

发送模块504，用于将情绪表达内容实时发送至对端聊天用户使用的聊天客户端。

在本实施例的一些实施方式中，生理特征数据为皮肤电反应数据和肌肉电反应数据。相应的，确定模块502具体用于：基于皮肤电反应数据确定相应的情绪唤醒数据，以及基于肌肉电反应数据确定相应的情绪效价数据；结合情绪唤醒数据和情绪效价数据，确定相应的用户情绪识别结果。

在本实施例的另一些实施方式中，生理特征数据为视线跟踪数据。相应的，确定模块502具体用于：基于视线跟踪数据确定相应的注意力表征数据和兴趣表征数据；结合注意力表征数据和兴趣表征数据，确定相应的用户情绪识别结果。

在本实施例的一些实施方式中，获取模块503具体用于：根据用户情绪识别结果获取对应的内容类型以及内容显示属性；按照内容类型以及内容显示属性，获取对应的情绪表达内容。

应当说明的是，前述实施例中的基于情绪识别的在线社交方法，均可基于本实施例提供的基于情绪识别的在线社交装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的在线社交装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

采用本实施例提供的基于情绪识别的在线社交装置，通过传感器采集本端聊天用户的生理特征数据；基于生理特征数据确定相应的用户情绪识别结果；根据用户情绪识别结果获取对应的情绪表达内容；将情绪表达内容发送至对端聊天用户使用的聊天客户端进行展示。通过本发明的实施，基于用户生理特征数据识别本端聊天用户的情绪，并将用户情绪相应的情绪表达动画、情绪表达动态文字等情绪表达内容，实时发送至对端聊天用户使用的聊天客户端进行展示，实现了通过动画、动态文字等来传达聊天用户的情绪信息，有效保证了聊天双方获知彼此情绪，可显著提升双方聊天互动的有效性。

第三实施例：

本实施例提供了一种电子装置，参见图6所示，其包括处理器601、存储器602及通信总线603，其中：通信总线603用于实现处理器601和存储器602之间的连接通信；处理器601用于执行存储器602中存储的一个或者多个计算机程序，以实现上述实施例一中的在线社交方法中的至少一个步骤。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM（Random Access Memory，随机存取存储器）, ROM（Read-Only Memory，只读存储器）, EEPROM（Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器）、闪存或其他存储器技术、CD-ROM（Compact Disc Read-Only Memory，光盘只读存储器），数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。

本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一中的方法的至少一个步骤。

本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述实施例一中的方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。

本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。

可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件（可以用计算装置可执行的计算机程序代码来实现）、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。

此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。