基于视频情感标注辅助识别面部表情的方法

摘要

本申请公开了一种基于视频情感标注辅助识别面部表情的方法，通过客户端采集不同的视频播放过程中的用户一侧的表情信息；利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据；将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息；将不同的视频的标签信息根据预置的用户标签的属性进行分类处理，并将不同的视频的标签信息与用户的用户标签属性相同的相关联。本发明解决了无法实现的从时间到空间上降低成本，更易于了解用户的性格及表达习惯的技术问题。

说明书

技术领域

 本发明属于用户行为领域，具体的说，是涉及一种基于视频情感标注辅助识别面部表情的方法。

背景技术

随着数字技术的发展，视频数据也开始呈现快速增长的趋势，电视、电影摄像设备正在不断地提供更多的视频数据。在这种背景下，利用计算机从庞大的视频数据信息中挖掘特定的信息成为一个热点问题。视频的情感分析指的是利用计算机自动分析视频可能给观众情感上带来的主观反应。比如区分影片中恐怖的、紧张激烈的、浪漫的或开心的等不同的感情元素。对视频的情感属性的分析不仅可以帮助观众快速的从视频据库中找到自己感兴趣的视频，满足不同观众对视频多样化的要求，还可以深入了解用户的性格及表达习惯，对理解用户有很大意义。

现有技术中，在针对个体用户进行情感及心理分析时，需要对受访者进行面对面的沟通，以问答的方式进行，从而了解用户的性格及表达习惯，这种方式从时间到空间上成本都很高，因此难以被广泛接受，受众覆盖也很有限；而现有技术中的面部表情的识别方法，主要是基于可见光图像的人脸识别，但这种方式有着难以克服的缺陷，尤其在环境光照发生变化时，识别效果会急剧下降，无法满足实际系统的需要；另外，解决光照问题的方案有三维图像人脸识别，和热成像人脸识别，但这两种技术的识别效果不尽人意。

专利文件201310413648.7提供了一种基于表情识别的人机情感交互系统及方法；系统包括图像采集模块、图像处理模块、表情识别模块、人机交互模块和统计与存储模块；通过图像采集模块采集人脸图像，利用图像处理模块对所采集的人脸图像进行灰度化及尺寸调节等处理，利用表情识别方法识别人脸图像的表情，人机交互模块根据人脸表情提供回应给使用者；利用统计与存储模块分析得到人物此时的心理状态并进行记录，同时提供统计查询功能给使用者，但是，这种方法的计算复杂，步骤繁多，成本高且不易于实施等。

因此，如何研发一种基于视频情感标注辅助识别面部表情的方法，解决上述问题，便成为亟待解决的技术问题。

发明内容

本申请解决的主要问题是提供一种基于视频情感标注辅助识别面部表情的方法，以解决无法实现的从时间到空间上降低成本，更易于了解用户的性格及表达习惯的技术问题。

为了解决上述技术问题，本发明公开了一种基于视频情感标注辅助识别面部表情的方法，其特征在于，包括：

通过客户端采集不同的视频播放过程中的用户一侧的表情信息；

利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据；

将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息；

将不同的视频的标签信息根据预置的用户标签的属性进行分类处理，并将不同的视频的标签信息与用户的用户标签属性相同的相关联。

优选地，其中，所述将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息，进一步为：

当判断该视频已建立的映射关系中不包含该表情数据，则在该视频的映射关系中添加该表情数据并建立映射关系，并作为该视频的标签信息或更新该视频的标签信息；

当判断该视频已建立的映射关系中包含该表情数据，则退出。

优选地，其中，利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据，进一步的，所述表情信息，包括：愤怒、厌恶、恐惧、喜悦、中性、悲哀和惊讶， 

利用人脸识别技术将愤怒、厌恶、恐惧和惊讶归类为惊悚剧表情信息，转换为惊悚类表情数据；

利用人脸识别技术将喜悦归类为喜剧表情信息，转换为喜剧表情数据；

利用人脸识别技术将中性归类为情节剧表情信息，转换为情节剧表情数据；

利用人脸识别技术将悲哀归类为悲剧表情信息，转化为悲剧表情数据。

优选地，其中，通过客户端采集不同的视频播放过程中的用户一侧的表情信息，进一步为：

通过客户端中设置的摄像装置采集不同的视频播放过程中的用户一侧的表情信息, 所述客户端为移动终端和/或非移动终端。

优选地，其中，所述预置的用户标签的属性，包括：惊悚剧、喜剧、情节剧或悲剧。

与现有技术相比，本申请所述的基于视频情感标注辅助识别面部表情的方法，达到了如下效果：

1）本发明利用人脸识别技术，将视频播放过程中的面部表情转换为表情数据，归类后得到用户对视频的表情反应，还能够得出用户的兴趣爱好，整个采集过程从时间到空间上成本极大降低，更易于实施。

2）通过本发明的基于视频情感标注辅助识别面部表情的方法，能够帮助观众快速的从视频据库中找到自己感兴趣的视频，满足不同观众对视频多样化的要求，还可以深入了解用户的性格及表达习惯，对理解用户有很大意义。

3）颠覆之前对用户心理数据采集的模式，充分利用移动设备的优点，同时用户可以不主动参与，用户不受打扰。本发明的方法不但可以用于移动终端，还可以用于非移动终端，应用广泛。

4）目前在医学及心理学方面，研究的采样样本都很有限，而本发明通过采集海量个体数据，能这帮助这些方面的科研工作更有效的开展。

5）本发明中基于对用户表情信息的采集，配合不同视频的表情倾向描述特征做性格方面的聚类，得出在特定情境下表现不同的用户的性格倾向，进而在后续对不同类用户的产品策略上可以更有针对性的去做。

 

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例一所述的基于视频情感标注辅助识别面部表情的方法的流程图。

 

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

以下结合附图对本申请作进一步详细说明，但不作为对本申请的限定。

    实施例一：

结合图1，本实施例提供了一种基于视频情感标注辅助识别面部表情的方法，该方法包括以下步骤：

步骤101：通过客户端采集不同的视频播放过程中的用户一侧的表情信息；

本实施例中的客户端设有摄像装置，通过客户端中设置的摄像装置采集不同的视频播放过程中的用户一侧的表情信息，当然这里的客户端可以为移动终端，还可以为非移动终端，本实施例中的客户端为手机，手机设有前置摄像头，可以用来采集表情信息。

本实施例中的表情信息包括：愤怒、厌恶、恐惧、喜悦、中性、悲哀和惊讶，当然还可以为其它具有感情色彩的表情信息，这里不做具体限定。

步骤102：利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据；

具体的，利用人脸识别技术将愤怒、厌恶、恐惧和惊讶归类为惊悚剧表情信息，转换为惊悚类表情数据；

利用人脸识别技术将喜悦归类为喜剧表情信息，转换为喜剧表情数据；

利用人脸识别技术将中性归类为情节剧表情信息，转换为情节剧表情数据；

利用人脸识别技术将悲哀归类为悲剧表情信息，转化为悲剧表情数据。

本步骤中的人脸识别技术主要是现有技术中的人脸识别技术的应用，例如本实施例中手机的前置摄像头采集或捕捉到的人脸，首先捕捉到头部，然后判断眼睛和嘴巴等头部特征，通过特征库的比对，确认是人面部，完成面部捕捉，然后根据嘴角的上弯程度和眼睛的下弯程度，判断是否是微笑或大笑等，如果是微笑则归类为喜悦的表情信息，转换为喜悦的表情数据。

步骤103：将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息；

这里所述的建立映射关系是指所述表情数据与所述视频中包含的表情数据是一一对应的关系，本实施例中播放的视频为《唐伯虎点秋香》，这是一部喜剧，其中包含的表情数据为喜剧表情数据，如果步骤102中得出的表情数据同样为喜剧表情数据，那么就将喜剧定义为该《唐伯虎点秋香》的标签，或者将《唐伯虎点秋香》的标签更新为喜剧。当然这里播放的视频不止一个，有多个不同的视频，需要一一的确定标签信息，这里不一一举例。

步骤104：将不同的视频的标签信息根据预置的用户标签的属性进行分类处理，并将不同的视频的标签信息与用户的用户标签属性相同的相关联。

需要说明的是这里的预置的用户标签的属性，包括：惊悚剧、喜剧、情节剧或悲剧。步骤103中得出的视频标签根据这几个属性进行分类处理，如《唐伯虎点秋香》的标签为喜剧，那么就归类到用户标签喜剧这一类中，并且将这些不同的视频的标签信息与用户的用户标签属性相同的相关联起来了，这样做的目的是能够精准的知道用户的兴趣爱好，以便在实际播放视频的过程中做出精准推送，增强用户体验，便于了解用户的性格及表达习惯。能够帮助观众快速的从视频据库中找到自己感兴趣的视频，满足不同观众对视频多样化的要求，还可以深入了解用户的性格及表达习惯，对理解用户有很大意义。

 

实施例二：

结合图1，本实施例提供了一种基于视频情感标注辅助识别面部表情的方法，该方法包括以下步骤：

步骤101：通过客户端采集不同的视频播放过程中的用户一侧的表情信息；

本实施例中的客户端设有摄像装置，通过客户端中设置的摄像装置采集不同的视频播放过程中的用户一侧的表情信息，当然这里的客户端可以为移动终端，还可以为非移动终端，本实施例中的客户端为手机，手机设有前置摄像头，可以用来采集表情信息。本发明中播放的视频取自现有的视频库当中，对这些视频进行过筛选，预选出会引发强烈情感共鸣的视频，比如一部喜剧，用户看到后就会忍不住的笑，这样的视频作为播放视频。

本实施例中的表情信息包括：愤怒、厌恶、恐惧、喜悦、中性、悲哀和惊讶，当然还可以为其它具有感情色彩的表情信息，如“微笑，专注，悲伤，哭”等等，这里不做具体限定。

步骤102：利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据；

具体的，利用人脸识别技术将愤怒、厌恶、恐惧和惊讶归类为惊悚剧表情信息，转换为惊悚类表情数据；

利用人脸识别技术将喜悦归类为喜剧表情信息，转换为喜剧表情数据；

利用人脸识别技术将中性归类为情节剧表情信息，转换为情节剧表情数据；

利用人脸识别技术将悲哀归类为悲剧表情信息，转化为悲剧表情数据。

本步骤中的人脸识别技术主要是现有技术中的人脸识别技术的应用，例如本实施例中手机的前置摄像头采集或捕捉到的人脸，首先捕捉到头部，然后判断眼睛和嘴巴等头部特征，通过特征库的比对，确认是人面部，完成面部捕捉，然后根据嘴角的上弯程度和眼睛的下弯程度，判断是否是微笑或大笑等，如果是微笑则归类为喜悦的表情信息，转换为喜悦的表情数据。

步骤103：将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息；

这里所述的建立映射关系是指所述表情数据与所述视频中包含的表情数据是一一对应的关系，本实施例中播放的视频为《唐伯虎点秋香》，这是一部喜剧，其中包含的表情数据为喜剧表情数据，如果步骤102中得出的表情数据同样为喜剧表情数据，那么就将喜剧定义为该《唐伯虎点秋香》的标签，或者将《唐伯虎点秋香》的标签更新为喜剧。当然这里播放的视频不止一个，有多个不同的视频，需要一一的确定标签信息，这里不一一举例。

步骤104：将不同的视频的标签信息根据预置的用户标签的属性进行分类处理，并将不同的视频的标签信息与用户的用户标签属性相同的相关联。

需要说明的是这里的预置的用户标签的属性，包括：惊悚剧、喜剧、情节剧或悲剧。步骤103中得出的视频标签根据这几个属性进行分类处理，如《唐伯虎点秋香》的标签为喜剧，那么就归类到用户标签喜剧这一类中，并且将这些不同的视频的标签信息与用户的用户标签属性相同的相关联起来了，这样做的目的是能够精准的知道用户的兴趣爱好，以便在实际播放视频的过程中做出精准推送，增强用户体验，便于了解用户的性格及表达习惯。能够帮助观众快速的从视频据库中找到自己感兴趣的视频，满足不同观众对视频多样化的要求，还可以深入了解用户的性格及表达习惯，对理解用户有很大意义。

在具体实施过程中，选取搞笑精选类视频，通过评论等数据的分析，确定用户对其观看之后的初步反应，如确实认为搞笑，则作为播放视频，采集用户通过手机客户端播放该视频的行为，采集用户的表情信息，利用人脸识别技术对所述表情进行分类处理看，迭代选择更多视频，统计每个用户在各视频播放中的表现，判断哪些用户喜欢笑，大笑或微笑，哪些用户没有感觉等。

其中步骤101：所述将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息，进一步包括两种情况：

1）当判断该视频已建立的映射关系中不包含该表情数据，则在该视频的映射关系中添加该表情数据并建立映射关系，并作为该视频的标签信息或更新该视频的标签信息；

例如，当判断《博物馆奇妙夜》这个视频已经建立的映射关系中不包括惊悚剧表情数据，那么在这个视频的映射关系中添加惊悚剧表情数据，并将该《博物馆奇妙夜》的标签更新为惊悚剧。

2）当判断该视频已建立的映射关系中包含该表情数据，则退出。进行下一步骤的操作。

当然本发明中还包括步骤：向用户推荐与用户的用户标签属相相同的具有视频标签信息的视频，这里不做具体限定。

与现有技术相比，本申请所述的基于视频情感标注辅助识别面部表情的方法，达到了如下效果：

1）本发明利用人脸识别技术，将视频播放过程中的面部表情转换为表情数据，归类后得到用户对视频的表情反应，还能够得出用户的兴趣爱好，整个采集过程从时间到空间上成本极大降低，更易于实施。

2）通过本发明的基于视频情感标注辅助识别面部表情的方法，能够帮助观众快速的从视频据库中找到自己感兴趣的视频，满足不同观众对视频多样化的要求，还可以深入了解用户的性格及表达习惯，对理解用户有很大意义。

3）颠覆之前对用户心理数据采集的模式，充分利用移动设备的优点，同时用户可以不主动参与，用户不受打扰。本发明的方法不但可以用于移动终端，还可以用于非移动终端，应用广泛。

4）目前在医学及心理学方面，研究的采样样本都很有限，而本发明通过采集海量个体数据，能帮助这些方面的科研工作更有效的开展。

5）本发明中基于对用户表情信息的采集，配合不同视频的表情倾向描述特征做性格方面的聚类，得出在特定情境下表现不同的用户的性格倾向，进而在后续对不同类用户的产品策略上可以更有针对性的去做。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。