一种群体消极情绪态势预测和评价方法、装置

摘要

本发明公开了一种群体消极情绪态势预测和评价方法，包括构建群体消极情绪数据集、构建群体情绪识别模型、构建群体情绪演化模型，输入被识别视频片段，利用所述群体情绪识别模型对初始图片进行群体消极情绪识别，然后继续利用所述群体情绪演化模型，对所述被识别视频片段的后续其他图片进行群体消极情绪态势预测评价。该方法基于深度学习能够准确有效的对群体消极情绪进行识别和发展态势预测。

说明书

技术领域

本发明涉及计算机视觉和深度学习技术领域，具体涉及一种群体消极情绪态势预测和评价方法、装置。

背景技术

随着社会发展节奏的加快，人们的工作、生活压力也随之增大，有些人会患上“情绪病”，有研究显示，情绪是会影响他人的。譬如，在集会、游行等群体性的活动中，如果由少数极端消极情绪者传播极端消极情绪，整个群体的情绪很快就会趋向于极端消极，那么在这种情绪的控制下，很有可能会对社会安全造成重大伤害，如果有一种方法能根据已有的群体情绪情况，对群体消极情绪发展态势进行预测，将会给事件处理者的决策提供很大帮助。

发明内容

本发明主要解决的技术问题是提供一种群体消极情绪态势预测和评价方法、装置，解决现有技术中的缺少对群体消极情绪准确有效识别和发展态势预测的问题。

为解决上述技术问题，本发明采用的一个技术方案是提供一种群体消极情绪态势预测和评价方法，包括步骤：

第一步：利用已有视频，获得其中包括个体消极情绪的图片，据此图片构建群体消极情绪数据集；第二步：构建群体情绪识别模型，利用群体消极情绪数据集对所述群体情绪识别模型进行训练；第三步：构建群体情绪演化模型，利用群体消极情绪数据集对所述群体情绪演化模型进行训练；第四步：输入被识别视频片段，利用所述群体情绪识别模型对初始图片进行群体消极情绪识别，然后继续利用所述群体情绪演化模型，对所述被识别视频片段的后续其他图片进行群体消极情绪态势预测评价。

优选的，在所述第二步之后，对于经过训练后的群体情绪识别模型，利用新采集的群体消极情绪数据输入到所述群体情绪识别模型进行识别判断，对于识别判断的结果，还进一步通过多个专家对其进行主观评价进行验证。

优选的，在所述第四步之后，对于经过训练后的群体情绪演化模型，利用新采集的群体消极情绪数据输入到所述群体情绪演化模型进行识别判断，对于识别判断的结果，还进一步通过多个专家对其进行主观评价进行验证。

优选的，在所述第一步中，包括步骤：

获取素材，从视频中选取剪切包括消极情绪发展态势的原始剪辑片段，简称原始片段；生成图片，对原始片段进行处理，得到其中每一帧对应的图片，并对图片中的个体情绪进行评价；图片标注，对图片中的关注人群进行标注，同一个人始终用同一个标签进行情绪标注。

优选的，在所述第二步中，包括步骤：

首先，由所述群体消极情绪数据集中每个人脸位置的坐标标签，识别出每个人脸的有效区域；然后，交由神经网络模型作为群体情绪识别模型进行情绪识别，生成的情绪标签和所述第一步中的所述群体消极情绪数据集中的情绪标签进行对比，以此训练所述神经网络模型。

优选的，在所述第三步中,所述群体情绪演化模型包括：

首先，定义a(t)为人群中非极端消极情绪占例；b(t)为人群中极端消极情绪占例；λ为每个极端消极情绪的个体每次接触的非极端消极者的平均数；N为群体中个体总数；初始时刻t＝0时，各类情绪的个体数量所占初始比率为a0、b0。

然后，进一步构建微分方程组：

a(t)+b(t)＝1

b(0)＝b0

根据以上方程组，进一步得到：

其中，W是反函数，即对于W(y)＝x，表示y＝x*e

情绪演化模型的递推方法如下：

E(t+1)＝E(t)+5*[b(t+1)-b(t)]+1*[a(t+1)-a(t)]

＝E(t)+4*[b(t+1)-b(t)]

E(t)＝E(t-1)+4*[b(t)-b(t-1)]

E(t-1)＝E(t-2)+4*[b(t-1)-b(t-2)]

......

E(1)＝E(0)+4*[b(1)-b(0)]

E(0)＝5*b(0)+1*a(0)

结合上述递推方法可得群体情绪预测方法：

E(t+1)＝1+4*b(t+1)

结合上述递推方法和群体情绪预测方法，可得最终群体情绪发展态势预测方法：

优选的，在所述第四步中,首先，由训练好的神经网络作为群体情绪识别模型对图片中群体情绪进行识别，进而得出各种情绪个体数，得出该时刻极端消极情绪个体占比b(t)，基于b(t)，结合所述第三步得到的群体情绪发展态势预测方法，可预测下一阶段的群体情绪E(t+1)。

优选的，所述神经网络包括人脸适配单元,用于将输入的不同规格大小的人脸图片，适配到统一规格大小的人脸图片输出；之后级联两个卷积标准处理单元，第一卷积标准处理单元和第二卷积标准处理单元进行卷积处理；然后分成两路处理，一路经过两个变形卷积标准处理单元和最大池化单元，另一路经过第三卷积标准处理单元后，再将这两路输出的人脸图片特征相加，相加的结果再依次输入到卷积单元、全局平均池化单元和激活函数单元，最后输出对图片中人脸的情绪分类预测概率。

优选的，所述两路处理包括的组成单元作为一个整体，以相似的结构串联多个进行使用。

本发明还提供一种群体消极情绪态势预测和评价装置，包括相互耦接的存储器和处理器，所述存储器，用于存储计算机程序；所述处理器，用于读取并执行所述存储器中存储的所述计算机程序，当所述计算机程序被执行时，所述处理器执行前述的群体消极情绪态势预测和评价方法。

本发明的有益效果是：本发明公开了一种群体消极情绪态势预测和评价方法，包括构建群体消极情绪数据集、构建群体情绪识别模型、构建群体情绪演化模型，输入被识别视频片段，利用所述群体情绪识别模型对初始图片进行群体消极情绪识别，然后继续利用所述群体情绪演化模型，对所述被识别视频片段的后续其他图片进行群体消极情绪态势预测评价。该方法基于深度学习能够准确有效的对群体消极情绪进行识别和发展态势预测。

附图说明

图1是根据本发明一种群体消极情绪态势预测和评价方法一实施例的流程图；

图2是根据本发明一种群体消极情绪态势预测和评价方法另一实施例的流程图；

图3是根据本发明一种群体消极情绪态势预测和评价方法另一实施例中原始片段中的初始图片示例；

图4是根据本发明一种群体消极情绪态势预测和评价方法另一实施例中原始片段中的结束图片示例；

图5是根据本发明一种群体消极情绪态势预测和评价方法另一实施例中群体情绪识别模型；

图6是根据本发明一种群体消极情绪态势预测和评价方法另一实施例中群体情绪演化预测模型；

图7是根据本发明一种群体消极情绪态势预测和评价装置一实施例。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示，显示了本发明对于一种群体消极情绪态势预测和评价方法实施例的流程图，包括步骤：

第一步S1：利用已有视频，获得其中包括个体消极情绪的图片，据此图片构建群体消极情绪数据集；

第二步S2：构建群体情绪识别模型，利用群体消极情绪数据集对所述群体情绪识别模型进行训练；

第三步S3：构建群体情绪演化模型，利用群体消极情绪数据集对所述群体情绪演化模型进行训练；

第四步S4：输入被识别视频片段，利用所述群体情绪识别模型对初始图片进行群体消极情绪识别，然后继续利用所述群体情绪演化模型，对所述被识别视频片段的后续其他图片进行群体消极情绪态势预测评价。

优选的，在第二步S2之后，对于经过训练后的群体情绪识别模型，可以利用新采集的群体消极情绪数据输入到所述群体情绪识别模型进行识别判断，对于判断后结果，还进一步通过多个专家的主观评价该识别结果，由此进一步验证通过机器识别的准确性。

优选的，在第二步S4之后，对于经过训练后的群体情绪演化模型，可以利用新采集的群体消极情绪数据输入到所述群体情绪演化模型进行识别判断，对于判断后结果，还进一步通过多个专家的主观评价该识别结果，由此进一步验证通过机器演化预测的准确性。

优选的，对于第一步S1，如图2所示，包括以下三个子步骤：获取素材S11、生成图片S12、图片标注S13。

获取素材S11，从视频中选取剪切包括消极情绪发展态势的原始剪辑片段，简称原始片段。

所述视频包括电影、电视剧、综艺、短视频平台等多种视频，这些原始片段都关注群体的消极情绪发展态势，具体来说，就是视频中的群体，一开始只有少数个体情绪是极端消极情绪(极端恐慌、极端愤怒等)的，这些少数个体作为情绪的传播者，将情绪传播给群体中的其他非极端消极情绪(包括开心、中性、轻微消极等)的个体，随着发展，群体中的极端消极情绪者越来越多，群体情绪趋同于极端消极情绪。

请参阅附图3和附图4，图3群体中极端消极情绪者只有1人，即图中的站立的人，剩下的都是中性情绪或者轻微消极情绪者；随着事态的发展，图4是该片段结束的时候，群体中关注的所有人，都变成了极端消极情绪者；在这个过程中，中性情绪或者轻微消极情绪者的数量是减少的，极端消极情绪者的数量是增加的，群体情绪朝着极端消极的方向发展。与一般的情绪识别相比，群体情绪发展态势分析有如下特征：(1)图片中包含多个人员个体，而不是只包含单个人脸；(2)连续的图片描述了群体消极情绪发展的态势，是极端消极情绪在群体中的传播过程。

生成图片S12，对原始片段进行处理，得到其中每一帧对应的图片，并对图片中的个体情绪进行评价。

对原始片段进行处理，剪辑的时候针对连贯的原始片段，始终关注其中的同一人群，优选的，对于连贯的原始片段中，电影切换镜头到无关人员的片段，则进行剪辑删除，得到的剪辑片段。也就是说这里的剪辑片段是由连贯的原始片段视频生成的，只是删除了转场到无关注人员的片段，不是由不相关的视频片段拼接而成的，由此保证了视频中人群情绪变化的真实性，因此这里的剪辑片段不会对分析群体情绪发展态势造成影响。

然后，用视频处理工具对原始片段或剪辑片段对应的视频段进行分帧处理，得到其中每一帧对应的图片，例如JPG格式的图片。

接着，对图片进行评价，主要是评价其中的个体情绪状态，评价方式可以是专家进行主观评价，也可以是通过已有模型进行计算评价，这种评价方式属于客观评价。虽然是客观评价，但是利用的是模型进行评价，该评价方式的准确性还应该通过人的主观评价进一步验证确认。

图片标注S13，对图片中的关注人群进行标注，同一个人始终用同一个标签进行情绪标注，对应可以得到该人员的情绪标签。由此确保了每一个人都有唯一的一个标签相对应，这样有利于连续对同一个人情绪进行跟踪和预测

首先，由图片标注工具，如label Img对关注人群进行标注，在整个由视频生成的图片中，同一个人始终使用一个标签。然后，请评价人员进行情绪交叉验证评价，即：每一张图片中的每一个人脸，被不同的评价人员交叉评价是“极端消极的”还是“非极端消极的”，最后选定多个评价人员中比重大的标签作为情绪标签。

优选的，对于图1所示的第二步S2，为了识别图片中的群体情绪，我们将这个问题拆解为：多个单人脸情绪识别问题。首先，由消极情绪特色数据集中每个人脸位置的坐标标签，识别出每个人脸的有效区域；然后，交由群体情绪识别模型(例如神经网络)进行情绪识别，生成的情绪标签和第一步S1中的数据集中的情绪标签进行对比，以此训练该神经网络。

优选的，如图5所示为一群体情绪识别模型的组成框图实施例，这是一个神经网络模型，包括人脸适配单元(Face coordinates)101,用于将输入的不同规格大小的人脸图片，适配到统一规格大小的人脸图片输出，然后经过两个卷积标准处理单元(Conv2D/BatchNorm)，即第一卷积标准处理单元102和第二卷积标准处理单元103进行卷积处理，然后分成两路处理，一路经过两个变形卷积标准处理单元(Sep-Conv2D/BatchNorm)105、106和最大池化单元(Maxpool2D)107，另一路经过第三卷积标准处理单元104后，然后将这两路输出的人脸图片特征相加，相加的结果再依次输入到卷积单元(Conv2D)108、全局平均池化单元(Global Avg.Pooling 2D)109和激活函数单元(Softmax)110，最后输出对图片中人脸的情绪分类预测概率。

优选的，图5中进行两路处理的这些单元还可以作为一个整体(图中虚线框所示)，以相似的结构串联多个进行使用，例如4个这样的整体结构串联使用，可以进一步参考图6所示实施例。

优选的，对于第三步S3,本发明提出了群体情绪演化模型，该模型包括以下方法：

首先，定义a(t)为人群中非极端消极情绪占例；b(t)为人群中极端消极情绪占例；λ为每个极端消极情绪的个体每次接触的非极端消极者的平均数；N为群体中个体总数；初始时刻t＝0时，各类情绪的个体数量所占初始比率为a0、b0。

然后，进一步构建微分方程组：

a(t)+b(t)＝1

b(0)＝b0

根据以上方程组联立可得：

令

令u-1＝z，可得

由y＝x*e

即得到：

情绪演化模型的递推方法如下：

E(t+1)＝E(t)+5*[b(t+1)-b(t)]+1*[a(t+1)-a(t)]

＝E(t)+4*[b(t+1)-b(t)]

E(t)＝E(t-1)+4*[b(t)-b(t-1)]

E(t-1)＝E(t-2)+4*[b(t-1)-b(t-2)]

......

E(1)＝E(0)+4*[b(1)-b(0)]

E(0)＝5*b(0)+1*a(0)

结合上述递推方法可得群体情绪预测方法：

E(t+1)＝1+4*b(t+1)

结合上述递推方法和群体情绪预测方法，可得最终群体情绪发展态势预测方法：

优选的，对于第四步S4：首先，由训练好的神经网络(如图6所示)对图片中群体情绪进行识别，进而得出各种情绪个体数，得出该时刻极端消极情绪个体占比b(t)。由b(t)，结合上述第三步得到的群体情绪发展态势预测公式，可预测下一阶段的群体情绪E(t+1)。

结合图5，进一步如图6所示，其中人脸图片先输入到两级串接的卷积标准处理单元(Conv2D/BatchNorm)201，依次分别对应的尺寸为46*46*8和44*44*8的特征图，然后经过4组依次串接的合成单元，在每一个单元中包括两路，其中一路是由两个变形卷积标准处理单元(Sep-Conv2D/BatchNorm)202和一个最大池化单元(Maxpool2D)203串联而成，另一路经过卷积标准处理单元205(Conv2D/BatchNorm)后，然后将这两路输出的人脸图片特征相加，再输入到下一组相似结构的合成单元，每组合成单元中特征图尺寸有所不同，具体参见图6所示；这4组合成单元输出后，接入到卷积单元(Conv2D)204，对应尺寸为44*44*7的特征图，最后得到情绪分类预测概率，再传入到前述的群体情绪演化模型中，包括a(t)、b(t)和微分方程组模型206，得到我们预测的后续的群体消极情绪情况E(t+1)。

进一步的，本发明所体现出来的方法，不仅适用于对群体消极情绪的识别和预测，同样适用于群体中产生的积极情绪的识别和预测，以及对具体消极情绪的识别和预测，例如痛哭情绪、愤怒情绪、忧伤情绪、饥饿情绪等进行具体识别，而具体的积极情绪识别和预测，包括喜悦情绪、欢呼情绪等进行具体识别。

基于同样的发明构思，如图7所示，本发明还包括群体消极情绪态势预测和评价装置30，包括相互耦接的存储器301和处理器302，所述存储器301，用于存储计算机程序；所述处理器302，用于读取并执行所述存储器301中存储的所述计算机程序，当所述计算机程序被执行时，所述处理器302执行前述的群体消极情绪态势预测和评价方法。

本申请实施例中的存储器301可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器301两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器synchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambusRAM，DR RAM)。应注意，本文描述的系统和方法的存储器301旨在包括但不限于这些和任意其它适合类型的存储器301。

本申请实施例中的处理器302可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器302中的硬件的集成逻辑电路或者软件形式的指令完成。处理器302可以是通用处理器、DSP、ASIC、FPGA或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本申请实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成，或者用编码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现，具体取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

以上仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。