情感识别

摘要： 针对脑电信号情感识别中情感特征信息挖掘不充分、识别准确率低的问题,提出深度自编码方法提取脑电信号情感特征,并结合长短时记忆(LSTM)循环神经网络实现维度情感分类.首先,基于DEAP维度情感生理数据集,分别在唤醒度和效价维度选取情感标签阈值,划分不同情感状态;然后,通过时间窗对脑电信号分段,设计栈式自编码网络挖掘脑电数据蕴含的情感信息,并依照时间顺序生成情感特征序列;最后,建立LSTM循环神经网络进行模型训练、交叉验证和测试,并通过正确率、精确度、召回率和F1-Score评价情感分类效果.仿真实验结果表明:在效价维度上,脑电信号情感识别平均正确率达到77.4%,F1-Score为80.4%;在唤醒度上,平均识别正确率达到73.7%,F1-Score为77.5%.该方法使维度情感模型获得了较好的情绪识别结果,可以为情感计算和人机情感交互提供借鉴.

摘要： 人类大脑皮层能够对不同情感产生动态响应,在这一神经科学研究成果的启发下,提出一种基于3D矩阵特征与多维卷积神经网络的脑电(Electroencephalogram,EEG)信号情感识别方法,用MCNN表示.该3D矩阵特征是指每个时间点上提取的6个频带的PSD特征按大脑电极位置分布,转换为9×9网状矩阵后连接得到的一个9×9×6的三维矩阵,该表征方法能够直接准确反应大脑皮层EEG信号的空间相关性和时频动态,再将该特征输入一个多维卷积神经网络进一步提取相关深度语义特征并进行情感分类.所提方法在DEAP数据集中脑电信号的唤醒度和效价维度上两类情感分类的平均准确率分别达到了85.88%和87.32%,相同实验条件下,比目前较优手工特征的平均分类准确率分别提升了5.41%和5.69%,比最优深度模型的平均分类准确率分别提升了3.52%和4.18%,验证了该方法的先进性和有效性.

摘要： 针对传统情感识别方法中脑电信号特征提取与辨识困难的问题,本文提出一种基于深层残差网络和长短时记忆网络的情感识别方法。首先,将DEAP生理数据信号进行连续小波变换得到相应的时频谱图;然后对时频谱图进行灰度化和归一化,再将灰度图降维至适当大小;最后将压缩后的时频谱图作为深层残差网络的输入,将DRN学习到的顶层特征进行向量化,并输入长短时记忆网络网络实现情感识别。实验结果表明:提出的CWT-DRN-LSTM模型情感识别准确率达99.23%,标准差仅0.27,相比于其它组合模型在识别准确率方面具有较大优势。

摘要： 情感作为人脑的高级功能,对人们的个性特征和心理健康有很大的影响,利用网上公开的脑电情感数据库(DEAP(Database for emotion analysis using physiological signals)数据库),根据心理效价和激励唤醒度等级进行情感划分,对压力和平静等5种情感进行研究分析.针对脑电信号时空特征结合的特点,把深度学习中的卷积神经网络(Convolutional neural network,CNN)和长短期记忆网络(Long short term memory,LSTM)两者作为基本前提,并在此基础之上设计了一个RCNN-LSTM的脑电情感信号分类模型.利用循环卷积神经网络(Recurrent convolutional neural network,RCNN)自动提取脑电信号中的抽象特征,省去了人工选择与降维的过程,然后结合LSTM网络对脑电情感信号进行分类识别.实验结果表明,利用该方法对5种情感类别的平均分类识别率达到了96.63%,证明了该方法的有效性.

摘要： 自动识别电网客户语音中的情感对电网运营具有重要的意义,语音情感分类模型往往需要专家根据经验设计,这限制了人工智能算法在这一模型上的应用。提出了一种基于自动机器学习的电网客户语音情感分类算法。首先设计了神经网络搜索空间构建方法,构建了基础的神经网络基本组成单元,并搭建了对应的元架构空间。然后,为了提高情感分类模型的准确率,利用强化学习进行神经网络模型和超参数的求解。实验结果表明,该算法可以有效完成电网客户情感分类任务,情感分类准确率达到90.93%,而且整个过程不依赖于人工设计,具有较高的效率和准确率。

摘要： 教学行为数据的多样化、海量化及多维化,将教学行为评价从单向度和浅表化的蛰伏中唤醒,构建多维数据支持下的课堂教学行为评价模型成为冲出“藩篱”的关键。文章通过对比传统时代和智能时代的课堂教学行为研究,在弗兰德斯互动分析系统的基础上,增添动作、情感等心理和生理行为指标,设计了基于多维数据的课堂教学行为评价指标体系。在此基础上,文章融合多元主体参与的全方位评价理念,构建了基于多维数据的课堂教学行为评价模型,并从评价轨迹和评价结果两个方面验证了此模型的有效性,其实践结果表明:基于多维数据的课堂教学行为评价有助于评价信息的多元化,让评价的本真意蕴得以显现,是融合课堂教学行为和话语分析的探索与尝试。文章通过研究多维数据视阈下的课堂教学行为评价模型,旨在为创新课堂教学评价提供参考。

摘要： 在情感计算、心理治疗、机器人、监视和观众理解等方面,基于步态特征的情感识别有着广泛的应用前景。已有方法表明,考虑手势位置等上下文信息可以显著提高情绪识别性能,且时空信息能显著提高情绪识别精度。但是单纯使用骨骼空间信息无法充分表达步态中的情绪信息。为了充分利用步态特征,本文提出自适应融合的方法,将骨骼时空信息与骨骼旋转角度结合,提升了现有模型的情感识别精度。本文模型利用自编码器,学习人类行走时的骨骼旋转信息,利用时空图卷积神经网络提取骨骼点时空信息,将骨骼旋转信息与时空信息输入自适应融合网络,得到最终特征进行分类。模型在Emotion-Gait数据集上测试,实验结果显示:悲伤、愤怒和中立情绪的AP值比最新HAP方法分别提升5、8、5个百分点;总体分类的平均MAP值提高了5个百分点。

摘要： 该研究使用脑电(EEG)信号经过处理得到的数据集DEAP和HCI,利用微分熵作为特征提取的工具,基于传统机器学习算法,集成学习中的梯度提升树、Xgboost、Adaboost、随机森林算法,以及深度神经网络、卷积神经网络与GoogLeNet实现跨被试的EEG特征情感识别任务,并比较各方法应用于EEG情感分析时的结果差异。比较平均准确率,结果表明深度学习方法取得了不错的成绩,三个深度模型对两个数据集的valence平均准确率达到0.5956和0.6307之间,arousal达到0.6062和0.6774之间,显著优于机器学习算法与集成学习模型取得的结果。

摘要： 随着生活水平的提高,人们对于高质量服务的需求也逐渐增强。客服电话是电力企业获取服务反馈的重要方式,要想更好地为用户提供优质服务,就需要一种质检方式来检测客服人员在通话时是否使用规范用语、是否给予准确回答、是否满足标准要求。但面对激增的语音通话量、庞大的录音数据,传统的人工质检方法效率低下,且随机抽检的片面性难免导致检测失实。鉴于此,设计了一种基于语音的话务质检系统,可以进行全量覆盖质检,质检效率高。该系统通过智能化质检方式,结合各项针对性功能,减少了质检工作量,节约了质检时间,提高了质检质量。

摘要： 在线图书评论文本数量庞大、纷繁复杂,传统词袋模型无法表征文本隐含的语义信息,也无法通过一个线性分类器实现分类,而人工监控分析又具有很强的滞后性。文中以online_shopping_10_cats数据集中的图书评论部分为语料,经过文本预处理,采用Word2vec进行文本向量表示,得到语义化的特征矩阵,引入SVM模型进行训练和预测,采用增量训练和GridSearchCV进行模型优化,应用Tkinter构建可视化界面,实现文本信息情感识别。实验表明,该系统精确率为0.94,召回率为0.94,f1-score值为0.93,具有良好的适用性。

摘要： 传统学习者情感识别方法存在识别率低、算法复杂、鲁棒性差等问题,并且容易丢失面部表情特征的关键信息.本文提出一种基于卷积神经网络的学习者情感识别方法,该网络包括3个卷积层、3个池化层和1个全连接层.然后在自主搭建的大规模学习者情感数据库上进行了训练和实验,实验结果表明该方法能够快速、准确地识别学习者情感.未来,该方法可应用于智慧学习环境建设,为完善学习者模型、实现情感交互、挖掘学习行为等提供技术支撑.

摘要： 采用人脸图像进行情感识别的准确率较低且存在个体差异性,不能满足应急处置的需求,本文提出了一种基于图像和生理信号的多模态特征融合情感识别方法.利用SVD方法和小波分解方法分别对图像信息和生理信号进行特征提取,然后采用PCA方法对多模态特征进行降维融合,最后利用BP神经网络作为分类器,对不同情感进行识别.实验结果表明该方法能有效提高识别的正确率.

摘要： 传统语音情感识别主要基于单一情感数据库进行训练与测试.而实际情况中,训练语句和测试语句往往来源于不同的数据库,识别率将显著下降.为了解决这一问题,提出了一种基于子空间学习和特征选择融合的语音情感识别方法.通过采用回归方法来学习特征的子空间表示;同时,引入l2,1-范数用于特征的选择;并引入最大均值差异(Maximum mean discrepancy,MMD)来减少不同情感数据库间的特征差异,对它们进行联合优化求解从而提取较为鲁棒的情感特征表示.在EMO-DB和eNTERFACE两个公开情感数据库上进行实验评价,结果表明:所提出的方法在跨库条件下具有较好的性能,相比其它经典的迁移学习方法更加鲁棒高效.

摘要： 词语情感在句子或篇章级的情感分析中非常重要.本文提出了一种基于中文情感语料库,利用SVM支持向量机模型对具有八维情感类别的词语进行情感识别的方法.在实验中,对比了SVM在采用四种不同核函数时的分类结果.实验结果表明,sigmoid核函数在基于SVM模型的词语情感识别中比其他三种核函数更有效.

摘要： 目的:通过评价两种不同的形式来检查帕金森患者的情感识别能力:面部表情和韵律识别。方法：选择13名帕金森患者，所有患者均接受药物治疗，他们的Hoehn和Yahr分级为3或4级。13名健康老年人作为实验对照组。结果:与对照组进行比较，帕金森患者在辨别面部表情和韵律识别能力均显著下降(p＜0.01)。在面部和韵律识别之间观察到了中度的相关关系(r=0.46,p＜0.11)。讨论:帕金森患者显示出对于面部和韵律识别能力的降低。然而，对于情感的识别，只是在面部表情方面发现的差异。因此，本研究结果支持在面部表情和韵律对于情感识别的处理上具有差异。

摘要： 歌曲情感识别是多媒体内容分析以及人机交互的重要组成部分.本文提出一种以歌曲声音强度与节奏速度作为影响因素的螺旋情感模型,采用层次K近邻分类器进行歌曲情感识别.实验结果表明,与Thayer情感模型相比,基于螺旋情感模型的歌曲情感识别算法取得了较高的识别率,因此螺旋情感模型比较符合歌曲情感认知的心理模式.

摘要： 为有效提高模糊认知图(Fuzzy Cognitive Map,FCM)的分类识别性能,同时保留其对情感的认知能力,该文提出了融合FCM方法.为实现决策级的FCM融合,将传统的模糊认知图的数值型输出转化为概率型输出,为不同特征提供了统一范围的初级识别结果.在此基础上,建立了以测试样本为顶点,测试样本间的相关性为边的相关性图,初级识别结果在正则化框架的约束下在图上进行传播.该方法在充分考虑了分类器对不同特征的识别准确率差异的同时,还充分利用了测试样本携带的信息对最终判决结果进行约束.实验证明,本文提出的融合FCM方法相较于单一分类器,以及传统的决策融合方法,具有更优的分类性能.

摘要： 本文研究了越南语语音情感识别问题,采集并建立了越南语情感数据库.母语为越南语的两名男性和两名女性说话人进行了越南语情感语音的表演和录制,通过多人听辨实验进行了数据的验证和评选,建立了一个初步的越南语语音情感数据库,为今后的跨语言研究提供数据基础.在所获得的情感数据上,提取了基本的语音特征,并构造了可用于情感识别的静态统计特征.采用高斯混合模型进行了建模与识别,识别结果显示,本文中的系统能够较好的识别越南语语音情感.在今后的工作中,可以进一步研究跨语言情感特征的分析与识别.

摘要： 通过对现有语音信息可视化模型的研究，提出将语音情感识别与语音信息可视化相结合的思路，构建了带有情感因子的语音信息可视化模型，并运用该模型对微信语音信息的可视化应用进行了设计，最后对该模型的应用进行了展望。

摘要： 挖掘在线评论中产品特征及评价已经成为提高电子商务服务质量的重要手段.本文根据中文评论的特点,首先总结出特定的句法结构模板,然后结合此模板与制定的4条抽取规则,完成对评论中情感句的产品特征与对应观点评价的抽取和情感匹配工作.通过对互联网上一款MP3的评论进行实验,表明本文的方法对情感评价单元的识别效果有所改进.

摘要： 本发明是将人脸表情识别和语音情感识别融合的视频情感识别方法，涉及用于识别图形的记录载体的处理，是一种基于决策级的两个过程递进式的视听情感识别方法，该方法将视频中的人脸表情识别和语音情感识别分开，采用两个过程递进式的情感识别的方法，通过计算条件概率的方式，在人脸表情识别的基础上进行语音情感识别的技术；步骤是：过程A.将人脸图像表情识别作为第一次分类识别；过程B.将语音情感识别作为第二次分类识别；过程C.人脸表情识别和语音情感识别的融合。本发明克服了现有技术在人类情感识别中忽略了人脸特征和语音特征之间的内在联系以及视频情感识别的识别速度慢和识别率不高的缺陷。

摘要： 本发明公开了一种语音情感识别系统，包括：依次连接的音频预处理模块、CNN模块、金字塔FSMN模块、时间步注意力模块和输出模块；本发明还公开了一种应用于语音情感识别系统的语音情感识别方法，包括以下步骤：1、对语音进行初步的作，得到语谱特征图；2、对语谱特征图进行操作，构建包含音频浅层信息的语谱特征图；3、对包含音频浅层信息的语谱特征图进行进一步处理，获取更深层次的语义信息和上下文信息；4、对具有更深层次的语义信息和上下文信息的语谱特征图进行处理，得到整段语音与说话人情感相关度最高的特征向量；5、输出与整段语音相对应的情感类别。本发明的语音情感识别性能相对于现有技术，取得了相当大的提升。

摘要： 本申请提供了一种双模态情感识别模型训练方法及双模态情感识别方法，其中，该双模态情感识别模型训练方法包括：将语音训练数据输入第一神经网络模型进行训练，以得到语音情感识别模型；将图像训练数据输入第二神经网络模型，采用第一损失函数进行第一阶段的有监督训练，以得到第一阶段的初始图像情感识别模型；将图像训练数据输入第一阶段的初始图像情感识别模型，采用第二损失函数进行第二阶段的有监督训练，以得到目标图像情感识别模型，将所述语音情感识别模型及所述目标图像情感识别模型进行决策级融合，以得到双模态情感识别模型。

摘要： 本发明公开一种与文本无关的语音情感识别方法，其包括获取实时音频数据，通过训练好的用于语音情感识别的算法模型对实时音频数据进行识别，确定发音人的情感状态，其实现为包括使用音素对齐处理方式对获取的实时音频数据进行端点检测；对端点检测后的实时音频数据进行特征值提取；将提取出的特征值输入算法模型，根据算法模型输出的情感状态预测概率，确定发音人的情感状态。本发明还公开了与文本无关的语音情感识别装置及模型训练方法。本发明公开的方案采用可以有效保障识别的准确率。

摘要： 本申请适用于人机交互技术领域，提供了一种情感识别方法、装置、情感识别系统、分析决策终端以及计算机可读存储介质，该方法包括：获取患者的综合特征信息；将综合特征信息输入至预设的分析决策引擎，得到患者的情感状态；生成患者的情感状态对应的第一音频信号，并发送第一音频信号至治疗师对应的耳机，第一音频信号用于指示耳机播放与第一音频信号对应的声音信号至治疗师。可见，本申请实施例在治疗师对患者进行心理治疗过程中，准确识别患者的情感状态并告知治疗师，提高治疗效果。

摘要： 本发明实施例公开了一种情感识别方法和情感识别系统，其中，该方法包括：获取当前语音信号；提取当前语音信号的语音特征，语音特征包括：声学特征和文本特征；根据语音特征和预设深度模型，识别当前语音信号对应的情感类型，情感类型包括：正面、中性和负面，本发明的技术方案能够通过语音信号识别出对应的情感类型，以对服务人员进行监督提高服务水平。

摘要： 本发明公开一种建立情感识别模型和识别人物情感的方法和装置，建立情感识别模型的方法包括：对至少两张图像进行人物情感特征提取；将所述人物情感特征进行信号转换，以形成人物情感电信号，并对所述人物情感电信号进行分类和标注情感类别；根据设定的提取规则对各个情感类别中的人物情感电信号进行片段提取，以形成多个样本电信号；将多个样本电信号作为神经网络的输入值并进行训练，将训练后的神经网络作为所述情感识别模型；当用户需要对图像中的人物进行情感识别时，便可以将图像直接输入到上述情感识别模型的输入层中，并从情感识别模型的输出层获得输出结果，根据输出结果便可以确认图像中人物的情感。

摘要： 本发明提供一种情感识别方法、情感识别设备及情感识别系统。其中，情感识别方法包括以下步骤：获取三维传感器阵列服装采集的用户的当前肌肉应力信号数据；将当前肌肉应力信号数据输入至已训练好的多元情感分类模型，获得多元情感分类模型输出的情感识别结果。本发明通过采用三维传感器阵列服装采集人体表达情感时当前肌肉应力信号数据，将其输入已训练好的多元情感分类模型中，多元情感分类模型通过肌肉应力信号数据输出其对应的情感识别结果。通过三维传感器阵列服装采集人体表达情感时的动作数据，可以确保高质量捕获肌肉应力信号数据，并根据动作与情感状态之间的关系，可以更准确地识别人体的情感表达，提高了情感识别的准确性。

摘要： 本发明是将人脸表情识别和语音情感识别融合的视频情感识别方法，涉及用于识别图形的记录载体的处理，是一种基于决策级的两个过程递进式的视听情感识别方法，该方法将视频中的人脸表情识别和语音情感识别分开，采用两个过程递进式的情感识别的方法，通过计算条件概率的方式，在人脸表情识别的基础上进行语音情感识别的技术；步骤是：过程A.将人脸图像表情识别作为第一次分类识别；过程B.将语音情感识别作为第二次分类识别；过程C.人脸表情识别和语音情感识别的融合。本发明克服了现有技术在人类情感识别中忽略了人脸特征和语音特征之间的内在联系以及视频情感识别的识别速度慢和识别率不高的缺陷。

摘要： 本发明公开了一种类脑多模态情感识别网络、识别方法及情感机器人，其中，类脑多模态情感识别方法包括提取视频表情特征和语音情感特征，计算与音频强关联的视频特征和与视频强关联的音频特征，拼接视频表情特征和语音情感特征，得到原始拼接特征，计算模态m的多头自注意力特征和模态m的多头跨模态强关联特征，对所有头部的同类特征进行拼接，得到第一至第四拼接特征，将第一至第四拼接特征分别输入双向长短期记忆网络后，拼接所有特征得到统一特征向量，基于统一特征向量进行情感分类识别。本发明通过改进多模态特征融合过程，通过相同头部内部特征融合、不同头部外部特征融合后再进行特征拼接，最终提高了情感识别结果的鲁棒性和精准率。