基于标签分布学习的眼部情绪识别

摘要

眼部情绪识别指的是仅从眼部区域的情绪特征识别用户的情绪状态,分析出用户佩戴智能头盔的情景下被遮挡的真实情绪。为了改善眼部区域情绪信息量少、标签歧义性所带来的识别准确度低和识别效率低的问题,本文提出一种用于识别眼部情绪的神经网络模型。该模型包含情绪标签分布生成网络和轻量级的眼部情绪识别网络两个模块。情绪标签分布生成网络会生成眼部图像的情绪分布标签,用于辅助眼部情绪识别网络的参数训练。眼部情绪识别网络包含基于注意力机制的全局特征增强模块以及局部特征增强模块,能够从信息量少的眼部图像推理出用户情绪类别。同时,为了评估网络模型性能,我们构建了2个数据集,分别是REED (Realistic Eye Emotion Datasets)和EMUG (Eye-Multimedia Understanding Group)。实验结果表明,在REED和EMUG数据集的四分类的平均准确率分别达到68.5%和80.9%,七分类的平均准确率分别达到62.0%和68.1%。同时,虽然本文模型的参数量远小于其他网络模型,但是识别效率也要优于其他模型。