融合排序与回归的卷积神经网络用于表情强度估计

摘要

表情强度估计是面部表情分析的重要组成部分,是实现人机自然情感交互的关键技术.表情强度估计面临的主要挑战在于缺乏大量的有标签数据,难以通过有监督的方法来估计表情强度.尽管基于排序的方法能够解决这一问题,但是排序方法只能估计表情的相对强度,无法估计表情的绝对强度.为了解决上述问题,提出了一种融合排序与回归的卷积神经网络用于表情强度估计.其中,排序卷积神经网络采用孪生网络结构,用于学习序列中任意两帧图像的相对强弱关系;孪生网络的每一个子网采用回归卷积神经网络,用于学习有强度标签的样本,从而估计表情的绝对强度.为了验证方法的有效性,在公共数据集PAIN和CK+上进行了实验.实验结果表明,提出的方法在弱监督的条件估计表情强度的各项结果(PAIN数据集上PCC,ICC和MAE分别为0.655 l,0.529 3和0.924 1,CK+数据集上PCC,ICC和MAE分别为0.7391, 0.721 6和0.1875),均优于现有的方法.