基于人脸不同区域间自注意力和不确定性加权多任务学习的AU程度估计模型建立方法

摘要

本发明公开了一种从人脸图像中对不同人脸肌肉运动单元AU进行运动变化程度估计的模型建立方法。该方法首先得到人脸不同区域的特征表达；其次利用自注意力机制编码不同区域特征的高级表征；最后，对所有AU的程度值进行多任务的学习，每一个AU程度值的可信度作为多任务学习时不同AU的权重，得到AU程度估计模型。本发明减少了特征提取过程的计算量，保证了提取到的特征更加的鲁棒。同时，可以有效的挖掘对特定AU识别时不同区域的关键信息。有效的降低数据集标注中噪声对训练带来的影响，挖掘了有效的AU标注和人脸样本。这种在模型中同时通过自注意力编码不同区域特征的方法，配合不确定度加权的多任务学习，明显的提高了AU程度估计的准确度。