基于姿态和表情的双模态情感识别方法研究

摘要

情感识别是模式识别领域的一个重要课题。近年来，多模态情感识别越来越引起研究者的重视。本文的主要工作是基于姿态和表情的双模态情感识别方法研究。
　　 本文以FABO数据库的数据为基础，进行了姿态和表情的单模态情感识别实验。实验中，使用空时特征向量作为每个单模态的情感特征向量，分类器分别使用最近邻分类器和支持向量机。本文的实验中考察了空时特征向量取不同维数时对实验结果的影响，并从中选择出了分类效果相对较好的一组特征向量参与融合。
　　 其次，本文使用典型相关分析(CCA)方法进行融合。为克服实验中存在的小样本规模问题，采用PCA+CCA的方法，即先对样本使用主成分分析(PCA)方法进行降维，然后再使用CCA方法进行融合。
　　 接下来，本文使用基于核方法的核典型相关分析(KCCA)方法进行了融合实验。实验中使用KCCA方法直接对两组单模态的原始向量进行融合。同时，还考察了选用不同核函数对融合结果的影响。为了进一步比较KCCA和CCA方法、直接融合方法融合效果的差异，本文进行了相同实验数据下这几种融合方法的性能比较，即采用PCA+KCCA的方法。
　　 最后，本文使用稀疏典型相关分析(SCCA)对降维后的两组单模态的特征向量进行融合。降维分别使用PCA和核主成分分析(KPCA)方法。
　　 实验结果表明，使用CCA方法进行融合并没有得到满意的效果，与直接融合方法相比没有明显的优势。对于KCCA方法，在本文中使用x2核函数比高斯核函数的效果更好。使用KCCA方法进行融合超过了单模态的识别效果，融合的效果既好于CCA方法，也好于直接融合方法，证明了其融合的有效性。使用KPCA降维后再采用SCCA方法进行融合的效果将更好，SCCA同样可以有效提高降维后的单模态的识别效果，其性能优于CCA方法，证明了其融合的有效性。