基于可见光图像和红外热像融合的自发表情识别

摘要

随着计算机科学技术和人工智能的快速发展，以及社会自动化程度的不断提高，人机交互的拟人化程度成为了一个越来越受到重视的课题，人脸表情识别技术因此诞生。它作为一个交叉了心理学、工程学、数据挖掘、人工智能等学科的重要课题，越来越被众多研究机构和研究者所关注。近些年来，在相应较为成熟的人脸识别技术、人脸跟踪技术、脸部器官定位技术等的帮助下，人脸表情识别技术取得了较多的研究成果。然而，目前的研究主要针对的是人为表情的识别，对于用户在自然条件下的自发表情识别的研究成果较为有限。此外，利用可见光图像和红外热像这两种相互独立光源的融合进行表情识别也可能会是对单一光源图像表情识别的一种改进。因此，本文将在自发表情识别以及融合图像的表情识别方面进行相关的研究。
　　 本文工作如下：
　　 1、提出基于小波变换的红外特征提取和表情识别方法。首先对图像进行二层2D小波变换，并基于聚类优化的欧式距离最大化原则选择小波变换后的低频部分作为特征，最后采用K-近邻分类识别器进行分类识别，在Equinox数据库和USTC-NVIE数据库上进行了对比，验证了方法的有效性。
　　 2、提出了一个基于标准协同训练思想的红外-可见融合表情识别方法。提取可见光图像的外观特征和红外热像中的低频小波特征，分别利用两个K-近邻子分类器进行分类，并将分类结果进行互相的反馈，调整彼此的K-近邻分类器的对照样本空间，通过后验概率获得两个子分类器的置信权值，并进行加权决策识别，在USTC-NVIE数据库上进行了实验验证，实验结果表明该方法可以在一定程度上提高表情识别的识别率。
　　 3、提出了一个红外辅助可见光图像的表情识别方法，提取可见光图像的外观特征和红外热像中的低频小波特征，首先对可见光图像进行K-近邻分类器的训练，再利用红外热像特征对可见光图像的训练结果中分类错误的样本进行重分类，并调整K-近邻分类器的对照样本空间。在USTC-NVIE数据库上进行了实验验证，实验结果表明该方法可以提高表情识别的识别率，是对单独利用可见光图像或红外热像的表情识别的一种改进。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章 绪论

第2章 基于小波变换的红外表情识别

第3章 基于标准协同训练的融合表情识别

第4章 基于红外热像辅助的可见光图像的表情识别

第5章 总结与展望

参考文献

致 谢

读硕期间发表的学术论文与参加的科研项目

作者简历