基于红外的人眼定位和表情识别研究

摘要

表情识别是拟人化人机交互的重要研究内容之一。红外热像记录面部的温度信息，对成像的光照变化具有鲁棒性，因而，红外表情识别可以作为可见光表情识别有力而必要的补充。红外人眼定位是红外表情识别的重要环节。基于此，本文研究红外人眼定位和表情识别，主要内容如下:
　　 (1)对红外人眼定位进行了研究，并设计了一种红外人眼定位方法。本文采用投影曲线法提取红外人脸图像的投影分布特性，设计一种山谷评估值，基于该评估值区分戴眼镜与不戴眼镜样本。针对戴眼镜样本，本文根据人脸温度投影曲线山谷的位置定位眼睛位置。针对不戴眼镜的样本，本文基于面部的温度分布特性，设计了一个包含15个子区域的人眼定位模板，提取每个子区域的Haar特征，采用AdaBoost算法进行特征选择，采用支持向量机作为分类器，并使用投票策略判断候选点是否是人眼。本文在USTC-NVIE和Equinox数据库上进行了人眼定位实验。实验结果表明，本文方法对戴眼镜的检测和定位快速而且有效。对于不戴眼镜的样本，本文设计的人眼模板很好地捕获了红外人眼的温度分布特性，从而可以有效定位人眼。
　　 (2)对一种基于时序统计特征的自发表情识别方法进行了研究。为了减少环境温度以及红外热像仪温度漂移对记录人脸温度的影响，本文采用水平和垂直差值热像，从差值热像序列中提取统计特征，采用F值进行特征选择，并使用AdaBoost算法进行分类。本文在USTC-NVIE库中进行了实验验证，实验结果表明本文方法可以有效地从红外序列中识别出表情。
　　 (3)对一种基于时序的自发表情识别方法进行了研究。从红外差值热像序列中提取时序特征，分别采用单维等间距量化和多维k-means矢量量化方法对连续时序特征进行量化，使用隐马尔科夫对红外视频数据进行时序建模。本文在USTC-NVIE库上进行了实验，实验结果表明时序建模是比较有效的。

目录

声明

摘要

插图目录

表格目录

第1章 绪论

1．1 研究背景与意义

1．2 研究历史与现状

1．2．1 人眼检测与定位的研究现状

1．2．2 红外表情识别的研究历史与现状

1．3 本文主要内容

1．4 本文组织结构

第2章 红外人眼检测与定位

2．1 红外人眼定位方法框架

2．2 眼镜检测

2．2．1 特征提取

2．2．2 分类器

2．3 戴眼镜人眼定位

2．4 红外裸眼定位

2．4．1 训练阶段

2．4．2 测试阶段

2．5 实验与结果分析

2．5．1 实验条件

2．5．2 实验结果与分析

2．6 本章小结

第3章 基于红外时序统计特征的自发表情识别

3．1 方法介绍

3．1．1 预处理

3．1．2 特征提取

3．1．3 特征选择

3．1．4 分类器

3．2 实验与结果分析

3．2．1 实验条件

3．2．2 结果与分析

3．3 本章小结

第4章 基于特征序列的红外自发表情识别

4．1 方法介绍

4．1．1 预处理

4．1．2 特征提取

4．1．3 特征量化

4．1．4 分类器

4．2 实验与结果分析

4．2．1 实验条件

4．2．2 结果与分析

4．3 本章小结

第5章 结束语

5．1 本文总结

5．2 下一步工作

参考文献

致谢

读硕期间发表的学术论文与参加的科研项目

作者简历