智能家居环境下人脸情绪识别系统的设计

摘要

21世纪，由于人们生活水平的不断提高，因此高度舒适且自动化的智能家居系统将在以后的日常生活中扮演重要的角色。本文对当前的智能家居系统进行研究，发现目前智能家居系统机械化高，缺乏对人身体健康的长期监控，不能有效的响应主人情感需求，因此本文设计了智能家居系统下的人脸情绪识别系统。目标是以采集人脸图片进行表情识别，使得智能家居系统能够完成对人们的情感监控与感知，并能够作出针对性反应。解决了智能家居中动态的人脸表情持续性监测问题，使计算机实时的获取人的情绪和身体状况。
　　本文围绕“智能家居中表情识别系统的研究”的几个关键问题展开研究，首先研究了现有智能家居系统的功能，找出其存在的问题，从而提出在智能家居环境中持续监测人脸情绪变化。随后本文设计并开发了基于ARM平台的嵌入式人脸表情识别系统，首先提出了智能家居环境中情绪识别系统的总体设计方案，其次，为满足智能家居系统下情绪识别的实时性需要，采用了基于LBP特征的提取算法进行人脸表情识别，并通过实验验证了其有效性。再次，完成了该系统的软件设计，通过Video4Linux实现了系统的的图像采集功能，并结合计算机视觉库OpenCV，在Qt的开发环境下实现了本系统人脸表情识别的算法。最后，搭建了嵌入式开发环境，包括虚拟机、交叉编译器等开发工具的配置，完成了嵌入式Linux操作系统的开发，主要有Bootloader、Linux内核、根文件系统、相关驱动的剪裁、编译和移植。
　　对系统进行了测试与调试，并对测试数据进行了分析，说明了该系统的可靠性，论文的最后对所做工作做了简要的总结，并对后续工作提出了展望。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．2 表情识别概述

1．3 表情识别技术的研究现状

1．4 表情识别的应用领域

1．5 技术发展趋势

1．6 研究意义和内容

1．7 论文的内容组织

第二章 智能家居环境下人脸情绪识别系统的关键技术研究和总体设计

2．1 智能家居环境下人脸情绪识别系统实现关键技术

2．1．1 表情识别技术

2．1．2 基于OpenCV的计算机视觉技术

2．1．3 Qt编程技术

2．2 智能家居环境下人脸情绪识别系统的需求分析

2．3 智能家居环境下人脸情绪识别系统的性能指标

2．4 智能家居环境下人脸情绪识别系统的设计方案

2．4．1 智能家居环境下人脸情绪识别系统结构

2．4．2 微处理器选型

2．4．3 硬件平台的选择

2．4．4 嵌入式操作系统的选择

2．4．5 图像采集设备的选择

2．5 本章小结

第三章 智能家居环境下人脸情绪识别算法的研究

3．1 基于Haar-like特征的Adaboost人脸检测方法

3．2 人脸表情图像的预处理

3．2．1 眼睛特征定位

3．2．2 表情图像的归一化处理

3．2．3 灰度归一化

3．3 基于均匀LBP的面部表情特征提取

3．3．1 LBP算子的介绍

3．3．2 LBP特征提取

3．4 基于最近邻分类器的表情分类

3．5 本章小结

第四章 智能家居环境下人脸情绪识别系统的软件设计

4．1 系统的软件设计方案

4．2 图像采集子线程设计

4．3 图像显示子线程设计

4．4 表情识别子线程设计

4．5 本章小结

第五章 智能家居环境下人脸情绪识别系统的软件实现

5．1 嵌入式Linux软件系统的组成

5．2 搭建宿主机开发环境

5．2．1 主机开发环境的搭建

5．2．2 交叉编译环境的搭建

5．3 嵌入式Linux操作系统的移植

5．3．1 Bootloader

5．3．2 Linux内核简介

5．3．3 Linux内核的配置

5．3．4 根文件系统

5．4 嵌入式Linux设备驱动程序开发

5．4．1 Nand Flash驱动移植

5．4．2 USB摄像头驱动移植

5．5 基于V4L2的图像采集实现

5．6 基于OpenCV的人脸检测实现

5．7 基于OpenCV的LBP特征提取实现

5．5 本章小结

第六章 智能家居环境下人脸情绪识别系统的实验与结果分析

6．1 智能家居环境下人脸情绪识别系统的实验目的

6．2 智能家居环境下人脸情绪识别系统的测试与调试的实验方案

6．2．1 智能家居环境下人脸情绪识别系统的实验平台

6．2．2 智能家居环境下人脸情绪识别系统的实验设备

6．3 实验数据与结果

6．3．1 基于video4linux的图像采集实验

6．3．2 人脸检测的实验结果与分析

6．3．3 表情识别的实验结果与分析

6．4 系统实现

6．5 本章小结

第七章 工作总结与展望

7．1 工作总结

7．2 未来工作展望

参考文献

硕士期间发表论文和参加科研情况

附录

致谢