基于面部识别技术的在线学习行为深度感知方法研究与应用

摘要

在线学习与传统的课堂教学模式相比，存在不受时间、地点限制等众多优势。但是目前在线学习系统在学习者的学习监管方面存在一些突出问题，如对学习者身份如何验证，学习者学习状态如何检测，学习者情绪如何感知等。本文提出并实现了从学习者人脸识别、眼睛状态检测、情绪感知3个方面对学习者的学习行为进行深度感知和评估分析的方法，为在线学习行为评估提供了新的视角和方式，对于在线学习系统中学习者的自我监管和外部监管提供了技术支撑。
　　论文的主要工作如下:
　　首先，对基于目前在线学习系统在学习者监管方面存在问题的分析，提出建立了在线学习行为深度感知模型，该模型包括人脸识别、眼睛状态检测、情绪感知3个主要功能。针对该模型的3个问题:人脸关键点定位、眼睛状态检测、情绪特征识别，提出了本文的解决方案:基于级联卷积神经网络，通过粗定位-细定位-精定位3步对人脸关键点进行准确定位;基于卷积神经网络的眼睛检测和情绪特征识别，通过确定眼睛睁开度和嘴巴弧度分析判断眼睛和嘴巴的特征。提出基于CNN-SVM的在线学习行为深度感知分类方法，使用CNN提取输入图像中的特征，使它们不具有相关性，采用线性核函数支持向量机将检测到的眼睛、嘴巴特征进行分类，使得分类效果提高。
　　接着，将人脸识别、眼睛状态检测和情绪感知这3个感知功能获取的数据作为评估数据源，基于C4.5算法提出在线学习行为评估方法，构建在线学习行为评估决策树，根据建立的分类规则进行在线学习行为评估分析。
　　最后，本文基于Face++人工智能开放平台实现了在线学习行为深度感知和评估系统。给出系统开发所需要的环境和工具，着重阐述了人脸识别、眼睛状态检测、情绪感知以及学习行为评估等功能模块的开发实现。系统运行情况良好。

目录

声明

摘要

第1章绪论

1．1研究背景与研究意义

1．1．1研究背景

1．1．2研究意义

1．2研究现状和趋势

1．2．1在线学习监管的研究现状

1．2．2人脸识别在在线教育中的应用研究现状

1．3论文工作与结构

1．3．1论文工作

1．3．2论文结构

第2章基础知识

2．1人脸识别技术理论

2．1．1人脸图像采集及检测

2．1．2图像预处理

2．1．3特征提取

2．1．4匹配与识别

2．2卷积神经网络理论

2．2．1卷积神经网络的结构

2．2．2卷积神经网络的前向传播

2．2．3卷积神经网络的反向传播

2．3决策树相关理论

2．3．1决策树的概念

2．3．2决策树算法

2．4本章小结

第3章基于面部识别的在线学习行为深度感知模型设计

3．1在线学习行为深度感知模型设计

3．1．1在线学习行为深度感知模型提出

3．1．2在线学习行为深度感知模型

3．2模型需要解决的问题

3．2．1人脸关键点定位

3．2．2眼睛状态检测

3．2．3情绪特征识别

3．3模型问题解决方法

3．3．1基于级联卷积神经网络的人脸关键点定位

3．3．2基于卷积神经网络的眼睛状态检测方法

3．3．3基于卷积神经网络的情绪识别方法

3．4在线学习行为深度感知分类方法

3．4．1 人脸识别中常用的几种分类算法

3．4．2基于SVM的卷积神经网络分类模型

3．4．3实验及结果分析

3．5本章小结

第4章基于决策树算法的在线学习行为评估方法

4．1在线学习行为评估系统结构

4．2基于C4．5算法的在线学习行为评估方法

4．2．1学习行为数据采集

4．2．2构建决策树

4．2．3决策树分类规则

4．3实验及结果分析

4．3．1实验

4．3．2结果及分析

4．4本章小结

第5章在线学习行为深度感知与评估系统实现

5．1系统开发环境与工具

5．2系统设计与实现

5．2．1系统设计

5．2．2系统主要功能

5．2．3客户端运行效果

5．3本章小结

第6章总结与展望

参考文献

在读期间发表的论文及相关成果

致谢