树型混合学习模型及其应用研究

摘要

近年来，同时具有符号模型(如决策树)的可理解性及非符号模型(如神经网络)可在线学习的混合学习模型逐渐成为模式识别与理解领域的一个热门课题，它在生物医学、信息安全、故障诊断、面部表情分析等领域均显示了十分诱人的应用前景。本论文基于神经网络树和支撑向量机树，系统地研究了基于分而治之思想的树型混合学习模型的理论方法及应用，内容包括： 1．针对连续特征输入情况提出一种基于特征自组织学习的神经网络树模型。在二值输入情况下，尽管每个专家神经网络的输入特征数很小，对连续特征问题的学习结果仍是难以解释的。为此，提出了一种基于特征自组织学习的神经网络树，并以UCI机器学习数据库中含连续特征的样本集为例验证模型的性能，实验结果表明提出的模型能够在保持识别精确率和不增加模型结构复杂度的同时，降低学习结果解释的空间复杂度。 2．将基于特征自组织学习的神经网络树应用到入侵检测问题中。构建在KDD据库上的基于特征自组织学习的神经网络树模型获得了令人满意的训练和测试识别精确率，并从模型的学习结果中了解到对检测结果具有决定性影响的特征的信息。 3．提出了一种基于混淆交叉的支撑向量机树学习模型(CSVMT)。首先针对复杂模式二分类问题，结合树型结构分而治之的思想，以混淆交叉因子控制相邻子节点间样例的交叉，构建二分类CSVMT模型；针对多分类问题，以启发式的方法产生教师信号，将二分类CSVMI、扩展为多分类CSVMT。以双螺旋复杂二分类问题和UCI机器学习库中的多分类数据集作为仿真数据验证CSVMT模型的性能，结果说明CSVMT具有优良的泛化性能和较高的测试识别精确率。 4．提出了基于有监督局部线性嵌入的支撑向量机树模型(SLLE-CSVMT)。为了解决高维特征空间中，每个中间节点学习结果可能包含冗余信息的问题，充分运用数据的类别信息，以及数据点之间的和各特征维之间的相互关系，本文分别采用两种训练方法实现基于有监督局部线性嵌入的支撑向量机树模型的构建。最后以UCI机器学习数据库中的optdigits样本集为例验证和分析了模型的结构和分类性能，实验表明SLLE-CSVMT学习方法能够在远低于原始特征维数的嵌入坐标空间中构建结构精简、识别性能优良的模型。 5．针对SLLE-CSVMT模型对测试样本有较高的计算量和存储量要求的情况，提出了基于特征选择的支撑向量机树模型(FS-CSVMT)。实验结果表明，FS-CSVMT模型能够在保证识别精确率的同时，获得一个复杂度较低的模型结构；与SLLE-CSVMT模型相比，在模型的结构和特征维数上，SLLE-CSVMT模型更为精简，并具有较低的嵌入维数，而在训练和测试的效率上FS-CSVMT更具优越性。6．将CSVMT、SLLE-CSVMT、FS-CSVMT应用到面部表情自动识别问题中。在数据预处理部分，我们研究了基于小波反卷积提高图像分辨率的方法，以及基于免疫算法的图像增强方法。以卡内基梅隆大学的Cohn-Kanade面部表情数据库为实验数据，结合伪Zernike矩的特征抽取方法，运用本文提出的三类学习模型实现面部表情自动识别，该方法与同类方法相比在识别精确率上有明显的优势，并且在非均衡分布样本集上的具有相对较强的识别鲁棒性。

目录

文摘

英文文摘

论文说明:图表目录、缩略词

声明

第一章绪论

1.1课题研究的背景与意义

1.2国内外研究现状

1.3本文的研究内容与组织结构

第二章基于连续特征自组织学习的神经网络树设计研究

2.1引言

2.2神经网络树模型

2.2.1决策树的构建

2.2.2神经网络树的结构

2.3基于连续特征自组织学习的神经网络树设计

2.3.1连续特征自组织学习

2.3.2基于特征自组织学习的神经网络树构建

2.3.3实验结果与分析

2.4 SFL-NNT在入侵检测中的应用

2.4.1入侵检测模型和方法概述

2.4.2基于SFL-NNT的入侵检测应用

2.5本章小结

第三章基于混淆交叉的支撑向量机树设计研究

3.1引言

3.2支撑向量机模型

3.2.1支撑向量机原理

3.2.2多分类支撑向量机

3.3基于混淆交叉的支撑向量机树模型(CSVMT)设计

3.3.1支撑向量机树模型结构

3.3.2混淆交叉

3.3.3基于混淆交叉的支撑向量机树模型学习算法

3.4实验结果与分析

3.5本章小结

第四章基于有监督局部线性嵌入的支撑向量机树设计研究

4.1引言

4.2局部线性嵌入

4.2.1 LLE算法

4.2.2 LLE参数优化

4.2.3有监督局部线性嵌入算法

4.3基于SLLE的CSVMT模型设计

4.3.1基于全局SLLE特征学习的CSVMT模型设计

4.3.2基于当前中间节点SLLE特征学习的CSVMT模型设计

4.4实验结果与分析

4.5本章小结

第五章基于边界敏感度特征选择的支撑向量机树设计研究

5.1引言

5.2特征选择

5.2.1特征选择与分类学习算法

5.2.2基于最大输出信息的特征选择方法

5.2.3基于分类边界敏感度的特征选择方法

5.3基于特征选择的支撑向量机模型(FS-CSVMT)构建

5.4实验结果与分析

5.5本章小结

第六章基于混淆交叉支撑向量机树的面部表情自动识别应用研究

6.1引言

6.2面部表情数据预处理

6.3特征抽取

6.4基于支撑向量机树学习模型的面部表情自动识别应用

6.4.1 CSVMT在面部表情自动识别中的应用结果与分析

6.4.2 SLLE-CSVMT和FS-CSVMT模型在面部表情识别中的应用结果与分析

6.5本章小结

第七章总结与展望

7.1本文的主要研究成果

7.2课题研究展望

致谢

参考文献

作者在攻读博士学位期间公开发表的论文

作者在攻读博士期间参加的科研项目