一种集成学习算法及其对灰霾预测的应用研究

摘要

集成学习，是先将样本提供给多个学习模型，再采取投票或是级联等方法把这些学习模型的输出集成起来的学习模型。集成学习采用合成多个学习模型的输出，能够显著的提高学习模型的泛化能力。
　　 本文主要是对异质集成算法的研究，通过对异质集成算法的深入分析，提出一种泛化能力好的新型异质集成算法，并对新提出的算法进行理论分析和实验检验。
　　 本文的主要工作和创新点如下:
　　 (1)提出了一种新的异质混合集成算法。
　　 个体学习器训练子集生成方面:在提取训练子集的过程中基于Bagging技术，从原始训练集中重复选取。为了增强各个训练子集的独立性，采用随机子空间法来提取训练子集。
　　 个体学习器模型选择方而:采用决策树和神经网络混合的方式来训练个体学习器。由于决策树和神经网络等模型易于陷入空间局部最小，因此容易产生差异较大的个体学习器。
　　 结论集成方面:采用支持向量机来对个体学习器的结论进行集成。支持向量机在防止过度拟合、运算速度和结果精度等方面表现出明显的优越性。本文将每个个体学习器的输出结论作为一维特征，用所有个体学习器的输出结论组成新的数据集，最后使用支持向量机在新的数据集上进行学习和预测。
　　 (2)对新提出的异质混合集成算法给出泛化误差和个体学习器差异度的数学模型，并依据提出的数学模型指导算法的参数优化。
　　 (3)采用此算法进行了灰霾预测实验。选取济南市2011年1月、4月、7月和10月二十四小时气象和污染物排放的实测和预测数据作为实验数据，用本文提出的数学模型指导算法的参数设置，在采用本文提出的算法对济南市的灰霾预测实验中，取得了理想的预测精度。对比实验表明，本文提出的异质混合集成算法的预测精度明显好于神经网络、决策树和AdaBoost.M1。

目录

声明

摘要

第一章 绪论

第一节 研究背景

1．1．1 机器学习

1．1．2 神经网络

1．1．3 决策树

1．1．4 支持向量机

1．1．5 集成学习

第二节 国内外发展现状

1．2．1 个体学习器生成

1．2．2 结论集成

第三节 本文的主要工作

第四节 论文的组织结构

第二章 训练子集提取和个体学习器训练

第一节 训练集生成方法

2．1．1 Bagging方法

2．1．2 Boosting算法

2．1．3 随机子空间提取子集方法

第二节 个体学习器训练方法

2．2．1 神经网络模型

2．2．2 决策树

2．2．3 当前常见个体学习器差异度分析方法

2．2．4 本文提出个体学习器差异度分析方法

2．2．5 训练个体生成器过程

第三章 (DT+BP)_SVM算法结论集成

第一节 支持向量机

3．1．1 最佳分离超平面

3．1．2 不存在最佳超平面情况

3．1．3 核函数

第二节 个体学习器集成过程

第四章 (DT+BP)_SVM在灰霾预测中的应用研究

第一节 灰霾及灰霾预测

第二节 灰霾预测实验数据准备和实验方案设计

4．2．1 实验数据准备

4．2．2 实验方案设计

第三节 实验结果

4．3．1 BP神经网络的预测结果

4．3．2 决策树预测结果

4．3．3 AdaBoost．M1和(DT+BP)_SVM预测结果

第四节 预测结果分析

第五章 总结与展望

第一节 总结

第二节 下一步工作

参考文献

致谢

个人简历