关于AdaBoost算法中样本加权方式的改进研究

摘要

集成学习算法是目前非常有效的机器学习框架，其中Boosting算法通过串行将弱学习器组合成强学习器，进而能很好的拟合真实模型，解决实际问题。在以Boosting思想为基础，进而提出了AdaBoost算法。该算法不仅分类精度高，且易实现，所以AdaBoost算法在模式识别、计算机视觉等领域都得到了广泛应用。
　　但是通过深入研究，发现AdaBoost也有缺点。AdaBoost在面对复杂样本时容易出现退化现象，分类精度会下降。同时AdaBoost算法也很难准确分类不均衡数据集，小类样本分类错误率很高，整体分类效果较差。本文针对算法上述的缺点，对其样本加权方式进行了改进。
　　首先在面对退化问题时，AdaBoost算法会对易分错的交叉样本和噪声样本不断增加样本权重，导致整体分类性能退化，对此本文先给一个阈值，当分类错误次数大于阈值，将不再增加样本权重，以此来遏制算法的倾斜。其次在面对非均衡数据集时，在小类样本分类错误时给予更大的样本权重，即使分类正确也不减少其权重来使算法在分类过程中更加关注小类样本，从而提升AdaBoost算法整体对非均衡数据集的分类能力。最后通过大量的实验验证了改进AdaBoost的稳定性和有效性。

目录

声明

摘要

第1章 绪论

1．1 课题背景及研究的目的和意义

1．2 国内外研究现状

1．3 本文的主要工作和组织结构

1．3．1 本文的主要工作

1．3．2 本文的组织结构

2．1 Boosting算法

2．2 AdaBoost算法

2．2．1 AdaBoost算法策略

2．2．1 AdaBoost模型解释

第3章 AdaBoost算法关于退化问题的改进研究

3．1 引言

3．2 AdaBoost算法的加权方式的改进

3．2．1 样本权重更新方式的确定

3．2．2 算法的步骤

3．3 实例应用对比

3．3．1 数据集说明

3．3．2 引入评价指标

3．3．3 实验对比分析

3．4 本章小结

第4章 AdaBoost算法关于非均衡问题的改进研究

4．1 引言

4．2 AdaBoost算法的加权方式的重设计

4．2．1 数据集的预处理

4．2．2 确定样本权重的更新方式

4．2．3 算法的步骤

4．3 实例应用对比

4．3．1 数据集说明

4．3．2 引入评价指标

4．3．3 实验对比分析

4．4 本章小结

第5章 算法的实验验证与结果分析

5．1 实验数据集及环境

5．1．1 实验数据集的来源

5．1．2 实验数据集及实验环境的描述

5．2 实验结果评价指标的选取

5．2．1 分类结果评价指标

5．2．2 引入Kappa系数

5．3 实验结果及分析

5．3．1 关于退化问题改进算法的实验与结果分析

5．3．2 关于非均衡问题改进算法的实验与结果分析

第6章 总结与展望

6．1 本文工作总结

6．2 未来工作展望

参考文献

致谢