一种新的组合BP神经网络

摘要

人工神经网络是最早得到广泛应用的一种机器学习技术。然而，人工神经网络存在过拟合、泛化能力不强、容易陷入局部极小、隐层节点数难以选择等问题，这些问题阻碍了人工神经网络的进一步发展。
　　受随机森林思想的启发，本文提出一种组合BP神经网络的新方法，即在单个BP神经网络的训练中，采用Bagging方法随机选取训练样本，同时根据新的隐层节点经验公式在一定的范围内随机选取隐层节点数。对于分类问题，组合BP神经网络的最终输出采用简单多数投票法获取;对于回归问题，BP神经网络的最终输出采用的是简单平均法获取。两个随机性的引入，增大了个体BP神经网络之间的随机差异性。与传统组合BP神经网络的对比实验表明，不论是分类问题还是回归问题，本文的方法都取得了与传统方法相近的分类或回归性能，而训练时间却大大少于传统方法。此外，本文的方法也提供了许多附加的输出，如OOB准确率，变量重要性排序，预测结果的置信度和样本间的相似度矩阵等，可供更深层次的应用。

目录

声明

摘要

第一章 绪论

1．1 选题背景及研究意义

1．2 神经网络的研究现状

1．3 主要研究内容与创新点

1．4 本文的章节安排

第二章 BP神经网络概述

2．1 人工神经网络的概念

2．1．1 人工神经元模型

2．2 BP神经网络

2．2．1 BP神经网络的结构及算法流程

2．2．2 BP神经网络的优缺点

2．3 组合神经网络模型简介

2．4 相关算法简介

2．4．1 Bagging方法

2．4．2 Boosting方法

2．4．3 Bagging算法与Boosting算法的区别

第三章 一种新的组合BP神经网络模型(分类问题)

3．1 组合随机BP神经网络模型算法

3．2 实验

3．2．1 实验结论

3．3 实验扩展

3．3．1 OOB准确率

3．3．2 预测置信度

3．3．3 样本之间的相似度矩阵

3．3．4 属性重要性

3．4 小结

第四章 回归情形的CRBPNN

4．1 回归情形的CRBPNN算法

4．2 实验

4．2．1 实验结论

4．3 回归实验扩展

4．3．1 OOB均方误差

4．3．2 预测置信度

4．3．3 样本之间的相似度矩阵

4．3．4 属性重要性

4．4 小结

第五章 总结与展望

参考文献

附录

致谢