基于差异性的神经网络集成及其应用研究

摘要

集成学习已经成为机器学习的重要研究方向之一，它可以显著地提高学习系统的泛化性能，特别是对于不稳定的学习算法效果更加明显，例如神经网络与决策树。通常，使用泛化误差来度量一个学习算法的泛化性能，泛化误差越小，学习算法的性能越好。为了进一步提高集成学习的泛化性能，Krogh与Hansen提出，当集成中的神经网络彼此不同(差异性)且具有较高的正确率，集成学习的泛化性能将会得到提高。然而，构造满足这些条件的神经网络并不是一件易事，因此很多学者投入到了这个问题的研究之中并提出了许多集成学习方法。 本文针对神经网络集成中存在的问题，在对当前集成学习方法进行深入细致的分析，并对它们各自的特点及优缺点有了充分认识的基础上，对神经网络集成中的一些关键问题进行了研究，主要研究内容有： (1)提出了一种基于聚类技术的回归型神经网络集成算法。针对回归问题，使用神经网络训练方法生成许多神经网络模型；对于这些模型，通过定义模型间的距离，并采用聚类技术研究了这些模型的相关性，应用这种方法不仅可以去除一些相关的神经网络模型，而且在一定程度上还可以确定神经网络集成的规模。另外，我们也研究了不同集成方法的性能、集成的正确率与集成规模间的关系。实验结果表明，这种集成方法优于传统的集成算法。 (2)提出了一种用于提高神经网络分类器集成差异性的学习方法。在许多集成方法中，例如Bagging与Boosting，当训练集规模较小时，神经网络模型间的差异会逐渐减小，因此集成学习的效果很不明显，甚至还低于单个模型的学习。针对这种情况，本文从提高神经网络差异性的角度出发，研究了小样本数据集上的神经网络集成，提出了一种用于提高神经网络集成差异性的学习方法。实验结果表明，这种方法的泛化性能在小规模数据集优于bagging与boosting技术，而且在大规模数据集上也与这两种技术相媲美。 (3)提出了基于复突触神经网络的模糊聚类算法与聚类集成算法。在分析了Wei提出的聚类算法并指出这种方法存在的缺陷后，提出了一种改进的基于复突触神经网络的模糊聚类算法，实验研究了算法的性能问题；为了减少神经网络学习算法陷入局部最优的可能，进一步提高复突触神经网络聚类解的鲁棒性及稳定性，我们也研究了集成技术用于无监督聚类并提出了聚类集成的一般算法。实验结果表明，通过聚类集成可以获得更稳定的聚类解。 (4)研究了基于神经网络集成的入侵检测。入侵检测是指对入侵行为的发现，通过在计算机网络或计算机系统中的若干关键点收集信息并对收集到的信息进行分析，从而判断网络或系统中是否有违反安全策略的行为和被攻击的迹象。在文中，通过对网络连接数据的深入分析和研究，提出了基于神经网络集成的入侵检测方法，实验研究了不同的神经网络集成技术在入侵检测系统上的性能。

目录

文摘

英文文摘

第一章绪论

第二章集成学习理论及差异性度量

第三章回归型神经网络的集成

第四章神经网络分类器的集成

第五章复突触神经网络聚类及其聚类集成

第六章基于神经网络集成的入侵检测

第七章结束语

参考文献

致谢

攻读博士期间发表和录用的学术论文