改进的样本选择对分类算法影响的研究

摘要

机器学习是关于机器理解行为以及机器具有学习能力的机制，能够建立自主学习功能的计算机程序的学科。近年来机器学习理论在诸多应用领域得到成功的应用和发展，已成为计算机科学的基础及热点之一。机器学习已经有了十分广泛的应用如搜索引擎，市场营销，网络流量监测，证券市场，语音识别等。凡是在有经验存在的地方，机器学习方法都在其中扮演很重要的角色。　　监督学习是指利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。监督学习主要需要注意的问题有偏置方差权衡，功能的复杂性和数量的训练数据，输入空间的维数，噪声中的输出值等。本论文中主要验证的监督学习包括神经网络、决策树算法等。　　特征选择和样本选择主要用于解决学习过程中的样本维数过高或者样本数量过大的问题。特征选择能剔除不需要或冗余的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目。而样本选择如果能够在减少学习样本的基础上对原有的指标并没有影响，则必然十分有益的，除此之外，样本选择如果能够推荐给分类器更好的样本，必然也能够得到十分优秀的分类器。　　本文首先介绍样本选择的相关知识，引出样本选择的主要工作流程，对其不同的方法进行区别分类，对于不同的方法和类别进行分析，引出本论文提出的样本选择方法的思想。因为样本选择架构在分类器之前，所以本文首先大体介绍主流的分类模型，之后再详细推论本文需要实验的两个主要模型，分别是神经网络和决策树，并探讨样本选择方法应该用什么样的方式与分类器相结合。本文使用启发式算法的思想对样本选择方法进行设计，先论证了这一思想的正确性，并最终选用模拟退火的方式作为启发式算法的核心。　　提出一种基于启发式算法改进的样本选择方法，用来改进神经网络和决策树算法，在对改进算法进行大量的实验之后，对实验进行对比，总结出算法的优劣势何在，最终探讨改进算法的展望以及实际应用。

目录

第一个书签之前