基于距离分析的特征提取算法及其应用的研究

摘要

社会的快速发展使人们面临的数据规模变得越来越大，维数越来越多。如何采用有效的算法降低数据集的特征维度，避免维度灾难是摆在传统分类算法面前的一个挑战。此外，冗余特征和无关特征的存在也会对分类算法的性能造成影响。特征降维算法可以很好的应对这个问题。特征提取算法是特征降维算法中的一个大类，是机器学习和模式识别领域的重要研究内容之一，并且得到广泛应用。 本文首先基于距离分析提出了一种新的特征提取算法，该特征提取算法通过异类之间的排斥，增加异类之间的距离，同时排斥作用也会挤压同类，使同一类中的样本点更集中从而达到从原始数据集中提取出和类别标签相关性更大的信息并组合成新的特征，将原始数据集映射到低维空间中的目的。算法的有效性通过实验得到了充分的验证，和其他的特征提取算法在公共数据集上进行了对比，表现出良好的性能。 然后，在该特征提取算法的基础上，改变原目标函数，对最近邻算法（KNN）进行了优化，提出了MIME-KNN算法。KNN算法存在一个本质问题，它需要计算所有样本点之间的距离或者相似性，当数据量巨大或者数据的特征维数很高，计算所有样本点之间的相似性或者距离时就需要消耗大量的时间，而且KNN算法对无关特征非常敏感。基于此，本文提出采用特征提取和KNN相结合的优化算法MIME-KNN。通过这种方法，不仅可以降低KNN算法的时间消耗和存储训练数据的空间消耗，而且可以通过减少无关特征提高KNN算法的识别正确率。 最后，针对实际应用，基于本文提出的特征提取算法设计了应用的算法模型，并通过实验测试表明了算法的良好性能，验证了该特征提取算法在实际应用中的适用性。

目录

第一个书签之前