改进的粒子群优化算法在特征选择中的应用研究

摘要

随着各行业的急速发展，海量数据呈爆发式增长，给数据处理工作带来了极大压力，这也就对数据处理方法提出了更严格的要求，从而需要更高效地降低数据维度，减小数据使用过程中的压力。近些年来，特征选择问题的解决也随之受到更广泛的关注。由于数据维度和数据量的增加，传统穷举法已经无法妥善解决特征选择(Feature Selection，FS)问题。因此，诸多学者针对特征选择方法作出不断的改进与提高，并取得了可观的成果。其中，群智能优化算法(Swarm intelligence optimization algorithm，SIOA)作为一种启发式方法，同时具备智能选择和随机搜索的优势，能够在计算资源和时间成本有限的前提下搜索到理想的解集。 粒子群优化算法（Particle Swarm Optimization，PSO），作为SIOA的一种典型代表，由于其收敛速度快、参数影响较小等优点，也极适用于解决当前数据爆炸背景下的FS问题。故而，对PSO的原理进行分析，并进一步提出改进具备相当重要的现实意义，使其适用于解决包括FS在内的各种实际问题。 针对PSO算法的性能进行分析，首先，PSO算法具备收敛快、参数依赖小的优点，因此，它能够在较小的代价之下，快速收敛到最优解区域。但另一方面，PSO算法仍存在明显缺陷。因此，本文基于种群中粒子在决策空间中的密度及解空间中的紧密程度，分别对种群的多样性进行改进和提升。同时，考虑到FS的具体性，提出了几种改进策略应用于FS问题领域。最后，通过在实际数据集上进行分类性能测试，验证改进后的算法性能。本文改进工作主要分为以下几个部分: (1)在二进制粒子群优化（Binary Particle Swarm Optimization，BPSO）算法的基础上，提出基于特征聚类信息进行种群的初始化策略，其次，提出了一种基于决策空间相似性的自适应局部搜索策略，其中，粒子的相似性指数由粒子在决策空间中的相似性确定。种群进化过程中，根据粒子在决策空间中的相似性大小，自适应地调整其局部搜索力度的大小，从而对种群中的粒子进行自适应的扰动操作，避免BPSO算法早熟。最后，选择3种代表性的优化算法分别在11个UCI数据集上进对比试验，实验结果表明，改进后的BPSO算法得到的特征选择结果在降低特征数目方面明显优于其他对比算法，且分类精度也有显著提高。 (2)通过分析BPSO算法框架，其单一的学习模型易造成粒子学习的局限性，继而提出一种基于粒子在解空间中密度的分层学习模式，算法迭代过程中，通过适应度值的紧密程度，对粒子进行分层，进而发挥各层粒子在解空间中具备的优势，选择更合理的学习模型，综合考虑算法的稳定性、搜索性能及收敛性能，跳出算法本身的局限性。最后，通过10个数据集上的对比实验，验证了学习模型的多样性有助于提高算法性能，得到更优质的特征子集。