XGBoost启发的双向特征选择算法

摘要

针对特征选择过程中特征评价指标单一性的问题,基于集成学习中的极端梯度提升算法,提出一种新的特征选择算法.该算法首先应用极端梯度提升算法中构建集成树模型的指标作为特征选择的特征重要性度量指标,然后利用一种新的双向搜索策略,权衡了多种特征重要性对结果的影响,并优化了评价过程的效率.通过11个不同维度的标准数据集进行测试,实验结果表明,该算法能增加特征子集的多样性,加快特征选择的速度,并在中维和低维数据集上均具有较高的计算效率,且能处理高维数据集.