三种机器学习算法在回归应用中的对比分析

摘要

梯度提升方法(Gradient Boosting Machine,GBM)是一种经事实证明并被广泛应用的集成学习方法。许多成功的机器学习解决方案都是使用XGBoost及其衍生算法实现的。本文针对XGBoost、LightGBM、CatBoost这3种梯度方法及原理进行简要介绍,通过实验对比了3种方法在回归应用中的效率,并将3种梯度方法应用于由Kaggle的NYC Taxi fares数据集构建的车费回归预测模型中。实验结果表明,LightGBM在使用不同数量特征和样本的情况下,模型训练速度和最终预测精度均优于XGBoost和CatBoost。