基于XGBoost的房价预测优化

摘要

客观来说,房价受到诸多因素的制约,正因如此,房价预测仍然是数据分析中一个非常经典且具有挑战性的问题.本文针对房价数据冗余,在实际场景中很难确定重要特征,提出了一种创新的数据预处理方式,并通过双模型迭代拟合的方式进行数据预测.首先从数据意义、数据形式和数据关联性三个方面进行初始数据预处理,然后根据数据选择适合的模型进行训练.在传统机器学习中,Random Forest和XGBoost是两种常用的方法.RF模型通过其Bagging过程,能够准确地评判“冗余”特征,而XGB模型在提高预测效果的同时,也囿于其泛化能力下降,无法稳定地反映特征重要性.因此,本文利用RF模型处理冗余数据,并使用XGB模型对新数据集进行拟合提高预测效果.本文在Kaggle竞赛的数据集("House Prices-Advanced Regression Techniques")上进行了实验,测试结果显示,XGB回归模型最终的回归精度R^(2)为87%,而单独的RF模型或XGB模型的R^(2)分别为79.2%和78.7%.实验证明,该数据预测方法能够明显提高房价预测效果.同时,为充分体现模型拟合效果和预测能力,将“房价”改为具有“高”和“低”两类的离散变量,最终预测结果的精确度为93%,召回率为93%.