RS-BART:一种提升贝叶斯可加回归树预测性能的新方法

摘要

在有监督学习的任务中,任何方法的主要目标是对未来数据进行准确的预测.作为梯度boosting算法的贝叶斯版本,贝叶斯可加回归树(Bayesian additive regression trees,BART)模型在此方面具有巨大潜力.但是,BART得到的关注远远低于随机森林和梯度boosting算法.为扩展BART的应用范围,文中首先对BART模型作了较为详尽的综述.考虑到BART在高维情况下会出现过拟合,本文提出了RS-BART方法以提高其预测性能.RS-BART首先对所有预测变量根据其相对重要性排序,然后使用重要性度量训练一些低维或中等维度的BART模型,将其预测结果平均或投票来得到最终的预测结果.基于模拟和实际数据的试验结果表明,与一些最先进的方法(如随机森林、boosting和BART)相比,RS-BART具有更好或基本相当的预测性能.因此,RS-BART可以作为用于解决实际应用中高维且稀疏预测任务的一种有效工具.