一种基于Q-学习算法的增量分类模型

摘要

大数据时代的数据信息呈现持续性、爆炸性的增长,为机器学习算法带来了大量监督样本.然而,这对信息通常不是一次性获得的,且获得的数据标记是不准确的,这对传统的分类模型提出了挑战,而增量学习是一种重要的解决方法.但在增量学习中,样本的标记顺序将严重影响分类器的性能,特别是在分类器分类能力较弱的情况下,传统的增量学习方法容易过早地将噪声数据添加到训练集上,从而影响分类器的精度.为解决这个问题,文中提出一种基于Q-学习算法的增量分类模型.该模型利用强化学习中经典的Q-学习算法来合理选择样本增量序列,削弱噪声数据的负面影响,并实现在学习过程中自主标记样本.同时,为了解决当新增未标记样本集规模较大时,Q-学习中的状态空间与动作空间增大带来的计算复杂度和存储空间呈指数增长的问题,文中进一步给出了批量增量分类模型,有效降低了模型的计算复杂度并节约了存储空间.基于Q-学习算法的增量分类模型融合了增量学习及强化学习的思想,具有分类精度高、实时性强等优点.最后,在3个UCI数据集上进行实验来验证所提模型的有效性,结果表明该模型通过选择新增训练集合的确有助于提升分类器的精度,且由不同增量序列训练得到的分类器精度也有较大差异.基于Q-学习算法的增量分类模型可以利用已有的少量监督信息进行初始训练,通过自主标记样本构造增量训练集,并通过自监督的方式提高分类器的精度.因此,基于Q-学习算法的增量分类模型可被用于解决监督信息缺乏的问题,具有一定的应用价值.