Boosting算法的改进及其在视觉目标检测中的应用研究

摘要

Boosting是一类提高弱学习算法精度的强学习算法,具有坚实的理论基础,凭借其高效、易用和良好的泛化性能被广泛应用于模式识别的各个领域,尤其在Viola和Jones提出“Haar矩形特征+AdaBoost+级联检测器”后,“底层特征+boosting”视觉目标检测框架成为迄今解决视觉目标检测的一条最有效的途径。
　　 本文研究boosting算法的改进及其在视觉目标检测中的应用,综述boosting算法的研究现状,提出三种解决不平衡数据分类问题的boosting改进算法,并对“底层特征斗+boosting”视觉目标检测框架进行改进和应用推广。
　　 不平衡数据分类问题强调少数类的分类精度,而boosting算法最小化数据的整体分类错误率上界,对少数类的分类效果较差。现有改进方案被本文归纳为数据采样法和代价敏感法两类:数据采样法每轮迭代使用过采样/欠采样降低类别不平衡程度,但算法计算量大,采样过程容易引入噪声或丢失有用数据信息;代价敏感法对少数类赋予较高的误分代价,使得分类器向其倾斜,但算法大多为启发式,并存在代价因子较大时算法性能显著下降的问题,缺少一个理论框架来解释其有效性。本文从代价敏感学习、采样、AUC优化三个角度研究针对不平衡数据分类问题的boosting改进算法,分别完成了:(1)提出代价敏感boosting的理论框架,揭示并解释现有算法存在的不稳定问题,并给出稳定的新算法。本文从统计学角度指出代价敏感boosting实质是通过优化某种代价敏感准则拟合非对称logistic回归模型,现有算法采用随迭代次数指数增长的代价因子,导致代价因子较大时算法性能显著下降。本文提出采用一致代价因子的代价敏感boosting算法CSBoost.DA和CSBoost.GA,在UCI不平衡数据集、人脸数据集、车牌数据集上的实验表明,对于不平衡数据分类问题,新算法优于原始boosting和现有代价敏感boosting:(2)分类边界附近的样本对分类器性能起着关键作用,受这一思想的启发,提出基于边界少数类样本过采样的边界采样boosting算法。与数据采样法不同,采样结果通过样本权重反映,并不产生或删除数据,从而避免噪声引入和有用信息丢失。新算法融合数据采样法和代价敏感法的优点,高效、适应性强,在UCI不平衡数据集上的实验表明,新算法优于原始boosting和代价敏感boosting;(3)AUC是不平衡数据分类问题中的一个常用评估指标,提出一种最优化AUC的boosting算法,从全新的角度研究基于boosting的不平衡数据分类问题。通过分析AUC与分类错误率的关系,指出平衡类别分布是将最大化AUC与最小化分类错误率等价的关键,基于此思想提出RcbalanccdBoost。新算法每轮迭代前先平衡类别分布,可证明其学习目标为最大化AUC下界。在UCI不平衡数据集上的实验表明,在AUC测度下新算法优于原始boosting算法。
　　 “底层特征+boosting”框架已成为视觉目标检测领域的一个标准方法,一直以来,研究者们从特征提取和学习算法两方面进行改进。本文指出框架仍存在一个根本性的问题——特征失配,亟待解决。由于特征大多从图像的固定位置提取,受到目标姿态多样性、局部变形等因素的影响,不同目标实例中同一特征所在位置可能不同,从而影响最终检测器的性能。针对特征失配问题,本文提出基于多配置特征包的boosting算法。用多配置特征包模拟不同的特征失配情况,由boosting算法选择出最优特征包和相应配置,构成目标分类器。弱分类器学习时,引入多示例学习的思想,将特征包分类器学习转化为单个特征分类器的学习。在人脸数据集上的实验表明,基于多配置特征包的boosting算法能获得更快的收敛速度和更好的检测性能。此外,本文将“底层特征+boosting”视觉目标检测框架应用于解决具体的计算机视觉问题,主要包括:(1)图像CAPTCHA破解。图像CAPTCHA ARTiFACIAL基于人脸和面部特征识别,由于引入背景噪声、光照不均和人脸形变,现有算法破解率不超过0.0006％。
　　 本文根据ARTiFACIAL产生机制,设计基于梯度的人脸检测器,并引入面部器官检测器提高人脸配准精度,将ARTiFACIAL的破解成功率提升为18.0%;(2)图像方向检测。图像方向检测可看作区分竖直/非竖直图像的二分类问题。将“底层特征+boosting”框架与bagging相结合,提出一种可扩展的图像方向检测器。与现有算法相比,新算法具有可扩展性,在确保检测精度的同时极大地降低了训练和检测的复杂度。
　　 本文最后给出可进一步展开的研究工作,指明后续的研究方向。