面向Kullback-Leibler散度不确定集的正则化线性判别分析

摘要

线性判别分析是一种统计学习方法.针对线性判别分析的小样本奇异性问题和对污染样本敏感性问题,目前许多线性判别分析的改进算法已被提出.本文提出了基于Kullback-Leibler(KL)散度不确定集的判别分析方法.提出的方法不仅利用了Ls范数定义类间距离和Lr范数定义类内距离,而且对类内样本和各类中心的信息进行基于KL散度不确定集的概率建模.首先通过优先考虑不利区分的样本提出了一种正则化对抗判别分析模型并利用广义Dinkelbach算法求解此模型.这种算法的一个优点是在适当的条件下优化子问题不需要取得精确解.投影(次)梯度法被用来求解优化子问题.此外,也提出了正则化乐观判别分析并采用交替优化技术求解广义Dinkelbach算法的优化子问题.许多数据集上的实验表明了本文的模型优于现有的一些模型,特别是在污染的数据集上,正则化乐观判别分析由于优先考虑了类中心附近的样本点,从而表现出良好的性能.