基于t-混合模型和扩展保局投影的聚类与降维方法研究

摘要

模式识别作为一门多领域交叉的学科，在近几十年得到了蓬勃发展。它不仅得到了众多科研人员的热情研究，而且受到了各级政府和组织的重视。世界上许多国家和地区的国防、公共安全部门以及工业界都积极投资模式识别技术的研究。其发展将对科技进步、国防、公共安全、工业制造、人民生活等水平产生深远影响。 本文以统计理论和图谱方法为基础，重点研究模式识别中的聚类和降维这两方面的内容：(i)在聚类中，结合图像分割，对有限混合模型的参数估计方法进行了较为深入的研究；(ii)在降维中，结合图像识别，研究了保局投影及其二维和线性混合的扩展。本文研究的主要内容及创新如下： 研究多元t-密度的有限混合模型的参数估计方法，构建了多元t-混合模型的SMEM算法。t-密度尾部较重，抗噪性能好，是替代高斯密度的标准选择。EM算法是求解混合密度的参数估计的常用算法。而常规的EM算法经常收敛到局部最优而非全局最优。我们采用了把分量进行分裂合并，使参数跳出局部最优来寻找全局最优的思想，构建了多元t-混合模型的SMEM算法，并且提出了一个基于样本均值和方差的分裂合并准则。实验验证了我们的算法性能良好。 根据局部Kullback散度，构建了多元t-混合模型的贪婪EM算法的框架。从一个混合分量开始，逐个地分裂拟合最差的分量并用EM算法修正各分量的参数。相对于SMEM算法，贪婪EM算法具有它的优势：易于参数初始化、速度快且性能相当、产生的混合模型序列便于模型选择。实验验证了贪婪EM算法的速度快且性能和SMEM算法相当。 研究保局投影(LPP)及其低样本量时的解法，提出LPP/QR算法。LPP能够保持数据的局部信息且能发现数据流形的内在结构。但对小样本情形，矩阵存在奇异性，LPP无法直接使用。我们提出基于QR分解的保局投影(LPP/QR)算法。此算法对于出现样本不足情形时，在计算上尤其有效。我们推导了LPP/QR算法理论上的合理性，证明了LPP/QR算法和广义LPP之间的等价性，并且指出了前者更为有效。实验显示了LPP/QR算法在小样本情形下的优势。 直接利用图像矩阵进行运算，提出二维保局投影(2D-LPP)算法。在对图像数据进行降维时，LPP需要预先把图像拉直成向量，而本算法直接在图像的二维矩阵上运算。既避免了矩阵奇异性，又加快了计算速度。通过一些数学推导，我们得出了2D-LPP和另两个二维方法(2D-PCA与2D-LDA)之间的密切联系。实验显示了2D-LPP具有较高的识别能力，且比LPP的运算速度快。2D-LPP+PCA算法进一步降低特征的维数，试验显示了在降低的特征维数相同的情况下，2D-LPP+PCA算法识别率高。 同步对图像矩阵的行和列进行降维，提出双向二维保局投影(B2DLPP)算法。B2DLPP同步压缩图像的行和列，并保持原图像间的局部近邻关系。用于表示和识别图像所需要的系数个数得到大大减少。我们通过迭代计算的方法求出左右投影矩阵，并且证明了迭代算法的收敛性。实验显示了迭代收敛快。所取得的识别率与2D-LPP相当，但所需的系数个数减少很多。 提出保局投影混合模型(LPP混合)算法。复杂的数据中通常含有重要的非线性特征，我们提出能够保持局部信息的线性投影的混合模型—LPP混合—来提取这些特征。此方法首先运用PCA混合把训练集划分为几个子集，在每一个子集上使用LPP/QR算法进行降维。试验显示了LPP混合模型的优势。

目录

文摘

英文文摘

论文说明：表格及插图

独创性声明及学位论文版权使用授权书

第零章绪论

第一章有限混合模型及其参数EM算法

第二章稳健t-混合建模的EM算法

第三章模式识别中的降维方法及分析

第四章保局投影：一个新的线性降维方法

第五章线性降维方法的混合模型

第六章总结、讨论与下一步工作

参考文献

攻读博士学位期间发表的论文及参加的科研项目

致谢