基于层次贝叶斯自适应稀疏的高斯混合模型

摘要

高斯混合模型(Gaussian Mixture Model，GMM)因其较好的灵活性、模型简易型和理论成熟性而在统计学中广泛使用，且在诸多领域中，如图像处理、计算机视觉、数据挖掘和机器学习等，获得良好性能。然而，一个重要问题是:面对来源于高维空间，如数千维，数据时，GMM数百万维协方差矩阵估计将是一个极大挑战。究其原因在于，我们需要同等数量的样本进行参数估计，而在诸多实际情形中，样本数量远不足于待估计参数数量，从而产生“过拟合”现象。近年来，得益于LASSO变量选择和稀疏回归模型的提出及迅猛发展，一系列有效方法关注于如何对高维参数空间施加稀疏约束，从而挖掘出其内蕴的稀疏结构。具体到高斯图模型(Gaussian Graphical Model，GGM)，一类方法由分析协方差矩阵结构延展至精度矩阵（逆协方差矩阵）结构;另一类方法则是由优化一阶问题延伸至二阶问题。在众多方法中，最典型最重要的当属GLASSO(Graphical LASSO)。
　　在本论文中，针对GGM描述分布能力有限、GLASSO参数估计有偏，以及需要超参数调节等缺陷，我们从结构化学习角度提出一种十分有效的层次贝叶斯自适应稀疏高斯混合模型(Adaptive Sparsity GMM，ASGMM)。具体地，考虑到判别式L1范数等价于生成式Laplace分布—通过两层贝叶斯描述，我们在GMM中注入Jeffrey非信息先验获得两层贝叶斯自适应稀疏先验。该先验作用于精度矩阵，在挖掘其稀疏性同时大大减少样本数量。更重要地，该先验不需要任何超参数调节—施加的非信息先验“让数据自身说话”，且无偏估计的稀疏精度矩阵能自适应于数据。具体到算法细节，ASGMM方法由三个步骤组成:首先，我们通过嵌入基于Jeffery非信息化超先验的层次贝叶斯模型来自适应估计GMM稀疏精度矩阵;其次，我们对GMM精度矩阵进行Cholesky分解，用以保证其正定性;最后，我们针对ASGMM目标函数构造合适的Q函数，进而利用期望最大化框架求解出GMM精度矩阵元素值。
　　在合成数据集上，一系列实验结果表明，我们提出的ASGMM方法在拥有较小精度矩阵估计误差的同时，较好地挖掘出精度矩阵的稀疏度（在凸约束上两者不可能同时获取）。在真实数据集上，较之于GMM以及其它传统方法，ASGMM具有最优聚类性能。这表明高维精度矩阵确实存在稀疏结构，且挖掘其稀疏性有助于数据聚类。

目录

声明

摘要

1 绪论

1．1 研究意义

1．2 研究进展

1．3 结构安排

2 LASSO及其层次化模型

2．1 压缩采样与LASSO回归

2．1．1 前向选择和前向梯度算法

2．1．2 LARS算法

2．1．3 LASSO一般化模型

2．2 层次贝叶斯LASSO

2．2．1 Laplace先验层次化表示

2．2．2 LASSO及其一般化模型贝叶斯层次化

2．2．3 LASSO Gibbs采样

2．2．4 讨论

3 稀疏高斯图模型

3．1 高斯图LASSO

3．1．1 L1范数直接优化法

3．1．2 乘子交替方向法ADMM

3．2 贝叶斯高斯图LASSO

3．2．1 GLASSO先验

3．2．2 贝叶斯推断及块Gibbs采样

3．2．3 讨论

4 层次贝叶斯自适应稀疏高斯混合模型

4．1 高斯混合模型

4．2 自适应稀疏层次贝叶斯表示

4．3 GMM稀疏精度矩阵层次化表示

4．4 GMM精度矩阵自适应稀疏估计

4．5 ASGMM并入Cholesky分解

5 实验结果

5．1 合成数据聚类效果验证

5．2 误差估计和稀疏度获取

5．3 实际数据聚类结果测试

结论

参考文献

附录

攻读硕士学位期间发表学术论文情况

致谢