高斯均值场变分推理的算法研究

摘要

图模型是人工智能学科表示、处理不确定知识的重要方法。图模型精确推理的计算复杂性是指数的，促使发展出变分方法、采样方法、环传播方法、定性方法等图模型近似推理方法。由于图模型变分近似推理方法具有坚实的理论基础、较快的收敛速度、简单的计算复杂性和严格的上下界等特点，故而受到概率推理研究界的重视。现有变分推理研究工作主要从统计学观点研究变分推理的方法、理论和性质，较少从计算角度研究变分推理的基本算法及其基本性质。针对以上问题，本文在高斯马尔可夫随机场基本模型上，研究了变分推理的基本算法及其基本性质，具体工作包括： 1.给出了图模型的八元组定义。完整地表示了随机变量的条件独立性和联合概率分布，统一地定义了有向图模型和无向图模型。 2.设计了变分推理基本算法。在高斯马尔可夫随机场基本模型上，设计了精确变分推理算法和均值场变分推理算法。 3.研究了算法的基本性质。证明了算法的收敛性，讨论了算法的精确性，分析了算法的复杂性。 4.开展了实验研究。设计了数值模拟实验，验证了理论分析结果。

目录

文摘

英文文摘

论文说明：主要符号对照表、图表目录

声明

第一章绪论

1.1工作背景

1.2本文工作

第二章图模型

2.1形式定义

2.2精确推理

2.2.1消元算法

2.2.2和积算法

2.2.3联合树算法

2.3变分推理

2.3.1 变分原理

2.3.2分配函数方法

2.3.3配分函数方法

2.4指数族

2.4.1形式定义

2.4.2变分推理

2.4.3方法例

2.5研究现状

第三章算法研究

3.1高斯马尔可夫随机场模型

3.2均值场变分推理

3.3算法设计

3.3.1 GEVI算法

3.3.2 GMFV算法

3.4性质分析

3.4.1 收敛性

3.4.2精确性

3.4.3复杂性

第四章实验

第五章结语

参考文献

致谢