源于RBM与ELM-AE的深度神经网络算法研究

摘要

受限玻尔兹曼机是一种产生式网络，不仅能学习到数据的特征，并且能利用特征重构出数据。极速学习机-自动编码器也是一种对数据编码的网络，但其无需迭代。这两种模型都可以用于表征学习，从而被用来创建深度模型。以极速学习机-自动编码器与受限玻尔兹曼机为基础的深度神经网络算法研究已经取得了许多成果，但是还有很多问题值得进一步深入研究。本文主要从噪声数据分类、图像去噪、多视图数据分类、半监督学习以及多标签学习等方面的应用展开研究，具体研究内容如下： 1.对基于干净数据与噪声数据的Point-wise Gated深度网络进行研究。传统的深度网络在处理带背景的数据时容易受到噪声的干扰，假设带背景的数据中与分类无关的部分影响深度网络的性能。因此，利用Point-wise Gated受限玻尔兹曼机使用特征选择策略提升深度网络在噪声图像的分类能力，当数据中出现干净数据与噪声数据，使用干净数据对Point-wise Gated受限玻尔兹曼机学习得到的与分类有关的数据二次去噪，接着堆叠深度模型对去噪后的数据分类。 2.对鲁棒尖峰和平板深度玻尔兹曼机算法在图像去噪上的应用进行研究。传统的鲁棒高斯受限玻尔兹曼机只使用浅层的高斯受限玻尔兹曼机对图像建模。传统的深度玻尔兹曼机能很好的建模图像，但其只能处理二值数据，在其基础上设计了一种适用于实值数据的深度玻尔兹曼机网络。接着用该深度网络代替高斯受限玻尔兹曼机对鲁棒高斯受限玻尔兹曼机中干净图像进行建模，并用均匀场方法对模型学习到的去噪数据加工与处理，最终得到更为清晰的去噪图像。 3.对面向多视图数据的受限玻尔兹曼机算法进行研究。受限玻尔兹曼机只适合处理单视图数据，在其基础上保证不同视图间隐藏层特征一致性，提出后验一致性受限玻尔兹曼机。但是，后验一致性受限玻尔兹曼机忽略了每个视图的独有特性，接着设计了后验一致性和领域适应受限玻尔兹曼机，其隐藏层包含不同视图间的一致性信息和每个视图的独有特性，最终提升多视图数据的分类性能。 4.对多层极速学习机网络在半监督学习与多标签学习上的应用进行研究。多层极速学习机可以用无监督学习样本的特征，而传统的半监督学习或者多标签学习大多是浅层算法。可以将其与多层极速学习机的表征学习相结合提升算法的性能。结合半监督极速学习机设计了面向半监督学习的多层极速学习机网络，接着结合多标签径向基网络设计了面向多标签学习的多层极速学习机网络。

目录

声明

致谢

1 绪论

1.1 背景与意义(Background and Significance)

1.2 国内外研究现状(Research Status at Home and Abroad)

1.3 本文的主要研究内容和组织结构(Main Contents and Organization)

2基础理论

2.1 RBM基础理论(Basic Theory of RBM)

2.2 RBM相关变种算法（Related RBM Vartants）

2.3 以RBM为基础的深度网络（Deep Networks Based on RBM）

2.4 ELM基础理论(Basic Theory of ELM)

2.5 ELM-AE 与 ML-ELM 网络模型(ELM-AE and ML-ELM Network Models)

2.6 小结(Summary)

3基于干净数据与噪声数据的Point-wise Gated深度网络研究

3.1 引言(Introduction)

3.2 Point-wise Gated 深度网络研究(Research on Point-wise Gated Deep Networks)

3.3 基于噪声数据与干净数据的Point-wise Gated深度置信网络模型(Research on Point-wise Gated Deep Networks Based on Noisy Data and Clean Data)

3.4 小结(Summary)

4 鲁棒尖峰和平板深度玻尔兹曼机网络在图像修复上应用研究

4.1引言(Introduction)

4.2 鲁棒尖峰和平板深度玻尔兹曼机网络模型(Robust Spike-and-Slab Deep Boltzmann Machines)

4.3 实验分析(Experimental Results and Analysis)

4.4小结(Summary)

5面向多视图数据的受限玻尔兹曼机网络研究

5.1 引言(Introduction)

5.2 后验一致性受限玻尔兹曼机网络(Restricted Boltzmann Machines with Posterior Consistency)

5.3 后验一致性和领域适应受限玻尔兹曼机网络(RBMs with Posterior Consistency and Domain Adaptive)

5.4 实验分析(Experimental Analysis)

5.5 小结(Summary)

6 多层极速学习机网络在半监督学习与多标签学习上的应用研究

6.1 引言(Introduction)

6.2 多层极速学习机网络在半监督学习上的应用(Multi-layer Extreme Learning Machines for Semi-supervised Learning)

6.3 多层极速学习机网络在多标签学习上的应用 (Multi-layer Extreme Learning Machines for Multi-label Learning)

6.4 小结(Summary)

7 总结与展望

7.1 总结(Conclusions)

7.2 展望(Prospects)

参考文献

作者简历

学位论文数据集