基于判别分析和二阶网络的新型HME建模

摘要

建模是分析问题和解决问题的一种重要的手段。对于复杂且具有严重非线性的系统，应用一般的单模块的神经元网络建立的系统模型往往不能满足要求。因此，本文在动态委员会机器的框架基础上，结合判别分析和单模块二阶神经元网络的优势，建立了一种具有训练速度快、泛化能力强、对复杂函数逼近能力强等优点的组合网络--新型分层混合专家网络。
　　 分层混合专家各个模块的性能直接影响网络的整体性能。在新型分层混合专家模型中，专家网络采用二阶网络模型；以判别分析为基础，借鉴模块化设计理念，改进了门网结构。这种门网抛弃了传统网状结构，结构清晰，模块分工明确，训练参数少。专家和门网模块的改进与设计，从根本上降低了分层混合专家网络的训练难度，提高了网络的训练速度和泛化能力。以典型的包含严重非线性的化工过程--pH值混合槽为仿真对象，对新型分层混合网络模型进行实验。结果表明：利用这种新的网络模型，对于静态系统过程和动态系统过程，都有很快的学习速度和较高的精度逼近系统模型。
　　 针对这种新型物理模型结构的分层混合专家网络应用和实现，在算法方面，提出了划分输入空间的交叉分类模式，并采用分步训练的方式对整个网络训练。首次提出负数概率概念，并建立了合理的门网数学模型，以降低模型误差。在BP算法中加入了自适应方法，并给出了相应的准则；对初始权值的设计进行了初步探讨，给出了初始权值选择方法。以pH值混合槽模型为仿真对象进行实验，实验结果表明，算法各方面的改进和设计，有效的降低了网络的训练难度和模型误差，提高了模型的逼近精度，说明了方法改进的有效性。
　　 基于新方法的新型分层混合专家模型网络融合了各种方法的优点，具有学习速度快、逼近精度较高、泛化能力好、网络的复杂度低和令人满意的动态组合网络的整体性能，实验证明，它适合解决环境信息复杂、背景知识不清楚和推理规则不明确的建模问题，为解决现实中困难的建模问题提供了一种行之有效的方法。

目录

文摘

英文文摘

学位论文数据集

第一章 绪论

1.1 分层混合专家建模的研究及意义

1.2 分层混合专家网络的发展与现状

1.3 委员会机器模型介绍

1.3.1 静态委员会机器模型

1.3.2 动态委员会机器模型

1.4 单模块神经元网络的发展和现状

1.5 论文内容及章节安排

第二章 分层混合专家和统计学基础理论

2.1 神经网络理论基础

2.1.1 神经网络介绍

2.1.2 神经网络构成的基本原理

2.1.3 神经网络的优点

2.1.4 神经网络的应用领域

2.2 分层混合专家理论基础

2.2.1 分层混合专家介绍

2.2.2 分层混合专家构成的基本原理

2.3 聚类分析理论

2.3.1 聚类分析

2.3.2 聚类分析的类别和方法

2.4 判别分析理论

2.4.1 判别分析

2.4.2 距离判别法

2.4.3 判别准则

第三章 二阶网络应用研究与算法改进

3.1 多层二阶神经网络

3.1.1 二阶网络模型

3.1.2 改进学习算法及其在二阶网络中的应用

3.2 权值初始化

3.2.1 权值初始化分析

3.2.2 初始权值选择方法

3.3 仿真实验

3.3.1 实验背景

3.3.2 实验结果与分析

3.4 小结

第四章 基于二阶网络和判别分析建立新型HME物理模型

4.1 分而治之思想与HME网络

4.1.1 分而治之

4.1.2 HME神经元网络

4.2 模块化门网结构设计

4.2.1 模块化设计的优卢

4.2.2 判别分析与欧氏距离

4.2.3 门网结构设计

4.3 新型分层混合专家模型建立

4.3.1 模块分析

4.3.2 NHME模型建立和算法推导

4.4 实验仿真

4.4.1 NHME和普通HME模型性能比较

4.4.2 HME和二阶网络性能比较

4.4.3 NHME仿真实验

4.5 小结

第五章新型分层混合专家算法与程序设计

5.1分步训练

5.2 交叉划分输入空间

5.3 数据处理

5.4 激活函数选择

5.5 负数概率

5.5.1 负数概率和负数概率模型

5.5.2 负数概率的物理意义

5.6 程序设计

5.6.1 NHME主程序设计

5.6.2 NHME二阶网络专家程序设计

5.6.3 NHME门网程序设计

5.7 实验仿真

5.7.1 负数概率和改进方法对NHME模型的影响

5.7.2 NHME模型综合仿真实验

5.8 小结

第六章 结论与展望

6.1 工作总结

6.1.1 课题改进和创新点简述

6.1.2 工作内容总结

6.2 研究展望

参考文献

致谢

研究成果及发表的学术论文

作者及导师简介

北京化工大学 硕士研究生学位论文答辩委员会决议书