极限学习机算法及其在高炉冶炼过程建模中的应用研究

摘要

随着信息技术的快速发展，基于数据的机器学习算法在工业过程建模中扮演着日益重要的角色，特别是对于那些结构复杂、机理不明的非线性时变系统。极限学习机（ExtremeLeaningMachine，ELM）是最近几年才出现的一种薪的机器学习算法。与传统的核学习算法相比，ELM不仅具有良好的泛化性能，还表现出训练速度快、算法简单易实现以及人为干预参数少等优势，在复杂系统建模、大规模样本学习以及实时在线预测等问题中表现出巨大潜力。目前，ELM理论和应用方面的研究正吸引着国内外越来越多的关注。
　　本文围绕ELM算法的若干理论问题及其在高炉冶炼过程建模中的应用展开研究，得到的主要研究成果总结如下:
　　(1)从两个新的角度——VC维和在不同训练样本规模下的算法性能——对ELM和支持向量机(SVM)做了比较研究。严格证明ELM的VC维以概率1等于其隐含层神经元个数。这为根据统计学习理论对ELM泛化性能的界进行理论估计提供了依据。而在不同训练样本规模下的比较研究表明:在较大训练样本集上，两者具有相近的泛化性能;但在小样本集上，前者的泛化性能及其稳定性要低于后者。这些结论是对当前现有研究结果的有益补充。
　　(2)针对ELM的模型选择问题，完成了两方面的工作。一是针对回归和分类两种情形分别给出了ELM的快速留一交叉验证算法，并首先从理论上证明了其正确性，然后基于数值仿真验证了其有效性。二是提出了一种新的基于VC泛化界的ELM模型复杂性控制方法，仿真实验表明，在小样本情形下，该方法的性能明显优于其它4种经典统计模型选择方法。
　　(3)基于Johnson-Lindenstrauss定理和仿真实验，首先指出了造成ELM算法训练和测试性能算法不稳定以及小样本情形下建模性能差的两个原因:随机投影的距离保持性能和随机特征向量各分量的分布稳定性;然后，通过输入层权重正交化，适当控制隐含层结点个数，并结合结构风险最小化原则，提出一种距离保持ELM算法(DistancePreservingELM，DP-ELM)，有效地解决了原ELM算法存在的以上两个问题;最后，仿真实验验证了其有效性。
　　(4)为了增加ELM模型的透明性，研究了若干种不同类型的先验信息在ELM算法中的融合问题。首先，通过构造对称激活函数建立了对称ELM，并证明其具有以任意精度逼近任意有限样本的逼近能力，仿真实验表明，对称ELM需要更少的隐含层神经元个数和更短的训练时间，同时能够获得更高的泛化性能。其次，还给出了若干线性等式先验信息在ELM中的融合算法，具体包括:已知特定点函数值、特定点导数值以及各输出函数间依赖关系的先验信息，这些算法能有效地增加ELM模型透明性并改进其逼近性能。
　　(5)在ELM算法框架下，对高炉冶炼过程的数学模型进行了探讨，分别建立了高炉铁水硅含量的数值预测模型、趋势预测模型以及烧结矿化学成分预测模型。首先，建立了高炉铁水硅含量的ELM和DP-ELM数值预测模型，并与BP神经网络和SVM算法做比较，分析了所建立模型的优缺点，并指出DP-ELM和SVM性能相近，优于ELM和BP神经网络;然后，基于ELM和DP-ELM分类器输出的后验概率属性建立了高炉铁水硅含量的趋势预测模型，实现了高炉炉温的变化趋势预测以及相应后验概率的估计;最后，根据烧结过程自身的特点，在ELM框架下建立了融合领域知识的烧结矿化学成分预测模型。仿真实验表明，在ELM这种黑箱建模框架下融合先验知识对于提高模型性能具有重要的作用。
　　(6)针对ELM/DP-ELM算法对冗余变量敏感的问题，提出了基于留一误差梯度的DP-ELM特征伸缩算法(FS-DPELM)，并据此探讨了高炉冶炼过程新的建模方法。首先，严格推导出特征伸缩因子和拉格朗日乘子关于留一交叉验证误差的梯度计算公式;然后，结合BFGS拟牛顿法给出了FS-DPELM训练算法。仿真实验表明，基于FS-DPELM算法能够进一步提高高炉铁水硅含量以及烧结矿化学成分的预测精度。此外，FS-DPELM的特征伸缩因子为特征选择提供了一种新的数量依据，特征筛选后的高炉铁水硅含量FS-DPELM预测模型具有更好的预测准确性和稳定性。

目录

声明

致谢

摘要

表格

插图

1 绪论

1．1 机器学习

1．2 统计学习理论

1．3 极限学习机

1．4 极限学习机的研究现状

1．4．1 ELM算法的研究

1．4．2 ELM应用的研究

1．4．3 现有研究工作中的不足

1．5 本文的研究内容和体系结构

2 极限学习机与支持向量机的比较研究

2．1 引言

2．2 支持向量机

2．3 极限学习机与支持向量机的比较研究

2．3．1 回归情形下的等价性分析

2．3．2 关于VC维的比较

2．3．3 不同训练样本规模下泛化性能的比较

2．3．4 计算复杂性的实验比较

2．4 本章小结

3 极限学习机的模型选择方法研究

3．1 引言

3．2 极限学习机的快速留一交叉验证算法

3．2．1 回归情形

3．2．2 分类情形

3．2．3 数值仿真

3．3 基于VC泛化界的极限学习机模型选择方法

3．3．1 基于经典统计方法的模型选择标准

3．3．2 基于VC理论的极限学习机模型复杂性控制

3．3．3 数值仿真

3．4 结论

4 距离保持极限学习机算法

4．1 引言

4．2 ELM随机特征映射的距离保持能力分析

4．2．1 ELM随机特征映射的两阶段划分

4．2．2 基于Johnson-Lindenstrauss定理的分析

4．2．3 基于仿真实验的分析

4．3 非线性扭曲阶段的分析

4．4 距离保持随机投影学习算法

4．5 DP-ELM算法性能的实验测试

4．5．1 泛化性能分析

4．5．2 投影随机性对算法稳定性的影响

4．5．3 随机特征维数的确定

4．5．4 时间复杂度分析

4．6 DP-ELM算法的进一步讨论

4．7 本章小结

5 融合先验知识的极限学习机算法

5．1 引言

5．2 基于拓扑结构改进的对称极限学习机算法

5．2．1 关于对称性先验信息融合的相关研究现状

5．2．2 对称极限学习机算法

5．2．3 人工数据上的仿真实验

5．2．4 混沌时间序列上的仿真实验

5．3 融合线性等式先验信息的极限学习机算法

5．3．1 关于特定样本点的先验信息

5．3．2 关于导数的先验信息

5．3．3 输出函数间的先验信息

5．4 本章小结

6 ELM算法框架下的高炉冶炼过程数学模型研究

6．1 高炉冶炼过程简介

6．1．1 高炉冶炼过程的数学模型研究简述

6．1．2 烧结矿化学成分的数学模型研究简述

6．2 基于ELM的高炉铁水硅含量数值预测

6．2．1 实际生产数据的分析与处理

6．2．2 基于标准ELM的数值预测

6．2．3 基于DP-BLM的数值预测

6．2．4 算法比较

6．3 基于ELM概率输出算法的高炉铁水硅含量趋势预测

6．3．1 ELM分类器输出的后验概率属性

6．3．2 基于ELM概率输出算法的趋势建模

6．4 融合领域知识的烧结矿化学成分建模

6．4．1 烧结过程领域知识的挖掘

6．4．2 领域知识在ELM算法中的融合

6．4．3 实验结果和分析

6．5 本章小结

7 基于留一误差梯度的DP-ELM特征伸缩算法及其在高炉冶炼过程建模中的应用

7．1 引言

7．2 DP-ELM的留一交叉验证误差

7．3 基于留一误差梯度的特征伸缩DP-ELM算法

7．3．1 带特征伸缩因子的DP-ELM算法

7．3．2 FS-DPELM的留一误差梯度

7．4 基于FS-DPELM的高炉铁水硅含量预测模型

7．4．1 模型的训练

7．4．2 仿真结果与分析

7．5 基于FS-DPELM的烧结矿化学成分预测模型

7．5．1 模型的训练

7．5．2 仿真结果与分析

7．6 关于特征伸缩因子的迸一步讨论

7．6．1 变量重要性的分析

7．6．2 特征选择

7．7 本章小结

8 总结与展望

8．1 研究工作总结

8．2 研究工作展望

参考文献

作者攻读博士学位期间取得的科研成果