基于极限学习机的集成建模方法研究

摘要

极限学习机(extreme learning machine，ELM)因其学习速度快、结构简单、泛化性能强等优点在医药、食品、石油化工等领域得到了广泛应用。然而由于输入权重和隐含层偏置的随机初始化，ELM回归模型的预测结果往往具有不稳定性。此外，在处理实际复杂样本中，往往会存在一些奇异样本，而ELM采用的最小二乘法方法计算输出权重，又会使得ELM对奇异样本具有敏感性。本论文为提高ELM的预测准确性、稳定性和稳健性，提出了一系列基于ELM的集成建模方法，具体内容如下:
　　1、为提高ELM的稳定性，提出了subagging ELM方法。首先通过无放回的形式从原始训练集中选取一定数目的样本作为训练子集，该训练子集的样本数均少于原始训练集样本总数，且同一训练子集中的样本都是不重复的。然后用这些训练子集建立多个ELM子模型来预测未知样本。最后通过简单平均将这些子模型的预测结果整合获得最终的预测结果。将该方法用于燃油中双环芳烃含量和血液中血红蛋白含量的光谱信号进行定量分析，结果表明，通过引入subagging集成策略，ELM模型的预测稳定性得到了显著提高。
　　2、为提高ELM的预测准确性和稳定性，提出了boosting ELM方法。首先根据概率取样方式从原始训练集中选取一定数目的样本作为训练子集，然后用这些训练子集建立一系列粗糙的且不准确的ELM子模型对未知样本进行预测，最终通过权重中位值集成规则来获得一个准确的预测值。将该方法用于燃油中总芳香烃含量和调和食用油中玉米油含量的近红外光谱信号进行定量分析，结果表明，ELM集成模型在预测准确性和稳定性上都要明显优于单一ELM模型。
　　3、为进一步提高boosting ELM的稳健性，提出了robust boosting ELM方法。Boosting ELM方法已提出并在ELM模型的预测稳定性和准确性提高方面得到了验证，但是该方法对奇异样本较为敏感，于是为了进一步提高boostingELM的稳健性，本论文通过引入稳健(robust)步骤对大样本误差进行了修正，并采用两组含奇异样本的数据集和一组无奇异样本的数据集对该方法的可行性进行了验证，结果表明，当数据集中存在奇异样本时，稳健步骤的加入大大地提高了boosting ELM的稳健性;当数据集中无奇异样本时，稳健步骤的加入对模型基本无影响。

目录

声明

摘要

第一章 绪论

1．1 引言

1．2 单一多元校正方法

1．2．1 多元线性回归(MLR)

1．2．2 主成分回归(PCR)

1．2．3 偏最小二乘(PLS)

1．2．4 人工神经网络(ANN)

1．2．5 支持向量回归(SVR)

1．2．6 极限学习机(ELM)

1．3 稳健多元校正方法

1．3．1 稳健主成分回归(robust PCR)

1．3．2 稳健偏最小二乘(robust PLS)

1．3．3 稳健极限学习机(robust ELM)

1．4 集成多元校正建模方法

1．4．1 Bagging集成建模方法

1．4．2 Subagging集成建模方法

1．4．3 Boosting集成建模方法

1．5 课题的研究思路及内容

2．1 引言

2．2 原理与算法

2．2．1 Subagging策略

2．2．2 Subagging极限学习机

2．3 实验

2．4 结果与讨论

2．4．1 子模型数的确定

2．4．2 训练子集样本数的确定

2．4．3 模型的稳定性

2．4．4 不同方法预测结果的比较

2．5 小结

3．1 引言

3．2 原理与算法

3．3 实验

3．4 结果与讨论

3．4．1 极限学习机参数的优化

3．4．2 迭代次数的确定

3．4．3 训练子集样本数的确定

3．4．4 不同方法预测结果的比较

3．5 小结

4．1 引言

4．2 原理与算法

4．3 实验

4．4 结果与讨论

4．4．1 子模型数的确定

4．4．2 训练子集样本数的确定

4．4．3 模型的稳健性

4．4．4 不同方法预测结果的比较

4．5 小结

第五章 结论

参考文献

学术论文及专利

致谢