逐层可加的急速学习机

摘要

已有的急速学习机(Extreme Learning Machine)的学习精度受隐节点数目的影响很大.无论是已提出的单隐层急速学习机还是多隐层神经网络,都是先确定隐藏层数,再通过增加每一层的神经元个数来提高精度.但当训练集规模很大时,往往需要引入很多的隐节点,导致违逆矩阵计算复杂度大,从而不利于学习效率的提高.提出逐层可加的急速学习机MHL-ELM(Extreme Learning Machine with Incremental Hidden Layers),其思想是首先对当前隐藏层神经元(数目不大且不寻优,因而复杂度小)的权值进行随机赋值,用ELM思想求出逼近误差;若误差达不到要求,再增加一个隐含层.然后运用ELM的思想对当前隐含层优化.逐渐增加隐含层,直至满足误差精度为止.除此以外,MHL-ELM的算法复杂度为MΣl=1O(Nl3).实验使用10个UCI,keel真实数据集,通过与BP,OP-ELM等传统方法进行比较,表明MHL-ELM学习方法具有更好的泛化性,在学习精度和学习速度方面都有很大的提升.