基于仿真样本生成的极速学习机泛化能力改进算法

摘要

极速学习机出色的训练速度和泛化能力受到了广泛的关注,已有的针对于提升极速学习机泛化性能的学习算法主要集中于优化其框架结构,增加了模型的复杂度并容易产生过拟合.提出一种基于仿真样本生成策略的极速学习机泛化能力改进学习算法(Extreme Learning Machine Generalization Improvement through Synthetic Instance Generation,SIGELM),该算法不需要修改极速学习机的框架结构(包括输入层权重、隐含层偏置、隐含层节点个数、隐含层节点激活函数类型等),而是利用与训练集中高不确定性训练样本近似同分布的仿真样本优化极速学习机的输出层权重.为了获得符合要求的仿真样本,SIGELM在高不确定性训练样本的邻域内选择能够增加极速学习机训练表现的仿真样本.实验结果证实该算法显著地改进了极速学习机的泛化能力,同时有效地控制了极速学习机的过拟合.