最大相关熵准则下多层极端学习机的批量编码

摘要

针对多层极端学习机（hierarchical extreme learning machine,HELM）对大样本数据集学习时容易发生过拟合现象且内存需求巨大的问题,提出一种基于最大相关熵准则的批量编码式多层极端学习机.首先通过引入最大相关熵准则（maximum correntropy criterion,M CC）代替HELM决策层中的最小均方差准则（minimum mean square error,M M SE）,降低网络对异常点的敏感度,改善过拟合现象,构造出基于最大相关熵准则的多层极端学习机（MCC-HELM）.其次利用MCC-HELM对大样本数据分批次进行编码学习,从而降低学习过程中的内存需求与整体运行时间.最后利用在线极端学习机的思想,在最终决策前将所有批次的决策层依次进行融合,推导出基于最大相关熵准则的批量编码式多层极端学习机（BC-HELM）.实验结果表明,与HELM相比,本文提出的BC-HELM在保证学习精度的前提下,运行时间更短且内存需求显著降低,与其他多层ELM网络相比学习效率也有较大的提升.