一种估计前馈神经网络中隐层神经元数目的新方法

摘要

前馈神经网络中隐层神经元的数目一般凭经验给出,这种方法往往造成隐单元数目的不足或过甚,从而导致网络存储容量不够或出现学习过拟现象.本研究提出了一种基于信息熵的估计三层前馈神经网络隐结点数目的方法,该方法首先利用训练集来训练具有足够隐单元数目的初始神经网络,然后计算训练集中能被训练过的神经网络正确识别的样本在隐层神经元的激活值,并对其进行排序,计算这些激活值的各种划分的信息增益,从而构造能将整个样本空间正确划分的决策树,最后遍历整棵树寻找重要的相关隐层神经元,并删除冗余无关的其它隐单元,从而估计神经网络中隐层神经元的较佳数目.文章最后以构造用于茶叶品质评定的具有较佳隐单元数目的神经网络为例,介绍本方法的使用.结果表明,本方法能有效估计前馈神经网络的隐单元数目.