基于信息熵的DBN网络结构优化

摘要

对目前深度信念网络(Deep Belief Network,DBN)难以同时提取合适的网络深度和隐藏层神经元数的问题,在利用传统重构误差计算并判断网络深度的基础上,从信息表达的角度出发,分析了信息熵、输入层和隐藏层三者之间的内在联系,然后根据信息熵与隐藏层之间的关系,提出了一种基于信息熵确定隐藏层神经元数的优化方法,使DBN网络模型的的结构趋于更优。在手写数字识别上的实验结果表明,该方法能自组织地计算网络深度和隐藏层的神经元数量。与依据重构误差法确定网络深度的测试数据相比,平均误差减小了1.47%,有效地优化了DBN网络结构,降低了网络的训练时间,提高了网络精度和识别准确率。