一种加权误差最小化的深度信念网络优化技术

摘要

传统的深度信念网络模型缺乏并行有效的算法来确定网络层数以及隐藏层神经元的数目,实验时大多依据经验来选取,这样做不仅使得模型训练困难,且范化能力差,影响实验结果.针对此问题,通过比较重构误差和验证集错误分类率的乘积(加权误差)大小来选取网络层数,网络层数确定后,再根据重构误差使用渐增法或二分法来选择合适的隐层神经元数目,以使整个模型达到最优.实验结果表明,用上述方法确定模型网络层数及隐藏层神经元数目,能有效提高模型分类或预测的精度.