深度神经网络代价函数选择与性能评测研究

摘要

深度神经网络在诸多领域取得重大突破,已经成为推动人工智能发展的主要力量,但其模型在训练过程中需要使用随机梯度下降算法在大量的训练数据上进行长时间的计算,其中,代价函数和激活函数的选择对模型的训练效率有很大的影响.利用概率论对模型训练中常用的二次代价函数和交叉熵函数进行理论推导,揭示了两者在模型训练过程中对参数寻优的影响,并给出了它们与不同激活函数的组合效果.经过TensorFlow平台验证,表明优选的代价函数和激活函数组合可以减少参数寻优的迭代次数从而加快模型的训练过程.