基于结构化自然梯度优化的深度神经网络图像识别方法

摘要

本发明提出了基于结构化自然梯度优化的深度神经网络图像识别方法，属于基于机器学习和神经网络技术的图像识别领域。本方法提出了一种结构化自然梯度下降法SNGD，通过附加一种规范化层，以重新结构化图像识别的深度网络的方式，对全局Fisher矩阵的相关计算进行了分解，最终转换成使用传统GD进行优化而能达到NGD的效果。同时，提出了一种新的局部Fisher层及其实现方案。局部Fisher层通过引入的二阶信息，考虑了图像识别网络中的参数在不同位置的不同属性，对识别模型参数变换加入了约束，可使梯度更新能稳定快速地进行。采用本方法，图像识别网络训练有更快的收敛速度，所训模型也有更优的识别性能。