一种用于执行Hessian-Free训练算法的装置和方法

摘要

一种用于执行Hessian‑Free训练算法的装置和方法，该装置包括直接内存访问单元、控制器单元、数据处理模块和数据缓存模块。使用该装置可以实现Hessian‑Free训练算法，完成对各种神经网络的训练，如自动编码器、卷积神经网络RNN等等。每次迭代时，对误差函数(目标函数)做二阶泰勒展开，并且添加阻尼项，作为目标函数的估计，之后根据当前的梯度、高斯‑牛顿矩阵、阻尼函数和阻尼系数，用有预条件的共轭梯度法求得更新向量，更新待更新参数。持续迭代直至待更新参数向量收敛。