面向硬件的Adam算法二阶矩估计优化方法及系统

摘要

本发明公开了一种面向硬件的Adam算法二阶矩估计优化方法及系统，该方法包括：初始化；重复执行以下步骤，直至达到设定迭代步数或满足收敛条件：针对本步待优化参数对目标函数求导，获得本步梯度；根据二阶指数衰减因子、本步梯度的绝对值和上步二阶矩估计开平方值，获得二阶距开平方和公式的较大值和较小值；将其输入至二阶距开平方和公式，获得本步二阶矩估计开平方值，以计算本步更新步，二阶距开平方和公式的确定步骤如下：获得平方和开根号近似公式；获得用于表示二阶距开平方和公式的较大值和较小值；确定二阶距开平方和公式。本发明可以实现低资源占用、高吞吐率的面向硬件的Adam算法二阶矩估计优化，且可避免精度的损失。