结合梯度算法和演化算法对神经网络模型进行优化的方法

摘要

本发明提供了一种结合梯度算法和演化算法对神经网络模型进行优化的方法，包括步骤1：使用梯度算法对神经网络模型进行初步训练；步骤2：将使用梯度算法优化神经网络模型所得最后N个迭代的优化解取出，将最后N个迭代的优化解作为演化算法的初始搜索范围；步骤3：使用演化算法对神经网络模型进行参数更新，获得更优解。本发明的有益效果是:本发明可以融合梯度算法与演化算法的优点，提高模型准确率，较大程度地保证模型收敛到全局最优解，确保模型稳定性，同时在不同数据集及神经网络模型中可广泛应用。

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种结合梯度算法和演化算法对神经网络模型进行优化的方法。

背景技术

Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam中一阶动量和二阶动量的添加，使得梯度平滑、稳定，可为不同参数产生自适应的学习速率。它有计算高效、所需内存小的优点，适合解决含大规模数据和参数的优化问题、包含高噪声或稀疏梯度的问题，且超参数可直观解释，调参量小。

演化算法是一种模拟自然界生物种群(population-based)进化的元启发式算法，可以按照遗传信息表达方式、实现细节、及特定问题的特定处理分类为遗传算法、遗传编程、差分演化、神经演化等。演化算法一般包括基因编码，种群初始化，交叉变异算子，经营保留机制等基本操作，具有高鲁棒性和广泛适用性。

现有技术的缺陷：

梯度算法不能保证模型收敛到全局最优解，现在所使用的Adam算法集合了一阶动量和二阶动量，算法后期学习率较低，导致模型容易对前期出现特征过拟合，无法充分学习到后期特征，错过全局最优解。上述问题导致梯度算法在精度提高上遇到瓶颈。

演化算法不能及时利用网络的反馈信息,算法搜索速度较慢，获得较精确的解需花费较多训练时间；对初始种群的选择有一定的依赖性；调整参数较多,如交叉率和变异率，且参数对生成解具有极大决定作用，传统方法使依靠经验对参数进行选择，效率低下。因此，直接在神经网络上使用演化算法进行优化效果较差。

发明内容

本发明提供了一种结合梯度算法和演化算法对神经网络模型进行优化的方法，包括如下步骤：

步骤1：使用梯度算法对神经网络模型进行初步训练；

步骤2：将使用梯度算法优化神经网络模型所得最后N个迭代的优化解取出，将最后N个迭代的优化解作为演化算法的初始搜索范围；

步骤3：使用演化算法对神经网络模型进行参数更新，获得更优解。

作为本发明的进一步改进，在所述步骤1中，在梯度算法中添加正则项。

作为本发明的进一步改进，所述梯度算法采用Adam算法，所述演化算法采用DE算法。

作为本发明的进一步改进，在所述步骤1中，在Adam算法中添加L2范数正则项，L2范数公式如下：

作为本发明的进一步改进，所述步骤1包括：首先初始化模型参数θ，一阶和二阶矩变量s＝0、r＝0，时间步t＝0；迭代执行以下操作，直至达到停止准则，停止准则为达到预先设置的迭代次数或达到收敛条件；

以下操作包括：

在训练集中选择m个小批量样本{x

计算梯度：

g为梯度；m为样本数量；L表示损失函数；f(x

更新有偏一阶矩估计：s←ρ

更新有偏二阶矩估计：r←ρ

修正一阶矩偏差:

修正二阶矩偏差:

更新参数变化量：

更新参数：θ←θ+Δθ，θ表示参数，Δθ表示参数变化量。

本发明还公开了一种结合梯度算法和演化算法对神经网络模型进行优化的系统，包括：

第一优化模块：用于使用梯度算法对神经网络模型进行初步训练；

转换模块：用于将使用梯度算法优化神经网络模型所得最后N个迭代的优化解取出，将最后N个迭代的优化解作为演化算法的初始搜索范围；

第二优化模块：用于使用演化算法对神经网络模型进行参数更新，获得更优解。

作为本发明的进一步改进，在所述第一优化模块中，在梯度算法中添加正则项。

作为本发明的进一步改进，所述梯度算法采用Adam算法，所述演化算法采用DE算法，在所述第一优化模块中，在Adam算法中添加L2范数正则项，L2范数公式如下：

作为本发明的进一步改进，在所述第一优化模块中，首先初始化模型参数θ，一阶和二阶矩变量s＝0、r＝0，时间步t＝0；迭代执行以下操作，直至达到停止准则，停止准则为达到预先设置的迭代次数或达到收敛条件；以下操作包括：

在训练集中选择m个小批量样本{x

计算梯度：

g为梯度；m为样本数量；L表示损失函数；f(x

更新有偏一阶矩估计：s←ρ

更新有偏二阶矩估计：r←ρ

修正一阶矩偏差:

修正二阶矩偏差:

更新参数变化量：

更新参数：θ←θ+Δθ，θ表示参数，Δθ表示参数变化量。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述方法的步骤。

本发明的有益效果是：本发明可以融合梯度算法与演化算法的优点，提高模型准确率，较大程度地保证模型收敛到全局最优解，确保模型稳定性，同时在不同数据集及神经网络模型中可广泛应用。

附图说明

图1是本发明的方法流程图。

具体实施方式

神经网络是一种基于模拟生物神经网络结构进行信息处理的技术，具有强大的信息处理与分析能力与丰富的可拓展性，在系统辨识、模式识别、智能控制等领域有广泛应用与发展前景。它的主要结构包含输入层、中间层、输出层三个部分，通过权重连接不同层级，进行数据特征信息的传递，可通过学习与训练获得神经元间的权重。

通常，研究者会尝试改变网络层数与神经元数目、调整激活函数、添加正则项等方式以改进神经网络。本发明通过调整权重训练方法使神经网络获得性能提升。本发明结合梯度算法与演化算法，同时对损失函数添加正则项来优化权重，相比于单用梯度算法和单用演化算法，均有更好的优化效果与更高的精度。其中，梯度算法中选择Adam算法，演化算法中选择差分进化(DE)算法进行具体实现。本发明中梯度算法也可使用SGD等其他基于梯度下降优化的算法替换，演化算法同理。

如图1所示，本发明公开了一种结合梯度算法和演化算法对神经网络模型进行优化的方法，包括如下步骤：

步骤1：使用梯度算法对神经网络模型进行初步训练，该梯度算法采用Adam算法；

正则化方法通过对模型中的参数进行限制，在不过度增加偏差的情况下显著的减少方差，由此增强模型泛化能力，减少测试误差，即是在经验风险最小化的基础上，采用尽可能简单的模型，提高泛化预测精度，添加正则化项就是结构风险最小化的一种实现。本模型中我们在Adam算法中添加L2范数正则项，相比于L1范数，解更为平滑。L2范数公式如下：

Adam算法优化集合了一阶矩变量和二阶矩变量，使用两个超参数进行控制，用以有效掌控学习率步长和梯度方向，能防止鞍点静止于梯度震荡。所述步骤1包括：首先初始化模型参数θ，一阶和二阶矩变量s＝0、r＝0，时间步t＝0；迭代执行以下操作，直至达到停止准则。

以下操作包括：

在训练集中选择m个小批量样本{x

计算梯度：

更新有偏一阶矩估计：s←ρ

更新有偏二阶矩估计：r←ρ

修正一阶矩偏差:

修正二阶矩偏差:

更新参数变化量：

更新参数：θ←θ+Δθ。

步骤2：将使用梯度算法优化神经网络模型所得最后N个迭代的优化解取出，将最后N个迭代的优化解(近似最优解)作为演化算法的初始搜索范围，演化算法采用DE算法。

步骤3：使用演化算法对神经网络模型进行参数更新，获得更优解。

差分进化(DE)算法是一种基于群体差异的启发式随机搜索算法，也是一种多目标(连续变量)优化算法，用于求解多维空间中整体最优解，具有原理简单、受控参数少、鲁棒性强等优点。

DE算法随机生成初始种群，以种群中每个个体的适应度值为选择标准，进行变异、交叉和选择三个步骤。变异向量由父代差分向量生成，并与父代个体向量交叉生成新个体向量，直接与其父代个体进行选择。

梯度算法不能保证模型收敛到全局最优解，但计算高效、参数量小。演化算法具有良好的全局搜索能力，不会陷入局部最优解的快速下降陷阱，但局部搜索能力较差，导致单纯的演化算法比较费时，在进化后期搜索效率较低。本发明可以融合梯度算法与演化算法的优点，提高模型准确率，较大程度地保证模型收敛到全局最优解，确保模型稳定性，同时在不同数据集及神经网络模型中可广泛应用。

本发明结合梯度算法与演化算法对神经网络模型进行优化，同时在梯度算法中对损失函数添加正则项，再进行参数更新，相比于单用梯度算法和单用演化算法，均有更好的优化效果与更高的精度。

本发明首次尝试将梯度算法优化与演化算法优化相结合。该优化方案适用于多种神经网络模型，在训练结果精度及预测表现上均有所提升，证明了梯度算法与演化算法组合使用的高效性，具有多种应用场景与广泛应用性。

在Adam算法中添加L2正则项，防止模型过拟合，确保模型在尽可能高精度的同时尽量简单。针对Adam算法对模型的优化效果精度瓶颈，使用DE算法进行提升，确保收敛到全局最优解。针对DE算法对初始解选择依赖性问题，使用Adam算法对模型初步训练，截取最后N个解作为DE算法初始搜索范围，大大提升DE算法收敛速度与优化效率。

本发明经优化后的神经网络模型在具体技术领域中应用举例，本发明经优化后的神经网络模型可应用于生物医疗、智慧交通、金融投资等多个领域。生物医疗方面，使用神经网络对心电信号、脑电信号进行分析，有效提前了癫痫、心脏病等重症疾病的发现时间。在智慧交通方面，通过将图像、视频输入神经网络，实现了人脸识别、嫌犯定位等多项任务。在金融领域，通过将历史数据输入神经网络，可以合理地对未来数据进行预测，对金融量化投资起到指导性作用。综上，将数据(数据包括心电信号、脑电信号、图像、视频、历史数据)输入神经网络，通过神经网络对数据进行处理，最后将处理后的数据进入输出。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。