基于非均衡数据对神经网络激励函数的改进研究

摘要

随着计算机技术的发展和普及应用，在极大丰富信息资源的同时，数据量爆炸的问题也伴随而来。原先的机器学习算法已不能满足对海量数据提取信息的需求。因此在大数据的背景下，设计出可以对大量数据进行高效运算的新算法成为当务之急。本文以模仿生物脑细胞工作原理的人工神经网络算法作为切入点，并考虑样本非对称性的影响，针对激励函数提出算法的改进方案。 首先在实际应用中，一些案例正负类样本的非对称性问题对算法的学习造成了极大的迷惑性。因此在建立模型前的数据预处理阶段，先平衡好正负类样本的差异，会使得后面算法表现更优。本文分别研究了欠采样（Tomek Links等）、过采样（SMOTE等）和综合采样（SMOTE+ENN）方法的原理及优缺点，最后选择表现最好的SMOTE+ENN综合采样法处理实证样本。 激励函数作为算法非线性的强力表达，其表现能力的好坏直接影响到算法结果的准确性。在BP算法中，激励函数导数直接影响模型权重最后是否可以收敛以及收敛的速度。对比Sigmoid等激励函数，最后选择表现最好的swish激励函数并对其进行改进。分别对改变函数形状的各个参数进行分析，推导它们在神经网络模型拟合中的过程，并给出改进意见。 最后通过对台湾信用卡用户违约情况的数据集对上述改进进行验证，对比结果发现，通过对激励函数的改进可以改变算法对正负类样本的理解，达到提高算法效率以及精确度的目的。

目录

第一个书签之前