基于动态约束自适应方法抵御高维鞍点攻击

摘要

随着大数据时代的到来,分布式机器学习已广泛应用于处理海量数据.其中最常用的是分布式随机梯度下降算法,但其易受到不同类型的Byzantine攻击.为了解决在分布式高维Byzantine环境下,能最大弹性限度地抵御蓄意攻击问题并有效求解优化问题.基于梯度更新规则,首先提出了一种新的Byzantine攻击方式——鞍点攻击.并分析了当目标函数陷入鞍点时,相比较于自适应和非自适应方法,所提出的动态约束自适应方法能够更快逃离鞍点,进而在数据集分类问题上做了比对实验.其次,提出了一种过滤Byzantine个体的聚合规则Saddle(·),理论分析表明它是高维Byzantine弹性.因此,在分布式高维Byzantine环境下,采用动态约束的自适应优化方法结合聚合规则Saddle(·)能够有效抵御鞍点攻击.最后,从数据集分类实验结果的错误率和误差方面比较并分析了动态约束自适应与自适应和非自适应方法的优劣性.结果表明,结合聚合规则Saddle(·)的动态约束自适应在分布式高维Byzantine环境下受鞍点攻击的影响较小.