一种非光滑强凸函数的随机次梯度镜面下降算法

摘要

镜面下降法(MD)在机器学习问题中已有些实际应用，针对大规模数据的处理和非光滑损失凸优化问题，本文将迭代平均与随机次梯度镜面下降方法相结合，得到了一种改进的方法，通过对问题域的特殊处理，利用它们的结构，提出一种加权平均的随机次梯度镜面下降算法。在这个加权平均过程中，平均迭代不用于构造算法，而是作为算法的副产品出现，其中平均权重由算法使用的步长确定。该算法有很好的收敛性。对于强凸函数，我们证明了该算法的最佳收敛速度达到 。