基于梯度扰动和BB步长的迭代收缩阈值差分隐私算法

摘要

本文研究隐私保护下带有非凸正则的经验风险极小化问题,其中损失函数是凸函数,正则项 为MCP函数。提出了基于梯度扰动和Barzilar-Borwein (BB)步长的迭代收缩阈值差分隐私算法(ISTDP)。 首先,基于算法每次迭代均对梯度添加高斯噪声,证明了该算法具有差分隐私保护性质。 其次,基于以BB步长做试探步进行线搜索的迭代收缩阁值算法,证明了该算法可以收敛于任意给定的精度。因此,ISTDP算法是一种可以满足隐私保护要求的机器学习优化算法。