基于互信息最大化正则的生成式对抗网络

摘要

目前生成式对抗网络(GAN)面临的一大难点是模型训练过程中普遍存在着不收敛性,其最为突出的表现即"模式坍塌"现象,从而导致生成的目标对象缺乏多样性。首先从信息论角度简要解释原始GAN的理论方法,在此基础之上,提出一种基于互信息最大化的正则方法,通过最大化随机噪声变量和生成样本之间的互信息,为生成网络的目标函数提供一个上界函数,迫使生成的数据分布更加趋于真实数据分布。对MNIST手写字符数据进行的实验结果表明,引入互信息正则,有助于提升生成样本的多样性。