補助関数法に基づく制約付きボルツマンマシンの学習アルゴリズム

摘要

深層学習の重要な一要素として，レイヤーワイズのpre-trainingがある．レイヤーワイズのpre-trainingの一つとして制約つきBoltzmannマシン（RBM）が有名である．RBMにはBernoulli-Bernoulli型とGaussian-Bernoulli型があり，従来法の学習アルゴリズムとしてContrastive Divergence法が有名である．本発表ではBernoulli-Bernoulli型，Gaussian-Bernoulli型の両方の最尤学習アルゴリズムと，最適化規準として新たに最大再構築確率を導入し，その学習アルゴリズムに焦点を当て，経験的に高速で安定に収束する補助関数法による新たな更新アルゴリズムの導出を行う．そして，人工データによる収束性能の比較実験を行い，その挙動に対して議論する．