特徴抽出にむけた情報量最大化原理によるBayesian Networkの構造学習

摘要

ニューラルネットワークの訓練方法の一つである深層学習がその高い認識精度から広く用いられている．深層学習は学習の過程で，入力データの特徴やパターンを階層構造をもった形で抽出する．この抽出した特徴を用いた認識は高い性能を持つのみならず，脳との類似点も指摘されるが，多くは情報をフィードバックする構造を持たない．脳のフィードバックな接続を含んだ計算モデルとしてはBayesian Networkを用いた研究がなされている．そこで制限付きBayesian Networkを特徴抽出によって構築し，脳と同様にフィードバックループを持つ認識器を作成する手法Bayesian AutoEncoder（BAE）を提案し，隠れ層一層でのネットワークの構築を行えるよう実装した．しかし上位層を下位層の親変数としてネットワーク構造を制限したため，多層ネットワークによる複雑な認識を行う上で入力の微小な変化などに弱いという問題があった．本稿では，位置不変性や回転不変性を付与するうえで必要なプーリング機能を持てるようBAEのネットワーク構造を拡張する．学習方法に情報量最大化原理を適用し，ネットワーク構造の学習によってプーリング機能の獲得を行えることを示す．