ソフトプラス活性化関数を用いた単純なニューラルネットワークのフィッシャー情報行列

摘要

隠れ層が一層のニューラルネットワークにおいて，活性化関数に微分可能でありReLUの近似であるソフトプラス関数を用いた場合に対するフィッシャー情報行列（FIM）について論じる．Takeishiら（2021）が求めた，ReLUを用いた場合のFIMのスぺクトル分解に類似したFIMの表現を，ReLUの場合には不可能であったテイラー展開を用いて導いた．これによりReLUの場合と同一の，あるいは酷似した項が現れた．これらの項の固有ベクトルはテイラー展開を介して，ソフトプラス関数の導関数との対応を明らかにすることができ，従ってFIMの構造を理解することができる．