変化する環境に対するステップサイズパラメータオンライン調整法

摘要

本稿では、徐々に変化する環境の中で、エージェントが学習を継続しながら環境の変化に適応していくという前提のもと、学習パラメータであるステップサイズαと環境から得られる観測データの関係を明らかにした。その結果を元に、αを環境の変化に追随させる方法として再帰的指数平滑移動平均によるステツプサィズ勾配降下法(RASP)を提案した。この方法の特徴は、通常の勾配降下法と異なり、高階の導関数をシステマティックに求めることができる点である。このため、勾配法によるαの変更量を比較^)大きく取ることができ、さらに、修正の際に利用する値も同時に修正する方法を提供できる。