profit Sharingの計算量を改良するアルゴリズムの提案

摘要

強化学習のアルゴリズムの一つに，Profit Sharing（PS）がある．従来のPS（Off-PS）はオフライ ン更新型であり，選択した状態行動対をすべて記憶する必要がある．そのため，ゴールにたどり着くまでの道の りが非常に長く複雑な場合，使用するメモリ量に上限がなくなってしまう欠点がある．それを改善したのが，オ ンライン更新型PS（On-PS）である．このOn-PSでは，従来のOff-PSと等価ながら，メモリ量を有限とする ことができる．しかし，計算時間がOff-PSよりもはるかに大きくなってしまうという問題がある・そこで，本 研究ではOff-PSと等価ながらメモリ量を有限にし，なおかつOn-PSよりも計算時間を大幅に削減する手法を 提案する．また，提案手法の計算量を他の2手法と理論的な比較を行い，更に具体例としてAcrobot Problem に実装することによって，提案手法の有効性を示す．