Online Profit Sharingにおける計算量を削減するアルゴリズムの提案

摘要

従来のProfit Sharing (Off-PS)はオフライン更新型であり，選択した状態行動対をすべて記憶する必要がある．そのため，使用するメモリ量に上限がなくなってしまう欠点がある．それを改善したのが，オンライン更新型PS (On-PS)である．このOn-PSでは，従来のOff-PSと等価ながら，メモリ量を有限とすることができる．しかし，On-PSでは計算時間がOff-PSよりもはるかに大きくなってしまう問題がある．そこで，本研究ではOn-PSで計算時間を減らす方法を提案し，計算量が大幅に減少することを理論的に述べる．また，Acrobot ProblemにOff-PS，On-PS，提案法を実装することによって，メモリ量や計算時間の観点からの比較し，提案手法の有効性を示す．