Online Profit Sharingにおける計算量を削減するアルゴリズムの提案

摘要

従来のProfit Sharing(Off-PS)はオフライン更新型であり，選択した状態行動対をすべて記憶する必要がある.そのため，使用するメモリ畳に上限がなくなってしまう欠点がある．それを改善したのが，オンライン更新型PS(On－PS)である.このOn－PSでは，従来のOff-PSと等価ながら，メモリ量を有限とするこ.とができる．しかし，On－PSでは計算時間がOff-PSよりもはるかに大きくなってしまう問題がある．そこで，本研究ではOn－PSで計算時間を減らす方法を提案し，計算量が大幅に減少することを理論的に述べる．また，Acrobot ProblemにOff-PS，On－PS，提案法を実装することによって，メモリ畳や計算時間の観点からの比較し，提案手法の有効性を示す．