構造的プラント変動による最適性の原理の破れ

摘要

原問題に最も近い，状態平均J値を用いる強化学習では，方策の評価値を変動プラント集合において全状態に対して唯一設定する．この間題は，定義された評価値を最小化する非線形計画問題で，解を求めることは容易ではない．そこで，平均プラントに対する最適方策や，二人零和ゲームで得られる方策など，少ない計算で求められる方策を初期方策とし，プラント集合に対して有効な方策となるように改善していくアルゴリズムを提案する．これらのアルゴリズムにより，最適とは限らないが，少ない計算量で実現可能な方策を得ることができる．本稿では，2．で標準的な強化学習問題について述べ，3．で変動を考慮した強化学習問題を定義し，このとき最適性の原理が破れることを示す．4．では，いくつかの緩和問題を定義し，その解法を示す．5．で簡単な問題を用いて最適性の原理が破れていることを確かめ，迷路問題にそれぞれの解法を適用するととで，提案手法の有効性を示す最後に6．を結論とする．