線形時相論理制約を満たす定常方策の階層的強化学習

摘要

マルコフ決定過程（MDP）でモデル化されるエージェントに対して線形時相論理式（LTL式）で制御仕様を与え，その制御仕様を満たすような定常方策を求める問題を考える．本報告では，受理条件が遷移集合によって記述される一般化決定的ラビンオートマトン（GDRA）にLTL式を変換し，MDPと合成積をとった合成MDP上で階層的強化学習を用いて，定常方策を学習するアルゴリズムを提案する．さらに，シミュレーションによって，LTL式を満たす定常方策が学習されていることを確認する．