部分観測下での最悪ケースに基づくスーパバイザの強化学習

摘要

スーパバイザ制御では，スーパバイザと呼ばれる制御器が離散事象システムに対して，生起を許可する事象の集合（制御パターン）を指定する．筆者らはこれまでに，最悪ケースを考慮した最適スーパバイザを強化学習により設計する手法を提案している．しかしながら，現実のシステムにおいては，すべての事象の生起を完全には観測できない・そのため，事象の生起が部分観測の場合も考慮して制御パターンをスーパバイザに学習させる必要がある．本論文では，完全観測の場合において提案した手法を拡張し，部分観測環境において最悪ケースにおける評価値を最大化する制御パターンの与え方をスーパバイザに学習させる手法を提案する．部分観測環境を扱うために，射影関数と不可観測事象列の生起に対する報酬のデータベースを導入する．これらから与えられる情報をもとにスーパバイザは学習を進めていく．このときスーパバイザは，制御対象の現在の状態の推定と評価値の更新を行うことにより，最適な制御パターンの与え方を学習する．計算機実験により，部分観測環境においても最適な制御パターンをスーパバイザが学習できることを示し，提案手法の有効性を示す．