Efficient Task -independent Reinforcement Learring Metthods based on Policy Gradient（方策勾配に基づく効率の良い課題非依存な強イヒ学習法）

摘要

方策勾配強化学習は，エージェントが環境との相互作 用を通して，勾配法に基づき平均報酬量の局所最大化をB指 す手法である． 方策さえ適切に，ラメータ化してあれば課題 に関する事前知識を要せずマルコフ決定過程(MDP)に適 用できるが，実用化に向けて問題が少な＜ とも二点ある． i)メタパラメータの設定が困難， ii)学習所要時間が膨大になりやすい． これらに対する先行研究は多くあるが，そのほとんどは特 定の題を想定しており，汎用性に欠けていた． よって標準的 な強化学習の枠組みに手を加えない，課題に非依存な方法論の 改良が望まれる．そこで本研究では，上記問題の解決を目指し 方策勾配アルゴリズムを数理的に探った． 1 )に対しては，特 に有効な調節法のない積酬の割引率に着目した．従来法に より推定される方策勾配は，の定常分布の偏微分値の計算 が困難であったため，その偏微分に関する項を無視したもので あった． その影響は割引率を1に近づけれ（x減少するが，逆 に分散は大きくなってしまう．そこで逆方向マルコフ連鎖の性 質を利用して定常分布の偏微分を推定する方法を導出し，割引 率に依存しない方策勾配法を提案した．割引率の設定が困難is MDPに適用し提案法の有用性も確u6,した． 11）に対しては， 学習プラトーに注目して，MDPの確率分布に対して各パラメー タの敏感さの相違やその相関を考慮できる自然勾配法を利用し た． 最適な方策への収束を遅くしている理由を学習すべきパラ メータ空間の構造の性質から考察をして勾配の計量となるリー マン計量行列を解析し，自然“状態行動” 勾配法を導出した． そして数値実験ょり，特に状態数が多い場合でもプラトーに陥 らず有効に働くことを示した． 以上より本研究は，方策勾配強化学習法を適用する際に障害 となっていた問題に解決策を与えることで，強化学習法の工学 的な問題への適用可能性を広げることに貢献していると考える。