経験強化型エージェント学習によるサプライチェーン上の協調的方策獲得～ビール配送ゲームを例に

摘要

生産企業を取巻く市場や生産拠点のグローバル化に伴い，サプライチェーンを構成する企業間の協調的な意思決定の重要性がますます増加している．このような意思決定の問題として，上流工程から下流工程に至るまでの発注に伴う在庫量の調整が挙げられる．通常，在庫量において「過剰在庫の管理に要するコスト」と「欠品による販売機会損失に伴う損害」は，トレードオフの関係にある．サプライチェーンでは，各企業間の意思決定が相互に影響を及ぼしあう複雑な系を構成しているため，系を構成する各企業の部分最適な意思決定がサプライチェーン全体に対して最適であるとは限らない．このような問題に対して近年，エージェントモデルなどの知的情報処理技術による全体最適化について広く研究がなされている．全体最適化のためのエージェントの方策獲得法としては強化学習[3] が挙げられる．先行研究[4] ではサプライチェーンのタスクにおける主だった強化学習器としてQ-learning[5] が用いられており，遺伝的アルゴリズム(GA) 等の手法を用いたアプローチよりも良好な結果が得られることが報告されている[6]．強化学習のアルゴリズムはQ-learning に代表される環境同定型学習と，Profit Sharing[7] に代表される経験強化型学習に大別できる[8]．環境同定型学習の利点は静的な環境中で十分な試行錯誤を行えば，最適な学習結果が得られる点にある．しかし，これらの学習アルゴリズムは環境の正確な同定作業を通じて最適行動を獲得するため，多大な試行錯誤数を要してしまう．さらに，動的な環境に対する頑健性が低いという点において課題も残る．一方，経験強化型学習の特徴は最適性を犠牲にする代わりに，少ない試行錯誤数で準最適解を獲得できる点と動的環境に対する頑健性を併せ持つ点にある．一般に，企業を取り巻く環境は動的環境であることは言うまでもなく，サプライチェーンにおける各企業間でも同様に複雑かつ動的な系を構成しており，外部環境からも動的な影響を受けている．しかし，サプライチェーンを想定したタスクにおいて，これまでなされてきた強化学習による意思決定モデルの研究では，先述の通り環境同定型学習であるQ-learning が学習アルゴリズムとして採用されてきた．そこで，本研究では経験強化型学習によりサプライチェーンの構成要素が，協調的に方策を獲得するアプローチを提案する．実験では，サプライチェーンのロールプレイングゲームとして広く知られるビールゲームを通じて，環境同定型学習と経験強化型学習の性能を比較することにより，本提案の有効性を検証する．