畳み込みニューラルネットワークを用いたProfit Sharing: ボルツマン選択法による行動選択

摘要

近年、強化学習と深層学習を組み合わせた手法である深層強化学習が注目されており、多くの研究が行われている。深層強化学習の代表的な手法であるDeepQ-Networkは、畳み込みニューラルネットワークとQ Learningを組み合わせた手法であり、様々なゲームに対して実験を行い、人間と同程度かそれ以上のスコアが獲得できるように学習が行えることが確認されている。また、Q Learning 以外の手法を用いた深層強化学習として、畳み込みニューラルネットワークとProt Sharingを組み合わせた手法が提案されている。この手法では、文献[5], [6] においてAtari2600のいくつかのゲームにおいてDeep Q-Network よりも高いスコアが獲得できるように学習が行えることが確認されている。しかしながら、いずれの手法でも適切に学習が行えないゲームも存在する。これは、行動選択に"-greedy 法を使っているためであると考えられる。"-greedy 法では、学習が進行し、" の値が小さくなってくると、" の確率でしか行動価値が最大でない行動を選択することができなくなる。そのため、不完全知覚状態のように同じ観測に対して異なる行動を選択する必要があるような問題に対して、適切な行動選択が行えるように学習が行えていないと考えられる。