対話データの統計量を用いたPOMDPによる対話制御

摘要

We propose a method that generates appropriate agent dialogue control for users by training a large amount of human to human dialogue data. We offer two technical points to resolve this issue. One is the automatic acquisition of POMDPs' (partially observable Markov decision process's) state transition probabilities, output probabilities and rewards through DBNs (Dynamic Bayesian Networks) with a large amount of dialogue data, and the other is applying rewards from the emission probabilities of agent actions into POMDPs' reinforcement learning. This paper proposes a method to simultaneously achieve purpose-oriented and stochastic naturalness-oriented action controls. Our experimental results demonstrate the effectiveness of our framework, which shows that the agent can generate both actions without being locked into either of them.%本研究では，ユーザに対してエージェントが適切な行動を決定する対話制御（方策）を人対人の行動系列を記録したデータから自動的に学習する手法を提案する.これを実現するため本稿では次の二つの手法を用いる.（1）エージェント設計者が実現したいデータ中の行動系列（目標行動系列）を選択し，このデータからDBN（Dynamic Bayesian Network）を学習し，POMDP(partially observable Markov decision process）に変換する.このPOMDPの状態遷移確率，出力確率，報酬から方策を学習する.（2）自然な対話を実現するため，学習データの統計的性質に基づく対話制御のための状態，報酬を（1）のDBNとPOMDPに付加する.これにより，目標行動系列を達成しかつデータの統計的特徴を持つ行動を生成する対話制御を実現する.シミュレーション実験により，本手法の有効性を確認した.