対話エージェント評価におけるタグ付与の自動化

摘要

近年，人間と対話のできるコンピュータ（対討エージェント）は様々な分野で利用されている．こrnのようなエージェントの実硯のためには，対話エージェントの性能を定量的に評価できることが不可欠である．rn以前我々は，テキスト対話を対象とし，非タスク指向型対話エージェントの客観的・定量的な評価法を提案し，rnその有効性を確認した，この評価法では，タグ系列に変換された対話からHMM（Hidden Markov Model）をrn作成し，このHMMの出力確率を評価値として用いた．本論文でほ，前回の提案における一連の処理のうち，手rn動タグ付与の部分をCRF（Conditional Random Fields）によって自動化する方法を提案する．実験の結果，自rn動タグ付与の正解率は75.77％，意味的に近いものを許容した場合で83.20％であった．また，HMMによる対話rnの評価では手動タグ付与と同等の性能を実現できた．これにより，以前提案した評価法の全処理が自動化され，rn評価法としてのん用性を確認できた．