ユーザ評価と達成度との相関に基づく音声対話システムの品質評価の予備的検討

摘要

本研究は，音声対話システムの利用に必要な知識，技術の学習過程および問題点を明らかとし，これらがシステム評価に与える影響を検討するため，実システムを用いた観察実験を行ない，それによって得られた結果に基づいて，ユーザの達成度とアンケートによるシステム評価との関連惟に関する基礎的な議論を行なった．分析の結果，発話認識率と発話数とに相関がある評価項目はほとhどなく，むしろ，会話満足度，システム理解度と多く関連することが明らかとなった．従来，認識率とシステム評価とがよく一致することが知られているが，他の観点からの評価も考慮する必要があることが示唆された．今後は，被験者数を増大させて条件を統制した実験を行ない，より詳細な議論をしていきたい．