局所区間のマルチモーダル情報を用いたユーザ状態の推定に関する検討

摘要

従来の音声対話システムの研究では，ユーザ発話の音声認識結果を処理することによって応答を決定するという対話システムの性質上，言語的情報の処理に重点が置かれることが多かった．しかしながら，実環境下においては，そもそも入力が観測できないという状況が度々起こるため，言語的情報のみに依存した対話制御では不十分である．このような状況でユニザに対して適切な応答を行うためには，従来の音声対話システムでは無視されていた「発話を行う前のユーザ状態」を考慮する必要がある．我々は，発話前のユーザ状態を2種類定義し，その推定手法について研究を行ってきた．ここまでの分析結果から，マルチモーダルな情報を用いることで対象とするユーザの状態をある程度推定できることが示唆されている．この結果を踏まえ，本報告では動画像と音声から得られる情報を統合し，ユーザの状態を推定する手法について検討を行う．ここでは，新たにマルチモーダルな特徴系列をクラスタリングしてBag-of-Words的に扱う方法を提案する．提案手法では，2つのユーザ状態を70％以上の精度で識別できることが確認できた．