幾何問題における音声と指差しを用いた学習支援システムの構築と評価

摘要

人は様々な“ モダリティ”を用いて自身の意図を伝え，他人とのコミュニケーションを図る．本稿で取り扱うモダリティとは“ 伝達手段”を意味しており，例えば音声による言語であったり，身振りや手振り，視線などが挙げられる．このとき，1 つのモダリティのみ用いてやり取りを行うことをユニモーダルインタラクション呼ぶ．ユニモーダルインタラクションは，1つのモダリティのみ用いるため，自身の意図したことが正しく相手に伝わらない場合がある．例えば，“ あれ”や“ それ”などの指示語のみで意図を伝えようとしても，上手く相手に伝わらない．そこで，複数のモダリティを適切に組み合わせてやり取りを行う必要がある．これをマルチモーダルインタラクションと呼び，ユニモーダルインタラクションと比較して，タスク効率の向上やエラー率の低下が期待される．さらに，多様なモダリティをどのように組み合わせて用いるのかは，マルチモーダルインタフェースを構築する上でとても重要になってくる．