口動作を編集した発話映像による音声聞き取りへの影響

摘要

一般に視覚と聴覚は相互に影響し合っていることが知られている．音声の聞き取りにおいて，視覚情報の補完的役割が考えられる．そこで本研究では，音声の聞き取り時における視覚情報の役割について実験してきた．はじめに，顔映像が音声の聞き取りに与える影響を検証する実験を行った．その結果，音声の聞き取りにくい環境でのみ，顔映像は聞き取りに貢献し，視線は発話者の口元に集中することが示された．次に，聞き取り時における発話者の口の動きの影響と特性について実験を行った．実験では，顔映像内の一部分の動きだけを編集するシステムを構築した．しかし，これまでのシステムでは，発話者の顔に編集用のマーカーを付けなければならなかった．そのため，実験において被験者の視線がそのマーカーに集まってしまう傾向が見られた．そこで，今回，マーカーを使用せずに映像内の一部分の動きを編集できるシステムの構築を行った．そして，そのシステムを用いて口の動きの影響と特性について実験を行った．