人間は音声言語を使ってコミュニケーションする場合でも，相手の表情から様々な情報を読み取り，それによって音声情報を補うことでコミュニケーションを円滑にしている．特に音声の補完を行う場合には，話者の口唇の動きから聴覚だけで聞き取れなかった情報を補っていると考えられる．本稿は，発話内容の聞き取りにおける，発話者の顔面の視覚情報の役割を実験的に検証したものである．実験では．短文を発話する映像を用いて，「音声のみ」を聞いた場合と「音声＋顔映像」を提示した場合とで音声聞き取りの正確さの比較を行った．この時，音量の異なるノイズを音声に重ね合わせることで，聞き取りの難易度と，顔映像の聞き取り真献の関係を探った．同時に，被験者の視線の動きをアイマークレコーダで計測し，視線の動きと音声補完との関係を調べた．その結果，ノイズを付加しない場合には，顔映像を提示しても音声の聞き取り率は向上せず，被験者は発話者の目元を注視する傾向が認められたのに対し，ノイズがある場合には，顔映像を提示することで音声の聞き取り率が向上し，被験者は発話者の口元を注視することが多いことが明らかになった．このことは，音声言語を主体とするコミュニケーションにおいても，音声情報が劣化した場合には，視覚情報を利用して音声を補完していることを示している．%When we talk with somebody, not only the voice of speaker but also his or her facial expressions play an important role in mutual understanding. This report examined the contribution of visual information of speaker's face to speech cognition. In our experiment, participants were presented two types of materials: (1) voice only, (2) motion picture of speaker with voice and face under four different levels of background noise conditions and were asked to repeat precisely what speaker said. The results showed that accuracy of repeat was same or higher in the voice only material than motion picture when materials were presented without noise. But when the noise added, accuracy was higher in motion picture. The analysis of gaze tracking data showed that participants tended to look at speaker's eyes when the motion picture presented without noise, but they looked at speaker's mouth when noise added. These results clearly show the contribution of the visual information of speaker's face to speech cognition.
展开▼
