口動作を編集した発話映像による音声聞き取りへの影響

摘要

一般に視覚と聴覚は相互に影響し合っていることが知られている．音声の聞き取りにおいて，視覚情rn報の補完的役割が考えられる．そこで本研究では，音声の聞き取り時における視覚情報の役割について実験してきた．はじめに，顔映像が音声の聞き取りに与える影響を検証する実験を行った．その結果，音声の聞き取りにくい環境でのみ，顔映像は聞き取りに貢献し，視線は発話者の口元に集中することが示された．次に，聞き取り時における発話者の口の動きの影響と特性について実験を行った．実験では，顔映像内の一部分の動きだけを編集するシステムを構築した．しかし，これまでのシステムでは，発話者の顔に編集用のマーカーを付けなければならなかった．そのため，実験において被験者の視線がそのマーカーに集まってしまう傾向が見られた．そこで，今回，マーカーを使用せずに映像内の一部分の動きを編集できるシステムの構築を行った．そして，そのシステムを用いて口の動きの影響と特性について実験を行った．%Hearing and vision are affecting each other, visual information may contribute to auditory information when we recognize a speech.This study examined the contribution of visual information of speaker's face to speech cognition.In the first experiment, we analyzed the changes of eye movements of the experimental participants during speech cognition.Results of this experiment showed that accuracy of repeat has improved by visual information and that participants tended to look at speaker's mouth when noise was added to voice.Next, we experimented the contribution of the movement of the mouth to speech cognition.For this experiment, we constructed a system to change movement amount of certain parts of the face picture and made materials by this system.However, this system had to attach markers for edit to speaker's face. In this experiment, participants tended to look at a marker.Then, we improved this system for which markers are not required, and experimented again using this system.