聴覚障害者向け情報保障のための講師発話内指示語および指示動作抽出手法の検討

摘要

Remote transcription system is one of the communication support methods for hearing impaired students in a lecture. A transcriber watches the lecture as captured by camera and microphone and transcribes what an instructor says using a PC. The transcription is then showed on a display screen in the classroom. A transcriber sometimes misses a pointing object when the instructor utters a demonstrative word. Therefore, he/she is not able to assign the demonstrative word with the pointing object. In order to solve this problem, we are developing a system to assign the demonstrative word with the pointing object using demonstrative words and pointing gestures, which are automatically extracted from the behavior of the instructor. In this paper, we propose a method to extract demonstrative words with gestures. Performance evaluation results show that the recall ratio is about 90% and the relevance ratio is about 83%.%講義における，聴覚障害者のための情報保障の1つに遠隔PC要約筆記がある．これは，遠隔地にいる要約筆記者が講義の映像と音声を基に作成した要約筆記文を講義室内の受講生（聴覚障害者）に提示するものである．要約筆記者を支援する1つの方法として，キーワード提示がある．しかし，例えば，複数の数式の中の一つを指して「この数式にありますように」というように，講師が指示動作を行いながら指示語を発話した時に，要約筆記者がその指示動作を見ていないと，指示語に対応する指示対象物が分からなくなってしまうという問題が起こりうる．