音声検出を併用した顔映像による発話検出－日本語文提示システムにおける読書行動把握のための部分システム

摘要

本稿では，音読中の口の動きと読み上げ音声を組み合わせて発話検出を行う．画像処理によって口が動いた区間を検出し，読み上げ音声区間と比較することで，読者の読み上げ音声以外の音や，音読以外の口の動きを検出する．また，音声区間と口の動き区間の両者から音読していた区間をより正確に検出する．読者の音声以外の音を特定セきれば，音声認識の精度の向上が期待できる．また，読書を得意とする集団と不得意とする集団の読書行動の違いを計測することにより，読み能力の客観的評価が可能となる．