画像情報と音情報を用いた黒板講義における板書動作の判定

摘要

我々の研究室では、黒板を使用した講義を自動的に効率よく撮影するシステムACEを構築している。 ACE では、教師が新しく板書した領域を一定時間ズームして撮影するという手法をとっている。 その際に必要になるのが、教師が板書を開始したことと終了したことの判定である。 現在のACEでは画像処理のみを用いてこの判定を行なっているが、教師の位置によっては、板書が隠れてしまうなどの原因により失敗してしまうことがある。本研究では、板書動作時に生じるチョークの音を利用し、音処理を援用した板書動作の判定法を構築した。 構築した手法を実際の講義に対して適用し、本手法の有効性を確認した。