機械学習を用いたテロップ表示意図推定による動画メタデータ生成手法

摘要

動画データの増加に伴い，動画データに対するシーン検索の要求が高まっている．我々の研究グループでは，動画内のテロップ情報に着目し，テロップ文字列や出現時間からメタデータを生成してシーン検索を行うシステムを開発してきた．本稿では文字列や出現時間以外に，色や位置の情報も特徴童として考慮し，さらにメタデータ生成に機械学習の手法を取り入れる．学習用動画のテロップに対して人手で会話字幕や見出し等のテロップ表示意図のクラス分けを行い，テロップ用のクラス分類器を生成する．未知の動画のテロップに分類器を適用してテロップの表示意図を推定することでメタデータ生成に利用する．