機械学習を用いたテロップ表示意図推定による動画メタデータ生成手法

摘要

The increase of the number of video data creates a demand for scene search on video data. Our research group has been developing a system to retrieve scenes related to the specified keywords. The system generates metadata of video data by extracting telop text and appearance time from the video. In this paper, we consider not only telop text and appearance time but also telop color and position. And, we propose a metadata generation method using a machine learning algorithm. Based on usages of telops, we define classes of telops such as closed-caption and title. A telop classifier is generated from training telop data we classified. To estimate usage of unclassfied telops,rnthe classifier derives their class labels.%動画データの増加に伴い，動画データに対するシーン検索の要求が高まっている.我々の研究グループでは，動画内のテロップ情報に着目し，テロップ文字列や出現時間からメタデータを生成してシーン検索を行うシステムを開発してきた.本稿では文字列や出現時間以外に，色や位置の情報も特徴量として考慮し，さらにメタデータ生成に機械学習の手法を取り入れる.学習用動画のテロップに対して人手で会話字幕や見出し等のテロップ表示意図のクラス分けを行い，テロップ用のクラス分類器を生成する.未知の動画のテロップに分類器を適用してテロップの表示意図を推定することでメタデータ生成に利用する.