映像編集のための事例学習に基づく素材映像からのショシ・ト列生成

摘要

Video editing is generally realized by arranging video segments selected from raw footage. Considering professionally edited videos and their original footage as example videos, our aim is to automatically edit a raw footage based on the editing techniques learned from example videos. The proposed method firstly represents each shot constituting the edited videos by a symbol based on the image features such as shot length, motion, and brightness, and learns the shot temporal sequence pattern by Hidden Makov Model (HMM). For each set of consecutive shots in edited videos, the distribution of their relative positions in the original footage is also obtained. Then, a symbol sequence, which constructs an edited video, is generated by the learned HMM, and according to symbol compatibilities of all shots in raw footages and the position distribution, we select the most appropriate shot for each symbol. In this paper, we used action movies as the example videos and evaluated our approach by editing an original movie.%映像編集は一般に，素材映像から選択されたショットの並び替えにより実現される．本研究では事例映像である専門家により制作された編集映像とその素材映像から学習した編集技術に基づいた自動映像編集を目指す．まず，編集映像を構成するショットを，ショット長，動き，輝度といった画像特徴量の量子化に基づきシンボル化し，その時系列パターンを隠れマルコフモデル（HMM）により学習する．また，編集映像において連続するショットの素材映像における相対位置分布を求める．次に，学習したHMMによりシンボル列を生成し，ユーザから与えられた素材映像を構成するすべてのショットに対して算出した各シンボルへの適合度，及び相対位置分布に基づき，各シンボルに最適なショットを選択することにより，編集映像のショット列を生成する．本稿では事例映像としてアクション映画の予告映像と本編映像を用い，一本の本編映像に対する映像編集により提案手法を評価した．