Variational Frame-Rate Up-Conversion of Video Sequence

摘要

オプティカルフロー場の時間解像度を向上させるために，変分原理に基づくオプティカルフロー場の時間超解像を提案する.本手法では，ある動画像の時間解像度を向上させながら，オプティカルフローの分解を行うことで時間超解像を実現する.動画の時間解像度を増加させるためには，動画像中の連続する2フレームの間に中間フレー ムを補間する.このとき同時に，元の2フレーム間のオプティカルフローを分解しつつ，中間フレームを含めた3フレームの間でオプティカルフローの計算を行う.実画像に対して，オプティカルフロー時間超解像を行うことで定常 的ではない動きを分解することができ，時間解像度の高いオプティカルフロー場，動画像が得られた.%In this paper, we develop a variational method for frame-rate up-conversion of video sequences. For the broadcasting of the old or historical videos through traditional systems, we are required to change the frame-rate of video sequences. By combining image registration and optical flow conversion, our algorithm produces an inter-frame image of a pair of successive images in a sequence and the optical flow fields of the sub-frame rate image sequence. Our method can also be used for the up-conversion of image sequences observed by remote-exploration such as images transmitted from a mars rover.