動きべクトル推定とエッジを考慮した色伝播に基づく動画カラリゼーション

摘要

We propose a new video colorization method in this report. Supposing that key frames are selected out from a grayscale video stream and are colorized properly in advance, our method colorizes rest of frames automatically. For a grayscale frame between two key frames, the method first copies the color components of pixels around feature points in two key frames to the grayscale frame based on motion vector estimation. The rest pixels are to be colorized by propagating color components from neighboring colored pixels. In our method, one of nine patterns of neighbor pixel sets is adaptively selected for propagating colors, which can prevent colors from improperly spreading across edges in frames. Although we recognize that our method still have points to be improved, experimental results demonstrate that our method can better colorize videos than previous methods and so our method is useful. In this report, as a possible application of our method, we show that our method enables us to easily modify colors in colored video streams.%カラリゼーションとは白黒の動画像に着色処理を施し、自然な色彩をもたせる処理である.本稿では白黒動画の新たなカラリゼーション手法を提案する.本稿が提案する手法では動画内に設定したキーフレームが着色済みと仮定して、その間の各白黒フレームでキーフレームからの動きべクトル推定により特徵点の周囲をまず部分的に着色し、その後未着色領域を色伝播により補完する.色伝播の段階では新たに9つのパターンを導入し、異なる輝度を持つ領域の境界を考慮した色推定を行うことで不適切な色の滲みを抑えることを試みている.本研究では提案手法により静止画と動画を着色する実験を行ったところ、従来手法で生じていた色の滲みが抑えられ、より自然な着色結果が得られた.一方で必ずしも適切に着色できない動画も見られた.これらの結果から改良すべき点もあるものの、従来手法に比べて着色の誤りを減らせたことから、提案手法の方が有効であることが確認できたと言える.また本稿では提案手法の応用として動画の色を修正する例も合わせて示す.