高フレームレート映像信号に対するフレームレートダウンサンプリング方法の検討

摘要

近年、撮像系のフレームレートの増加は目覚しく、1000Hzを超える高フレームレート映像が撮影可能となっている。一方、現行のディスプレイの上限は60Hz程度であり、映像の入力·出力システムのフレームレートの上限は非対称である。高速度カメラで撮影された映像を実時間再生で表示する場合には、フレームレートのダウンサンプリングが必要となる。従来、ダウンサンプリング後のフレーム間隔を等間隔に保つようにダウンサンプリングが実施されていた。これは、フレーム間隔を非等間隔にした場合、ジャーキネスが発生するという知見に基づくものである。しかし、ダウンサンプリングの対象が高フレームレート映像の場合、フレナムが時間方向に高密度にサンプリングされているため、等間隔からの乖離が一定閾値以内であれば、フレームを厳密に等間隔に選択しなくても、視覚的には、大きな画質劣化（ジャーキネス）を発生しない。したがって、ダウンサンプリング後のフレーム間隔に対する等長性という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。視覚的に同等画質であれば、符号量が小さなシーケンスであることが望ましい。そこで、本稿では、ダウンサンプリング後のシーケンスに対する符号化効率の観点から最適なダウンサンプリング法を検討する。具体的には、ダウンサンプリング時にフレーム間予測誤差電力を最小化するようフレームを選択する。均等間隔にフレームを間引く方法と比べて、提案手法はフレーム間予洲画像のPSNRを0.13～0.23dB向上させることが確認できた。