映像合成のためのRGB画像からの3次元復元結果とDepth画像との比較による光源方向推定法に関する研究

摘要

本論文は、撮像対象シーンの光源方向の推定を，Kinectセンサー等により獲得されるRGB画像とDepth画像から行う方法を提案する。本提案手法は、RGB画像から得られる濃淡画像を、Deep is dark paradigmに基づくKhanらの式を利用して距離画像に変換し、その距離画像に含まれる物体が光源方向に歪む性質を利用する。即ち、前述のようにして得られた距離画像とDepth画像とを画素ごとに比較して差分値を求めるとともに、その画素の法線ベクトルの方向をDepth画像より計算する。法線ベクトルの方向を表す2つの角度パラメータにより張られる2次元パラメータ平面において、各画素の法線ベクトルの方向に対応するcellに、その画素の差分値を加算する。全画素についてこの処理を行った後、パラメータ平面のピーク値に基づき光源を推定する。数種類の物体を対象に光源位置を変えて実験を行った結果、良好な光源推定が行える見通しを得た。