KinectのためのBilateral Filteringを用いた距離画像とカラー画像の整合法

摘要

Kinectで得られた距離画像とカラー画像との位置合わせに関しては，大まかなキャリブレーションを行う方法が存在するが，1ピクセル単位でカラー画像と距離画像を位置合わせする方法は存在しない．また，鏡面反射や反射率の低い部分，あるいはOccluding Contour周辺のように赤外線投光の反射が得られにくい部分では距離が求められないという問題も生じる．この結果，Kinectで計測した奥行き情報にカラー画像をテクスチャマッピングし，他の視点から観測するなどの処理をすると，画質が大幅に崩れてしまう．本研究では，色と奥行きの間に存在する局所的な相関関係を利用し，「同じ色であれば奥行きも類似している」と考え，画素の空間的近さと，色の類似性に基づいた重みによって，観測できた周囲の距離情報に重み付けをして，奥行きの推定を行うBilateral Filteringを提案する．幾つかの実験例を提示し，提案手法によって奥行きの欠損並びに，奥行き情報とカラー画像の位置合わせがほぼ正しく行われることを確認した．