Toward a photo-shoot localization of mobile phone camera based on photo-realistic virtualized reality environment models

摘要

This paper provides a feasibility study on estimation of photo-shoot position and direction in a modeled environment for augmented reality applications. In this study, a focus is an availability of comparison between photos and images generated from photo-realistic virtualized reality environment models. For reasonable accuracy and computational time, photos are compared to images from models using a coarse-to-fine framework. In coarse estimation phase, a part of images from models are selected with similarity-based evaluation. In fine estimation phase, photo-shoot position and direction are estimated with corresponding feature matching between photos and selected images from models.rnIn this study, three different kind of similarities based on Sum of Squared Difference (SSD), Zero-mean Normalized Cross-Correlation (ZNCC), correlation of Hue-Saturation Histogram, are tested as for coarse estimation.%拡張現実を利用したアプリケーションを利用するためには，カメラの絶対位置・方位の推定手法を利用した初期化，および誤差の蓄積に伴う再初期化が必要な場合が多い．そこで，屋内環境において携帯端末に搭載されたカメラによって撮影した画像から，撮影時のカメラ位置・方位を推定するシステムの実現に向けて，仮想化現実環境モデルと撮影画像から撮影時のカメラ位置・方位を推定する手法について議論する．本稿では，撮影画像と仮想化現実環境モデルのマッチング方法として，疎な推定と密な推定を組み合わせた方法を提案する。疎な推定では、撮影画像とモデルから生成した画像の類似度により撮影位置の範囲を絞り込む手法を適用し、密な推定では絞り込んだ画像特徴のマッチングにより範囲を対象として撮影位置方位を推定する手法を適用する。本稿は、疎な推定への適応を想定し、Sum of Squared Difference（SSD ），正規化相互相関（ZNCC ），色相・彩度のヒストグラムをベースとした3つの類似度尺度を定義し、類似度の分布傾向を調査した結果について報告する．