First Person Vision のためのInside-Outカメラの提案

摘要

First Person Vision, which attempts to understand a person's behavioral intention, requires information on the person's state and on what the person is looking at. We propose an inside-out camera that simultaneously obtains image of one of the person's eyeballs and image of that person's visual field, and propose a method for estimating the person's gaze point based on the configuration of the camera. The inside-out camera uses a half mirror to capture the eyeball from the front and the person's visual field from the same position as the eyeball. The relationship between the gaze vector obtained from the eyeball video and the gaze point obtained from the scene video is expressed by a conversion equation, and the gaze point is estimated from the gaze vector by estimating beforehand the parameters of this conversion equation. In an evaluation experiment, we took scene video for both eyes when gazing at a certain landmark as evaluation data, and calculated the error between the position of the landmark in the scene video as the true value and the gaze point estimated from the gaze vector. It was found that the gaze point could be estimated with an average error of about 15 pixels.%人の行動意図を認識しようとするFirst Person Visionでは，人の状態とその人が何を見ているのかという情報が必要となる.そこで我々は，人の眼球と人の視界映像を同時に取得するInside-Outカメラを提案し，そのカメラの構成を生かした注視点の推定法も提案する.Imide-Outカメラはハーフミラーを介して眼球を正面から，視界映像を眼球と同等の位置から撮影することができる.Inside-Outカメラでは.眼球を撮影した画像から得られる視線ベクトルと視界を撮影した画像から得られる注視点位置の関係を変換式で表すことが可能である.そのため，変換式のパラメータをあらかじめ推定することにより.視線ベクトルから注視点を推定する.評価実験では.ランドマークを注視した際の両眼，両視界映像を撮影し，視界画像のランドマーク位置を真備として視線ベクトルから推定された注視点との誤差を算出した.その結果より，約15pixelの平均誤差で注視点を推定可能であることを確認した.