First Person VisionのためのST-patch特徴を用いた自己動作識別

摘要

近年，映像中から人の動作を認識する研究が盛んに行われている.しかし，従来法の多くは人を外側から撮影しているため，行動意図の認識は困難である.このような問題に対し.First Person Visionというアプローチが提案されている.これは，Inside-Outカメラと呼ばれる2つのカメラが搭載されている装置を人の頭部に装着し.人の視界を観測するシーン映像と，眼球を観測した眼球映像から人の行動意図を認識する試みである.本稿では，このFirst Person Visionを実現するために，Inside-Outカメラを用いて撮影したシーン映像のみから大域的ST-patchと局所的ST-patchを用いて特徴を算出し，セルチクラスのBoosting手法であるJoint Boostingを用いて歩行時における6種類の動作識別を行う.評価実験の結果.提案手法はオプティカルフローを用いた比較手法よりも識別精度が27.3％向上した.%Much research has been devoted in recent years to recognizing human action from video images. Most existing methods, however, take video of people from the outside making it difficult to understand behavioral intention. The First Person Vision approach has been proposed in response to this problem. In this approach, a device consisting of two cameras collectively called an "inside-out camera" is attached to the head of a person to obtain "scene video" that captures the person's visual field and "eyeball video" that observes one of the person's eyeballs. These video streams are used as a basis for understanding that person's behavioral intention. With the aim of realizing First Person Vision, we here calculate features using a global ST-patch and a local ST-patch from scene video and attempt to distinguish six types of actions while walking using Joint Boosting. Results of a comparison experiment revealed that the proposed method improved the accuracy of distinguishing actions by 27.3% compared to an optical-flow method.