Web上の知識を用いた1人称視点映像におけるオブジェクトの利用を伴う行動の認識に関する検討

摘要

センサを用いた行動認識技術は，独居高齢者見守りやホームオートメーションなどの基盤的技術であり，近年活発に研究がされている．本研究ではウェアラブルカメラにより撮影された一人称視点映像に着目し，ユーザによる事前学習を必要としない行動認識手法を提案する．従来の研究において，一人称視点映像や日常物に添付したセンサノードを用いて行動認識を行うものは多数存在するが，SVMなどの機械学習のアプローチを用いることが多いため，ユーザによるトレーニングデータの収集が必要となる．一方本研究では，Web上に存在する知識を用いることによって教師なしの行動認識を実現する．提案手法では，事前学習された一般物体認識用ディープニューラルネットワークを用いて，映像に含まれる日常行動で利用されたオブジェクトを認識したあと，そのオブジェクトの名前（例えば「フライパン」など）と，あらかじめ定義した日常行動の名前（例えば「料理をする」など）との類似度を計算することで，学習を必要としない行動認識を実現する．このとき，オブジェクトと行動の名前間の類似度を，Webにおける語の共起性や概念辞書などを用いて計算する．評価実験では一人称視点映像のデータセットを用いて評価を行い，トレーニングデータを一切利用しない本手法が良好な認識精度を示すことを確認した．