動物体検出のためのLSTMネットワークによる静止画と動き情報の統合

摘要

深層学習の一つである畳み込みニューラルネットワーク（CNN）は特徴量をデータから学習できるため，静止画ベースの検出や分類などのタスクにおいて，人手で既定した特徴量よりも識別性能が飛躍的に向上する．一方で，検出や分類の対象となる物体が低解像度である場合，静止画ベースでは人間にもハードネガティブと見分けがつかないが，動画を見れば簡単に判別できることがある．現に動き情報を検出に取り入れ，性能を向上させた研究例がいくつか見られる．しかし，それらは主に背景を除去し動物体の輪郭を抽出することを目的とし，特徴量は人手で設計されていた．低解像度の動画ではそもそも輪郭が不鮮明である場合が多く，また動きの特徴量をどのように深層学習で学習させれば良いかは不明で現在も議論がなされている．本稿ではCNNとLong Short-term Memory（LSTM）ネットワークを組み合わせ，静止画情報と動き情報を同時に学習させる手法を提案する．候補領域から複数フレームに渡って追跡器で追跡を行い，これらをCNNにより特徴量抽出する．抽出された時系列の特徴量における長期間の依存関係をLSTMにより学習させる．また対象物の軌跡の情報も学習に取り入れる．提案手法を低解像度の鳥の飛行動画に適用し，LSTMが動き情報の学習及び検出に有効であることを確認した．