調理者の手の動きを時空間制約とした調理中の食材追跡

摘要

調理を観測することでその進行状況を把握するためには，まず観測画像中で食材領域を追跡し，その領域の画像特徴の変化に基づいてどの食材がどのような加工操作を受けたかを認識する必要がある．既存の追跡手法では，物体の同一性を判定する際に画像特徴の不変性を唯一の制約としていたため，調理中の食材のように多様な変化が起きる対象を追跡するのは困難であった．本稿では，追跡対象の変化モデルを複数用いることで対象の多様な変化に対処するとともに，調理者の手の動きを時空間制約として，動的に変化モデルを切り替えることで，これらの問題に対処した．実際に調理を行ったデータに対して提案手法を適用し，有効性を検討した．