調理者の手の動きを時空間制約とした調理中の食材追跡

摘要

In order to recognize cooking situation, it is required to estimate which food material or how the material is being processed based on the appearance change of food material in the image sequence obtained by observing the cooking. The previous techniques use only single measurement model to distinguish the similarity of food material. Therefore, it's difficult to track food material when the food material change in multiple ways. To deal with this problem, we proposed the method using the motion of cook's hands as spatio-temporal constraint to select an appropriate measuring model. Our approach in food material tracking is presented, and the result shows how it can effectively track the targets with multiple changes.%調理を観測することでその進行状況を把握するためには，まず観測画像中で食材領域を追跡し，その領域の画像特徴の変化に基づいてどの食材がどのような加工操作を受けたかを認識する必要がある.既存の追跡手法では，物体の同一性を判定する際に画像特徴の不変性を唯一の制約としていたため，調理中の食材のように多様な変化が起きる対象を追跡するのは困難であった．本稿では，追跡対象の変化モデルを複数用いることで対象の多様な変化に対処するとともに，調理者の手の動きを時空間制約として，動的に変化モデルを切り替えることで，これらの問題に対処した.実際に調理を行ったデータに対して提案手法を適用し，有効性を検討した.