把持の順序と外見の変化モデルを利用した調理作業における食材追跡

摘要

あらまし　本研究では調理を観測した映像において把持中に切削を受ける食材を追跡することを目的とする. 食材のように掌に収まる大きさの物体は，把持中に完全に遮へいされ，カメラから観測できない.また，把持の 間に切削などの加工を受けて外見も変化する.このような場合でも正しく食材を追跡するため，本研究では把持 の前後で消失・出現する物体を検出し，それらを対応づけるアプローチをとる.この際，切削された物体を正し く対応づけるために画像特徴の類似性に加えて，物体が把持された順序や，あらかじめモデル化した外見の変化 と観測された画像特徴の変化との類似度を利用する.実験では切削を含む調理作業の映像で観測された把持にお いて提案手法により83.6％の精度で正しく食材が対応づけられることを確認した.