画像・振動音・荷重データを統合的に用いた食材認識

摘要

本研究では，画像・振動音・荷重データを統合的に用いることで，各データを単独で用いた際に発生する誤認識を改善できる食材認識手法を提案する．複数モダリティの時系列データを統合する際，認識に有効な部分はモダリティごとに異なるため，各々の時系列データから単純に時刻が一致している部分同士を抽出・併用してもその全てが有効とはならない．これに対して，本研究では，各モダリティの性質に基づいて認識に有効な部分をそれぞれ別個に策定し．各々から抽出した特徴ベクトルを併用する．23種の食材集合を用いて提案手法の有効性を確かめた結果，各データ単独による誤認識の改善が全てのモダリティにおいて確認できた．