調理アドバイスの適切なタイミングでの音声提示に利用可能な調理状況の選定

摘要

We aim to construct the cooking support system of automatically presenting oral advices along the cooking progress for not disturbing the user. In this paper, in order to present oral advices with the proper timing, we use cooking situations that we manually labeled to the video observing the cooking activities. The user would achieve the all steps on the recipe. However, the user may not strictly follow the order of the cooking step on the recipe since some of the cooking steps can be replaceable. Therefore, it is difficult to decide the proper timing of presenting the advices that we must present before a corresponding cooking step. Such advices should be presented right before the user start the corresponding cooking step. In order to present the advice with proper timing, we need to foresee the start of the cooking step. Although it is guaranteed that we can present the advice before the corresponding cooking step by utilizing the constraint that the order of the cooking step is fixed in each material, it is not enough to present right before the corresponding cooking step. In order to decide the proper timing, we utilize a sub-step, which is not written in the recipe, for each cooking step. We introduce the supposition that there is a set of sub-steps which is strictly achieved right before the cooking step. In this paper, we foresee the start of the cooking step based on the fixed order of cooking steps for each material, quantity of each material, and the set of sub-step. We decide the timing by detecting the achievement of previous cooking step for whole material and all sub-step of the cooking step. We evaluate the decided timings of advices through an experiment of real cooking.%調理操作を妨害することなく,調理の進行に合わせてアドバイスを自動的に音声により提示する調理支援システムを構築している.本稿では,特にセンサ（カメラ）で観測した調理操作を人間が認識した調理状況を入力として利用し，適切なタイミングでの音声アドバイスの提示を実現する.調理はレシピに従って進められるが，レシピに記述されている操作の順序は変更されることがありうる.提示されるアドバイスはレシピに記述された操作と対応させるが，問題は調理操作の開始前に提示しなければならないアドバイスである．このようなアドバイスは操作開始前の出来るだけ操作開始に近い時点で提示すべきであるので，操作の開始直前を推定する必要がある.レシピに記述されている調理操作（レシピ操作）は必ず実行され,同じ食材へのレシピ操作の順序は不変であるが，これだけではレシピ操作の開始に近い時点での提示が難しい.そこで，レシピ操作の直前に行われる調理操作を利用することを考える.レシピ操作の開始前に必ず行われる調理操作（副操作）を複数定め，それらが全て実行された後にレシピ操作が行われると仮定する.ここではレシピ操作の順序関係，食材の個数，副操作を利用し，レシピ操作開始前に,その開始を推定する.具体的には，ひとつ前に実行されるレシピ操作が全ての食材に対して終了していて，更に全ての副操作が終了している場合を検出し,次のレシピ操作がまもなく始まると推定する．実験において，この推定法が実際の調理で有効であることを示す.