[Special Talk] Robots That Learn to Communicate by Multimodal Interaction

摘要

This paper presents machine learning method L-Core that enables robots to learn to communicate linguistically from scratch through verbal and behavioral interaction with users. L-Core combines speech, visual, and tactile information obtained by interaction in the real world. It learns speech units, words, the concepts of objects, motions, grammar, and pragmatic and communicative capabilities, which are integrated in a dynamic graphical model. Experimental results show that through a practical, small number of learning episodes with a user, the robot was eventually able to understand even fragmental and ambiguous utterances, respond to them with confirmation questions and/or acting, generate directive utterances appropriate for the given situation, and answer questions. This paper discusses the importance of a developmental approach to realize natural situated human-robot conversations.%日常生活での共有経験を反映するコミュニケーションは，対話者による環境の理解と，対話者間の相互理解を基盤として成立する．ロボットが，このようなコミュニケーション能力を、実世界における人間とのインタラクションを通して学習するための計算機構LCoreについて述べる．LCoreにより、ロボットは，音韻，単語，文法，物体のカテゴリー，動作，タスクに関する知識，語用論的知識など，コミュニケーション能力を構成する要素（信念）をインクリメンタルに獲得し，それらを－つの信念システムとして統合してゆく．この信念システムはダイナミックグラフィカルモデルで表現される．さらに，ロボットは，この信念システムに基づいた発話の生成・理解のプロセスを通して，対話者の信念システムの状態を推測し，自らの信念システムを更新する・ロボットと対話者は，互いにこのような調整を続けること一信念システム間のダイナミックな結合－により，状況に応じて適切に発話を生成・理解し，行動できるようになる．