実世界センシングを用いた日常生活行動の言語化

摘要

自然言語の実世界の状態への接地は，人の日常生活行動を理解するための重要な技術である．本稿では，実環境で取得した加速度や動画像などのセンサデータから日常生活行動を表す文を生成する手法について紹介する．従来手法の多くは，対象となるデータとその内容を説明する文に関する並列コーパスを大量に必要とする．しかし，そのような実世界の状態を表す並列コーパスを大量に作成することは困難である．そこで，提案する手法では実世界の個別の意味をセンサから推測し，その意味を外部の言語資源が表す常識的知識，時間の近さ，文脈の変化をもとに組み合わせることで，少数の並列コーパスだけから説明文を生成する．