用于多模式会话交互中的口头语言理解的眼睛注视

摘要

描述了改进对与计算机化会话系统相关联的视觉上下文中的视觉元素的引用的理解和/或解析的准确性。本文描述的技术利用注视输入与姿势和/或语音输入来改进计算机化会话系统中的口头语言理解。通过改进系统能够关于视觉上下文中的视觉元素来解析引用(或解释用户的意图)的准确性，利用注视输入和语音输入改善了会话系统中的口头语言理解。在至少一个示例中，本文中的技术描述了跟踪注视以生成注视输入，标识语音输入以及从该用户输入提取注视特征和词汇特征。至少部分地基于该注视特征和该词汇特征，可以解析被指向视觉上下文中的视觉元素的用户话语。