自动化所提出更好解决视觉对话生成问题的双通道多步推理模型

为解决目前视觉对话系统中视觉语言两个模态之间的多轮指代、推理以及信息对齐等问题，中国科学院自动化研究所博士陈飞龙、副研究员许家铭和研究员徐波等人与腾讯一起共建了一种双通道多步推理视觉对话生成模型，使得模型从视觉和语言两个方面丰富问题的语义表示，更好地针对问题生成高质量答复。

由于自然语言处理和计算机视觉技术的快速发展，多模态问题受到了越来越多的关注。视觉对话是一种视觉语言交互任务，需要AI智能体与人类围绕同一个输入图像进行交流。

这是一项具有挑战性的任务，要求模型能够充分理解人类当前轮对话的提问，同时有效整合对话历史的语言模态和输入图像的视觉模态，以关注与当前问题相关的语义信息并进行推理，给出高质量答复。研究团队就视觉对话任务提出一种双通道多步推理模型（简称DMRM）。

DMRM通过利用双通道推理同步地从对话历史和输入图像中捕获信息，以丰富问题的语义表示。具体地说，DMRM维护一个跨模态交互的双通道（如图1所示，Track Module负责从视觉方面丰富问题的语义表示，Locate Module负责从对话历史方面丰富问题的语义表示），通过每个通道中的多步推理过程（如图2所示）获得与当前问题和对话历史相关的视觉特征，以及当前问题和输入图像相关的语言特征。此外，团队还设计了一种多模态注意机制，以进一步增强解码器来生成更准确的答复。

团队在视觉对话任务中的解码端引入多模态注意机制，有效地缓解了只利用编码端输出多模态信息融合的局限性，在解码过程中能够较好地进行一些错误纠正及语义丰富。

来源： 自动化研究所