视觉对话方法、视觉对话模型的训练方法、装置及设备

摘要

本申请公开了一种视觉对话方法、视觉对话模型的训练方法、装置及设备，涉及视觉对话领域。该方法包括：获取输入图像的图像特征和前n轮历史问答对话对应的状态向量，n为正整数；获取当前轮提问的问题特征；对图像特征、前n轮历史问答对话对应的状态向量和问题特征进行多模态编码处理，得到当前轮提问对应的状态向量；对当前轮提问对应的状态向量和图像特征进行多模态解码处理，得到当前轮提问对应的实际输出答案。通过获取关于输入图像的前n轮历史问答对话对应的状态向量，使得视觉对话模型能够联系上下文更好地理解图像中隐含的信息，输出的答案的准确率提高。