基于场景图知识融入与元学习的视觉语言导航

摘要

目前大多数研究工作使用模仿学习或强化学习方式来解决视觉语言导航的路径优化问题。为了能够自动构建适应于目标环境的先验知识且进一步提高模型在测试阶段对强化学习策略和先验知识的适应能力,文章提出采用场景图生成结合图卷积网络学习的知识图谱构建方式,并加入模型无关的元学习过程,在导航的强化学习框架引入可训练的自监督交互损失,以期望模型能够更好地适应探索环境,具备较好的泛化推广能力。文章算法在主流的AI2-THOR仿真环境中进行实验,实验结果表明,相比标准的强化学习方法以及基于手动构建的知识图谱的最新方法,本文模型具有优越的导航效率、良好的知识自动化抽取与构建能力,尤其当导航目标距离较远时,在成功率上能够提高近5个百分点。