一种基于主题适应与原型编码的少样本视觉故事叙述方法

摘要

本发明公开了一种基于主题适应与原型编码的少样本视觉故事叙述方法。该方法首先将据集按主题划分，每一轮训练采样一批主题并将每个主题划分为支持集与查询集；对查询集中的样本提取时序视觉语义特征和图像序列特征，结合在支持集中预先提取好的的故事特征和图像序列特征计算原型向量；再将原型向量与图像序列特征结合，进一步解码获得故事性描述文本。整体视觉故事模型进一步通过元学习方法，根据在查询集上计算得到的综合损失来优化模型的初始参数。在推测阶段，模型通过少数样本调整参数，根据新图像序列生成故事文本。本发明结合原型编码及元学习方法，所构建的模型具有快速适应主题的能力，能更好地生成符合图像序列主题的故事性文本描述。