一种基于跨媒体解纠缠表示学习的风格化图像描述生成方法

摘要

本发明公开了一种基于跨媒体解纠缠表示学习的风格化图像描述生成方法。本发明分别从图像和描述文本中使用了两个解纠缠表示学习模块非对齐地学习解纠缠表示来分别学习图像和图像描述中解纠缠的事实信息和风格信息。在推理阶段，模型利用图像描述生成解码器以及一种特别设计的基于胶囊网络的信息聚合方法来充分利用先前学习的跨媒体信息表示，并通过直接控制隐层向量来生成目标风格的图像描述。和现有技术相比，本发明利用了解纠缠表示学习的技术提升了模型的可解释性和可控性。模型的跨媒体解纠缠表示可以带来更好的风格化图像描述生成性能，相对于现有的先进风格化图像描述生成模型，技术可在多个指标上的获得性能提升。