基于自然语言的图像修改与生成方法

摘要

本发明提供了一种基于自然语言的图像修改与生成方法，包括：根据任务类型，基于输入的图像计算获取初始图像隐向量；输入目标文本信息，计算目标文本嵌入向量；输入目标文本，基于所述目标文本计算目标文本嵌入向量；设定不同目标生成策略，基于目标生成策略计算对应的图像生成预训练模型的层更新权重；依据输入图像计算初始图像隐向量、目标文本嵌入向量与层更新权重，对图像生成预训练模型的参数与图像隐向量进行训练调优，以得到更新后的合成图像的隐向量和图像生成预训练模型；基于更新后的合成图像的隐向量和图像生成预训练模型，得到并输出合成的目标图像。本发明填补了通过自然语言进行可精细化控制的图像修改或生成任务的空白，图像修改与生成效果好，能在较短时间内获取输出结果。