基于多模态信息输入的人工智能文本创作方法

摘要

本发明公开了基于多模态信息输入的人工智能文本创作方法，该方法包括多模态数据构造以及文本创作模型两部分。本发明能够同时处理多模态图文序列信息作为输入，在给定主题词的条件下进行文本生成，将AI创作领域由单个模态到文本生成的工作扩展到由多个模态到文本的生成，更加符合人类创作的过程。此外，在方法上本发明的模型结构和训练方式更加合理，实验结果可靠，同时也印证了本发明方法的有效性，该方法也更易于后续扩展、迁移和再创造。