深度神经网络在基于图片生成中国古诗问题中的研究与应用

摘要

古诗，作为中国文学的结晶，始终是中华文化中非常重要的一部分。在中国几千年的历史中，诗人创作了上百万首古诗来赞叹美景、歌颂爱国、赞美爱情及表达各种情感。中国古诗具有精炼的结构、优美的韵律，并且蕴含了丰富的情感，直到今天仍会让我们感到着迷。
　　近几年来，随着神经网络和自然语言处理领域的快速发展，利用机器学习技术自动生成中国古诗来得到了广泛的关注。现有的工作主要集中在利用关键词来生成中国古诗，但由于文字本身的表达能力有限，少量关键词通常无法完全表达用户写作意图，相比于关键词，图片中丰富的语义和视觉信息表达能力更强，更适合用于表达用户写作意图，因此基于图片生成中国古诗是一个非常值得研究的问题。
　　基于图片生成中国古诗是一个比基于关键词生成古诗更有挑战性的问题，因为图片中丰富的视觉信息无法用少量关键词完全描述，同时一首好的古诗应该能够十分准确地描述图片中的内容。因此本文设计了一种基于记忆的深度神经网络来自动基于图片生成中国古诗，这种模型可以很有效地挖掘图片中的视觉信息及语义信息。就我们所知，这是第一个探索基于图片自动生成中国古诗的模型。我们对模型生成的古诗进行了人为打分评价以及自动定量评价，实验结果表明我们提出的模型能够生成能准确描述图片内容的中国古诗。本文的主要贡献有:(1)探索了基于图片生成中国古诗这个新的科研课题。(2)利用记忆网络解决现有工作中主题漂移的问题，以及只能输入少量关键词的问题。(3)在生成古诗过程中，有效结合了图片中的语义信息和视觉信息。

目录

声明

摘要

第1章 绪论

1．1 引言

1．2 研究背景及意义

1．3 研究动机及意义

1．4 本文主要贡献

1．5 本文组织结构

第2章 相关工作概述

2．1 基于传统方法的自动生成古诗方法

2．1．1．基于模板的方法

2．1．2．基于遗传算法的方法

2．1．3．基于统计机器翻译的方法

2．1．4．基于自动摘要技术的方法

2．2．2．基于注意力机制的宋词生成器

2．2．3．基于规划的诗歌生成模型

2．2．4．记忆增强的自动生成古诗模型

2．3 自动生成图像标题的方法

2．3．1．卷积神经网络

2．3．2．多模态递归神经网络

2．3．3．基于长短记忆网络的图片标题生成模型

2．3．4．基于注意力机制的图片标题生成模型

2．4 本章小结

第3章 利用记忆网络基于图片生成古诗的模型

3．1 编码-解码模型

3．2 注意力机制

3．3 自动生成古诗的框架

3．4 基于图片的编码器I-Enc

3．5 基于记忆的解码器M-Dec

3．5．1．关键词抽取

3．5．2．主题记忆网络

3．5．3．主题增强的Softmax

3．6 本章小结

第4章 实验及结果分析

4．1 数据集

4．1．1．数据预处理

4．1．2．数据匹配

4．2 训练细节

4．3 评价标准

4．4 对比模型

4．5 实验结果及分析

4．5．1．人为评分结果

4．5．2．自动评价结果

4．5．3．基于图片生成古诗示例

4．6 本章小结

第5章 总结与展望

5．1 全文总结

5．2 工作展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果