一种诗词生成方法、装置和介质

摘要

本发明实施例提供了一种诗词生成方法、装置和介质。其中的方法具体包括：接收生成信息；依据自回归的语言模型，确定所述生成信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络模块，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。本发明实施例能够生成遵循诗词的规律的候选诗词，以及能够提高生成的候选诗词的连贯性。

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种诗词生成方法、装置和介质。

背景技术

诗词，是指以古体诗、近体诗和格律词为代表的诗歌。诗词是阐述心灵的文学艺术，而诗人、词人则需要掌握成熟的艺术技巧，并按照严格韵律要求，用凝练的语言、绵密的章法、充沛的情感以及丰富的意象来高度集中地表现社会生活和人类精神世界。

在实际应用中，用户存在生成诗词的需求。用户生成的诗词可作为祝福语发送给亲友，以此表达问候；或者，生成的诗词可以在朋友圈发布，以提高发布内容的质量。

发明内容

本发明实施例提供一种诗词生成方法、装置和用于诗词生成的装置，能够生成遵循诗词的规律的候选诗词，以及能够提高生成的候选诗词的连贯性。

为了解决上述问题，本发明实施例公开了一种诗词生成方法，包括：

接收生成信息；

依据自回归的语言模型，确定所述生成信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；

所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络模块，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。

另一方面，本发明实施例公开了一种诗词生成装置，包括：

接收模块，用于接收生成信息；以及

候选诗词确定模块，用于依据自回归的语言模型，确定所述生成信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；

所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络模块，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。

再一方面，本发明实施例公开了一种用于诗词生成的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

接收生成信息；

依据自回归的语言模型，确定所述生成信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；

所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络模块，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。

又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的诗词生成方法。

本发明实施例包括以下优点：

本发明实施例依据诗词语料训练得到语言模型，能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中；这样，语言模型在生成诗词的过程中，能够遵循诗词的规律，因此能够生成遵循诗词的规律的候选诗词。

并且，本发明实施例的语言模型采用自回归机制，能够根据实时的预测结果对输入信息进行更新，因此能够迭代地生成预设长度的文本。

此外，本发明实施例的语言模型的自注意力模块能够快速捕捉与每个已知字词与词表中字词之间的依赖关系，因此能够将具有强依赖关系的字词作为预测结果，进而能够提高生成的候选诗词的连贯性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种诗词生成方法的应用环境的示意；

图2是本发明的一种诗词生成方法实施例的步骤流程图；

图3是本发明的一种诗词生成装置实施例的结构框图；

图4是本发明实施例的一种用于诗词生成的装置800的框图；及

图5是本发明的一些实施例中服务端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种诗词生成方案，该方案用于提供诗词生成服务。

该方案具体包括：接收生成信息；依据自回归的语言模型，确定上述生成信息对应的至少一首候选诗词；上述语言模型可以为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；上述语言模型具体包括：依次连接的多个处理层；上述处理层具体包括：自注意力模块和神经网络模块，上述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据上述注意力信息对诗词句子中未知字词进行预测。

本发明实施例中，生成信息中可以携带诗词生成所需的信息。本发明实施例依据自回归的语言模型，确定上述生成信息对应的至少一首候选诗词。

其中，语言模型是根据语言客观事实而进行的语言抽象数学建模。语言模型的作用可以包括：根据句子的已知信息，来预测下一个字词。

自回归的语言模型采用自回归机制。自回归机制可以为：依据预测结果(预测得到的字词)，对语言模型的输入信息进行更新；具体地，将当前轮预测结果添加在当前轮输入信息之后，以得到下一轮输入信息，将下一轮输入信息输入所述语言模型，以得到下一轮预测结果。由于自回归的语言模型能够根据实时的预测结果对输入信息进行更新，因此能够迭代地生成预设长度的文本，该预设长度可以在诗词长度的范围内。

本发明实施例依据诗词语料训练得到语言模型，能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中；这样，语言模型在生成诗词的过程中，能够遵循诗词的规律，因此能够生成遵循诗词的规律的候选诗词。

并且，在架构方面，本发明实施例的语言模型具体包括：依次连接的多个处理层；上述处理层具体包括：自注意力模块和神经网络模块，上述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据上述注意力信息对诗词句子中未知字词进行预测。上述自注意力模块确定每个已知字词到词表中字词的注意力，也即，在每个已知字词的位置上，确定词表中字词对应的注意力信息；这样，可以依据该注意力信息，从词表中确定出作为预测结果的字词。由于语言模型的自注意力模块能够快速捕捉与每个已知字词与词表中字词之间的依赖关系，因此能够将具有强依赖关系的字词作为预测结果，进而能够提高生成的候选诗词的连贯性。

本发明实施例提供的诗词生成方法可应用于图1所示的应用环境中，如图1所示，客户端100与服务端200位于有线或无线网络中，通过该有线或无线网络，客户端100与服务端200进行数据交互。

可选地，客户端100可以运行在终端上，上述终端具体包括但不限于：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，Moving Picture ExpertsGroup Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，Moving PictureExperts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等。客户端100可以对应于网站、或者APP(应用程序，Application)。

客户端100可以接收用户输入的生成信息，依据自回归的语言模型，确定上述生成信息对应的至少一首候选诗词，并向用户展示至少一首候选诗词。

或者，客户端100可以接收用户输入的生成信息，向服务端200发送该生成信息，并接收服务端200依据该生成信息生成的至少一首候选诗词。

方法实施例一

方法实施例一依据诗词语料，对语言模型进行训练，以使语言模型具备诗词的生成能力。

本发明实施例依据诗词语料训练得到语言模型，能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中；这样，语言模型在生成诗词的过程中，能够遵循诗词的规律，因此能够生成遵循诗词的规律的候选诗词。

诗词语料中可以包括至少一种格式参数的诗词。上述格式参数可以包括：句子数量参数、以及句子包含的字符数量参数等中的至少一种。

句子数量参数可以包括：八句、以及四句中的至少一种。根据句子数量参数，可以将格律诗划分为律诗和绝句等。其中，律诗是每首有八句的格律诗，绝句是每首有四句的格律诗。

句子包含的字符数量参数可以包括：五字、六字、以及七字中的至少一种。根据句子包含的字符数量参数，可以将诗歌划分为七言诗歌和五言诗歌等。其中，七言诗歌的句子以7字为主。并不要求七言诗歌的每个句子都是7个字，七言诗歌的部分句子包含7个字即可。五言诗歌是每句5个字的诗体。

句子数量参数和字符数量参数可以相结合。例如，五言诗歌可以包括：五言律诗和五言绝句。七言诗歌可以包括：七言律诗和七言绝句等。

词是一种诗的别体，词牌是词的调子的名称，词牌可以作为词的格式参数。不同的词牌在总句数、句数，每句的字数、平仄上都有规定。

可以理解，上述格律诗和词只是作为本发明实施例的诗词的示例，而不理解为本发明实施例的诗词的限制。

实际上，本发明实施例的诗词除了包括格律诗之外，还可以包括：杂体诗，杂体诗的种类可以包括：回环诗、剥皮诗、离合诗、宝塔诗、字谜诗、辘轳诗、八音歌诗、藏头诗、打油诗、诙谐诗、集句诗、联句诗、百年诗、嵌字句首诗、绝弦体诗、神智体诗等。

另外，除了中国的诗词之外，本发明实施例的诗词还可以包括其他国家的诗词，如十四行诗等，十四行诗的格式参数可以包括：行数、韵脚、音节、音调、结构等。可以理解，本发明实施例对于具体的诗词不加以限制。

本发明实施例可以将预设数量的诗词作为诗词语料，并利用诗词语料对语言模型进行无监督训练，以使训练得到的语言模型具有诗词生成能力。预设数量的例子可以包括：64万等，可以理解，本发明实施例对于诗词语料的预设数量不加以限制。

本发明实施例中，诗词语料对应的语种可以包括：中文、英文、德文、韩文、日文等，可以理解，本发明实施例的语言模型可以适用于任意的语种。

本发明实施例的语言模型，根据诗词的已知信息，以字词为单位预测诗词的未知信息。已知信息可以包括：诗词句子的已知字词、或者诗词主题和诗词句子的已知字词。

字词可以表征用于记录语种的基本单位。字词可以包括：字或词。以中文为例，字词可以包括字，也即可以字为单位进行中文诗词的生成。以英文为例，字词可以包括词，也即可以词为单位进行英文诗词的生成。其他语种的诗词生成，相互参照即可。

在架构方面，本发明实施例的语言模型具体包括：依次连接的多个处理层；上述处理层具体包括：自注意力模块和神经网络模块，上述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据上述注意力信息等神经网络相关信息，对诗词句子中未知字词进行预测。

处理层的数量可由本领域技术人员根据实际应用需求确定。处理层的数量范围可以为[4，24]。例如，为了节省运算量，处理层的数量可以为4，可以理解，本发明实施例对于处理器的具体数量不加以限制。

第一个处理层的处理过程可以包括：接收输入信息，通过自注意力模块对输入信息进行处理，接着将处理结果传递给神经网络模块。第一个处理层处理完毕后，会将输出信息传入下一个处理层，继续进行计算。不同处理层的处理方式相同，但每个处理层都会维护自己的自注意力模块和神经网络模块中的参数。

在最后一个处理层产生输出信息之后，语言模型可以依据输出信息中包括的、诗词句子中已知字词到词表中字词的注意力信息，确定词表中字词对应的注意力信息；并且，可以依据词表中字词对应的注意力信息，从词表中确定出作为预测结果的字词。例如，词表中字词对应的注意力信息为注意力得分，则可以按照注意力得分从高到低的顺序，从词表中确定出作为预测结果的字词，例如，可以选取注意力得分较高的N(N为大于0的自然数)个字词，作为当前轮预测结果。

本发明实施例的词表可以为预设语种对应的预设规模的词表。预设语种可根据诗词生成的语种确定，例如，预设语种可以为中文。预设规模可以表征词表中包括字词的数量。预设规模的例子可以包括：10896等，可以理解，本发明实施例对于词表的具体规模不加以限制。

通常的诗词语料中可以包括：诗词句子，这样能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中。

在本发明的一种可选实施例中，诗词语料中可以包括：诗词句子、以及位于诗词句子之前的诗词主题，也即，诗词主题可以位于诗词语料的头部。

主题是指文艺作品中或者社会活动等所要表现的中心思想，泛指主要内容。具体到本发明实施例，诗词主题可以表征诗词作品所表现的中心思想。本发明实施例在诗词句子之前设置诗词主题，可以将诗词主题与诗词句子之间的关联，学习到语言模型的参数中，进而能够使语言模型具备根据诗词主题生成诗词句子的能力。

在实际应用中，可以在诗词语料的诗词主题与诗词句子之间设置预设字符，以对诗词语料的诗词主题与诗词句子进行分割。预设字符可以包括：[sep]等，可以理解，本发明实施例对于具体的预设字符不加以限制。

综上，本发明实施例依据诗词语料训练得到语言模型，能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中；这样，语言模型在生成诗词的过程中，能够遵循诗词的规律，因此能够生成遵循诗词的规律的候选诗词。

方法实施例二

参照图2，示出了本发明的一种诗词生成方法实施例的步骤流程图，具体可以包括如下步骤：

步骤201、接收生成信息；

步骤202、依据自回归的语言模型，确定上述生成信息对应的至少一首候选诗词；上述语言模型可以为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；

上述语言模型可以包括：依次连接的多个处理层；上述处理层可以包括：自注意力模块和神经网络模块，上述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据上述注意力信息对诗词句子中未知字词进行预测。

图2所示实施例的至少一个步骤可由服务端和/或客户端执行，当然本发明实施例对于各个步骤的具体执行主体不加以限制。

步骤201中，生成信息可以为用户输入的信息。用户可以通过键盘输入、语音输入等输入方式，进行生成信息的输入，可以理解，本发明实施例对于生成信息的具体输入方式不加以限制。

生成信息可以为与诗词相关的信息。例如，生成信息可以包括：诗词开头信息、以及诗词主题信息中的任一或组合。诗词开头信息可以表征诗词句子的开头。诗词主题可以表征诗词的主题。

可以理解，诗词开头信息、以及诗词主题信息只是作为生成信息的示例，而不理解为生成信息的限制。实际上，生成信息可以为诗词在任意位置的字词。在实际应用中，生成信息可以包括：不同诗词句子的字词。例如，生成信息可以包括：第j个诗词句子的字词和第k个诗词句子的字词，j、k可以为大于0的自然数，且j与k不同。如生成信息可以包括：第1个诗词句子的开头和其他诗词句子的任意位置的字词。

生成信息包括的字词在诗词中的位置可由用户指定。生成信息包括的字词在诗词中的位置可以包括：诗词句子标识和字词标识，其中，诗词句子标识用于表征所处诗词句子的编号，字词标识可以表征字词在诗词句子中的位置。

步骤202中，可以将生成信息作为语言模型的第一轮输入信息，并利用语言模型的自回归机制，依次预测诗词句子的字词，进而可以生成候选诗词。

本发明实施例中，上述确定所述生成信息对应的至少一首候选诗词，具体可以包括：依据诗词的已知信息，确定当前轮输入信息；将所述当前轮输入信息输入所述语言模型，以得到当前轮预测结果。

在具体实现中，语言模型可以诗词句子为粒度，进行诗词句子的生成和输出；具体地，可以生成一个诗词句子，并对这个诗词句子进行输出。或者，语言模型可以诗词为粒度，进行完整的诗词的生成和输出；具体地，可以生成诗词的所有诗词句子，并对所有诗词句子进行输出。

假设当前轮为第i轮，i为大于0的自然数，则在i为1的情况下，已知信息可以包括：用户输入的生成信息；在i＞1的情况下，已知信息可以包括：用户输入的生成信息和已经生成的预测结果。本发明实施例可以将生成信息作为第一轮输入信息，并将第一轮输入信息输入语言模型，以得到第一轮预测结果。

例如，生成信息为诗词开头信息“秋天”，则第一轮预测结果可以包括：“秋天”之后的字，如“一”、“如”、“凉”等。

进一步，上述确定所述生成信息对应的至少一首候选诗词，还可以包括：将所述当前轮预测结果添加在所述当前轮输入信息之后，以得到下一轮输入信息；将所述下一轮输入信息输入所述语言模型，以得到下一轮预测结果。

假设当前轮为第i轮，则可以将第i轮预测结果添加在第i轮输入信息之后，以得到第(i+1)轮输入信息，并且可以将第(i+1)轮输入信息输入语言模型，以得到第(i+1)轮预测结果。以此类推，直至完成候选诗词的生成，也即在完成候选诗词的生成后，可以停止执行将所述当前轮预测结果添加在所述当前轮输入信息之后的步骤。

由于基于诗词语料对语言模型的训练，能够将诗词的规律学习到语言模型的参数中，因此，语言模型在生成遵循诗词的规律的候选诗词后，能够确定完成候选诗词的生成。

本发明实施例中，当前轮预测结果具体可以包括：注意力信息符合预设条件的至少一个字词，其中，不同的字词可以对应不同的当前轮预测结果。

例如，词表中字词对应的注意力信息为注意力得分，则可以按照注意力得分从高到低的顺序，从词表中确定出作为预测结果的字词，例如，可以选取注意力得分较高的N个字词，作为当前轮预测结果。

本发明实施例中，语言模型可以对应有至少一种格式参数，则语言模型可用于生成符合至少一种格式参数的至少一首候选诗词。

例如，上述格式参数可以包括：句子数量参数、以及句子包含的字符数量参数等中的至少一种。

在本发明的一种可选实施例中，语言模型可以生成符合多种格式参数的多首候选诗词。例如，生成符合字符数量参数为5的五言律诗，生成符合字符数量参数为7的七言律诗，生成符合字符数量参数为5的五言绝句，生成符合字符数量参数为7的七言绝句等。

需要说明的是，本发明实施例可以对不同格式参数的不同选项进行组合，以得到多种组合结果，并针对多种组合结果，分别生成对应的候选诗词。例如，组合结果可以包括：“五言”+“律诗”、“五言”+“绝句”、“七言”+“律诗”、“七言”+“绝句”等。

在本发明的另一种可选实施例中，可以提供至少两种格式参数选项；则上述确定所述生成信息对应的至少一首候选诗词，具体包括：依据用户选择的目标格式参数选项，确定所述生成信息对应的至少一首候选诗词。

在具体实现中，可以提供一种格式参数对应的至少两种格式参数选项。或者，可以提供多种格式参数分别对应的至少两种格式参数选项，此种情况下，可以对用户选择的不同选项进行组合，并针对得到的组合结果，生成对应的候选诗词。

例如，针对句子数量参数提供“律诗”和“绝句”选项，针对字符数量参数提供“五言”和“七言”选项，则用户选择了“律诗”和“五言”，则可以生成“五言”+“律诗”对应的至少一首候选诗词。

需要说明的是，对于一种组合结果而言，由于其对应的诗词生成过程中，当前轮预测结果可以包括：N个字词，因此，其对应的诗词生成结果可以包括：N首候选诗词。

本发明实施例可以对至少一首候选诗词进行展示，以供用户查看和使用。例如，用户可以对展示的候选诗词执行复制、分享等操作。

综上，本发明实施例的诗词生成方法，依据诗词语料训练得到语言模型，能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中；这样，语言模型在生成诗词的过程中，能够遵循诗词的规律，因此能够生成遵循诗词的规律的候选诗词。

并且，本发明实施例的语言模型采用自回归机制，能够根据实时的预测结果对输入信息进行更新，因此能够迭代地生成预设长度的文本。

此外，本发明实施例的语言模型的自注意力模块能够快速捕捉与每个已知字词与词表中字词之间的依赖关系，因此能够将具有强依赖关系的字词作为预测结果，进而能够提高生成的候选诗词的连贯性。

为使本领域技术人员更好地理解本发明实施例，在此提供本发明实施例的诗词生成方法的具体应用示例。

应用示例1

应用示例1中，在语言模型的训练过程中，诗词语料可以包括：诗词句子，这样能够将诗词的规律，学习到语言模型的参数中。

在依据语言模型进行诗词生成的过程中，用户输入的生成信息可以包括：诗词开头信息，如诗句开头的至少一个字词，则本发明实施例可以依据诗词开头信息，进行自回归的预测，进而得到对应的至少一首候选诗词。

例如，诗词开头信息为“秋天”，则本发明实施例可以生成以“秋天”开头的至少一首候选诗词，并展示给用户。

应用示例2

应用示例2中，在语言模型的训练过程中，诗词语料中可以包括：诗词句子、以及位于诗词句子之前的诗词主题。在诗词句子之前设置诗词主题，可以将诗词主题与诗词句子之间的关联，学习到语言模型的参数中，进而能够使语言模型具备根据诗词主题生成诗词句子的能力。

在依据语言模型进行诗词生成的过程中，用户输入的生成信息可以包括：诗词主题信息，则本发明实施例可以依据诗词主题信息，进行自回归的预测，进而得到对应的至少一首候选诗词。

例如，诗词主题信息为“思乡”，则本发明实施例可以生成以“思乡”为主题的至少一首候选诗词，并展示给用户。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的运动动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的运动动作并不一定是本发明实施例所必须的。

装置实施例

参照图3，示出了本发明的一种诗词生成装置实施例的结构框图，具体可以包括：接收模块301和候选诗词确定模块302。

其中，接收模块301，用于接收生成信息；

候选诗词确定模块302，用于依据自回归的语言模型，确定上述生成信息对应的至少一首候选诗词；上述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；

上述语言模型可以包括：依次连接的多个处理层；上述处理层可以包括：自注意力模块和神经网络模块，上述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据上述注意力信息对诗词句子中未知字词进行预测。

可选地，上述生成信息可以包括：

诗词开头信息；和/或

诗词主题信息。

可选地，在上述生成信息可以包括诗词主题信息的情况下，上述诗词语料可以包括：诗词句子、以及位于上述诗词句子之前的诗词主题。

可选地，上述语言模型对应有至少一种格式参数，上述语言模型用于生成符合上述至少一种格式参数的至少一首候选诗词。

可选地，上述装置还可以包括：

提供模块，用于提供至少两种格式参数选项；

上述候选诗词确定模块，可以包括：

第一候选诗词确定模块，用于依据用户选择的目标格式参数选项，确定上述生成信息对应的至少一首候选诗词。

可选地，上述候选诗词确定模块可以包括：

第一输入信息确定模块，用于依据诗词的已知信息，确定当前轮输入信息；

第一输入模块，用于将上述当前轮输入信息输入上述语言模型，以得到当前轮预测结果。

可选地，上述候选诗词确定模块还可以包括：

第二输入信息确定模块，用于将上述当前轮预测结果添加在上述当前轮输入信息之后，以得到下一轮输入信息；

第二输入模块，用于将上述下一轮输入信息输入上述语言模型，以得到下一轮预测结果。

可选地，上述当前轮预测结果可以包括：注意力信息符合预设条件的至少一个字词。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例提供了一种用于诗词生成的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：接收生成信息；依据自回归的语言模型，确定所述生成信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络模块，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。

图4是根据一示例性实施例示出的一种用于诗词生成的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音数据处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频数据处理(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图5是本发明的一些实施例中服务端的结构示意图。该服务端1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务端中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务端1900上执行存储介质1930中的一系列指令操作。

服务端1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务端或者终端)的处理器执行时，使得装置能够执行图2或图3或图4所示的诗词生成方法。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务端或者终端)的处理器执行时，使得装置能够执行一种诗词生成方法，所述方法包括：接收生成信息；依据自回归的语言模型，确定所述生成信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络模块，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。

本发明实施例公开了A1、一种诗词生成方法，所述方法包括：

接收生成信息；

依据自回归的语言模型，确定所述生成信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；

所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络模块，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。

A2、根据A1所述的方法，所述生成信息包括：

诗词开头信息；和/或

诗词主题信息。

A3、根据A1所述的方法，在所述生成信息包括诗词主题信息的情况下，所述诗词语料包括：诗词句子、以及位于所述诗词句子之前的诗词主题。

A4、根据A1所述的方法，所述语言模型对应有至少一种格式参数，所述语言模型用于生成符合所述至少一种格式参数的至少一首候选诗词。

A5、根据A1所述的方法，所述方法还包括：

提供至少两种格式参数选项；

所述确定所述生成信息对应的至少一首候选诗词，包括：

依据用户选择的目标格式参数选项，确定所述生成信息对应的至少一首候选诗词。

A6、根据A1所述的方法，所述确定所述生成信息对应的至少一首候选诗词，包括：

依据诗词的已知信息，确定当前轮输入信息；

将所述当前轮输入信息输入所述语言模型，以得到当前轮预测结果。

A7、根据A6所述的方法，所述确定所述生成信息对应的至少一首候选诗词，还包括：

将所述当前轮预测结果添加在所述当前轮输入信息之后，以得到下一轮输入信息；

将所述下一轮输入信息输入所述语言模型，以得到下一轮预测结果。

A8、根据A6所述的方法，所述当前轮预测结果包括：注意力信息符合预设条件的至少一个字词。

本发明实施例公开了B9、一种诗词生成装置，包括：

接收模块，用于接收生成信息；以及

候选诗词确定模块，用于依据自回归的语言模型，确定所述生成信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；

所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络模块，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。

B10、根据B9所述的装置，所述生成信息包括：

诗词开头信息；和/或

诗词主题信息。

B11、根据B9所述的装置，在所述生成信息包括诗词主题信息的情况下，所述诗词语料包括：诗词句子、以及位于所述诗词句子之前的诗词主题。

B12、根据B9所述的装置，所述语言模型对应有至少一种格式参数，所述语言模型用于生成符合所述至少一种格式参数的至少一首候选诗词。

B13、根据B9所述的装置，所述装置还包括：

提供模块，用于提供至少两种格式参数选项；

所述候选诗词确定模块，包括：

第一候选诗词确定模块，用于依据用户选择的目标格式参数选项，确定所述生成信息对应的至少一首候选诗词。

B14、根据B9所述的装置，所述候选诗词确定模块包括：

第一输入信息确定模块，用于依据诗词的已知信息，确定当前轮输入信息；

第一输入模块，用于将所述当前轮输入信息输入所述语言模型，以得到当前轮预测结果。

B15、根据B14所述的装置，所述候选诗词确定模块还包括：

第二输入信息确定模块，用于将所述当前轮预测结果添加在所述当前轮输入信息之后，以得到下一轮输入信息；

第二输入模块，用于将所述下一轮输入信息输入所述语言模型，以得到下一轮预测结果。

B16、根据B14所述的装置，所述当前轮预测结果包括：注意力信息符合预设条件的至少一个字词。

本发明实施例公开了C17、一种用于诗词生成的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

接收生成信息；

依据自回归的语言模型，确定所述生成信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；

所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络模块，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。

C18、根据C17所述的装置，所述生成信息包括：

诗词开头信息；和/或

诗词主题信息。

C19、根据C17所述的装置，在所述生成信息包括诗词主题信息的情况下，所述诗词语料包括：诗词句子、以及位于所述诗词句子之前的诗词主题。

C20、根据C17所述的装置，所述语言模型对应有至少一种格式参数，所述语言模型用于生成符合所述至少一种格式参数的至少一首候选诗词。

C21、根据C17所述的装置，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

提供至少两种格式参数选项；

所述确定所述生成信息对应的至少一首候选诗词，包括：

依据用户选择的目标格式参数选项，确定所述生成信息对应的至少一首候选诗词。

C22、根据C17所述的装置，所述确定所述生成信息对应的至少一首候选诗词，包括：

依据诗词的已知信息，确定当前轮输入信息；

将所述当前轮输入信息输入所述语言模型，以得到当前轮预测结果。

C23、根据C22所述的装置，所述确定所述生成信息对应的至少一首候选诗词，还包括：

将所述当前轮预测结果添加在所述当前轮输入信息之后，以得到下一轮输入信息；

将所述下一轮输入信息输入所述语言模型，以得到下一轮预测结果。

C24、根据C22所述的装置，所述当前轮预测结果包括：注意力信息符合预设条件的至少一个字词。

本发明实施例公开了D25、一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如A1至A8中一个或多个所述的诗词生成方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上对本发明所提供的一种诗词生成方法、一种诗词生成装置和一种用于诗词生成的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。