韵律层级预测模型的生成及韵律层级预测方法和装置

摘要

本发明提出一种韵律层级预测模型的生成及韵律层级预测方法和装置，该韵律层级预测模型的生成方法包括：根据精标数据集生成初始的韵律层级预测模型；收集语音及对应的文本数据，检测语音中的特征信息，并将所述特征信息加入文本数据的对应位置；根据所述初始的韵律层级预测模型，对加入特征信息的文本数据进行韵律层级预测，得到初始的韵律层级预测结果；根据所述精标数据集和所述初始的韵律层级预测结果进行训练，生成更新后的韵律层级预测模型，所述更新后的韵律层级预测模型用于语音合成时的韵律层级预测。该方法能够提高生成的韵律层级预测模型的准确性，进而提高韵律层级预测的准确性，提高语言合成效果。

说明书

技术领域

本发明涉及语音处理技术领域，尤其涉及一种韵律层级预测模型的生成及韵律层级预 测方法和装置。

背景技术

语音合成，又称文语转换(TexttoSpeech，TTS)技术，能将任意文字信息实时转化 为标准流畅的语音朗读出来，相当于给机器装上了人工嘴巴。语音合成的一个关键步骤是 韵律预测，韵律预测又可以细分为韵律层级预测、时长预测和音高预测等。在韵律层级预 测时，是采用训练阶段生成的韵律层级预测模型对文本处理后的输入文本进行韵律层级预 测，得到韵律层级预测结果，韵律层级预测结果会影响语音合成的效果。

现有技术中，韵律层级预测模型是将精标数据集作为训练数据，对训练数据进行训练 后生成的，精标数据集是指由专业人员对收集的数据集进行精细标注后得到的数据集。但 是，由于精标数据集需要专业人员的标注，标注周期长，所需投入大，所以精标数据集往 往规模较小，导致所训练的韵律层级预测模型的准确性较差，从而影响韵律层级预测的准 确性，影响语音合成的效果。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种韵律层级预测模型的生成方法，该方法可以提 高生成的韵律层级预测模型的准确性，进而提高韵律层级预测的准确性，提高语言合成效 果。

本发明的另一个目的在于提出一种韵律层级预测方法，该方法可以采用准确性较高的 韵律层级预测模型，提高韵律层级预测的准确性，从而提高语言合成效果。

本发明的另一个目的在于提出一种韵律层级预测模型的生成装置。

本发明的另一个目的在于提出一种韵律层级预测装置。

为达到上述目的，本发明第一方面实施例提出的韵律层级预测模型的生成方法，包括： 根据精标数据集生成初始的韵律层级预测模型；收集语音及对应的文本数据，检测语音中 的特征信息，并将所述特征信息加入文本数据的对应位置；根据所述初始的韵律层级预测 模型，对加入特征信息的文本数据进行韵律层级预测，得到初始的韵律层级预测结果；根 据所述精标数据集和所述初始的韵律层级预测结果进行训练，生成更新后的韵律层级预测 模型，所述更新后的韵律层级预测模型用于语音合成时的韵律层级预测。

本发明第一方面实施例提出的韵律层级预测模型的生成方法，通过在模型训练时，不 仅根据精标数据集还根据初始的韵律层级预测结果，可以扩大训练数据的规模，提高生成 的韵律层级预测模型的准确性，进而提高韵律层级预测的准确性，提高语言合成效果。

为达到上述目的，本发明第二方面实施例提出的韵律层级预测方法，包括：获取文本 处理后的输入文本；获取韵律层级预测模型；根据所述韵律层级预测模型，对所述文本处 理后的输入文本进行韵律层级预测，得到韵律层级预测结果；其中，所述韵律层级预测模 型采用如本发明第一方面实施例任一项所述的方法生成。

本发明第二方面实施例提出的韵律层级预测方法，通过选择上述的韵律层级预测模型， 该韵律层级预测模型相当于已有的模型更加准确，由于采用了更加准确的韵律层级预测模 型，可以提高韵律层级预测的准确性，进而提高语言合成的效果。

为达到上述目的，本发明第三方面实施例提出的韵律层级预测模型的生成装置，包括： 第一生成模块，用于根据精标数据集生成初始的韵律层级预测模型；处理模块，用于收集 语音及对应的文本数据，检测语音中的特征信息，并将所述特征信息加入文本数据的对应 位置；预测模块，用于根据所述初始的韵律层级预测模型，对加入特征信息的文本数据进 行韵律层级预测，得到初始的韵律层级预测结果；第二生成模块，用于根据所述精标数据 集和所述初始的韵律层级预测结果进行训练，生成更新后的韵律层级预测模型，所述更新 后的韵律层级预测模型用于语音合成时的韵律层级预测。

本发明第三方面实施例提出的韵律层级预测模型的生成装置，通过在模型训练时，不 仅根据精标数据集还根据初始的韵律层级预测结果，可以扩大训练数据的规模，提高生成 的韵律层级预测模型的准确性，进而提高韵律层级预测的准确性，提高语言合成效果。

为达到上述目的，本发明第四方面实施例提出的韵律层级预测装置，包括：第一获取 模块，用于获取文本处理后的输入文本；第二获取模块，用于获取韵律层级预测模型；预 测模块，用于根据所述韵律层级预测模型，对所述文本处理后的输入文本进行韵律层级预 测，得到韵律层级预测结果；其中，所述韵律层级预测模型采用如本发明第一方面任一项 所述的方法生成。

本发明第四方面实施例提出的韵律层级预测装置，通过选择上述的韵律层级预测模型， 该韵律层级预测模型相当于已有的模型更加准确，由于采用了更加准确的韵律层级预测模 型，可以提高韵律层级预测的准确性，进而提高语言合成的效果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显 和容易理解，其中：

图1是本发明一实施例提出的韵律层级预测模型的生成方法的流程示意图；

图2是本发明实施例中训练过程和预测过程的示意图；

图3是本发明另一实施例提出的韵律层级预测方法的流程示意图；

图4是本发明实施例中语音合成的流程示意图；

图5是本发明另一实施例提出的韵律层级预测模型的生成装置的结构示意图；

图6是本发明另一实施例提出的韵律层级预测装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描 述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发 明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

图1是本发明一实施例提出的韵律层级预测模型的生成方法的流程示意图，该方 法包括：

S11：根据精标数据集生成初始的韵律层级预测模型。

具体的，图2是本发明实施例中训练过程和预测过程的示意图。参见图2，其中的根 据精标数据集生成初始的韵律层级预测模型的流程包括：

S21：根据精标数据集生成训练数据。

其中，精标数据集是指由专业人员精细标注后得到的数据集，可以采用已有方式获取。

在获取到精标数据集后，可以将精标数据集作为训练数据。

S22：采用机器学习算法对训练数据进行训练，生成初始的韵律层级预测模型。

以中文韵律层级预测为例，韵律层级主要包括：韵律词、韵律短语和语调短语。其中， 韵律词相对稳定，预测准确率较高；韵律短语相对灵活；语调短语，可以看作是一组韵律 短语，往往会产生明显的停顿，是更大的层级结构，也是对人的听感和理解更为关键的。

不同韵律位置的单元，具有不同的特点，是有明显区分性的，主要包括时长差异、音 高差异和停顿差异等。比如，《韵律单元边界特征的声学语音学研究》一文的研究表明，韵 律单元起首音节韵母的时长不受韵律层级的影响,既不会拉长也不会缩短,而韵律单元末尾 音节韵母的时长则明显受到韵律层级的影响,韵律词末尾音节韵母时长不会拉长反而缩短, 其他层级韵律单元的末尾音节韵母的时长均有不同程度的拉长。韵律短语末，通常没有明 显的停顿；语调短语末，往往会有明显的停顿和音高重置。

初始的韵律层级预测模型是基于语调短语预测其他层级的模型，用公式表示为： W＝argMax(P(Yi|X,Y3)),

其中，i＝0,1,2，分别对应语法词、韵律词、韵律短语，Y3对应语调短语，W是初始的 韵律层级预测模型，X是训练数据中的已知文本信息，如分词、词性等。

训练过程的具体机器学习算法可以采用决策树，条件随机场，最大熵模型，隐马尔科 夫模型，深度神经网络等。

韵律层级预测模型，可以逐级训练/预测，也可以同时训练/预测多个韵律层级。对于 逐级预测，即训练一组模型，分别预测不同的韵律层级，并在上一层级的基础上，进行下 一层级的预测。比如：输入文本“获取海量数据是机器学习算法成功应用的一个重要方面” 这句话，首先通过文本处理，获得分词结果“获取海量数据是机器学习算法成功应用的一 个重要方面”。之后分别通过韵律词模型、韵律短语模型和语调短语模型，分别得到如下结 果：

韵律词预测结果：获取#1海量#1数据#1是#1机器#1学习#1算法#1成功#1应用 的#1一个#1重要#1方面#1

韵律短语预测结果：获取#1海量#1数据#2是#1机器#1学习#1算法#2成功#1应 用的#2一个#1重要#1方面#2

语调短语预测结果：获取#1海量#1数据#3是#1机器#1学习#1算法#2成功#1应 用的#3一个#1重要#1方面#3

其中，#1、#2、#3分别代表韵律词、韵律短语、语调短语三个层次。这个问题，是已 知文本信息(分词、词性等)，记为X，训练集的标注信息Yi(i＝0,1,2,3，i＝0时相当于 语法词)，训练过程是最大化P(Yi|X,Yi-1)，得到模型W。预测过程，是已知模型和前一级 预测的层级信息(对于韵律词，前一级为语法词，即分词的边界信息)，预测作为下一韵律 层级的概率，即P(Yi|X,W,Yi-1)。

如果把多个层级同时进行预测，相当于训练模型，使得P(Y|X)最大化；预测时，根据 P(Y|X,W)进行层级判断。

也就是说，在获取上述的W＝argMax(P(Yi|X,Y3))时，可以采用逐级训练的方式，或者， 也可以采用多个层级同时训练的方式获取，具体的逐级训练方式或同时训练方式可以参见 上述模型训练的描述。

S12：收集语音及对应的文本数据，检测语音中的特征信息，并将所述特征信息加入文 本数据的对应位置。

一些实施例中，采用的特征信息可以具体是指停顿信息。

收集的语音可以具体是指海量语音，海量语音是指数量大于预设值的语音，从而扩大 训练数据集的规模。

参见图2，S12可以具体包括：

S23：收集海量的语音及对应的文本数据。

其中，可以在已有的资源中进行收集，获取海量的语音。对应的文本数据可以是对相 应的语音进行语音识别后得到的文本结果，或者，也可以人工收集的与语音对应的已有的 经过人工整理的文本。

S24：检测语音中的停顿信息，在文本数据中标注停顿信息，以实现将停顿信息加入文 本数据的对应位置。

其中，可以采用自动或人工方式，检测停顿信息并进行标注。

例如，采用人工方式时，可以人工根据语音，对相应的文本数据的分词进行逐一分析， 在文本数据中标注停顿信息。或者，

采用自动方式时，可以基于文本与语音强制对齐的结果，也可以是基于语音识别解码 的最优序列，或者，也可以是基于幅度的简单检测，检测出停顿信息(静音段)，并在文本 数据的相应位置标记为语调短语#3。

S13：根据所述初始的韵律层级预测模型，对加入特征信息的文本数据进行韵律层级预 测，得到初始的韵律层级预测结果。

例如，参见图2，以初始的韵律层级预测结果称为自动标注的海量数据集为例，在文 本数据中加入停顿信息后，该方法还包括：

S25：采用初始的韵律层级预测模型，对加入停顿信息的文本数据进行韵律层级预测， 得到自动标注的海量数据集。

具体的，根据W＝argMax(P(Yi|X,Y3))以及标注了停顿信息的文本数据，计算 P(Yi|X,W,Y3)，得到海量文本数据对应的自动标注的海量数据集。

S14：根据所述精标数据集和所述初始的韵律层级预测结果进行训练，生成更新后的韵 律层级预测模型，所述更新后的韵律层级预测模型用于语音合成时的韵律层级预测。

与现有技术中只将精标数据集作为训练数据相比，本实施例中的训练数据还包括初始 的韵律层级预测结果，也就是自动标注的海量数据集，从而可以有效扩大训练数据的规模， 提高模型的准确性。

例如，参见图2，在训练过程中还包括：

S26：采用机器学习算法，根据精标数据集和初始的韵律层级预测结果，得到更新后的 韵律层级预测模型。

更新后的韵律层级预测模块用W’表示，用公式可以表示为：

W’＝argMax(P(Yi|X)),

其中i＝0,1,2，3分别对应语法词、韵律词、韵律短语、语调短语。

X是训练数据中的已知文本信息，训练数据包括精标数据集和初始的韵律层级预测结 果。

具体的机器学习算法可以采用决策树，条件随机场，最大熵模型，隐马尔科夫模型， 深度神经网络等。

本实施例中，通过在模型训练时，不仅根据精标数据集还根据初始的韵律层级预测结 果，可以扩大训练数据的规模，提高生成的韵律层级预测模型的准确性，进而提高韵律层 级预测的准确性，提高语言合成效果。进一步的，通过采用停顿信息，由于相对于其他特 征，停顿信息更容易检测，可以使得检测结果更加稳定可靠。由于停顿信息与语调短语的 对应关系，以及语调短语对人的听感有更强的影响，语调短语的预测准确性提升，降低了 听者对合成语音理解的难度。另外，初始的韵律层级预测结果是根据收集的海量数据得到 的，大大提升了数据的量级，可以涵盖更加丰富的语言现象，同时节约了人工标注的成本， 改善了预测的准确性，以及合成语音的自然度。另外，在模型训练时，可以采用逐级训练 或同时训练的方式生成模型，在停顿信息检测和标注时可以采用人工或自动方式实现，提 高了实现灵活性。

图3是本发明另一实施例提出的韵律层级预测方法的流程示意图，该方法可以应用在 预测过程，该方法包括：

S31：获取文本处理后的输入文本。

其中，输入文本是指要进行语音合成的文本。

参见图2，输入文本进入语音合成系统后，可以先对输入文本进行文本处理(S27)。

参见图4，文本处理的流程可以包括：

S41：文本预处理；

S42：分词；

S43：词性标注；

S44：注音；

其中，S41～S44是语音合成系统中通常会采用的步骤，因此可以采用已有技术实现。

经过注音后的文本可以作为文本处理后的输入文本，进行后续的韵律层级预测。

S32：获取韵律层级预测模型。

其中，参见图2，在预测过程中，采用的韵律层级预测模型是训练过程中生成的模型， 具体的生成方法可以参见上述实施例中的相关描述，在此不再赘述。

S33：根据所述韵律层级预测模型，对所述文本处理后的输入文本进行韵律层级预测， 得到韵律层级预测结果。

在获取到韵律层级预测模型后，就可以采用该模型进行韵律层级预测(图2中的S28 或图4中的S45的韵律预测包括韵律层级预测)。

与现有技术相比，本实施例采用的韵律层级预测模型更加准确，而在获取韵律层级预 测模型后，具体的韵律层级预测算法可以采用已有算法。

通过韵律层级预测，可以预测句子中不同词语对应的韵律层级，作为后续声学参数生 成模块的上下文信息。

进一步的，在语音合成时，在韵律层级预测之后还存在其他的后续流程，例如参见图 4，语音合成流程还包括：

S46：声学参数生成；

例如，根据韵律预测的结果生成声学参数。

S47：语音合成。

在生成声学参数后，可以直接通过声码器合成声音，或者，根据声学参数从录音语料 库中挑选语音单元进行拼接，合成声音。

本实施例中，通过选择上述的韵律层级预测模型，该韵律层级预测模型相当于已有的 模型更加准确，由于采用了更加准确的韵律层级预测模型，可以提高韵律层级预测的准确 性，进而提高语言合成的效果。

图5是本发明另一实施例提出的韵律层级预测模型的生成装置的结构示意图，该装置 50包括：第一生成模块51、处理模块52、预测模块53和第二生成模块54。

第一生成模块51，用于根据精标数据集生成初始的韵律层级预测模型；

其中，具体的生成方法可以参见图2所示的相关流程，在此不再赘述。

精标数据集的规模较小，致使初始的韵律层级预测模型准确性较低，如果直接用于语 音合成的韵律层级预测会降低韵律层级预测的准确性。

处理模块52，用于收集语音及对应的文本数据，检测语音中的特征信息，并将所述特 征信息加入文本数据的对应位置；

一些实施例中，采用的特征信息可以具体是指停顿信息。

收集的语音可以具体是指海量语音，海量语音是指数量大于预设值的语音，从而扩大 训练数据集的规模。

可选的，所述处理模块52用于收集语音及对应的文本数据，包括：

收集海量的语音及对应的文本数据，所述海量的语音是指数量大于预设值的语音。

其中，可以在已有的资源中进行收集，获取海量的语音。对应的文本数据可以是对相 应的语音进行语音识别后得到的文本结果，或者，也可以人工收集的与语音对应的已有的 经过人工整理的文本。

可选的，所述处理模块52用于检测语音中的特征信息，并将所述特征信息加入文本数 据的对应位置，包括：

采用人工或者自动的方式，检测语音中的特征信息，并将所述特征信息加入文本数据 的对应位置。

可选的，所述自动的方式包括：

基于文本数据与语音强制对齐的结果；或者，

基于语音识别解码的最优序列；或者，

基于幅度的简单检测。

例如，采用人工方式时，可以人工根据语音，对相应的文本数据的分词进行逐一分析， 在文本数据中标注停顿信息。或者，

采用自动方式时，可以基于文本与语音强制对齐的结果，也可以是基于语音识别解码 的最优序列，或者，也可以是基于幅度的简单检测，检测出停顿信息(静音段)，并在文本 数据的相应位置标记为语调短语#3。

预测模块53，用于根据所述初始的韵律层级预测模型，对加入特征信息的文本数据进 行韵律层级预测，得到初始的韵律层级预测结果；

以初始的韵律层级预测结果称为自动标注的海量数据集为例，具体的，根据 W＝argMax(P(Yi|X,Y3))以及标注了停顿信息的文本数据，计算P(Yi|X,W,Y3)，得到海量文 本数据对应的自动标注的海量数据集。

第二生成模块54，用于根据所述精标数据集和所述初始的韵律层级预测结果进行训练， 生成更新后的韵律层级预测模型，所述更新后的韵律层级预测模型用于语音合成时的韵律 层级预测。

与现有技术中只将精标数据集作为训练数据相比，本实施例中的训练数据还包括初始 的韵律层级预测结果，也就是自动标注的海量数据集，从而可以有效扩大训练数据的规模， 提高模型的准确性。

更新后的韵律层级预测模块用W’表示，用公式可以表示为：

W’＝argMax(P(Yi|X)),

其中i＝0,1,2，3分别对应语法词、韵律词、韵律短语、语调短语。

X是训练数据中的已知文本信息，训练数据包括精标数据集和初始的韵律层级预测结 果。

具体的机器学习算法可以采用决策树，条件随机场，最大熵模型，隐马尔科夫模型， 深度神经网络等。

本实施例中，通过在模型训练时，不仅根据精标数据集还根据初始的韵律层级预测结 果，可以扩大训练数据的规模，提高生成的韵律层级预测模型的准确性，进而提高韵律层 级预测的准确性，提高语言合成效果。进一步的，通过采用停顿信息，由于相对于其他特 征，停顿信息更容易检测，可以使得检测结果更加稳定可靠。由于停顿信息与语调短语的 对应关系，以及语调短语对人的听感有更强的影响，语调短语的预测准确性提升，降低了 听者对合成语音理解的难度。另外，初始的韵律层级预测结果是根据收集的海量数据得到 的，大大提升了数据的量级，可以涵盖更加丰富的语言现象，同时节约了人工标注的成本。 结果是改善了预测的准确性，以及合成语音的自然度。另外，在模型训练时，可以采用逐 级训练或同时训练的方式生成模型。在停顿信息检测和标注时可以采用人工或自动方式实 现，提高了实现灵活性。

图6是本发明另一实施例提出的韵律层级预测装置的结构示意图，该装置60包括：第 一获取模块61、第二获取模块62和预测模块63。

第一获取模块61，用于获取文本处理后的输入文本；

其中，输入文本是指要进行语音合成的文本。

具体的文本处理的流程可以参见图4中的相关描述，在此不再赘述。

第二获取模块62，用于获取韵律层级预测模型；

其中，参见图2，在预测过程中，采用的韵律层级预测模型是训练过程中生成的模型， 具体的生成方法可以参见上述实施例中的相关描述，在此不再赘述。

预测模块63，用于根据所述韵律层级预测模型，对所述文本处理后的输入文本进行韵 律层级预测，得到韵律层级预测结果；

在获取到韵律层级预测模型后，就可以采用该模型进行韵律层级预测(图2中的S28 或图4中的S45)。

与现有技术相比，本实施例采用的韵律层级预测模型更加准确，而在获取韵律层级预 测模型后，具体的韵律层级预测算法可以采用已有算法。

通过韵律层级预测，可以预测句子中不同词语对应的韵律层级，作为后续声学参数生 成模块的上下文信息。

本实施例中，通过选择上述的韵律层级预测模型，该韵律层级预测模型相当于已有的 模型更加准确，由于采用了更加准确的韵律层级预测模型，可以提高韵律层级预测的准确 性，进而提高语言合成的效果。

另外，本发明实施例还可以提供一种语音合成方法，包括上述的韵律层级预测模型的 生成方法以及韵律层级预测方法。本发明实施例还可以提供一种语音合成系统，包括图5 所示的装置以及图6所述的装置。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而 不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个” 的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个 或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分， 并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的 实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实 施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或 固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下 列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路 的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现 场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可 以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中， 该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各 个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既 可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以 软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读 取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、 或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点 包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一 定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何 的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的， 不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例 进行变化、修改、替换和变型。