翻译效果评估方法、装置、电子设备和存储介质

摘要

本申请实施例公开了一种翻译效果评估方法、装置、电子设备和存储介质；对原文进行翻译处理，得到多个候选译文以及每个候选译文对应的准确度评分；根据准确度评分以及预设排序规则，对多个候选译文进行排序，得到第一排序序列；根据翻译质量评估指标对每个候选译文进行评估，得到每个候选译文对应的质量评估分；根据质量评估分以及预设排序规则，对多个候选译文进行排序，得到第二排序序列；计算第一排序序列与第二排序序列之间的误差值；展示误差值，以便用户获取翻译处理的翻译效果。该误差值可以反映出翻译处理步骤对多个候选译文做出的准确度评分的准确程度，与现有技术不对准确度评分进行评估相比，本申请对翻译效果的评估更为全面。

说明书

技术领域

本申请涉及计算机领域，具体涉及一种翻译效果评估方法、装置、电子设 备和存储介质。

背景技术

现有的机器翻译模型在进行翻译时，往往是先对原文进行翻译，得到多个 候选的翻译译文；然后机器翻译模型从多个候选的翻译译文中，选出模型自身 认为的最准确的翻译译文，并将该翻译译文输出。

然而，机器翻译模型选出的翻译译文不一定是最准确的。因此，现有技术 依据机器翻译模型输出的翻译译文对机器翻译模型翻译效果进行评估的方法 依据单一，不够全面。

发明内容

本申请实施例提供一种翻译效果评估方法、装置、电子设备和存储介质， 可以改善现有技术对翻译效果的评估方法不全面的问题。

本申请实施例提供一种翻译效果评估方法，包括：对原文进行翻译处理， 得到此次翻译处理获取的多个候选译文以及每个所述候选译文对应的准确度 评分，其中，所述准确度评分为所述翻译处理确定出的反映对应的所述候选译 文的翻译准确度的得分；

根据所述准确度评分以及预设排序规则，对所述多个候选译文进行排序， 得到第一排序序列；

根据翻译质量评估指标对每个所述候选译文进行评估，得到每个所述候选 译文对应的质量评估分，其中，所述翻译质量评估指标是衡量候选译文与标准 译文匹配程度的指标；

根据所述质量评估分以及所述预设排序规则，对所述多个候选译文进行排 序，得到第二排序序列；

计算所述第一排序序列与所述第二排序序列之间的误差值，其中，所述误 差值反映所述翻译处理的翻译效果；

展示所述误差值，以便用户获取所述翻译处理的翻译效果。

本申请实施例还提供一种翻译效果评估装置，包括：候选译文获取单元， 用于对原文进行翻译处理，得到此次翻译处理获取的多个候选译文以及每个所 述候选译文对应的准确度评分，其中，所述准确度评分为所述翻译处理确定出 的反映对应的所述候选译文的翻译准确度的得分；

第一排序单元，用于根据所述准确度评分以及预设排序规则，对所述多个 候选译文进行排序，得到第一排序序列；

质量评估单元，用于根据翻译质量评估指标对每个所述候选译文进行评 估，得到每个所述候选译文对应的质量评估分，其中，所述翻译质量评估指标 是衡量候选译文与标准译文匹配程度的指标；

第二排序单元，用于根据所述质量评估分以及所述预设排序规则，对所述 多个候选译文进行排序，得到第二排序序列；

误差计算单元，用于计算所述第一排序序列与所述第二排序序列之间的误 差值，其中，所述误差值反映所述翻译处理的翻译效果；

误差值展示单元，用于展示所述误差值，以便用户获取所述翻译处理的翻 译效果。

在一些实施例中，所述原文包括l个词组，所述多个候选译文包括k个候 选译文；所述候选译文获取单元，包括：

备选词组确定子单元，用于根据所述原文以及k个所述已经生成的前i-1个 词组，确定多个备选词组以及每个所述备选词组作为第i个词组的概率值，其 中，i为大于1且不大于l的正整数；

概率值选择子单元，用于从多个所述概率值中选择出满足预设要求的k个 概率值，并得到k个概率值分别对应的第i个词组；

词组组合子单元，用于将k个所述第i个词组与各自的前i-1个词组组合，得 到k个前i个词组；

备选词组确定子单元、概率值选择子单元以及词组组合子单元依次重复执 行上述步骤，可以得到k个候选译文；

评分计算子单元，用于对于k个候选译文中的每个候选译文，根据组成所 述候选译文的多个词组的概率值，计算该候选译文对应的准确度评分。

在一些实施例中，备选词组确定子单元，具体用于对于k个已经生成的前 i-1个词组中的每个已经生成的前i-1个词组，根据所述原文以及所述已经生成 的前i-1个词组，计算词表中a个备选词组的每个词组作为第i个词组的概率值， 共得到k*a个概率值，其中，所述词表包括a个备选词组，a为正整数；

概率值选择子单元，具体用于从k*a个概率值中选择出满足预设要求的k 个概率值，并得到k个概率值分别对应的第i个词组。

在一些实施例中，概率值选择子单元，包括：

概率值序列次子单元，用于对所述k*a个概率值，按照数值从大到小的顺 序进行排序，得到概率值序列；

概率值截取次子单元，用于从所述概率值序列截取前k个概率值。

在一些实施例中，概率值选择子单元，包括：

概率值平均次子单元，用于计算所述k*a个概率值的平均值；

随机选择次子单元，用于从所述k*a个概率值中随机选择k个大于所述平均 值的概率值。

在一些实施例中，评分计算子单元，具体用于计算组成所述候选译文的多 个词组的概率值的乘积，所述乘积为该候选译文对应的准确度评分。

在一些实施例中，评分计算子单元，具体用于对组成所述候选译文的多个 词组中的每个词组的概率值进行对数运算，得到多个对数运算结果；

计算所述多个对数运算结果的加和，所述加和为该候选译文对应的准确度 评分。

在一些实施例中，候选译文获取单元，包括：

全局译文确定子单元，用于确定全部a

全局截取子单元，用于对a

在一些实施例中，质量评估单元，包括：

命中子单元，用于对于每个所述候选译文，计算所述候选译文中的连续n 个单词组成的词组在所述标准译文中的命中次数，记为目标命中次数，其中， n为正整数；

目标个数子单元，用于计算所述连续n个单词组成的词组在所述候选译文 中的个数，记为目标个数；

目标比值子单元，用于计算所述目标命中次数与所述目标个数的目标比 值，所述目标比值反映所述候选译文与所述标准译文基于所述连续n个单词组 成的词组的匹配程度；

评估分确定子单元，用于根据反映所述原文的单词量的参数、以及所述目 标比值，确定所述候选译文对应的质量评估分。

在一些实施例中，命中子单元，具体用于：若所述连续n个单词组成的词 组出现在候选译文中的次数大于所述连续n个单词组成的词组出现在标准译文 中的次数，则将所述连续n个单词组成的词组出现在标准译文中的次数作为所 述命中次数；

若所述连续n个单词组成的词组出现在候选译文中的次数小于或等于所述 连续n个单词组成的词组出现在标准译文中的次数，则将所述连续n个单词组成 的词组出现在候选译文中的次数作为所述命中次数。

在一些实施例中，误差计算单元，具体用于根据多个候选译文中的每个候 选译文在所述第一排序序列的次序、以及每个所述候选译文在所述第二排序序 列的次序，计算第一数值，其中，所述第一数值用于反映所述第一排序序列对 所述多个候选译文的排序准确度；

根据每个所述候选译文在所述第二排序序列的次序，计算第二数值，其中， 所述第二数值用于反映所述第二排序序列对所述多个候选译文的排序准确度；

根据所述第一数值和所述第二数值，计算所述误差值。

在一些实施例中，误差计算单元，具体用于根据多个候选译文中的每个候 选译文在所述第一排序序列的次序、以及每个所述候选译文对应的所述质量评 估分，计算第三数值，其中，所述第三数值用于反映所述第一排序序列对所述 多个候选译文的排序准确度；

根据多个候选译文中的每个候选译文在所述第二排序序列的次序、以及每 个所述候选译文对应的所述质量评估分，计算第四数值，其中，所述第四数值 用于反映所述第二排序序列对所述多个候选译文的排序准确度；

根据所述第三数值和所述第四数值，计算所述误差值。

在一些实施例中，误差计算单元，具体用于根据多个候选译文中的每个候 选译文在所述第一排序序列的次序、以及每个所述候选译文对应的所述质量评 估分，计算第三数值，其中，所述第三数值用于反映所述第一排序序列对所述 多个候选译文的排序准确度；

根据多个候选译文中的每个候选译文在所述第二排序序列的次序、以及每 个所述候选译文对应的所述质量评估分的上限值，计算第五数值，其中，所述 第五数值用于反映所述第二排序序列对所述多个候选译文的排序准确度；

根据所述第三数值和所述第五数值，计算所述误差值。

本申请实施例还提供一种电子设备，包括存储器存储有多条指令；所述处 理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种翻译效果 评估方法中的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质 存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供 的任一种翻译效果评估方法中的步骤。

本申请实施例可以对原文进行翻译处理，从而获取到多个候选译文以及每 个候选译文对应的准确度评分，再依据预设排序规则以及准确度评分，对多个 候选译文进行排序，得到基于准确度评分的第一排序序列；根据翻译质量评估 指标对每个候选译文评估，得到每个候选译文的质量评估分，再依据质量评估 分以及上述的预设排序规则，对多个候选译文进行排序，得到基于质量评估分 的第二排序序列；计算两者之间的误差值，并将该误差值展示，以便用户获取 翻译处理的翻译效果。

在本申请中，准确度评分是翻译处理步骤对多个候选译文做出的评分，质 量评估分是依据翻译质量评估指标对多个候选译文做出的评分。将两种评分依 据相同的排序规则进行排序后，再计算两者之间的误差值，可以较为准确地获 取到翻译处理步骤做出的评分与依据翻译质量评估指标做出的评分的差异，该 差异可以反映出翻译处理步骤对多个候选译文做出的准确度评分的准确程度， 与现有技术不对准确度评分进行评估相比，本申请对翻译效果的评估更为全 面。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请 的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还 可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的翻译效果评估方法的场景示意图；

图1b是本申请实施例提供的翻译效果评估方法的流程示意图；

图1c是本申请实施例提供的翻译效果评估方法中获得第i个词组的流程示 意图；

图2是本申请实施例提供的翻译效果评估方法应用在对机器翻译模型的翻 译效果进行评估的场景中的示意图；

图3是本申请实施例提供的翻译效果评估装置的一种结构示意图；

图4是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是 全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种翻译效果评估方法、装置、电子设备和存储介质。

其中，该翻译效果评估装置具体可以集成在电子设备中，该电子设备可以 为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、 笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是 单一服务器，也可以是由多个服务器组成的服务器集群。

在一些实施例中，该翻译效果评估装置还可以集成在多个电子设备中，比 如，翻译效果评估装置可以集成在多个服务器中，由多个服务器来实现本申请 的翻译效果评估方法。

在一些实施例中，服务器也可以以终端的形式来实现。

例如，参考图1a，该电子设备可以对原文进行翻译处理，得到此次翻译处 理获取的多个候选译文以及每个候选译文对应的准确度评分，其中，准确度评 分为翻译处理确定出的反映对应的候选译文的翻译准确度的得分；根据准确度 评分以及预设排序规则，对多个候选译文进行排序，得到第一排序序列；根据 翻译质量评估指标对每个候选译文进行评估，得到每个候选译文对应的质量评 估分，其中，翻译质量评估指标是衡量候选译文与标准译文匹配程度的指标； 根据质量评估分以及预设排序规则，对多个候选译文进行排序，得到第二排序 序列；计算第一排序序列与第二排序序列之间的误差值，其中，误差值反映翻 译处理的翻译效果；展示误差值，以便用户获取翻译处理的翻译效果。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例 优选顺序的限定。

在本实施例中，提供了一种翻译效果评估方法，如图1b所示，该翻译效 果评估方法的具体流程可以如下步骤101至步骤106：

101、对原文进行翻译处理，得到此次翻译处理获取的多个候选译文以及 每个所述候选译文对应的准确度评分。

原文与候选译文是两个不同语种的自然语言，自然语言通常是指一种自然 地随文化演化的语言，例如，汉语、英语、日语。通过翻译处理，可以将一种 自然语言(即原文)翻译成另一种自然语言(即多个候选译文)。

原文可以包括多个句子：例如，原文可以是多个相互关联的句子组成的一 个段落，也可以是相互不关联的多个不同的句子；原文也可以是一个句子。应 当理解，原文所包括的句子数量不应该理解为是对本申请的限制。

为了便于描述，不妨设原文包括l个词组。词组为单词构成的组合，可选 地，一个单词可以作为一个词组；多个单词也可以作为一个词组，例如，两个 单词作为一个词组，三个单词作为一个词组；半个单词也可以作为一个词组， 例如英语中常见的前缀或后缀均可以作为词组。组成词组的单词的数量可以由 开发人员根据工作习惯或工作喜好设置，在本申请中，不妨以一个单词作为一 个词组为例，对本申请进行介绍。

准确度评分为翻译处理确定出的反映对应的候选译文的翻译准确度的得 分。翻译处理的步骤具体可以由待测的机器翻译模型执行，则准确度评分为机 器翻译模型将原文翻译成候选译文的翻译准确度的得分。待测的机器翻译模型 可以包括但不限于Transformer模型、循环神经网络(Recurrent Neural Networks，简称RNN)模型。机器翻译模型的具体类型不应该理解为是对本 申请的限制。

在一种具体实施方式中，不妨设多个候选译文为k个候选译文。步骤101 具体包括如下步骤1011至步骤1015。

1011、根据所述原文以及k个所述已经生成的前i-1个词组，确定多个备 选词组以及每个所述备选词组作为第i个词组的概率值，其中，i为大于1且 不大于l的正整数。

已经生成的前i-1个词组为候选译文的前i-1个词组。k个已经生成的前i-1 个词组分别与k个候选译文对应。多个备选词组为预先记录在词表中的多个备 选词组。

可选地，步骤1011可以包括如下步骤：

对于k个已经生成的前i-1个词组中的每个已经生成的前i-1个词组，根 据所述原文以及所述已经生成的前i-1个词组，计算词表中a个备选词组的每 个词组作为第i个词组的概率值，共得到k*a个概率值；词表包括a个备选词 组，a为正整数。

请参见图1c，对于每个已经生成的前i-1个词组：B1_(i-1)、B2_(i-1)、… Bk_(i-1)，待测的机器翻译模型可以根据原文以及已经生成的前i-1个词组，分 别计算词表中的全部a个备选词组中的每个备选词组作为第i个词组的概率 值，从而可以得到a个概率值，a个概率值与a个备选词组一一对应，请参见 图1c，例如，对于B1_(i-1)，可以计算出其后分别接B1_(i)、B2_(i)、…Ba_(i) 的概率，共有a个概率值；对于B2_(i-1)、…Bk_(i-1)也可以执行同样的步骤。 由于共有k个已经生成的前i-1个词组，因此，共有k*a个概率值，k*a个概率值与k*a个备选词组一一对应。

1012、从多个所述概率值中选择出满足预设要求的k个概率值，并得到k 个概率值分别对应的第i个词组。

可选地，步骤1012可以包括如下步骤：

从k*a个概率值中选择出满足预设要求的k个概率值，并得到k个概率值分 别对应的第i个词组。

请参见图1c，B1’_(i)、B2’_(i)、…Bk’_(i)便为被选出的k个第i个词组。

在一种具体实施方式中，步骤“从k*a个概率值中选择出满足预设要求的 k个概率值”包括：对所述k*a个概率值，按照数值从大到小的顺序进行排序， 得到概率值序列；从所述概率值序列截取前k个概率值。

在上述实施方式中，预设要求可以为概率值最大的要求，故可以对k*a个 概率值进行降序排列得到概率值序列，并从概率值序列中截取前k个概率值。 每次进行概率值选择时，均选择最大的k个概率值，可以在保障候选译文整体 翻译准确性的同时，又不需要进行大量的运算，实现准确性和效率的兼顾。

在另一种具体实施方式中，步骤“从k*a个概率值中选择出满足预设要求 的k个概率值”包括：计算所述k*a个概率值的平均值；从所述k*a个概率值 中随机选择k个大于所述平均值的概率值。

在上述实施方式中，在计算出k*a个概率值的平均值后，可以从k*a个概 率值中随机选择概率值，并将选中的概率值与平均值相比较，将大于平均值的 概率值保留，直到保留的概率值达到k个概率值。上述选择k个概率值的方法 可以极大地提高运算效率，节省运算资源。

应当理解，步骤1012中的预设要求的具体要求内容除了上述列举的两种 实施方式外，也可以是其他的实施方式，具体要求内容不应该理解为是对本申 请的限制。

1013、将k个所述第i个词组与各自的前i-1个词组组合，得到k个前i 个词组。

1014、重复执行上述步骤，直到得到k个候选译文。

对于候选译文，除了第1个词组以外，其他词组均可以通过重复执行步骤 1011至步骤1013生成。第一个词组可以通过如下方式生成：

待测的机器翻译模型可以根据原文，计算词表中的全部a个备选词组中的 每个备选词组作为第1个词组的概率值，从而可以得到a个概率值，a个概率 值与a个备选词组一一对应。再从a个概率值中选择出满足预设要求的k个概 率值，并得到k个概率值分别对应的第1个词组。

其中，得到k个第1个词组的过程为待测的机器翻译模型在第一个时间步 长执行的步骤，得到k个前i个词组为待测的机器翻译模型在第i个时间步长 执行的步骤。

可选地，在一种具体实施方式中，词表中的全部a个备选词组可以包括有 终止符，若在某次得到的k个已生成的前i个词组中，存在一个已生成的前i 个词组，该已生成的前i个词组的第i个词组是终止符，则说明已经选出一个 完整的句子来作为候选译文，再进行第i+1个词组的选择时，选择数量可以为 k-1。

例如，请参见图1c，不妨设B1_(i)为终止符，则说明B1_(i)所在的已经生 成的i个词组已经为一个完整的句子。因此，在选择第i+1个词组时，可以对 B2_(i)、B3_(i)、…Bk_(i)这k-1个词组，分别计算a个备选词组中的每个备选 词组作为第i+1个词组的概率值，即共有(k-1)*a个概率值。再从(k-1)*a个概 率值中选择出满足预设要求的(k-1)个概率值，并得到(k-1)个概率值分别对应的 第i+1个词组。

1015、对于k个候选译文中的每个候选译文，根据组成所述候选译文的多 个词组的概率值，计算该候选译文对应的准确度评分。

可以理解，候选译文是由原文经过翻译处理得到的，因此，虽然原文包括 l个词组，但候选译文的词组数量却不一定是l个，可以大于l个，也可以小于 l个。虽然候选译文的词组数量不确定，但组成完整的候选译文的多个词组中 的每个词组均有各自对应的概率值，可以依据概率值计算候选译文的准确度评 分。

在一种具体实施方式中，步骤“根据组成所述候选译文的多个词组的概率 值，计算该候选译文对应的准确度评分”，包括：计算组成所述候选译文的多 个词组的概率值的乘积，所述乘积为该候选译文对应的准确度评分。

在另一种具体实施方式中，步骤“根据组成所述候选译文的多个词组的概 率值，计算该候选译文对应的准确度评分”，包括：对组成所述候选译文的多 个词组中的每个词组的概率值进行对数运算，得到多个对数运算结果；计算所 述多个对数运算结果的加和，所述加和为该候选译文对应的准确度评分。应当 理解，计算根据某一候选译文的多个词组的概率值，计算该候选译文对应的准 确度评分的具体方式不应该理解为是对本申请的限制。

通过上述方式确定与原文对应的多个候选译文，可以在保障候选译文整体 翻译准确性的同时，又不需要进行大量的运算，实现准确性和效率的兼顾。

在另一种具体实施方式中，步骤101具体包括如下：确定全部a

对于原文包括的l个词组中除最后一个词组外的每个词组，均有a个备选 词组作为当前词组的后接词组，因此，在不对备选词组进行筛选的情况下，共 会产生a

102、根据所述准确度评分以及预设排序规则，对所述多个候选译文进行 排序，得到第一排序序列。

预设排序规则为预先设置的排序规则，可选地，预设排序规则可以是将准 确度评分降序排列的排序规则，也可以是将准确度评分升序排列的排序规则， 预设排序规则的具体规则不应该理解为是对本申请的限制。

为便于描述，不妨以预设排序规则降序排列的排序规则为例，继续进行说 明。

103、根据翻译质量评估指标对每个所述候选译文进行评估，得到每个所 述候选译文对应的质量评估分。

其中，所述翻译质量评估指标是衡量候选译文与标准译文匹配程度的指 标。质量评估分的高或低反映候选译文与标准译文匹配程度的高或低。

可选地，步骤103具体可以包括如下步骤1031至步骤1034：

1031、对于每个所述候选译文，计算所述候选译文中的连续n个单词组成 的词组在所述标准译文中的命中次数，记为目标命中次数，其中，n为正整数。

连续n个单词是在候选译文中位置相邻且连续的n个单词，可以用n-gram 表示。在一种实施方式中，n可以取值1、2、3、4，则对于连续1个单词组成 的词组、连续2个单词组成的词组、连续3个单词组成的词组、连续4个单词 组成的词组均可以执行步骤1031至步骤1033。

例如，不妨设候选译文为：I have an apple.

则在上述候选译文中：

连续1个单词组成的词组(即1-gram)共4个，分别是I、have、an、apple；

连续2个单词组成的词组(即2-gram)共3个，分别是I have、have an、 an apple；

连续3个单词组成的词组(即3-gram)共2个，分别是I have an、have an apple；

连续4个单词组成的词组(即4-gram)共1个，是I have an apple。

命中次数指的是某一n-gram在候选译文出现的次数能够匹配到该n-gram 在标准译文出现的次数的数量值。例如，假设该n-gram在候选译文出现8次， 该n-gram在标准译文出现10次，则说明该n-gram命中了标准译文10次中的 8次；又假设该n-gram在候选译文出现12次，该n-gram在标准译文出现10 次，则说明该n-gram命中了标准译文的全部10次。

可选地，命中次数的具体计算方式可以通过如下步骤实现：

若所述连续n个单词组成的词组出现在候选译文中的次数大于所述连续n 个单词组成的词组出现在标准译文中的次数，则将所述连续n个单词组成的词 组出现在标准译文中的次数作为所述命中次数；若所述连续n个单词组成的词 组出现在候选译文中的次数小于或等于所述连续n个单词组成的词组出现在标 准译文中的次数，则将所述连续n个单词组成的词组出现在候选译文中的次数 作为所述命中次数。

1032、计算所述连续n个单词组成的词组在所述候选译文中的个数，记为 目标个数。

1033、计算所述目标命中次数与所述目标个数的目标比值，所述目标比值 反映所述候选译文与所述标准译文基于所述连续n个单词组成的词组的匹配 程度。

根据公式

1034、根据反映所述原文的单词量的参数、以及所述目标比值，确定所述 候选译文对应的质量评估分。

根据公式

其中，BP为反映原文的单词量的参数，

N为n-gram中的n的最大取值；w

通过上述步骤1031至步骤1033可以计算出多个候选译文中的每个候选译 文的质量评估分。

104、根据所述质量评估分以及所述预设排序规则，对所述多个候选译文 进行排序，得到第二排序序列。

步骤104中的预设排序规则是与步骤102的预设排序规则相同的规则，继 续以预设排序规则为降序排列的排序规则为例进行说明。步骤104得到了基于 质量评估分降序排列的第二排序序列。

105、计算所述第一排序序列与所述第二排序序列之间的误差值。

其中，所述误差值反映所述翻译处理的翻译效果。

在一种具体实施方式中，步骤105包括如下步骤：根据多个候选译文中的 每个候选译文在所述第一排序序列的次序、以及每个所述候选译文在所述第二 排序序列的次序，计算第一数值，其中，所述第一数值用于反映所述第一排序 序列对所述多个候选译文的排序准确度；根据每个所述候选译文在所述第二排 序序列的次序，计算第二数值，其中，所述第二数值用于反映所述第二排序序 列对所述多个候选译文的排序准确度；根据所述第一数值和所述第二数值，计 算所述误差值。

可以根据公式：

根据公式：

根据公式：

在上述实施方式中，是基于k个候选译文进行的误差值运算，即k个候选 译文组成的第一排序序列

可选地，在运算资源允许的情况下，也可以对全部a

在另一种具体实施方式中，步骤105包括如下步骤：根据多个候选译文中 的每个候选译文在所述第一排序序列的次序、以及每个所述候选译文对应的所 述质量评估分，计算第三数值，其中，所述第三数值用于反映所述第一排序序 列对所述多个候选译文的排序准确度；根据多个候选译文中的每个候选译文在 所述第二排序序列的次序、以及每个所述候选译文对应的所述质量评估分，计 算第四数值，其中，所述第四数值用于反映所述第二排序序列对所述多个候选 译文的排序准确度；根据所述第三数值和所述第四数值，计算所述误差值。

可以根据公式：

可以根据公式：

根据公式：

在又一种具体实施方式中，步骤105包括如下步骤：根据多个候选译文中 的每个候选译文在所述第一排序序列的次序、以及每个所述候选译文对应的所 述质量评估分，计算第三数值，其中，所述第三数值用于反映所述第一排序序 列对所述多个候选译文的排序准确度；根据多个候选译文中的每个候选译文 在所述第二排序序列的次序、以及每个所述候选译文对应的所述质量评估分的 上限值，计算第五数值，其中，所述第五数值用于反映所述第二排序序列对所 述多个候选译文的排序准确度；根据所述第三数值和所述第五数值，计算所述 误差值。

由于

根据公式：

106、展示所述误差值，以便用户获取所述翻译处理的翻译效果。

在计算得到误差值之后，可以展示该误差值，以便用户可以根据误差值直 观地了解到此处翻译处理的翻译效果。

本申请实施例提供的对翻译效果进行评估的方案除了可以应用在对待测 机器翻译模型的翻译效果进行评估的场景外，还可以应用在内容生成领域，例 如对文章进行摘要生成。在根据文章的内容生成文章的摘要的过程中，同样也 会生成多个候选摘要，并需要对多个候选摘要进行排序，本申请实施例提供的 方法同样可以评估内容生成的内容质量。

通过本申请实施例提供的方法可以对原文进行翻译处理，从而获取到多个 候选译文以及每个候选译文对应的准确度评分，再依据预设排序规则以及准确 度评分，对多个候选译文进行排序，得到基于准确度评分的第一排序序列；根 据翻译质量评估指标对每个候选译文评估，得到每个候选译文的质量评估分， 再依据质量评估分以及上述的预设排序规则，对多个候选译文进行排序，得到 基于质量评估分的第二排序序列；计算两者之间的误差值，并将该误差值展示， 以便用户获取翻译处理的翻译效果。

本申请实施例通过计算第一排序序列与第二排序序列之间的误差值，可以 较为准确地获取到翻译处理步骤做出的评分与依据翻译质量评估指标做出的 评分的差异，该差异可以反映出翻译处理步骤对多个候选译文做出的准确度评 分的准确程度，与现有技术不对准确度评分进行评估相比，本申请对翻译效果 的评估更为全面。

根据上述实施例所描述的方法，以下将作进一步详细说明。

在本实施例中，将以对待测机器翻译模型进行翻译效果的评估为例，对本 申请实施例的方法进行详细说明。

如图2所示，一种翻译效果评估方法具体流程如下：

201、将原文输入待测机器翻译模型，得到待测机器翻译模型输出的多个 候选译文以及每个候选译文对应的准确度评分，该准确度评分由待测机器翻译 模型打分获得。

202、按照准确度评分的降序顺序，对多个候选译文进行排序，得到第一 排序序列。

203、对于每个候选译文，根据候选译文与标准译文之间的匹配程度，计 算候选译文的质量评估分。

204、按照质量评估分的降序顺序，对多个候选译文进行排序，得到第二 排序序列。

205、根据多个候选译文在第一排序序列的次序、多个候选译文在第二排 序序列的次序以及每个候选译文的质量评估分，计算第一排序序列与第二排序 序列之间的误差值。

其中，误差值反映待测机器翻译模型的翻译效果，误差值越小，待测翻译 模型的翻译效果越好。

206、展示所述误差值，以使用户根据所述误差值获取待测机器翻译模型 的翻译效果。

由上可知，准确度评分是待测机器翻译模型对多个候选译文做出的评分， 质量评估分是依据候选译文与标准译文之间的匹配程度对多个候选译文做出 的评分。将两种评分均进行降序排序后，再计算两者之间的误差值，可以较为 准确地获取到待测机器翻译模型做出的评分与依据候选译文与标准译文之间 的匹配程度做出的评分的差异，该差异可以反映出待测机器翻译模型对多个候 选译文做出的准确度评分的准确程度以及待测机器翻译模型对多个候选译文 的排序能力，与现有技术不对机器翻译模型的准确度评分的准确程度进行评估 相比，本申请对机器翻译模型的翻译效果的评估更为全面。

为了更好地实施以上方法，本申请实施例还提供一种翻译效果评估装置， 该翻译效果评估装置具体可以集成在电子设备中，该电子设备可以为终端、服 务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、 个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服 务器集群。

比如，在本实施例中，将以翻译效果评估装置具体集成在电子设备为例， 对本申请实施例的方法进行详细说明。

例如，如图3所示，该翻译效果评估装置可以包括：

候选译文获取单元301，用于对原文进行翻译处理，得到此次翻译处理获 取的多个候选译文以及每个所述候选译文对应的准确度评分，其中，所述准确 度评分为所述翻译处理确定出的反映对应的所述候选译文的翻译准确度的得 分。

第一排序单元302，用于根据所述准确度评分以及预设排序规则，对所述 多个候选译文进行排序，得到第一排序序列。

质量评估单元303，用于根据翻译质量评估指标对每个所述候选译文进行 评估，得到每个所述候选译文对应的质量评估分，其中，所述翻译质量评估指 标是衡量候选译文与标准译文匹配程度的指标。

第二排序单元304，用于根据所述质量评估分以及所述预设排序规则，对 所述多个候选译文进行排序，得到第二排序序列。

误差计算单元305，用于计算所述第一排序序列与所述第二排序序列之间 的误差值，其中，所述误差值反映所述翻译处理的翻译效果。

误差值展示单元306，用于展示所述误差值，以便用户获取所述翻译处理 的翻译效果。

在一些实施例中，所述原文包括l个词组，所述多个候选译文包括k个候 选译文；所述候选译文获取单元301，包括：

备选词组确定子单元，用于根据所述原文以及k个所述已经生成的前i-1个 词组，确定多个备选词组以及每个所述备选词组作为第i个词组的概率值，其 中，i为大于1且不大于l的正整数；

概率值选择子单元，用于从多个所述概率值中选择出满足预设要求的k个 概率值，并得到k个概率值分别对应的第i个词组；

词组组合子单元，用于将k个所述第i个词组与各自的前i-1个词组组合，得 到k个前i个词组；

备选词组确定子单元、概率值选择子单元以及词组组合子单元依次重复执 行上述步骤，可以得到k个候选译文；

评分计算子单元，用于对于k个候选译文中的每个候选译文，根据组成所 述候选译文的多个词组的概率值，计算该候选译文对应的准确度评分。

在一些实施例中，备选词组确定子单元，具体用于对于k个已经生成的前 i-1个词组中的每个已经生成的前i-1个词组，根据所述原文以及所述已经生成 的前i-1个词组，计算词表中a个备选词组的每个词组作为第i个词组的概率值， 共得到k*a个概率值，其中，所述词表包括a个备选词组，a为正整数；

概率值选择子单元，具体用于从k*a个概率值中选择出满足预设要求的k 个概率值，并得到k个概率值分别对应的第i个词组。

在一些实施例中，概率值选择子单元，包括：

概率值序列次子单元，用于对所述k*a个概率值，按照数值从大到小的顺 序进行排序，得到概率值序列；

概率值截取次子单元，用于从所述概率值序列截取前k个概率值。

在一些实施例中，概率值选择子单元，包括：

概率值平均次子单元，用于计算所述k*a个概率值的平均值；

随机选择次子单元，用于从所述k*a个概率值中随机选择k个大于所述平均 值的概率值。

在一些实施例中，评分计算子单元，具体用于计算组成所述候选译文的多 个词组的概率值的乘积，所述乘积为该候选译文对应的准确度评分。

在一些实施例中，评分计算子单元，具体用于对组成所述候选译文的多个 词组中的每个词组的概率值进行对数运算，得到多个对数运算结果；

计算所述多个对数运算结果的加和，所述加和为该候选译文对应的准确度 评分。

在一些实施例中，候选译文获取单元301，包括：

全局译文确定子单元，用于确定全部a

全局截取子单元，用于对a

在一些实施例中，质量评估单元303，包括：

命中子单元，用于对于每个所述候选译文，计算所述候选译文中的连续n 个单词组成的词组在所述标准译文中的命中次数，记为目标命中次数，其中， n为正整数；

目标个数子单元，用于计算所述连续n个单词组成的词组在所述候选译文 中的个数，记为目标个数；

目标比值子单元，用于计算所述目标命中次数与所述目标个数的目标比 值，所述目标比值反映所述候选译文与所述标准译文基于所述连续n个单词组 成的词组的匹配程度；

评估分确定子单元，用于根据反映所述原文的单词量的参数、以及所述目 标比值，确定所述候选译文对应的质量评估分。

在一些实施例中，命中子单元，具体用于：若所述连续n个单词组成的词 组出现在候选译文中的次数大于所述连续n个单词组成的词组出现在标准译文 中的次数，则将所述连续n个单词组成的词组出现在标准译文中的次数作为所 述命中次数；

若所述连续n个单词组成的词组出现在候选译文中的次数小于或等于所述 连续n个单词组成的词组出现在标准译文中的次数，则将所述连续n个单词组成 的词组出现在候选译文中的次数作为所述命中次数。

在一些实施例中，误差计算单元305，具体用于根据多个候选译文中的每 个候选译文在所述第一排序序列的次序、以及每个所述候选译文在所述第二排 序序列的次序，计算第一数值，其中，所述第一数值用于反映所述第一排序序 列对所述多个候选译文的排序准确度；

根据每个所述候选译文在所述第二排序序列的次序，计算第二数值，其中， 所述第二数值用于反映所述第二排序序列对所述多个候选译文的排序准确度；

根据所述第一数值和所述第二数值，计算所述误差值。

在一些实施例中，误差计算单元305，具体用于根据多个候选译文中的每 个候选译文在所述第一排序序列的次序、以及每个所述候选译文对应的所述质 量评估分，计算第三数值，其中，所述第三数值用于反映所述第一排序序列对 所述多个候选译文的排序准确度；

根据多个候选译文中的每个候选译文在所述第二排序序列的次序、以及每 个所述候选译文对应的所述质量评估分，计算第四数值，其中，所述第四数值 用于反映所述第二排序序列对所述多个候选译文的排序准确度；

根据所述第三数值和所述第四数值，计算所述误差值。

在一些实施例中，误差计算单元305，具体用于根据多个候选译文中的每 个候选译文在所述第一排序序列的次序、以及每个所述候选译文对应的所述质 量评估分，计算第三数值，其中，所述第三数值用于反映所述第一排序序列对 所述多个候选译文的排序准确度；

根据多个候选译文中的每个候选译文在所述第二排序序列的次序、以及每 个所述候选译文对应的所述质量评估分的上限值，计算第五数值，其中，所述 第五数值用于反映所述第二排序序列对所述多个候选译文的排序准确度；

根据所述第三数值和所述第五数值，计算所述误差值。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意 组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的 方法实施例，在此不再赘述。

由上可知，本实施例的翻译效果评估装置由候选译文获取单元用于对原文 进行翻译处理，得到此次翻译处理获取的多个候选译文以及每个所述候选译文 对应的准确度评分；由第一排序单元用于根据所述准确度评分以及预设排序规 则，对所述多个候选译文进行排序，得到第一排序序列；由质量评估单元用于 根据翻译质量评估指标对每个所述候选译文进行评估，得到每个所述候选译文 对应的质量评估分；由第二排序单元用于根据所述质量评估分以及所述预设排 序规则，对所述多个候选译文进行排序，得到第二排序序列；由误差计算单元 用于计算所述第一排序序列与所述第二排序序列之间的误差值；由误差值展示 单元用于展示所述误差值，以便用户获取所述翻译处理的翻译效果。

由此，本申请实施例可以提升对翻译效果进行评估的全面程度。

本申请实施例还提供一种电子设备，该电子设备可以为终端、服务器等设 备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电 脑，等等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集 群，等等。

在一些实施例中，该翻译效果评估装置还可以集成在多个电子设备中，比 如，翻译效果评估装置可以集成在多个服务器中，由多个服务器来实现本申请 的翻译效果评估方法。

在本实施例中，将以本实施例的电子设备是电子设备为例进行详细描述， 比如，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图， 具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一 个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信 模块405等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不 构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部 件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子 设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块， 以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据， 从而对电子设备进行整体监控。在一些实施例中，处理器401可包括一个或多 个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理 器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调 处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成 到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存 储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器 402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、 至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存 储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以 包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存 储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以 包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，在一些实施例中，电源403 可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管 理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的 直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、 电源状态指示器等任意组件。

该电子设备还可包括输入模块404，该输入模块404可用于接收输入的数 字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、 光学或者轨迹球信号输入。

该电子设备还可包括通信模块405，在一些实施例中通信模块405可以包 括无线模块，电子设备可以通过该通信模块405的无线模块进行短距离无线传 输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块405可以用 于帮助用户收发电子邮件、浏览网页和访问流式媒体等。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本 实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的 应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运 行存储在存储器402中的应用程序，从而实现各种功能，如下：

对原文进行翻译处理，得到此次翻译处理获取的多个候选译文以及每个所 述候选译文对应的准确度评分，其中，所述准确度评分为所述翻译处理确定出 的反映对应的所述候选译文的翻译准确度的得分；根据所述准确度评分以及预 设排序规则，对所述多个候选译文进行排序，得到第一排序序列；根据翻译质 量评估指标对每个所述候选译文进行评估，得到每个所述候选译文对应的质量 评估分，其中，所述翻译质量评估指标是衡量候选译文与标准译文匹配程度的 指标；根据所述质量评估分以及所述预设排序规则，对所述多个候选译文进行 排序，得到第二排序序列；计算所述第一排序序列与所述第二排序序列之间的 误差值，其中，所述误差值反映所述翻译处理的翻译效果；展示所述误差值， 以便用户获取所述翻译处理的翻译效果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本申请实施例较为准确地获取到翻译处理步骤做出的评分与依 据翻译质量评估指标做出的评分的差异，该差异可以反映出翻译处理步骤对多 个候选译文做出的准确度评分的准确程度，与现有技术不对准确度评分进行评 估相比，本申请对翻译效果的评估更为全面。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步 骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储 于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令， 该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种翻译效果 评估方法中的步骤。例如，该指令可以执行如下步骤：

对原文进行翻译处理，得到此次翻译处理获取的多个候选译文以及每个所 述候选译文对应的准确度评分，其中，所述准确度评分为所述翻译处理确定出 的反映对应的所述候选译文的翻译准确度的得分；根据所述准确度评分以及预 设排序规则，对所述多个候选译文进行排序，得到第一排序序列；根据翻译质 量评估指标对每个所述候选译文进行评估，得到每个所述候选译文对应的质量 评估分，其中，所述翻译质量评估指标是衡量候选译文与标准译文匹配程度的 指标；根据所述质量评估分以及所述预设排序规则，对所述多个候选译文进行 排序，得到第二排序序列；计算所述第一排序序列与所述第二排序序列之间的 误差值，其中，所述误差值反映所述翻译处理的翻译效果；展示所述误差值， 以便用户获取所述翻译处理的翻译效果。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、 随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计 算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读 存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令， 处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的机器翻 译方面或者内容生成方面的各种可选实现方式中提供的方法。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种 翻译效果评估方法中的步骤，因此，可以实现本申请实施例所提供的任一种翻 译效果评估方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种翻译效果评估方法、装置、电子设备和 计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理 及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及 其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施 方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本 申请的限制。