首页> 中国专利> 解题模型的训练方法及装置

解题模型的训练方法及装置

摘要

本说明书提供解题模型的训练方法及装置,其中所述解题模型的训练方法包括:获取题干样本,以及所述题干样本对应的数字算式;提取所述题干样本中的数字单元,确定所述数字单元对应的字符标记单元;根据所述字符标记单元更新所述数字算式,获得样本字符表达式;利用所述样本字符表达式和所述题干样本对初始解题模型进行训练,直至获得满足训练停止条件的目标解题模型。有效的保证了训练后的解题模型的预测精准度,并提高了解题模型的训练效率。

著录项

  • 公开/公告号CN114970753A

    专利类型发明专利

  • 公开/公告日2022-08-30

    原文格式PDF

  • 申请/专利权人 北京飞象星球科技有限公司;

    申请/专利号CN202210689996.6

  • 申请日2022-06-17

  • 分类号G06K9/62(2022.01);G06F40/186(2020.01);G06F40/151(2020.01);G06F40/111(2020.01);G06F40/289(2020.01);G06F40/30(2020.01);

  • 代理机构北京智信禾专利代理有限公司 11637;

  • 代理人张瑞

  • 地址 100102 北京市朝阳区广顺南大街8号院1号楼1层101内4层F01单元内02号

  • 入库时间 2023-06-19 16:33:23

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-09-16

    实质审查的生效 IPC(主分类):G06K 9/62 专利申请号:2022106899966 申请日:20220617

    实质审查的生效

说明书

技术领域

本说明书涉及人工智能技术领域,特别涉及一种解题模型的训练方法。本说明书同时涉及一种解题模型的训练装置,一种解题方法,一种解题装置,一种计算设备,以及一种计算机可读存储介质。

背景技术

随着人工智能技术的发展和自然语言处理技术的不断成熟,实际应用中通常使用智能解题模型实现对各类问题的解答。

然而,目前通过智能解题模型解答的问题主要集中于语言类问题,例如翻译文本、文章理解等,但是对于数学领域的问题,由于数学题目不仅包含文本语句,还包含数学符号和数字,使得目前的智能解题模型难以理解数学领域的问题,导致对数学领域的问题解题准确率较低,因此亟需一种有效的方案以解决上述问题。

发明内容

有鉴于此,本说明书实施例提供了一种解题模型的训练方法。本说明书同时涉及一种解题模型的训练装置,一种解题方法,一种解题装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面,提供了一种解题模型的训练方法,包括:

获取题干样本,以及所述题干样本对应的数字算式;

提取所述题干样本中的数字单元,确定所述数字单元对应的字符标记单元;

根据所述字符标记单元更新所述数字算式,获得样本字符表达式;

利用所述样本字符表达式和所述题干样本对初始解题模型进行训练,直至获得满足训练停止条件的目标解题模型。

根据本说明书实施例的第二方面,提供了一种解题模型的训练装置,包括:

获取模块,被配置为获取题干样本,以及所述题干样本对应的数字算式;

确定模块,被配置为提取所述题干样本中的数字单元,确定所述数字单元对应的字符标记单元;

更新模块,被配置为根据所述字符标记单元更新所述数字算式,获得样本字符表达式;

训练模块,被配置为利用所述样本字符表达式和所述题干样本对初始解题模型进行训练,直至获得满足训练停止条件的目标解题模型。

根据本说明书实施例的第三方面,提供了一种解题方法,包括:

获取用户上传的问题文本,并提取所述问题文本中的数字单元;

将所述问题文本输入至如本说明书实施例提供的解题模型的训练方法中的目标解题模型进行处理,获得目标字符表达式,其中,所述目标字符表达式中的目标字符标记单元的元素与所述数字单元在所述问题文本中的顺序相关;

根据所述数字单元对所述目标字符表达式进行更新,获得目标数字算式;

根据所述目标数字算式确定问题文本的目标答案,并向用户进行反馈。

根据本说明书实施例的第四方面,提供了一种解题装置,包括:

获取模块,被配置为获取用户上传的问题文本,并提取所述问题文本中的数字单元;

处理模块,被配置为将所述问题文本输入至如本说明书实施例提供的解题模型的训练方法中的目标解题模型进行处理,获得目标字符表达式,其中,所述目标字符表达式中的目标字符标记单元的元素与所述数字单元在所述问题文本中的顺序相关;

更新模块,被配置为根据所述数字单元对所述目标字符表达式进行更新,获得目标数字算式;

确定模块,根据所述目标数字算式确定问题文本的目标答案,并向用户进行反馈。

根据本说明书实施例的第五方面,提供了一种计算设备,包括:

存储器和处理器;

所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实现所述解题模型的训练方法或解题方法的步骤。

根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述解题模型的训练方法或解题方法的步骤。

本说明书提供的解题模型的训练方法,获取题干样本,以及所述题干样本对应的数字算式;为了能够保证数据准备阶段的样本满足模型训练要求,以提高模型训练效率,提取所述题干样本中的数字单元,确定所述数字单元对应的字符标记单元,实现了对题干样本中的数字的预处理,进而提高了对题干样本的理解程度;根据所述字符标记单元更新所述数字算式,获得样本字符表达式;利用所述样本字符表达式和所述题干样本对初始解题模型进行训练,直至获得满足训练停止条件的目标解题模型,实现在模型训练过程中,可以确定与样本题干中的数字单元确定的字符标记单元,将题干样本对应的数字算式更新为样本字符表达式,并以此为基础训练解题模型,可以有效的保证训练后的解题模型的预测精准度,并提高了解题模型的训练效率。

附图说明

图1是本说明书一实施例提供的一种解题模型的训练方法的流程图;

图2是本说明书一实施例提供的一种应用于日文应用题的解题模型的训练方法的结构示意图;

图3是本说明书一实施例提供的一种解题模型的训练装置的结构示意图;

图4是本说明书一实施例提供的一种解题方法的流程图;

图5是本说明书一实施例提供的一种应用于日文应用题的解题方法的流程图;

图6是本说明书一实施例提供的一种解题装置的结构示意图;

图7是本说明书一实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先,对本说明书一个或多个实施例涉及的名词术语进行解释。

mT5模型:Multilingual T5,T5模型的多国语言版,mT5模型的预训练语料涵盖了101种语言,其中包括了中文。

T5模型:英文全称为Transfer Text-to-Text Transformer,用于将NLP(NaturalLanguage Processing,自然语言处理)任务转换成Text-to-Text(文本到文本)任务。

在本说明书中,提供了一种解题模型的训练方法,本说明书同时涉及一种解题模型的训练装置,一种解题方法,一种解题装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。

现有技术中,在面对数学领域的问题的解答,通常基于分类模型或者seq2seq模型对数学问题进行解答。

然而,在利用分类模型进行解题时,通常通过预先定义数学解题的公式模板,然后通过分类模型计算每个公式模板的条件概率,以此确定条件概率最高的公式模板,并利用该公式模板求解数学问题,这需要预先定义公式模板的模板库,由于模板库的存储容量造成的限制,导致对于模板库内未存储的公式模板对应的数学问题无法求解,限定了分类模型能够覆盖的上限。

在利用seq2seq模型求解时,对数学问题的文本理解程度较低,进而导致解题的准确率较低。因此亟需一种有效的方案以解决上述问题。

有鉴于此,本说明书的一个实施例提供一种解题模型的训练方法,获取题干样本,以及所述题干样本对应的数字算式;为了能够保证数据准备阶段的样本满足模型训练要求,以提高模型训练效率,提取所述题干样本中的数字单元,确定所述数字单元对应的字符标记单元,实现了对题干样本中的数字的预处理,进而提高了对题干样本的理解程度;根据所述字符标记单元更新所述数字算式,获得样本字符表达式;利用所述样本字符表达式和所述题干样本对初始解题模型进行训练,直至获得满足训练停止条件的目标解题模型,实现在模型训练过程中,可以确定与样本题干中的数字单元确定的字符标记单元,将题干样本对应的数字算式更新为样本字符表达式,并以此为基础训练解题模型,可以有效的保证训练后的解题模型的预测精准度,并提高了解题模型的训练效率。

图1示出了根据本说明书一实施例提供的一种解题模型的训练方法的流程图,具体包括以下步骤:

步骤102,获取题干样本,以及所述题干样本对应的数字算式。

其中,题干样本指的是指训练解题模型时,提供的数学应用题的题干,可以理解的,此处的应用题指的是用语言或文字叙述有关事实,反映某种数学关系,例如数量关系、位置关系等,并求解未知数量的题目;数字算式指的是题干样本对应的正确计算式。

具体的,可以从预先设定的训练样本集合中获取题干样本以及题干样本对应的数字算式。

可以理解的,获取的题干样本可以为中文题干、也可以为英文题干或日文题干,在仅针对需要对日文应用题进行求解的解题模型的训练方法中,可以仅选择获取日文题干样本,以通过该解题模型实现对日文应用题进行解答。

此外,可以在mT5模型的基础上对mT5模型进行训练,以获得训练后得到的解题模型,由于mT5模型中本身包含有101种语言,可以获取任何语言种类的题干样本以及题干样本对应的数字算式,用于对mT5模型进行训练。

举例而言,获取的题干样本可以是“学矯は平均135冊の練習書を3つのクラスに分けて、クラスごとに何冊ありますか?”,该题干样本的意思是“学校把135本练习册平均分给3个班,每个班分到几本练习册”,题干样本对应的数字算式为“135/3”。

步骤104,提取所述题干样本中的数字单元,确定所述数字单元对应的字符标记单元。

具体的,在获取题干样本后,为了实现对样本题干中包含的数字进行预处理,以提高解题模型对样本题干的理解程度,提取题干样本中的数字单元,并确定数字单元对应的字符标记单元。可以理解的,对于一个题干样本,其中包括多个数字单元。其中,数字单元指的是题干样本中的数字,字符标记单元可以用于标记题干样本中的数字单元,字符标记单元可以为英文字母,也可以为希腊字母等,本实施例在此不做限定。

需要说明的是,在提取数字单元,并确定其对应的字符标记单元时,可以提取题干样本中的所有数字单元,并确定每个数字单元对应的字符标记单元,且数字单元和字符标记单元之间一一对应,以方便后续构建样本对用于训练模型。

在本说明书的实施例中,当题干样本中的数字单元较多时,为了便于对数字单元的提取和后续的更新,可以对题干样本中的数字单元构建一个数字单元集合,数字单元集合中包含有题干样本中的所有数字单元。

此外,从题干样本提取的数字单元中可能包含对计算不影响的数字单元,例如,在题干样本为“1クラスに何冊ありますか”,中文意思为“1个班可以得到多少本练习册”,此时题干样本中的数字单元“1”即为对计算不影响的数字单元,其表示的是“每个班可以得到多少本练习册”,此时,可以对得到的数字单元进行过滤处理,用于剔除对计算不影响的数字单元。

其中,在对数字单元进行过滤处理时,可以根据题干样本的语义,确定题干样本中对计算不影响的数字单元,以便对其进行剔除。

沿用上例,对于获取的题干样本“学矯は平均135冊の練習書を3つのクラスに分けて、クラスごとに何冊ありますか?”,提取其中的数字单元为“135”和“3”,确定“135”对应的字符标记单元为“d1”,确定“3”对应的字符标记单元为“d2”。

进一步地,为了提高对题干样本的预处理效率,可以预先设定字符标记单元集合,通过在字符标记单元集合中选择字符标记单元,实现确定数字单元对应的字符标记单元,具体实现方式如下:

在预先设定的字符标记单元集合中,选择与所述数字单元对应的字符标记单元,其中,所述字符标记单元集合包含的字符标记单元不重复。

其中,预先设定的字符标记单元集合中存储有字符标记单元,为了使后续根据字符标记单元确定的样本字符表达式中的样本字符标记单元不重复,也即是说,使每个字符标记单元仅对应一个数字单元,则需要使字符标记单元集合中存储的每个字符标记单元不重复。字符标记单元可以用于表示与其对应的数字单元,也可以用于表示数字单元在题干样本中的顺序。

基于此,可以在预先设定的字符标记单元中,按照一一对应的关系选择与数字单元对应的字符标记单元。

此外,可以按照数字单元在题干样本中的顺序,在预先设定的字符标记单元集合中选择字符标记单元。

沿用上例,预先设定的字符标记单元集合为{d1,d2,d3……dm},确定题干样本中的第一个数字单元为“135”,题干样本中的第二个数字单元为“3”,对于题干样本中的数字单元“135”,在字符标记单元集合中选择与其对应的字符标记单元“d1”,对于题干样本中的数字单元“3”,在字符标记单元集合中选择与其对应的字符标记单元“d2”。

综上,通过在预先设定的字符标记单元集合中选择与数字单元对应的字符标记单元,为后续对数字算式进行更新生成样本字符表达式提供了有利条件,进一步提高了解题模型的训练效率。

步骤106,根据所述字符标记单元更新所述数字算式,获得样本字符表达式。

具体的,在确定与题干样本中的数字单元对应的字符标记单元之后,为了实现对题干样本中包含的数字单元的预处理,以便为后续解题模型的训练提供样本,可以根据字符标记单元,对获取的题干样本对应的数字算式进行更新,以生成样本字符表达式,其中,样本字符表达式是训练解题模型过程中需要用到的样本,其指的是希望训练完成的目标解题模型输出的内容。

基于此,可以根据前述数字单元和字符标记单元之间的对应关系,利用字符标记单元替换数字算式中的算式数字单元,获得样本字符表达式。

沿用上例,获取的与题干样本“学矯は平均135冊の練習書を3つのクラスに分けて、クラスごとに何冊ありますか?”对应的数字算式为“135/3”,确定的题干样本中的数字单元“135”对应的字符标记单元为“d1”,确定的题干样本中的数字单元“3”对应的字符标记单元为“d2”,根据字符标记单元“d1”和“d2”对数字算式“135/3”进行更新,获得的样本字符表达式为“d1/d2”。

进一步地,在根据字符标记单元更新数字算式,获得样本字符表达式之前,为了确定字符标记单元与数字单元之间的对应关系,可以按照数字单元在题干样本中的顺序,确定字符标记单元,具体实现方式如下:

确定所述数字单元在所述题干样本中的顺序;

根据所述数字单元在所述题干样本中的顺序,对所述字符标记单元进行排序;

在对字符标记单元进行排序后,根据排序后的字符标记单元更新所述数字算式,获得样本字符表达式。

其中,数字单元在题干样本中的顺序,指的是数字单元在题干样本中的排列顺序,字符标记单元可以用于表示数字单元在题干样本中的顺序。可以理解的是,题干样本中的数字单元与数字算式中的算式数字单元相同。

基于此,可以确定数字单元在题干样本中的排列顺序,并根据数字单元在题干样本中的排列顺序,对与数字单元对应的字符标记单元进行排序,以使得字符标记单元可以用于表示数字单元在题干样本中的排列顺序。并且,根据排序后的字符标记单元,对数字算式中的算式数字单元进行替换更新,获得样本字符表达式。

此外,对字符标记单元进行排序,也可以理解为在字符标记单元中添加元素,该元素用于表示数字单元在题干样本中的顺序。例如,题干样本中的第一个数字单元“135”对应的字符标记单元为a,对字符标记单元进行排序时,添加字符标记单元中的元素“1”,此时字符标记单元为“a1”,“1”即可用于表示数字单元在题干样本中的顺序为第1个。

沿用上例,获取的题干样本为“学矯は平均135冊の練習書を3つのクラスに分けて、クラスごとに何冊ありますか?”,其中,题干样本中的第一个数字单元为“135”,题干样本中的第二个数字单元为“3”,按照顺序,对字符标记单元“d1”和“d2”进行排序,为{d1、d2},其中,“d1”用于表示题干样本中的第一个数字单元“135”,“d2”用于表示题干样本中的第二个数字单元“3”。

或者,对于上述题干样本“学矯は平均135冊の練習書を3つのクラスに分けて、クラスごとに何冊ありますか?”,在与上述字符标记单元集合不同的字符标记单元集合{a、b、c、d……}中,选择与数字单元“135”对应的字符标记单元“a”,选择与数字单元“3”对应的字符标记单元“b”。根据数字单元在题干样本中的顺序,对字符标记单元进行排序,具体的,根据数字单元“135”在题干样本中的顺序为第一个,确定字符标记单元“a”表示题干样本中的第一个数字单元,根据数字单元“3”在题干样本中的顺序为第二个,确定字符标记单元“b”表示题干样本中的第二个数字单元,也即是说,将字符标记单元排序为:{a、b}。

综上,根据数字单元在题干样本中的顺序,对字符标记单元进行排序,能够使解题模型学习数字单元与字符标记单元之间的对应关系,为后续的模型训练提供有利条件,进一步提高解题模型回复的精准度。

进一步的,为了使训练后的解题模型满足使用需求,使其能够输出与题干对应的正确的目标字符表达式,并且将题干中的数字代入目标字符表达式即能够得到题干对应的答案,需要确定题干中的数字单元与字符标记单元之间的映射关系,基于映射关系将算式数字单元替换为字符标记单元,具体实现方式如下:

确定所述数字算式中的算式数字单元,其中,所述算式数字单元与所述数字单元相对应;

确定所述数字单元和所述字符标记单元之间的映射关系;

基于所述映射关系,将所述算式数字单元替换为所述字符标记单元,获得样本字符表达式。

其中,数字算式中的算式数字单元指的是数字算式中包含的数字,可以理解的,题干样本对应的数字算式中包含的数字即为题干样本中的数字。数字单元与字符标记单元之间的映射关系可以是数字单元与字符标记单元之间的对应关系,一个字符标记单元用于标识一个数字单元,具体可以用于表示数字单元在题干样本中的顺序。

基于此,在基于数字单元,确定与数字单元对应的字符标记单元时,会生成数字单元与字符标记单元之间的映射关系,而数字算式中的算式数字单元与题干样本中的数字单元是相对应的,因此,基于数字单元与字符标记单元之间的映射关系,可以确定算式数字单元与字符标记单元之间的对应关系,可以根据算式数字单元与字符标记单元之间的对应关系,将算式数字单元替换为字符标记单元,以实现对数字算式的更新,得到样本字符表达式。

沿用上例,获取的题干样本为“学矯は平均135冊の練習書を3つのクラスに分けて、クラスごとに何冊ありますか?”,该题干样本对应的数字算式为“135/3”,确定数字算式中的算式数字单元为“135”和“3”,与题干样本中的数字单元“135”和“3”相对应,数字单元“135”映射于字符标记单元“d1”,数字单元“3”映射于字符标记单元“d2”,根据映射关系,将算式数字单元“135”替换为字符标记单元“d1”,将算式数字单元“3”替换为字符标记单元“d2”,获得样本字符表达式“d1/d2”。

综上,通过确定算式数字单元、数字单元和字符标记单元之间的对应关系,将数字算式更新为样本字符表达式,为后续的解题模型训练提供有利条件,实现了使训练后的解题模型满足后续使用要求,进一步提高解题模型的回复准确度。

步骤108,利用所述样本字符表达式和所述题干样本对初始解题模型进行训练,直至获得满足训练停止条件的目标解题模型。

具体的,在获得了题干样本以及样本字符表达式的基础上,可以利用对获取的题干样本中的数字算式进行更新之后得到的样本字符表达式和获取的题干样本对初始解题模型进行训练,使得初始解题模型可以学习题干样本和目标字符表达式之间的关联关系,之后通过不断迭代和优化,即可获得满足训练停止条件的目标解题模型。

其中,初始解题模型指的是正在训练中的解题模型,此时的初始解题模型输出的字符表达式可能与样本字符表达式之间存在差别;目标解题模型指的是已经训练完成的解题模型,此时的目标解题模型能够在后续的解题场景中进行应用,其输出的字符表达式与样本字符表达式一致。训练停止条件可以是训练迭代次数或损失值比较,实际应用中,可以根据需求设定训练停止条件,本实施例在此不做任何限定。

基于此,利用样本字符表达式和题干样本对初始解题模型进行训练时,可以将题干样本输入初始解题模型,初始解题模型输出预测字符表达式,根据样本字符表达式和预测字符表达式对初始解题模型进行训练和优化,直至获得满足训练停止条件的目标解题模型。进一步地,在利用样本字符表达式和题干样本对初始解题模型进行训练的过程中,需要经过不断的优化和调参才能够完成模型的训练,本实施例中,训练过程参见步骤1082至步骤1084。

步骤1082,将所述题干样本输入至所述初始解题模型进行处理,得到预测字符表达式。

其中,预测字符表达式指的是初始解题模型对题干样本进行预测处理后,输出的与题干样本对应的预测字符表达式。可以理解的,此时的初始解题模型输出的预测字符表达式与样本字符表达式之间存在一定差别。

进一步地,初始解题模型在训练的过程中,实质上是学习题干样本和样本字符表达式之间的关联关系,以通过调参的方式将关联关系不断优化,从而得到满足训练停止条件的目标解题模型,本实施例中,具体实现方式如下:

将所述题干样本输入至所述初始解题模型,通过所述初始解题模型中的编码器对所述题干样本进行编码处理,得到编码向量;

通过所述初始解题模型中的解码器对所述编码向量进行解码处理,得到预测字符表达式并输出所述初始解题模型;

其中,所述预测字符表达式包括运算符号和预测字符标记单元。

初始解题模型中的编码器指的是初始解题模型中的编码层,其可以用于对输入至模型的样本进行编码,编码向量是题干样本经过编码器进行编码之后得到的结果,初始解题模型中的解码器指的是初始解题模型中的解码层,经由编码器对题干样本进行编码处理后得到的编码向量通过解码器对其进行解码,以得到预测字符表达式。

基于此,在获取题干样本之后,可以将题干样本输入至初始解题模型,通过初始解题模型中的编码器对题干样本进行编码,得到编码向量,之后通过解码器对编码向量进行解码处理,得到预测字符表达式。

综上,通过初始解题模型中的编码器和解码器对题干样本进行处理,实现了对题干样本的处理,即可通过初始解题模型预测出样本题干对应的预测字符表达式,以方便后续结合样本字符表达式对初始解题模型进行优化,保证了后续解题模型可以精准的学习题干样本的语义,从而训练出满足需求的解题模型。

更进一步的,初始解题模型的解码器对编码向量进行解码处理的过程如下所述:

通过所述初始解题模型中的解码器对所述编码向量进行递归解码处理,依次输出多个预测字符,其中,所述解码器输出的当前预测字符关联所述当前预测字符的上相邻预测字符;

根据所述多个预测字符生成所述预测字符表达式并输出所述初始解题模型。

其中,对编码向量进行递归解码处理,指的是使解码器依次输出多个预测字符,并且,解码器当前时刻输出的当前预测字符与当前预测字符的上相邻预测字符关联,上相邻预测字符指的是解码器当前时刻输出的当前预测字符的上一个预测字符。

基于此,通过初始解题模型中的解码器对编码向量进行递归解码处理,使得解码器依次输出多个预测字符,并且,解码器在当前时刻输出当前预测字符时,需要考虑前一时刻输出的预测字符,解码器输出的多个预测字符,构成预测字符表达式。

在本说明书的实施例中,在初始解题模型中的解码器对编码向量进行递归解码处理时,可以采用teacherforce的解码策略,以实现解码器当前时刻输出的当前预测字符关联当前预测字符的上相邻预测字符。其中,teacherforce策略是一种在解码器当前输出时需要考虑前一时刻的输出的策略。

沿用上例,将题干样本“学矯は平均135冊の練習書を3つのクラスに分けて、クラスごとに何冊ありますか?”输入初始解题模型,通过初始解题模型中的编码器对其进行编码处理,得到编码向量X

综上,通过对编码向量进行递归解码处理,使得解码器能够依次输出多个预测字符,考虑了输出的每个预测字符之间的关联关系,以提高解题模型的预测精准度。

步骤1084,基于所述样本字符表达式和所述预测字符表达式对所述初始解题模型进行优化,直至获得满足训练停止条件的目标解题模型。

具体的,在获得预测字符表达式之后,此时可以通过样本字符表达式结合预测字符表达式确定损失函数,之后基于损失函数对初始解题模型进行调参或优化,并不断的重复上述模型训练过程,即可得到满足训练停止条件的目标解题模型。

其中,训练停止条件可以为模型损失值小于预设阈值。

此外,训练停止条件也可以为模型的训练轮次达到预设轮次。也可以设置损失值预设阈值和预设训练轮次两个训练停止条件,同时监控模型损失值和训练轮次,当模型损失值与训练轮次中任意一项满足或两项均满足训练停止条件时,则认定解题模型已经训练完成。即当模型损失值小于损失值预设阈值或训练轮次达到预设训练轮次,或模型损失值小于损失值预设阈值且训练轮次达到预设训练轮次时,认定解题模型已经训练完成。

进一步的,基于样本字符表达式和预测字符表达式对初始解题模型进行优化的具体过程如下所述:

基于所述目标字符表达式和所述预测字符表达式计算模型损失值;

在所述模型损失值大于预设阈值的情况下,根据所述模型损失值,调整所述初始解题模型的模型参数,继续训练模型参数调整后的初始解题模型,直至获得满足训练停止条件的目标解题模型。

其中,预设阈值指的是初始解题模型满足训练停止条件时达到的模型损失值,在模型损失值大于预设阈值时,说明此时的初始解题模型还未训练好,输出的预测字符表达式与样本表达式之间还有一定的差距,因此,还需要通过预测字符表达式和样本字符表达式来联合训练初始解题模型,调整初始解题模型的参数,计算模型损失值的损失函数可以为负对数似然函数,对数似然函数是对概率分布求对数的函数,而负对数似然函数就是在对数似然函数之前加负号。

基于此,在根据目标字符表达式和预测字符表达式计算模型损失值时,可以将预测字符表达式和目标字符表达式输入至目标损失函数,获得目标损失函数输出的模型损失值。

在确定模型损失值之后,可以根据模型损失值与预设阈值来确定初始解题模型是否已经结束训练达到后续的使用要求,具体的,在模型损失值大于预设阈值的情况下,说明此时的初始解题模型还未训练好,此时根据模型损失值来调整初始解题模型的模型参数,并继续训练模型参数调整后的初始解题模型。

在继续训练模型参数调整后的初始解题模型时,可以重新获取题干样本,以及题干样本对应的数字算式,确定样本字符表达式,对模型参数调整后的初始解题模型继续训练,输出预测字符表达式。此时根据预测字符表达式和样本字符表达式,再次计算模型参数调整后的初始解题模型的模型损失值,再根据模型损失值和预设阈值进行判断,若模型损失值依旧大于预设阈值,则说明此时的初始解题模型还未训练好,还需要继续上述训练过程。直至模型损失值小于预设阈值,获得满足训练停止条件的目标解题模型。

沿用上例,将预测字符表达式“d1-d2”和样本字符表达式“d1/d2”输入至负对数似然函数,输出的模型损失值为n。预设阈值为m,在n大于m的情况下,即模型损失值大于预设阈值的情况下,说明此时的初始解题模型还未训练好,需要调整模型参数之后继续对调参后的初始解题模型继续训练。继续重复上述步骤,获取题干样本“6冊の本を平均3人に分けて、一人当たり何冊の本を分けることができますか?”中文意思为“把6本书平均分给3个人,每个人可以分到多少本书?”,以及数字算式“6/3”,确定“6”对应的字符标记单元为“a1”,“3”对应的字符标记单元为“b2”,获得样本字符表达式为“a1/b2”,将题干样本输入初始解题模型,得到预测字符表达式““a1/b2””,将预测字符表达式“a1/b2”和样本字符表达式“a1/b2”输入至负对数似然函数,输出的模型损失值为q,在q小于m的情况下,即模型损失值小于预设阈值的情况下,此时已满足训练停止条件,获得目标解题模型。

此外,实际应用中,需要根据实际应用场景,选取合适的目标损失函数,并将预测文本信息和样本文本信息输入至目标损失函数中进行计算,获得模型损失值,目标损失函数可以是交叉熵损失函数、绝对值损失函数、平方损失函数等等,在本申请中,对损失函数的选择不做限定。

综上,通过基于样本字符表达式和预测字符表达式对初始解题模型进行训练优化,实现了对解题模型的训练,保证了训练后的解题模型的预测精准度。

图2示出了一种应用于日文应用题的解题模型的训练方法的结构示意图,参见图2,获取的题干样本为“学矯は平均135冊の練習書を3つのクラスに分けて、クラスごとに何冊ありますか?”,以及题干样本对应的数字算式“135/3”,提取题干样本中的数字单元“135”和“3”,确定“135”对应“d1”,以及“3”对应“d2”。根据“135”和“3”在题干样本中的顺序,将字符标记单元“d1”、“d2”排序为{d1、d2},其中,“d1”表示在题干样本中的第一个数字单元,“d2”表示在题干样本中的第二个数字单元。将获取的数字算式“135/3”更新为样本字符表达式“d1/d2”。将题干样本“学矯は平均135冊の練習書を3つのクラスに分けて、クラスごとに何冊ありますか?”输入初始解题模型,初始解题模型中的编码器将题干样本编码为编码向量,初始解题模型中的解码器将编码向量递归解码为解码向量,依次输出“d1”、“+”、“d2”,生成预测字符表达式“d1+d2”,根据预测字符表达式“d1+d2”和样本字符表达式“d1/d2”对初始解题模型进行优化,直至获得满足训练停止条件的目标解题模型,实现在解答数学问题时,可以精准的作出答复。

进一步地,在获得满足训练停止条件的目标解题模型之后,可以通过用户上传问题文本对该目标解题模型进行测试或验证,也可以在获得目标解题模型之后对目标解题模型直接应用,具体实现方式如下:

获取用户上传的问题文本,并提取所述问题文本中的数字单元;

将所述问题文本输入至所述目标解题模型进行处理,获得目标字符表达式,其中,所述目标字符表达式中的目标字符标记单元的元素与所述数字单元在所述问题文本中的顺序相关;

根据所述数字单元对所述目标字符表达式进行更新,获得目标数字算式;

根据所述目标数字算式确定所述问题文本的目标答案,并向所述用户进行反馈。

其中,问题文本是用户上传的希望目标解题模型进行解答的问题。

基于此,可以将用户上传的问题文本输入至目标解题模型,目标解题模型对问题文本进行处理之后会输出目标字符表达式,根据问题文本中的数字单元对目标字符表达式进行更新,得到与问题文本对应的目标数字算式,对目标数字算式进行计算即可得到问题文本的目标答案,并向用户反馈该目标答案。

综上,在获得目标解题模型之后,利用用户上传的问题文本对目标解题模型进行应用,实现了对目标解题模型的性能的检验,进一步保证了目标解题模型的预测精准度。

本说明书提供的解题模型的训练方法,获取题干样本,以及所述题干样本对应的数字算式;为了能够保证数据准备阶段的样本满足模型训练要求,以提高模型训练效率,提取所述题干样本中的数字单元,确定所述数字单元对应的字符标记单元,实现了对题干样本中的数字的预处理,进而提高了对题干样本的理解程度;根据所述字符标记单元更新所述数字算式,获得样本字符表达式;利用所述样本字符表达式和所述题干样本对初始解题模型进行训练,直至获得满足训练停止条件的目标解题模型,实现在模型训练过程中,可以确定与样本题干中的数字单元确定的字符标记单元,将题干样本对应的数字算式更新为样本字符表达式,并以此为基础训练解题模型,可以有效的保证训练后的解题模型的预测精准度,并提高了解题模型的训练效率。

与上述方法实施例相对应,本说明书还提供了解题模型的训练装置实施例,图3示出了本说明书一实施例提供的一种解题模型的训练装置的结构示意图。

如图3所示,该装置包括:

获取模块302,被配置为获取题干样本,以及所述题干样本对应的数字算式;

确定模块304,被配置为提取所述题干样本中的数字单元,确定所述数字单元对应的字符标记单元;

更新模块306,被配置为根据所述字符标记单元更新所述数字算式,获得样本字符表达式;

训练模块308,被配置为利用所述样本字符表达式和所述题干样本对初始解题模型进行训练,直至获得满足训练停止条件的目标解题模型。

一个可选的实施例中,所述装置还包括排序模块,被配置为:

确定所述数字单元在所述题干样本中的顺序;

根据所述数字单元在所述题干样本中的顺序,对所述字符标记单元进行排序。

一个可选的实施例中,所述更新模块306,进一步被配置为:

根据排序后的字符标记单元更新所述数字算式,获得样本字符表达式。

一个可选的实施例中,所述更新模块306,进一步被配置为:

确定所述数字算式中的算式数字单元,其中,所述算式数字单元与所述数字单元相对应;

确定所述数字单元和所述字符标记单元之间的映射关系;

基于所述映射关系,将所述算式数字单元替换为所述字符标记单元,获得样本字符表达式。

一个可选的实施例中,所述训练模块308,进一步被配置为:

将所述题干样本输入至所述初始解题模型进行处理,得到预测字符表达式;

基于所述样本字符表达式和所述预测字符表达式对所述初始解题模型进行优化,直至获得满足训练停止条件的目标解题模型。

一个可选的实施例中,所述训练模块308,进一步被配置为:

将所述题干样本输入至所述初始解题模型,通过所述初始解题模型中的编码器对所述题干样本进行编码处理,得到编码向量;

通过所述初始解题模型中的解码器对所述编码向量进行解码处理,得到预测字符表达式并输出所述初始解题模型;

其中,所述预测字符表达式包括运算符号和预测字符标记单元。

一个可选的实施例中,所述训练模块308,进一步被配置为:

通过所述初始解题模型中的解码器对所述编码向量进行递归解码处理,依次输出多个预测字符,其中,所述解码器输出的当前预测字符关联所述当前预测字符的上相邻预测字符;

根据所述多个预测字符生成所述预测字符表达式并输出所述初始解题模型。

一个可选的实施例中,所述训练模块308,进一步被配置为:

基于所述目标字符表达式和所述预测字符表达式计算模型损失值;

在所述模型损失值大于预设阈值的情况下,根据所述模型损失值,调整所述初始解题模型的模型参数,继续训练模型参数调整后的初始解题模型,直至获得满足训练停止条件的目标解题模型。

一个可选的实施例中,所述确定模块304,进一步被配置为:

在预先设定的字符标记单元集合中,选择与所述数字单元对应的字符标记单元,其中,所述字符标记单元集合包含的字符标记单元不重复。

一个可选的实施例中,所述装置还包括处理模块,被配置为:

获取用户上传的问题文本,并提取所述问题文本中的数字单元;

将所述问题文本输入至所述目标解题模型进行处理,获得目标字符表达式,其中,所述目标字符表达式中的目标字符标记单元的元素与所述数字单元在所述问题文本中的顺序相关;

根据所述数字单元对所述目标字符表达式进行更新,获得目标数字算式;

根据所述目标数字算式确定所述问题文本的目标答案,并向所述用户进行反馈。

本说明书提供的解题模型的训练装置,获取题干样本,以及所述题干样本对应的数字算式;为了能够保证数据准备阶段的样本满足模型训练要求,以提高模型训练效率,提取所述题干样本中的数字单元,确定所述数字单元对应的字符标记单元,实现了对题干样本中的数字的预处理,进而提高了对题干样本的理解程度;根据所述字符标记单元更新所述数字算式,获得样本字符表达式;利用所述样本字符表达式和所述题干样本对初始解题模型进行训练,直至获得满足训练停止条件的目标解题模型,实现在模型训练过程中,可以确定与样本题干中的数字单元确定的字符标记单元,将题干样本对应的数字算式更新为样本字符表达式,并以此为基础训练解题模型,可以有效的保证训练后的解题模型的预测精准度,并提高了解题模型的训练效率。

上述为本实施例的一种解题模型的训练装置的示意性方案。需要说明的是,该解题模型的训练装置的技术方案与上述的解题模型的训练方法的技术方案属于同一构思,解题模型的训练装置的技术方案未详细描述的细节内容,均可以参见上述解题模型的训练方法的技术方案的描述。

本说明书还提供了一种解题方法,图4示出了根据本说明书一实施例提供的一种解题方法的流程图,具体包括以下步骤:

步骤402,获取用户上传的问题文本,并提取所述问题文本中的数字单元。

步骤404,将所述问题文本输入至解题模型的训练方法中的目标解题模型进行处理,获得目标字符表达式,其中,所述目标字符表达式中的目标字符标记单元的元素与所述数字单元在所述问题文本中的顺序相关。

其中,目标字符标记单元的元素可以为角标,也可以为数字,例如,“d

步骤406,根据所述数字单元对所述目标字符表达式进行更新,获得目标数字算式。

步骤408,根据所述目标数字算式确定问题文本的目标答案,并向用户进行反馈。

举例而言,当用户输入的问题文本为“学矯には6つのクラスがあります,学矯は各クラスに3人の先生を割り当てます,学矯には全部で何人の先生がいますか?”,中文意思为“学校有6个班,学校为每个班分配3名老师,学校一共有多少老师?”,提取问题文本中的数字单元“6”和“3”,将问题文本输入至目标解题模型进行处理,根据预测结果获得目标字符表达式“d1×d2”,其中“d1”用于表示问题文本中的第一个数字单元“6”,“d2”用于表示问题文本中的第二个数字单元“3”,得到目标数字算式“6×3”,得到问题文本的目标答案“18”,并向用户反馈。

综上,通过使用上述训练方法获得的目标解题模型对数学题目进行解答,可以有效的提高预测精准度,提高了用户的使用体验。

下述结合附图5,以本说明书提供的方法对日文应用题进行解答的应用为例,对所述方法进行进一步说明,其中,图5示出了本说明书一实施例提供的一种应用于日文应用题的解题方法的流程图,具体包括以下步骤。

步骤502,获取题干样本,以及题干样本对应的数字算式。

获取题干样本“10枚のチョコレートを平均5人に分けて、一人当たり何枚のチョコレートをもらいますか?”,中文意思为“把10块巧克力平均分给5个人,每个人得到几块巧克力?”,数字算式为“10/5”。

步骤504,提取题干样本中的数字单元,在预先设定的字符标记单元集合中,选择与所述数字单元对应的字符标记单元。

题干样本中的数字单元为“10”和“5”,在{a,b,c,d,e……}中,选择与“10”对应的字符标记单元“a”,选择与“5”对应的字符标记单元“b”。

步骤506,确定数字单元在题干样本中的顺序。

数字单元“10”为题干样本中的第一个数字单元,数字单元“5”为题干样本中的第二个数字单元。

步骤508,根据数字单元在题干样本中的顺序,对字符标记单元进行排序。

将字符标记单元“a”和“b”进行排序,为{a1,b2},其中,a1用于表示题干样本中的第一个数字单元,b2用于表示题干样本中的第二个数字单元。

步骤510,确定数字算式中的算式数字单元,并确定数字单元和排序后的字符标记单元之间的映射关系。

数字算式中的算式数字单元为“10”和“5”,数字单元“10”和字符标记单元“a1”对应,数字单元“5”和字符标记单元“b2”对应。

步骤512,基于映射关系,将算式数字单元替换为字符标记单元,获得样本字符表达式。

将数字算式“10/5”中的“10”替换为“a1”,将“5”替换为“b2”,获得样本字符表达式“a1/b2”。

步骤514,将题干样本输入至所述初始解题模型,通过所述初始解题模型中的编码器对所述题干样本进行编码处理,得到编码向量。

将题干样本“10枚のチョコレートを平均5人に分けて、一人当たり何枚のチョコレートをもらいますか?”输入初始解题模型,得到编码向量XA。

步骤516,通过初始解题模型中的解码器对编码向量进行递归解码处理,依次输出多个预测字符,根据所述多个预测字符生成所述预测字符表达式并输出所述初始解题模型。

通过解码器对XA进行递归解码处理,依次输出预测字符“a1”,“*”,“b2”,生成预测字符表达式“a1*b1”。

步骤518,基于目标字符表达式和预测字符表达式计算模型损失值;在所述模型损失值大于预设阈值的情况下,根据所述模型损失值,调整所述初始解题模型的模型参数,继续训练模型参数调整后的初始解题模型,直至获得满足训练停止条件的目标解题模型。

基于“a1/b2”和“a1*b2”计算模型损失值为n,预设阈值为m,在模型损失值n大于预设阈值m的情况下,此时的初始解题模型不满足训练停止条件,对初始解题模型进行调整参数之后,继续按照上述步骤训练模型参数调整后的初始解题模型,计算得到的模型损失值为p,在模型损失值p小于预设阈值m的情况下,满足训练停止条件,获得目标解题模型。

步骤520,接收用户上传的待回答问题文本,提取待回答问题文本中的数字单元。

当目标解题模型完成训练后,即可进行复用,此时接收到用户输入的待回答问题文本是“全部で30枚のチョコレートがありますが、5枚食べましたが、まだ何枚残っていますか?”,中文意思为“一共有30块巧克力,吃了5块,还剩几块?”,提取的待回答问题文本中的数字单元为“30”和“5”。

步骤522,将待回答问题文本输入至目标解题模型,获得目标字符表达式。

对于获取的待回答问题文本,目标解题模型输出的目标字符表达式为“d1-d2”。

步骤524,根据数字单元对目标字符表达式进行更新,获得目标数字算式。

对于目标解题模型输出的目标字符表达式,获得的目标数字算式为“30-5”。

步骤526,根据目标数字算式确定待回答问题文本的目标答案,并向用户进行反馈。

对于获得的目标数字算式,确定的待回答问题文本的目标答案为25,并向用户反馈。

综上所述,通过在准备阶段按照数字单元在题干样本中的顺序转换为字符标记单元,实现了对数学领域的题干样本中的数字的预处理,进而提高了对题干样本的理解程度。并且,通过样本字符表达式和题干样本对模型进行训练,有效的保证了训练后的解题模型的预测精准度,提高了解题模型的训练效率。

与上述方法实施例相对应,本说明书还提供了解题装置实施例,图6示出了本说明书一实施例提供的一种解题装置的结构示意图。如图6所示,该装置包括:

获取模块602,被配置为获取用户上传的问题文本,并提取所述问题文本中的数字单元;

处理模块604,被配置为将所述问题文本输入至如权利要求1-9任一项所述方法中的目标解题模型进行处理,获得目标字符表达式,其中,所述目标字符表达式中的目标字符标记单元的元素与所述数字单元在所述问题文本中的顺序相关;

更新模块606,被配置为根据所述数字单元对所述目标字符表达式进行更新,获得目标数字算式;

确定模块608,根据所述目标数字算式确定问题文本的目标答案,并向用户进行反馈。

综上,通过使用上述训练方法获得的目标解题模型对数学题目进行解答,可以有效的提高预测精准度,提高了用户的使用体验。

上述为本实施例的一种解题模型的训练装置的示意性方案。需要说明的是,该解题模型的训练装置的技术方案与上述的解题模型的训练方法的技术方案属于同一构思,解题模型的训练装置的技术方案未详细描述的细节内容,均可以参见上述解题模型的训练方法的技术方案的描述。

图7示出了根据本说明书一实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接,数据库750用于保存数据。

计算设备700还包括接入设备740,接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。

在本说明书的一个实施例中,计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图7所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。

计算设备700可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备700还可以是移动式或静止式的服务器。

其中,处理器720用于执行所述解题模型的训练方法或解题方法的计算机可执行指令。

上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的解题模型的训练方法或解题方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述解题模型的训练方法或解题方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于解题模型的训练方法或解题方法。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的解题模型的训练方法或解题方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述解题模型的训练方法或解题方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号