一种面向小学藏语文阅读问题自动生成的服务系统

摘要

本发明涉及一种面向小学藏语文阅读问题自动生成的服务系统，该系统包括藏语阅读语料库构建模型和藏文阅读文本问题生成模型；其中，藏语阅读语料库构建模型，通过提取小学藏语文章特征数据，并设计混合的多策略文本筛选模型，得到藏语阅读语料库；藏文阅读文本问题生成模型包括编码端和解码端，其中，编码端使用双向RNN网络和注意力机制；解码端使用单向RNN网络、注意力机制和复制机制。本发明通过设计的混合的多策略文本筛选模型，可以在大规模百科藏文文本中筛选出适合小学阅读的藏语文文章。并且设计了端到端的自动问题生成模型，它解决了小学藏语文阅读教学材料体裁少、更新速度慢，人工出题量少等问题，从而推动民族地区藏语教学的发展。

说明书

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种面向小学藏语文阅读问题自动生成的服务系统。

背景技术

目前自然语言处理(NLP)领域备受关注，自然语言处理的研究目标是让计算机学会理解和运用人类的自然语言，是人工智能领域中的重要研究方向。近年来，自然语言处理方面的运用层出不穷，如Facebook的SimpleQuestions、百度的文本生成工具逐渐应用于教育领域，以改善教学为目的的阅读理解问题生成、文章摘要生成等技术系统也开始涌现，助力教学效率提升和学生的阅读理解能力训练。

相比与汉语文教学，藏语文的阅读材料相对较少，更新速度较慢、选择面也较窄，在出阅读理解题目时，采用的方式依然是通过老师人工出题，这导致藏语文阅读教学材料的更新速度难以满足学生的需求，限制了民族地区的藏语教学的发展。

发明内容

本发明的目的在于，解决小学藏语文阅读教学材料体裁少、更新速度慢、人工出题量小等问题，推动民族地区藏语教学的发展。

为实现上述目的，本发明提供了一种面向小学藏语文阅读问题自动生成的服务系统，该系统包括藏语阅读语料库构建模型和藏文阅读文本问题生成模型；其中，

藏语阅读语料库构建模型，通过提取小学藏语文章特征数据，并设计混合的多策略文本筛选模型，构建藏语阅读语料库；

藏文阅读文本问题生成模型，包括编码端和解码端，其中，编码端使用双向 RNN网络和注意力机制；解码端使用单向RNN网络、注意力机制和复制机制。

本发明通过设计的混合的多策略文本筛选模型，可以在大规模百科藏文文本中筛选出适合小学阅读的藏语文文章。并且设计了端到端的自动问题生成模型，它解决了小学藏语文阅读教学材料体裁少、更新速度慢，人工出题量少等问题，从而推动民族地区藏语教学的发展。

附图说明

图1为本发明实施例提供的一种面向小学藏语文阅读问题自动生成的服务系统结构示意图；

图2为本发明实施例提供的另一种面向小学藏语文阅读问题自动生成的服务系统结构示意图。

具体实施例

本发明实施例设计了一种小学藏语阅读理解问题自动生成的智能服务系统。主要包括：

首先，以小学藏语文教材(1-6年级)为训练语料，以文章长度、文章体裁、句子数量、平均句长、文章词汇量、词汇覆盖度、冗余度为特征，设计了一种混合的多策略文本筛选模型，从大规模百科藏文文本中得到适合小学藏语文阅读的材料。

然后，由中央民族大学国家语言资源监测与研究中心带领藏族学生完成藏语文本答案的标注和对应问题的生成，得到大规模阅读文本的问题和答案，并设计了一种基于注意力机制和复制机制的端到端的藏文阅读文本问题生成模型。编码端使用双向循环RNN网络，加入注意力机制来解决RNN网络容易遗忘的问题。解码端使用单向RNN网络，加入复制机制提高问题答案的可读性。同时，使用答案位置信息输入到神经网络当中，从而减少长文本输入时的噪声，提高问题的生成效果。

最后，使用Django框架搭建小学藏语阅读理解问题自动生成的智能服务系统，实现藏语文阅读文章的自动筛选和出题。

图1和图2分别为本发明实施例提供的一种面向小学藏语文阅读问题自动生成的服务系统结构示意图。如图1和图2所示，该系统包括：藏语阅读语料库构建模型和藏文阅读文本问题生成模型。

藏语阅读语料库构建模型，通过提取小学藏语文章特征数据，并设计混合的多策略文本筛选模型。为筛选出合适的小学藏语阅读材料，对每篇文章提取文章长度、文章体裁、句子数量、平均句长、文章词汇量、词汇覆盖度、冗余度作为特征。

筛选模型中集成了逻辑回归、KNN算法模型以及随机森林模型，设定7个类别，分别代表适合1-6年级阅读和不适合小学阅读，采用绝对多数投票法作为输出策略。

逻辑回归的公式如下：

f

其中，x

对于训练的损失函数，选择了交叉熵损失函数，公式如下：

其中，M为类别的数量；y

KNN算法中，定义了7个类别，并对所有的类别特征做归一化处理，来映射到同一个空间中。使用欧式距离公式作为不同类别距离的度量公式，公式如下：

其中，

对于随机森林模型，模型通过对训练集的抽样获得分布不同的训练子集。通过不同的训练子集来训练不同的决策树，随机森林包含训练得到的所有决策树。在做分类任务时遵循“少数服从多数原则”，将决策树分类结果最多的类别作为文章的最终分类结果。

其中，决策树使用的是ID3算法，每个决策树用信息增益来获得最优划分属性a，其公式为：

a为类别的属性，v表示类别的划分，在文章分类任务中v＝7，表示文章分为7个类别。D表示所有的训练集，D

最终各个模型的输出量都用类别数据表示为f(x)＝[1,2,3,4,5,6,7]，其中不同数字代表着不同的年级，7代表超出小学阅读能力的文章。

对于混合模型，其最终的输出采用绝对多数投票法。绝对多数投票法的原则是得票过半数才可以得到输出，否则拒绝分类，其公式如下：

在绝对多数投票法中，f

藏文阅读文本问题生成模型，包括编码端和解码端，其中，为了可以更好的学习到长文本的信息，编码端使用双向RNN网络，为了提高文本编码效果，引入注意力机制与答案的位置信息。解码端使用单向RNN网络，为了让输出的问题可以更符合文章自身的表述，引入了复制机制来解决这个问题。

u

其中，x

为了更好的生成问题，需要控制或者学习真正需要被提问的那一部分。在输入是长文本时，文本的长度会引入大量的噪声，通过引入答案的位置信息解决了这个问题。

u

其中，e

RNN网络在输入长序列的时候，在最后的隐层容易丢失最初的信息，使用注意力机制，使RNN网络可以考虑之前的所有输入的信息。

其中，W

解码端使用了单向RNN网络，其目的是序列化的生成问题，其中输入是之前编码端的向量表示和上一步生成的单词。

d

d

然后将d

P(y

使用注意力模型提升端到端模型的效果，公式如下：

r

其中，r

对于增加可读性的方法，首先直接使用在解码端所得到的注意力的数值

其中，r

最终模型搭建完成后，其问题生成效果举例如下：

原文：

译文：

秃鹫通常独自翱翔于视野开阔的地方，生活在海拔2000米5000米的山上或者草原

问题：

译文：秃鹫生活在海拔多高的地方？

回答：

译文：生活在海拔2000米到5000米的山上或者草原

本发明实施例通过设计的混合的多策略文本筛选模型，可以在大规模百科藏文文本中筛选出适合阅读的小学藏语文文章。并且设计了端到端的自动问题生成模型，它解决了小学藏语文阅读教学材料体裁少、更新速度慢，人工出题量少等问题，从而推动民族地区藏语教学的发展。