一种利用机器学习模型的个性化题目推荐方法及系统

摘要

本发明公开了一种利用机器学习模型的个性化题目推荐方法及系统，该方法包括：采集学生的相关题目，建立题库，利用机器学习模型对所述题库中每个题目进行多目标预估，根据预估的目标及每个题目对学生总分的贡献值对题库中的题目进行评分，根据评分选取第一数量的题目，建立第一题目集合，分别在每项预估的目标下对所述第一题目集合中的题目进行排序，将对应的排名转换为分值进行融合排序，在融合排序结果中按照设置的选题因素选取第二数量的题目推荐给学生；本发明能够为学生提供个性化的题目，实现最大化的做题效率，为提高成绩提供有力的支持。

说明书

技术领域

本发明涉及互联网教育技术领域，尤指一种利用机器学习模型的个性化题目推荐方法及系统。

背景技术

为提高考试成绩，常采用“题海战术”；学生通过多做题的方式，可以提高自己对知识点的掌握程度和题目的熟练程度。但是，有相当多的题目学生其实是没必要做的。比如学生已经非常熟练三角函数的题目，那么就可以节省这类题目的做题数量，节省下时间去做其他更不熟悉的题目。

在现有技术中，针对学生做题的题目优化，往往是根据学生当前的总的知识水平化题目，或者是根据知识点对学生推荐题目，这类做法需要老师对每个待推荐的题目都有定义，而且只能人为区分几类学生，没法针对每个学生自己的不同情况进行题目筛选，即无法做到真正个性化为学生量身定制最适合自己的题库。

综上来看，亟需一种可以克服现有技术不足，可以为学生提供个性化题目推荐的技术方案。

发明内容

为克服现有技术存在的不足，本发明提出了一种利用机器学习模型的个性化题目推荐方法及系统，该方法及系统通过机器学习能够找出题目之间的相似度，针对每个学生生成量身定制的题库进行练习，避免出现只针对总成绩划分等级去做题的情况，同时避免只针对知识点去强化学生对该知识点的学习能力，而忽略了题目本身难度及题目有可能涵盖多个知识点的情况，本发明能够根据学生做题的情况定向为提供个性化的题目，提高学生的做题效率。

在本发明实施例的第一方面，提出了一种利用机器学习模型的个性化题目推荐方法，该方法包括：

采集学生的相关题目，建立题库；

利用机器学习模型对所述题库中每个题目进行多目标预估；

根据预估的目标及每个题目对学生总分的贡献值对题库中的题目进行评分，根据评分选取第一数量的题目，建立第一题目集合；

分别在每项预估的目标下对所述第一题目集合中的题目进行排序，将对应的排名转换为分值进行融合排序；

在融合排序结果中按照设置的选题因素选取第二数量的题目推荐给学生。

进一步的，该方法还包括：

获取学生对所述第二数量的题目的解答情况，更新所述题库。

进一步的，采集学生的相关题目，建立题库，包括：

根据学生的生疏知识点、学生的错题本及与学生具有一定相似性的其他学生的错题本，采集学生的相关题目；

对相关题目进行过滤，其中，过滤掉知识点超纲、学生近期已经做过及难度系数大于设定阈值的题目；

根据过滤后的剩余题目，建立题库。

进一步的，利用机器学习模型对所述题库中每个题目进行多目标预估，包括：

以学生特征、题目特征及学生和题目的交叉特征作为输入样本对模型进行训练，得到DNN模型；其中，学生特征至少包括：每个知识点的掌握情况、学生自控力及学生本科目历史成绩；题目特征至少包括：题目的embedding向量特征、题目的类别、题目的难易程度及题目所属的知识点在考试中出现的概率；

利用DNN模型对所述题库中每个题目进行多目标预估；其中，预估的目标至少包括：每个题目对应的学生选择去做的概率、做错的概率、需要花费的时间及学生求助老师的概率。

进一步的，根据预估的目标及每个题目对学生总分的贡献值对题库中的题目进行评分，根据评分选取第一数量的题目，建立第一题目集合，包括：

根据做错的概率、需要花费的时间及每个题目对学生总分的贡献值，对题库中的题目进行评分，计算式为：

其中，

选取评分由高到低排序中的第一数量的题目，建立第一题目集合。

进一步的，分别在每项预估的目标下对所述第一题目集合中的题目进行排序，将对应的排名转换为分值进行融合排序，包括：

在学生选择去做的概率、做错的概率、需要花费的时间及学生求助老师的概率的目标下，分别对所述第一题目集合中的题目进行排序，获得每个题目在目标排序中的排名；

将排名转换为分值，计算式为：

其中，

将题目的全部目标对应的分值进行求和，得到总得分，并将总得分由高到低进行排序。

进一步的，在融合排序结果中按照设置的选题因素选取第二数量的题目推荐给学生，包括：

在总得分由高到低的排序中，按照题目类型相同、题目对应的知识点一致及与学生未做过在内的一个选题因素或多个选题因素的组合，选取第二数量的题目并将题目推荐给学生。

在本发明实施例的第二方面，提出了一种利用机器学习模型的个性化题目推荐系统，该系统包括：

题目采集模块，用于采集学生的相关题目，建立题库；

多目标预估模块，用于利用机器学习模型对所述题库中每个题目进行多目标预估；

题目选取模块，用于根据预估的目标及每个题目对学生总分的贡献值对题库中的题目进行评分，根据评分选取第一数量的题目，建立第一题目集合；

融合排序模块，用于分别在每项预估的目标下对所述第一题目集合中的题目进行排序，将对应的排名转换为分值进行融合排序；

题目推荐模块，用于在融合排序结果中按照设置的选题因素选取第二数量的题目推荐给学生。

在本发明实施例的第三方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现利用机器学习模型的个性化题目推荐方法。

在本发明实施例的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现利用机器学习模型的个性化题目推荐方法。

本发明提出的利用机器学习模型的个性化题目推荐方法及系统通过采集学生的相关题目，建立题库，利用机器学习模型对所述题库中每个题目进行多目标预估，根据预估的目标及每个题目对学生总分的贡献值对题库中的题目进行评分，根据评分选取第一数量的题目，建立第一题目集合，分别在每项预估的目标下对所述第一题目集合中的题目进行排序，将对应的排名转换为分值进行融合排序，在融合排序结果中按照设置的选题因素选取第二数量的题目推荐给学生，为学生提供个性化的题目，实现最大化的做题效率，为提高成绩提供有力的支持。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一实施例的利用机器学习模型的个性化题目推荐方法流程示意图。

图2是本发明一具体实施例的利用机器学习模型的个性化题目推荐方法流程示意图。

图3是本发明一具体实施例的向量表达式意图。

图4是本发明一实施例的利用机器学习模型的个性化题目推荐系统架构示意图。

图5是本发明另一实施例的利用机器学习模型的个性化题目推荐系统架构示意图。

图6是本发明一实施例的计算机设备结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种利用机器学习模型的个性化题目推荐方法及系统。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

图1是本发明一实施例的利用机器学习模型的个性化题目推荐方法流程示意图。如图1所示，该方法包括：

步骤S101，采集学生的相关题目，建立题库；

步骤S102，利用机器学习模型对所述题库中每个题目进行多目标预估；

步骤S103，根据预估的目标及每个题目对学生总分的贡献值对题库中的题目进行评分，根据评分选取第一数量的题目，建立第一题目集合；

步骤S104，分别在每项预估的目标下对所述第一题目集合中的题目进行排序，将对应的排名转换为分值进行融合排序；

步骤S105，在融合排序结果中按照设置的选题因素选取第二数量的题目推荐给学生。

进一步的，该方法还包括：

步骤S106，获取学生对所述第二数量的题目的解答情况，更新所述题库。

为了对上述利用机器学习模型的个性化题目推荐方法进行更为清楚的解释，下面结合每一步进行详细说明。

参考图2，为本发明一具体实施例的利用机器学习模型的个性化题目推荐方法流程示意图。

步骤S1，采集学生的相关题目。

采集学生的相关题目可以根据学生的生疏知识点、学生的错题本及与学生具有一定相似性的其他学生的错题本。所采集的题目可以随着学生做题的情况进行更新。

具体的，参考图2，具体过程为：

步骤S11，根据学生生疏的知识点，在知识点的题库中召回一定数量的题目；

步骤S12，根据学生的错题本，利用graph2vec、node2vec或graph_embeding模型召回与错题本的题目具有一定相似性的题目；

在本实施例中，所采用的是Item2item算法（物品与物品相似度算法），如graph2vec经典算法。

其中，根据每个学生自己做错的题目生成一个做错的题目的集合（错题集合），在同一个错题集合的所有题目之间有个连线。假设某个学生的错题集里面有A题目和B题目，那么A题目和B题目之间会有一条边。另一个学生A题目和C题目同时在错题集里面，那么A题目和C题目之间会有一条边。所有题目都在同一个平面图上面，每两个题目之间的边的权重等于同时错这两个题目的学生的个数。通过graph2vec模型进行训练，获取每个题目自己本身的向量，根据每个题目的余弦相似度，可以获取每个题目最相近的做错的题目以及其相似程度。

举例而言，如果学生甲错题集有A、B、C，学生乙错题集有A、C，学生丙的错题集有C、D，则可以生成如图3所示的向量表达式意图。有了每个题目的对题相似度最高的题目，以及每个题目错题相似度最高的题目，只需要推荐给学生之前做过的题目中，学生做对的题目相似度最低、做错的题目相似度最高的这批习题，交给学生去做，那么就可以让学生更多的练习不熟练或者容易错的习题，大幅度提高学生的做题效率，尽量少的去做已经很熟练的题目。

步骤S13，利用FM、GBDT、FFM或Transform注意力模型得到与当前学生具有一定相似性的其他学生的错题本，并根据错题本召回与错题本的题目具有一定相似性的题目。

在本实施例中，可以采用U2U算法，该算是“用户to用户”的一种个性化算法（如，knn最近邻算法或协同过滤算法）。

由于每个学生对历史上的题目都有错题、对题，还有一些得分不是满分但是也不是0分的不熟练题目。对于某个学生，将历史上该学生对于每个题目的分值都写下来，会得到一个学生的题目得分向量。在给当前某个学生推荐题目的时候，选取与该学生题目得分向量比较接近的其他学生的错题序列，推荐给该学生，可以大幅度提高该学生的做题效率，尽量少的去做已经很熟练的题目。

步骤S2，将召回的全部题目进行过滤。

过滤掉知识点超纲、学生近期已经做过及难度系数大于设定阈值的题目；

根据过滤后的剩余题目，建立题库。过滤后的题目与学生历史上错题很接近的题目同时又是学生近期没做过的题目。

步骤S3，利用机器学习模型对所述题库中每个题目进行多目标预估。

其中，机器学习模型可以采用DNN模型，也可以选用LR等排序模型。

本发明利用DNN模型对所述题库中每个题目进行多目标预估；其中，预估的目标至少包括：每个题目对应的学生选择去做的概率

根据实际情况，还可以加入其它目标，如，学生学会该题后对应的知识点的掌握程度等。

在本实施例中，DNN模型训练的过程为：

以学生特征、题目特征及学生和题目的交叉特征作为输入样本对模型进行训练，得到DNN模型；其中，学生特征至少包括：每个知识点的掌握情况、学生自控力及学生本科目历史成绩；题目特征至少包括：题目的embedding向量特征、题目的类别、题目的难易程度及题目所属的知识点在考试中出现的概率。

DNN模型输出的label是多目标的，如学生是否选择做这个题目，学生选择做这个题目以后所花费的时间，学生做这个题目是否会出错，学生是否会求助老师等。另外，还可以添加其它目标，如学生做完这个题目后是否会继续做后面的题目（避免有些题目对当前学生太难或者运算量太大，导致学生做完以后需要休息一下）等目标进行训练和预估。

步骤S4，根据预估的目标，进行题目过滤。

若老师资源不足，过滤掉学生求助老师的概率大于设定阈值的题目；例如，值班老师的人数无法满足学生的求助，则可以考虑过滤掉一些该类型的题目。

若课程剩余时间小于需要花费的时间，将相应的题目进行过滤；例如，即将下课时，将需要花费时间较长的题目过滤掉，保留课程剩余时间满足花费时间的题目。

步骤S5，根据预估的目标及每个题目对学生总分的贡献值对题库中的题目进行评分，根据评分选取第一数量的题目，建立第一题目集合。

具体的，根据做错的概率、需要花费的时间及每个题目对学生总分的贡献值，对题库中的题目进行评分，计算式为：

其中，

选取评分由高到低排序的前

评分的计算方式并不仅限于此，也可以加入学生选择去做的概率、学生求助老师的概率等。

步骤S6，分别在每项预估的目标下对所述第一题目集合中的题目进行排序，将对应的排名转换为分值进行融合排序。

在学生选择去做的概率

将排名转换为分值，计算式为：

其中，

将题目的全部目标（四个目标）对应的分值进行求和，得到总得分

步骤S7，在融合排序结果中按照设置的选题因素选取第二数量的题目推荐给学生。

在总得分由高到低的排序中，按照题目类型相同、题目对应的知识点一致及学生未做过在内的一个选题因素或多个选题因素的组合，选取前

例如，若设置的选题因素为选取题目类型相同的3个的题目，则在排序中选取3个同一类型且总得分高的题目。

若设置的选题因素为选取学生未做过的3个的题目，则在排序中依次判断学生是否做过，选取3个未做过且总得分高的题目。

选题因素可以根据实际情况设置为一个或者多个的组合，并按照需求加入其它选题因素。

步骤S8，在学生做完推荐的

若还需要推荐题目，则返回步骤S1，迭代执行上述步骤继续推荐题目。

需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

在介绍了本发明示例性实施方式的方法之后，接下来，参考图4至图5对本发明示例性实施方式的利用机器学习模型的个性化题目推荐系统进行介绍。

利用机器学习模型的个性化题目推荐系统的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

基于同一发明构思，本发明还提出了一种利用机器学习模型的个性化题目推荐系统，如图4所示，该系统包括：

题目采集模块110，用于采集学生的相关题目，建立题库；

多目标预估模块120，用于利用机器学习模型对所述题库中每个题目进行多目标预估；

题目选取模块130，用于根据预估的目标及每个题目对学生总分的贡献值对题库中的题目进行评分，根据评分选取第一数量的题目，建立第一题目集合；

融合排序模块140，用于分别在每项预估的目标下对所述第一题目集合中的题目进行排序，将对应的排名转换为分值进行融合排序；

题目推荐模块150，用于在融合排序结果中按照设置的选题因素选取第二数量的题目推荐给学生。

在一实施例中，参考图5，为本发明另一实施例的利用机器学习模型的个性化题目推荐系统架构示意图。如图5所示，该系统还包括：

题库更新模块160，用于获取学生对所述第二数量的题目的解答情况，更新所述题库。

在一实施例中，题目采集模块110具体用于：

根据学生的生疏知识点、学生的错题本及与学生具有一定相似性的其他学生的错题本，采集学生的相关题目。

其中，相关题目的采集过程为：

根据学生生疏的知识点，在知识点的题库中召回一定数量的题目；

根据学生的错题本，利用graph2vec、node2vec或graph_embeding模型召回与错题本的题目具有一定相似性的题目；

利用FM、GBDT、FFM或Transform注意力模型得到与当前学生具有一定相似性的其他学生的错题本，并根据错题本召回与错题本的题目具有一定相似性的题目。

在一实施例中，题目采集模块110还用于：

将召回的全部题目进行过滤，其中，过滤掉知识点超纲、学生近期已经做过及难度系数大于设定阈值的题目；

根据过滤后的剩余题目，建立题库。

在一实施例中，多目标预估模块120具体用于：

以学生特征、题目特征及学生和题目的交叉特征作为输入样本对模型进行训练，得到DNN模型；其中，学生特征至少包括：每个知识点的掌握情况、学生自控力及学生本科目历史成绩；题目特征至少包括：题目的embedding向量特征、题目的类别、题目的难易程度及题目所属的知识点在考试中出现的概率。

利用DNN模型对所述题库中每个题目进行多目标预估；其中，预估的目标至少包括：每个题目对应的学生选择去做的概率、做错的概率、需要花费的时间及学生求助老师的概率。

再参考图5，该系统还包括：

题目过滤模块170，用于根据预估的目标，对题库中题目进行过滤。

其中，若老师资源不足，过滤掉学生求助老师的概率大于设定阈值的题目；

若课程剩余时间小于需要花费的时间，将相应的题目进行过滤。

在一实施例中，题目选取模块130具体用于：

根据做错的概率、需要花费的时间及每个题目对学生总分的贡献值，对题库中的题目进行评分，计算式为：

其中，

选取评分由高到低排序中的第一数量的题目，建立第一题目集合。

在一实施例中，融合排序模块140具体用于：

在学生选择去做的概率、做错的概率、需要花费的时间及学生求助老师的概率的目标下，分别对所述第一题目集合中的题目进行排序，获得每个题目在目标排序中的排名；

将排名转换为分值，计算式为：

其中，

将题目的全部目标对应的分值进行求和，得到总得分，并将总得分由高到低进行排序。

在一实施例中，题目推荐模块150具体用于：

在总得分由高到低的排序中，按照题目类型相同、题目对应的知识点一致及与学生未做过在内的一个选题因素或多个选题因素的组合，选取第二数量的题目并将题目推荐给学生。

应当注意，尽管在上文详细描述中提及了利用机器学习模型的个性化题目推荐系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

基于前述发明构思，如图6所示，本发明还提出了一种计算机设备600，包括存储器610、处理器620及存储在存储器610上并可在处理器620上运行的计算机程序630，所述处理器620执行所述计算机程序630时实现前述利用机器学习模型的个性化题目推荐方法。

基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述利用机器学习模型的个性化题目推荐方法。

本发明提出的利用机器学习模型的个性化题目推荐方法及系统通过采集学生的相关题目，建立题库，利用机器学习模型对所述题库中每个题目进行多目标预估，根据预估的目标及每个题目对学生总分的贡献值对题库中的题目进行评分，根据评分选取第一数量的题目，建立第一题目集合，分别在每项预估的目标下对所述第一题目集合中的题目进行排序，将对应的排名转换为分值进行融合排序，在融合排序结果中按照设置的选题因素选取第二数量的题目推荐给学生，为学生提供个性化的题目，实现最大化的做题效率，为提高成绩提供有力的支持。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。