一种针对网络教育教学资源的个性化推荐方法

摘要

一种针对网络教育教学资源方面的个性化推荐方法属于计算机互联网技术领域，提供了一种基于Spark平台的一种项目相似度与交替最小二乘的协同过滤相结合的协同过滤推荐算法，可提高预测计算效率，减少系统响应时间的推荐方法。为解决现有的协同过滤推荐方案存在的数据稀疏性造成的模型不准确从而导致的无法精准的对不同用户推荐合适的网络教育教学资源的问题，本发明通过将交替最小二乘协同过滤推荐算法进行优化，并且在Spark大数据分析平台上进行使用，进而用并行的方法来增加单位时间完成的工作量和推荐的精度，解决无法精准推荐网络教育教学资源的问题。

说明书

技术领域

本发明属于计算机互联网技术领域，涉及一种针对网络教育教学资源方面的个性化推荐方法。

背景技术

随着人类信息化水平的不断进步，信息基础设施、信息技术、软件系统和平台在今天已经发展成为推动教育教学水平向更高层次发展，推动社会进步的革命性力量。在E-教育的思想理念提出以后，各种网络教育教学平台逐渐出现，特别是今年由于疫情原因，线下教育机构基本处于无法正常营业的状态，但学生们的学习需求依然存在，在线教育教学的优势一下子进入大众视线。在各种教育教学平台相继出现的背景下，网络教育教学资源也在以迅猛的速度进行增长，但是教育教学资源量剧增的情况，给教学组织者和学习者带来了诸多麻烦与挑战，他们不得不花费大量的时间和精力去筛选出符合自己需求的教育教学资源。因此，被广泛应用在商业领域的个性化推荐系统，也开始逐渐应用到教育教学领域，其可以利用用户的历史行为数据，进行个性化计算，发现不同用户的兴趣点，引导用户逐渐发现自己需要的信息和教育教学资源，这在很大程度上提高了用户的工作和学习效率。

推荐算法是一种可以将信息进行过滤的方法，能够有效的根据用户的信息需求、个人兴趣爱好等进行个性化信息推荐，并且已经成功应用在在线视频、社交平台、在线音乐、电子商务等众多领域。随着智慧教育教学建设中教育教学资源的不断完善，利用丰富的教育教学资源，比如电子书籍、教学视频、文献等，进行个性化的推荐有助于提升学生的学习效率。

目前比较流行的推荐算法时是协同过滤推荐(Collaborative filtering，简称CF)，协同过滤，从字面上理解，包括协同和过滤两个操作。所谓协同就是利用群体的行为来做推荐，生物上有协同进化的说法，通过协同的作用，让群体逐步进化到更佳的状态。对于推荐系统来说，通过用户的持续协同作用，最终给用户的推荐会越来越准。而过滤，就是从可行的决策(推荐)方案中将用户喜欢的方案找(过滤)出来。具体来说，协同过滤的思路是通过群体的行为来找到某种相似性(用户之间的相似性或者标的物之间的相似性)，通过该相似性来为用户做决策和推荐。一般来说，协同过滤推荐分为三种类型。第一种是基于用户(user-based)的协同过滤，第二种是基于项目(item-based)的协同过滤，第三种是基于模型(model based)的协同过滤。基于用户(user-based)的协同过滤主要考虑的是用户和用户之间的相似度，只要找出相似用户喜欢的教育教学资源，并预测目标用户对对应的教育教学资源的评分，就可以找到评分最高的若干个教育教学资源推荐给用户。而基于项目(item-based)的协同过滤和基于用户的协同过滤类似，只不过这时我们转向找到教育教学资源和教育教学资源之间的相似度，只有找到了目标用户对某些教育教学资源的评分，那么我们就可以对相似度高的类似教育教学资源进行预测，将评分最高的若干个相似的教育教学资源推荐给用户。比如你在网上买了一本机器学习相关的书，网站马上会推荐一堆机器学习，大数据相关的书给你，这里就明显用到了基于项目的协同过滤思想。

但是目前很多推荐算法的精度偏低，直接使用协同过滤方法，会因为缺乏对课程内容的了解和认识，造成推荐的教育教学资源过时，推荐的结果与所准备的课程任务的关联程度偏低的问题，因此需要构建一种尽可能精确的推荐相关教育教学资源的个性化推荐方法。

发明内容

本发明提供了一种针对网络教育教学资源的个性化推荐方法。在现实教学中，不可能每个用户都和所有的教学资源都有行为关系。事实上，有交互关系的用户-资源对只占很小的一部分。换句话说，用户-资源关系列表是非常稀疏的。教育教学资源评分矩阵假如非常稀疏，会直接影响模型的准确性。本发明的目的是提供一种能够适用于超大稀疏特征矩阵，并且对于大规模数据集环境有较好的计算效率的教学资源推荐方法。以解决现有的协同过滤方案存在的数据稀疏性造成的模型不准确，导致的无法精准的对不同用户推荐合适的教育教学资源的问题。

本发明通过将交替最小二乘(Alternating Least Squares,ALS)算法在Spark大数据分析平台上进行使用，进而用并行的方法来增加单位时间完成的工作量和推荐的精度，解决无法精准推荐教育教学资源的问题。

一种针对网络教育教学资源个性化推荐的方法，包括：

步骤一：首先经过用户评分原始数据获得用户的评分矩阵，计算用户与用户，教育教学资源与教育教学资源之间的相似性。

步骤二：设计一个损失函数，把上述计算获得的相似性数据添加到相应的函数中，以进行下一步使用。

步骤三：在步骤二的函数中执行迭代求解最小化函数，最后获得U矩阵和V矩阵。

附图说明

图1矩阵分解模型图

图2迭代确定UV图

图3交替最小二乘推荐算法的流程图

图4MSE算法对比图

图5RMSE算法对比图

具体实施方式

本发明的交替最小二乘协同过滤推荐算法是在Spark平台上进行实现的，其基本原理为：如果R为一个用户对教育教学资源的评分矩阵，通过标准化为(R＝(R

L(x)＝∑

在(1)式中，R

如图1所示，关于矩阵分解模型X＝UV

L(U,V)＝∑

损失函数一般需要加入正则化项来避免过拟合等问题，经过给(2)式增加二阶正规化项，能够预防过拟合，则(2)式可改写为

在(3)式中λ表示二阶正则化项的系数，通常使用验证集或交叉验证集来配置这个参数，尝试各种各样的数据，寻找最好的参数，我们要考虑训练集之间的权衡，把参数设置为较小值，这样可以避免过拟合。初始将λ设置为0.1，使用learning rate为0.01，然后固定该learning rate，将λ以初始值为中心，0.01为步长增加，迭代十次，每一次迭代都以上一次得到的λ为基准值，以0.01为步长进行增加，当λ到达0.2时，再将λ设为0.1，再次迭代十次，每一次迭代都以上一次得到的λ为基准值，以0.01为步长进行减少，当λ为0时，选取这20次中误差最小的λ设为λ

在(4)式中的R

同理可得，固定U矩阵，可以获得如下求解V

在(5)式中的R

基于协同过滤算法的最小交叉二乘法，调用式(4)、(5)将算法进行计算直至出现收敛结果就完成计算，迭代过程如图2所示。

交替最小二乘协同过滤推荐算法的流程如图3所示。

步骤1，首先经过用户评分的原始数据获得用户的评分矩阵，计算用户与用户，教育教学资源与教育教学资源之间的相似性。本发明应用向量余弦法,又叫VSS(空间相似度法)，其中N

相同的原理可以知道，教育教学资源i和教育教学资源j间的相似度公式为：

步骤2，设计一个损失函数，把上述计算获得的相似性数据添加到(8)式的函数中。

上式中，(i,j)表示一切的用户-教育教学资源对，r

步骤3，在步骤2的函数中执行迭代求解最小化函数，最后获得U和V矩阵。

确切求解U和V，根据固定U求解V，固定V求解U,使用交替最小二乘法迭代求解，具体步骤如下：

上式(9)中，I

同样的关于v

上式(10)中，I

实验及结果

为了评估提出的算法的准确性，我们使用以下评估指标：均方误差(MSE)，均方根误差(RMSE)，全局平均准确率(MAP)。MSE意味着数据评价的震动范围变化，如果范围很小，那么拟定模型的正确性就表示很好。RMSE充当该标准差。MAP是基于评价指数的排名，此值较高表示推荐的教学资源的准确率越高，教学资源的排序也依然可以使用户满意。其确实的定义各自为：

数据是教学资源推荐方法测试的200个用户所得到的结果。因为用户人数不是很大，数据相对较少，并且也有着随机误差，但本发明所得到的数据还是可以客观地显示出算法的效果。和本发明所呈现的算法相比较的是基于内容的推荐算法和基于关联规则的推荐算法。

其中MSE算法结果如图4所示，从图4结果中能够得知本发明使用的推荐算法比对比的两个算法精准。RMSE算法结果如图5所示。从图5中能够得知本发明使用的算法大大超越与之对比的算法。MSE算法表现了本发明所提算法的准确性，并且RMSE算法能够表现推荐结果的排序，这两种算法互补用来满足系统的需要，因此本发明所提出的算法能够应用在教学资源推荐系统中。

综上所述，本发明是基于交替最小二乘协同过滤推荐算法在教学资源推荐系统的应用。首先对交替最小二乘推荐算法的原理进行分析和它问题存在的情况，从而提出了在传统的协同过滤推荐算法基础之上，使用分别计算用户与用户间和教学资源与教学资源间的相似度，同时把交替最小二乘协同过滤推荐算法应用到Spark平台进而用并行的方法来增加单位时间完成的工作量和推荐的精度的一种推荐方法。