基于时间节点标记反馈学习状态的智慧教育平台

摘要

本发明公开了一种基于时间节点标记反馈学习状态的智慧教育平台，属于线上教育技术领域，解决现有技术中的基于时间节点标记反馈学习状态的智慧教育平台无法准确的向学生和家长反馈学习问题，容易造成学习质量差，易浪费时间等问题。本发明包括用户终端、授课终端和实现授课终端和用户终端进行信息交互的网络单元；所述用户终端用于获取授课终端上的视频进行学习、接收授课终端的指令；所述授课终端对视频进行时间节点标记，基于各时间节点标记分别向用户端发送图像获取指令和音频获取指令，并通过用户终端获取的多张图像进行相似度匹配以及音频与已有的音频进行音频识别，并反馈结果，通过图像相似度识别的结果和音频识别结果判断是否需要向用户终端反馈相应授课知识点的视频。本发明用于线上教育。

说明书

技术领域

一种基于时间节点标记反馈学习状态的智慧教育平台，用于线上教育，属于线上教育技术领域。

背景技术

智慧教育即教育信息化，是指在教育领域(教育管理、教育教学和教育科研) 全面深入地运用现代信息技术来促进教育改革与发展的过程。其技术特点是数字化、网络化、智能化和多媒体化，基本特征是开放、共享、交互、协作、泛在。以教育信息化促进教育现代化，用信息技术改变传统模式。

随着社会的不断发展，智慧教育越来越成熟，大部分家长都会选择通过线上教育的方式为学生提供多方位的培训学习。现有线上的教学包括线上直播教学或视频指导教学两种方式，由于线上直播时间固定，学习时间段的选择性差，因此，视频指导教学深受大家的喜观。

但现有的视频指导教学存在如下技术问题：

一、无法具体分析各授课知识点、各学生的掌握情况，即无法根据反馈的情况提供相应的解决方案；

二、在无家长陪同的情况下，无法直观明确的向家长反馈学生的学习状态差所导致的原因；

三、无法针对有问题的授课知识点进行单独学习，易造成积累的问题过多。

发明内容

本发明的目的在于提供一种基于时间节点标记反馈学习状态的智慧教育平台，解决现有技术中的基于时间节点标记反馈学习状态的智慧教育平台无法准确的向学生和家长反馈学习问题，容易造成学习质量差，易浪费时间等问题。

为了实现上述目的，本发明采用的技术方案为：

一种基于时间节点标记反馈学习状态的智慧教育平台，包括用户终端、授课终端和实现授课终端和用户终端进行信息交互的网络单元；

所述用户终端用于获取授课终端上的视频进行学习、接收授课终端的指令进行图像和音频获取，并反馈给授课终端、和接收授课终端反馈的学习评估结果；

所述授课终端对视频进行时间节点标记，并基于时间节点标记对各授课知识点对应的视频进行截取保存，基于各时间节点标记分别向用户端发送图像获取指令和音频获取指令，并通过用户终端获取的多张图像进行相似度匹配以及音频与已有的音频进行音频识别，并将图像相似度识别的结果和音频识别结果与给定的值进行比较后反馈给用户终端，同时通过图像相似度识别的结果和音频识别结果判断是否需要向用户终端反馈相应授课知识点的视频。

进一步，对视频进行时间节点标记是指，通过人工标记或语义标记的方式标记各授课知识点的起始时间和结束时间。

进一步，所述语义标记的步骤如下：

授课终端录制视频或播放视频时，基于音转字的方法将得到视频中的文字内容，将文字内容中的字符与视频进行时间点映射；

根据文字内容中的标点字符，对文字内容进行语句提取，并根据语句在文字内容中的先后顺序进行进行标记；

基于语义解析对标记后的语句进行分类；

在各分类中提取首尾标记的语句，并基于首标记语句的首字符、尾标记语句的尾字符进行时间点映射查询，查询到对应的时间点后，在视频的时间轴上加载标记符号，即对视频进行时间节点标记。

进一步，基于语义解析对标记后的语句进行分类的步骤如下：

基于语义解析，解析各标记后的语句；

将解析后的语义和语句进行关联；

若语句为视频的首个语句，直接将其分为一个授课知识点的类别，否则，基于语义相似度算法判断当前语句与前一语句所分类的授课知识点的类别中的语句的语义相似度，若所有语义相似度值取平均后达到给定的阈值，则将对应的语句归入当前授课知识点的类别，否则，单独归入一个授课知识点的类别。

进一步，所述图像获取指令是指授课终端检测到时间节点标记即会发出让用户终端在该时间节点连续拍照或间隔拍照获取图像的指令。

进一步，所述音频获取指令是指授课终端根据时间节点标记所对应的视频中的互动内容向用户终端发出录制音频的指令，音频为跟读音频、解题音频、回答为“不会”或“没理解”的音频或无声音频。

进一步，所述多张图像进行相似度的步骤如下：

若图像为两张的步骤如下：

将相邻时间点获取的图像进行相似度对比，即得到最后的相似度值；

若图像为三张以上的步骤如下：

将相邻时间点获取的图像进行相似度对比，并将对比后得到的相似度进行加权取均值，即得到第一相似度值；

将时间节点标记内获取的首张图像分别与后续获取的图像进行相似对比，并将对比后得到的相似度进行加权取均值，即得到第二相似度值；

将第一相似度值和第二相似度值相加后取平均，得到最后的相似度值。

与现有技术相比，本发明的优点在于：

一、本发明通过用户终端和授课终端进行信息交互，并通过相似度对比和音频识别，可分析各个学生对各授课知识点的掌握情况，并可分析出是因为学生上课多动引起的注意力不集中，还是因为不参与互动或回复不上来等引起的，通过分析的结果可只向用户端反馈学习质量不佳的授课知识点所对应的视频，避免浪费学生和家长的时间，以及不能有效的向家长反馈学生课堂中存在的问题；

二、本发明通过对视频进行时间节点标记来划分各授课知识点，并对各时间节点标记中的学生状态和互动情况进行相似度对比和音频识别，同时通过相似度对比和音频识别能快速给出评价，并给出反馈，也便于课后能有效的弥补学习的不足；

三、本发明通过语义标记来标记各授课知识点所对应的视频，标记精度高，便于后续能准备的将各授课知识点反馈给学生进行单独学习；

四、本发明通过对学生在各授课知识点进行状态评估，即通过图像相似度来进行评估，可准确的判断学习是否有大幅度的位移、晃动等，并通过互动音频的回答情况判断其参与程度、以及理解程度；结合图像相似度评估结果，可确认是否有认真听课等问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应该看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的框架结构示意图；

图2为本发明的实现流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，若出现术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，若出现术语“水平”、“竖直”、“悬垂”等并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

一种基于时间节点标记反馈学习状态的智慧教育平台，包括用户终端、授课终端和实现授课终端和用户终端进行信息交互的网络单元；

所述用户终端用于获取授课终端上的视频进行学习、接收授课终端的指令进行图像和音频获取，并反馈给授课终端、和接收授课终端反馈的学习评估结果；

所述授课终端对视频进行时间节点标记，并基于时间节点标记对各授课知识点对应的视频进行截取保存，基于各时间节点标记分别向用户端发送图像获取指令和音频获取指令，并通过用户终端获取的多张图像进行相似度匹配以及音频与已有的音频进行音频识别，并将图像相似度识别的结果和音频识别结果与给定的值进行比较后反馈给用户终端，并通过图像相似度识别的结果和音频识别结果判断是否需要向用户终端反馈相应授课知识点的视频。

所述图像获取指令是指授课终端检测到时间节点标记即会发出让用户终端在该时间节点连续拍照或间隔拍照获取图像的指令。间距拍照可给定定时拍照的时间，可为1分钟、2分钟或3分钟等。

所述音频获取指令是指授课终端根据时间节点标记对应的视频中的互动内容向用户终端发出录制音频的指令，音频为跟读音频、解题音频、回答为“不会”或“没理解”的音频或无声音频等。

用户在进行学习前，授课终端需先把视频上传并保存并且需要先获取用于对比的音频，需要先加载时间节点标记的方式，并且授课终端能实现图像相似度计算和音频识别方法。

用户终端可为手机、平板和电脑等。

授课终端可为云服务器或其它服务器或其它能实现相应功能的硬件设备。

实践中，用户(包括学生)打开平板上所对应的教学APP，通过网络单元与云服务器进行网络连接，用户进入APP上的对应课程，打开视频进行学习，在视频进行到插入到有时间节点标记的视频段时，即会触发摄像头打开(是通过接收指令触发的)，对用户进行拍照，以获取图像，并反馈给云服务器，同时各时间节点标记内根据所要互动的信息，触发录音功能打开，对用户进行音频采集，并反馈给云服务器，通过对各时间节点标记中的图像进行相似度计算和所录制的音频与现有音频的识别，可准确的判断出用户当前的学习状态，若某一授课知识点的反馈结果不佳，云服务器则可提取对应的授课知识点视频并反馈给学生进行再学习，可准确快速的查漏补缺，提高用户的学习质量和学习效率。其中所录制的音频与现有音频的识别是指对内容进行匹配判断，判断读音是否准确或识别文字是否匹配等。

如有一D视频，依次由A授课知识点对应的视频、B授课知识点对应的视频和C授课知识点对应的视频组成，授课终端对D视频进行时间节点标记，标记后，基于A授课知识点、B授课知识点和C授课知识点对应的视频进行截取保存，基于各时间节点标记分别向用户端发送图像获取指令和音频获取指令，即指A授课知识点对应的视频的时间节点标记、B授课知识点对应的视频的时间节点标记或 C授课知识点对应的视频的时间节点标记被检测到时，即会向用户终端发送图像获取指令，或在对应的获取的时间节点标记内，需要获取音频时、发送音频获取指令，授课终端再通过用户终端反馈的多张图像进行相似度匹配以及音频与已有的音频进行音频识别，并将图像相似度识别的结果和音频识别结果与给定的阈值进行比较后反馈给用户终端，并通过图像相似度识别的结果和音频识别结果判断是否需要向用户终端反馈相应授课知识点的视频，如学习A授课知识点时，图像相似度识别的结果低于给定阈值，且音频识别结果低于给定阈值，则表示用户在学习过程中，及大可能是因为多动引起注意力不集中，从而造成知识点未准确获知，以导致学习互动时回复不佳，需要将A授课知识点的视频单独提取出来反馈给用户进行再学习。其中，A授课知识点对应的视频、B授课知识点对应的视频和C授课知识点对应的视频在保存时，标记保存标记，通过保存标记与时间节点标记形成关联进行保存，在提取保存视频时，则通过关联关系进行查询，查询到相关结果后反馈结用户。

对视频进行时间节点标记是指，通过人工标记或语义标记的方式标记各授课知识点的起始时间和结束时间。通过人工标记是指通过人为调用授课终端上的视频进行观看，人为判断授课知识点所对应的视频段，并在视频的时间轴上加载人工标记符号。

所述语义标记的步骤如下：

授课终端录制视频或播放视频时，基于音转字的方法将得到视频中的文字内容，将文字内容中的字符与视频进行时间点映射，其中，音转字的方法为现有技术中任意一种可实现语音转换文字的方法；将文字内容中的字符与视频进行时间点映射，其目的是为了后续能通过字符与视频的时间轴(即指视频帧)的映射关系来实现时间节点标记；如视频的第一秒依次对应的字符为“现在开始今天的课程”，即将此段字符与第一秒进行关联。

根据文字内容中的标点字符，对文字内容进行语句提取，并根据语句在文字内容中的先后顺序进行标记；如根据文字内容中的逗号、分号和句号对进行语句的提取。

基于语义解析对标记后的语句进行分类；步骤如下：

基于语义解析，解析各标记后的语句；解析方式为现有的，解析后，即得到将自然语言(如英语、汉语、日语等)句子转换成一种形式化的计算机可理解、接受和执行的结果，便后续进行相似度计算。

将解析后的语义和语句进行关联；以便后续能精确的与相似度计算结果相对应。

若语句为视频的首个语句，直接将其分为一个授课知识点的类别，否则，基于语义相似度算法判断当前语句与前一语句所分类的授课知识点的类别中的语句的语义相似度，若任一语义相似度大于给定的阈值，则将对应的语句归入当前授课知识点的类别，否则，单独归入一个授课知识点的类别。如D视频转换的文字内容中，依次提取出了D1、D2、D3、D4、D5等语句，其中，D1为首个语句，则直接将其分为第一个授课知识点的类别，再将D2与第一个授课知识点的类别中的语句基于语义进行语义相似度计算，若所有语义相似度值取平均后达到给定的阈值，则将其归纳入第一个授课知识点的类别，否则，单独分归入第二个授课知识点的类别，依次类推，完成授课知识点的划分。

在各分类中提取首尾标记的语句，并基于首标记语句的首字符、尾标记语句的尾字符进行时间点映射查询，查询到对应的时间点后，即查询到时间轴上的某秒时，对视频进行时间节点标记。如：首标记语句为“现在开始今天的课程”中的首字符为“现”，对应时间轴上的第一秒，即将此时间点标记为时间节点标记中的起始时间，同理标记出结束时间，起始时间和结束时间构成了某视授课知识所对应的视频的时间节点标记。

所述多张图像进行相似度的步骤如下：

若图像为两张的步骤如下：

将相邻时间点获取的图像进行相似度对比，即得到最后的相似度值；

若图像为三张以上的步骤如下：

将相邻时间点获取的图像进行相似度对比，并将对比后得到的相似度进行加权取均值，即得到第一相似度值；

将时间节点标记内获取的首张图像分别与后续获取的图像进行相似对比，并将对比后得到的相似度进行加权取均值，即得到第二相似度值；

将第一相似度值和第二相似度值相加后取平均，得到最后的相似度值。

如D视频中的A授课知识点对应的视频、B授课知识点对应的视频和C授课知识点对应的视频分别包含6分钟、10分钟、15分钟，以A授课知识点对应的视频中的信息进行相似度对比进行举例，其中，A授课知识点对应的视频中有一处需要跟读的地方需要进行音频采集，并且给定1分钟采集1张图像的方式进行图像采集，刚好可以采集5张，即5个时间点上获取的图像，为第1秒、第1 分钟第1秒、第2分钟第1秒、第3分钟第1秒、第4分钟第1秒和第5分钟第 1秒上获得的图像1、图像2、图像3、图像4和图像5。

相似度对比过程中，将图像1与图像2、图像2与图像3、图像3与图像4、图像4与图像5进行相似度对比，并将对比后得到的4个相似度进行加权取均值，即得到第一相似度值；

将时间节点标记内获取的图像1与图像2、图像1与图像3、图像1与图像4、图像1与图像5进行相似对比，并将对比后得到的4个相似度进行加权取均值，即得到第二相似度值；

将第一相似度值和第二相似度值相加后取平均，得到最后的相似度值，此相似度值即可用于评估用户在学习A授课知识点的状态，以此判断是否会对学习有所影响。