在线课堂内容采集方法及装置

摘要

本发明公开了一种在线课堂内容采集方法及装置。该方法包括：实时从视频流中获取信息并保存到缓冲区，将获取的信息与预设规则进行匹配；在当前获取的信息与预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对各个图像中至少部分区域进行截图；选择包括目标内容的截图进行保存。该装置包括信息获取单元、匹配单元、图像内容采集单元、截图选取单元和存储单元。这种方法和装置实时监控在线课堂画面和语音，根据设定规则可以在用户比如学生观看在线课程视频的同时自动触发局部画面获取并且去除“相似”画面，给学生用户更加顺滑的视频观看和体验效果，边看边积累重要课堂内容截图。

说明书

技术领域

本发明涉及视频通信和数据处理技术，更为具体来说，本发明涉及一种在线课堂内容采集方法及装置。

背景技术

随着互联网视频技术的发展，网络教学越来越受到欢迎。作为学生的用户在智能设备比如手机或者PC上使用网课终端参与使用直播课程页面的过程中，需要注意力集中进行在线课堂学习，如果在课堂学习过程中手动记录笔记则会影响学习效果或者会发生信息出现猝不及防、转瞬即逝却没来得及记录等问题。因此，相比于手动记录课堂笔记，观看在线课程视频进行内容采集的需求越来越强烈，在线课堂中对于表达不同语义具有上下文联系的画面能够有效的作为知识点片段笔记的用途，根据预先设置规则获取在线视频局部内容图片，通过视频中语音、图像画面能够便利地获取不重复地语义片段局部画面非常重要。

发明内容

本发明创新地提供了一种在线课堂内容采集方法及装置，解决了在手机、PC等终端中通过在线直播课堂进行课程学习的过程中用户比如学生具有及时获取重要的全局或局部图像画面需求，使得用户比如学生流畅观看课堂内容减少交互操作注意力分散，又能够根据规则及时获取并保留瞬间图像内容又不重复。

为实现上述的技术目的，一方面，本发明公开了一种在线课堂内容采集方法。所述在线课堂内容采集方法包括：实时从视频流中获取信息并保存到缓冲区，将获取的信息与预设规则进行匹配；在当前获取的信息与所述预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对所述各个图像中至少部分区域进行截图；选择包括目标内容的截图进行保存。

进一步地，对于所述在线课堂内容采集方法，实时从视频流中获取信息，并将获取的信息与所述预设规则进行匹配并保存到缓冲区，包括：获取视频流并将视频流画面映射到后台视频图像画布中；在当前图像相比所保存的上一图像发生符合实质变化标准的变化时，将当前图像作为稳定图像保存到缓冲区；将所述稳定图像与所述预设规则进行匹配。

进一步地，对于所述在线课堂内容采集方法，当前图像相比所保存的上一图像发生符合实质变化标准的变化，包括：将所述视频流当前图像与所保存的上一图像进行对比；在当前图像中文字发生变化或者超过阈值数量的像素发生变化时，表示当前图像相比所保存的上一图像发生符合实质变化标准的变化。

进一步地，对于所述在线课堂内容采集方法，实时从视频流中获取信息，并将获取的信息与所述预设规则进行匹配并保存到缓冲区，包括：将视频流中音频内容映射到音频段缓冲区中；对音频段缓冲区内的音频进行段落切分并留存当前段落语音；在所留存的当前段落语音发生变化时，将所述当前段落语音与所述预设规则进行匹配。

进一步地，所述的在线课堂内容采集方法，在对所述各个图像中至少部分区域进行截图之后，还包括：对所述各个图像中至少部分区域的截图进行比较；如果截图区域内图像未发生变化则保存一张截图；如果发生变化则将保存不同截图。

进一步地，对于所述在线课堂内容采集方法，选择包括目标内容的截图进行保存，包括：对时间序列阈值区间中的截图进行挑选给出推荐图片供选择保存。

进一步地，对于所述的在线课堂内容采集方法，选择包括目标内容的截图进行保存，包括：根据当前播放时间将截图命名并存储在用户端本地。

为实现上述的技术目的，另一方面，本发明公开了一种在线课堂内容采集装置。所述在线课堂内容采集装置包括：信息获取单元，用于实时从视频流中获取信息并保存到缓冲区；匹配单元，用于将获取的信息与预设规则进行匹配；图像内容采集单元，用于在当前获取的信息与所述预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对所述各个图像中至少部分区域进行截图；截图选取单元，用于选择包括目标内容的截图；存储单元，用于保存所选择的截图。

为实现上述的技术目的，又一方面，本发明公开了一种计算设备。所述计算设备包括：一个或多个处理器，以及与所述一个或多个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述方法。

为实现上述的技术目的，再一方面，本发明公开了一种机器可读存储介质。所述机器可读存储介质存储有可执行指令，所述指令当被执行时使得所述机器执行上述方法。

本发明的有益效果为：

本发明实施例提供的在线课堂内容采集方法及装置实时监控在线课堂画面和语音，根据设定规则可以在用户比如学生观看在线课程视频的同时自动触发全局或局部画面获取并且去除“相似”画面，给学生用户更加顺滑的视频观看和体验效果，边看边积累重要课堂内容截图，智能化在线课堂内容采集技术是在线课堂的一个非常重要的发展趋势。解决了在手机、PC等终端中通过在线直播课堂播放器进行课程学习的过程中用户比如学生具有及时获取重要的全局或局部图像画面需求，使得用户比如学生流畅观看课堂内容减少交互操作注意力分散，又能够根据规则及时获取并保留瞬间图像内容又不重复。

附图说明

图中，

图1为本发明一个实施例提供的在线课堂内容采集方法的流程图；

图2为本发明另一个实施例提供的在线课堂内容采集装置的结构示意图；

图3A和图3B为本发明一个示例提供的在线课堂内容采集方法和装置的应用场景效果图；

图4为根据本发明实施例的用于在线课堂内容采集处理的计算设备的结构框图。

具体实施方式

下面结合说明书附图对本发明提供的在线课堂内容采集方法及装置进行详细的解释和说明。

图1为本发明一个实施例提供的在线课堂内容采集方法的流程图。

如图1所示，在步骤S110，实时从视频流中获取信息并保存到缓冲区，将获取的信息与预设规则进行匹配。其中，预设规则可以包括全屏匹配添加词语、拼音、正则表达式和/或图像匹配，或者通过添加图像匹配区域在屏幕上绘制局部匹配区域并添加词语、拼音、正则表达式和/或图像匹配规则。预设规则还可以包括选择匹配方式比如语音和/或图像方式，可以添加多条规则。可以将预设规则存储在用户端本地，进行本地数据持久化供多次使用。

作为一种实施方式，步骤S110可以包括以下步骤：获取视频流并将视频流画面映射到后台视频图像画布中；在当前图像相比所保存的上一图像发生符合实质变化标准的变化时，将当前图像作为稳定图像保存到缓冲区；将稳定图像与预设规则进行匹配。

具体来说，可以通过端技术获取视频流并将视频流画面映射到后台视频图像画布中供后台进行图像切分使用。将视频流当前图像与所保存的上一图像进行对比，在当前图像中文字发生变化或者超过阈值数量的像素发生变化时，表示当前图像相比所保存的上一图像发生符合实质变化标准的变化。在图像发生实质变化时将当前图像作为稳定图像保存到缓冲区，防止图像消失。可以利用端智能进行神经网络在线预测匹配。端智能是指运行在用户客户端上的神经网络在线推理器，可以将传入的图像数据作为输入，将事先训练的神经网络加载到客户端并且将图像数据作为输入进入神经网络逐层计算，最终根据神经网络计算结果给出图像是否匹配的答案。

作为另一种实施方式，步骤S110可以包括以下步骤：将视频流中音频内容映射到音频段缓冲区中；对音频段缓冲区内的音频进行段落切分并留存当前段落语音；在所留存的当前段落语音发生变化时，将当前段落语音与预设规则进行匹配。

具体来说，可以将视频流中音频内容映射到音频段缓冲区中，对音频段缓冲区域内的音频进行切分，按照当前语音进行段落区分，仅仅留存当前段落语音，并在所留存的当前段落语音变化时，将当前段落语音与预设规则进行匹配。

在步骤S120，在当前获取的信息与预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对各个图像中至少部分区域进行截图。

具体来说，通过匹配区域匹配成功将会触发截图区域截图，截图原理是将视频中的当前帧图像内容投影到canvas画布中，根据画布提供的方法将图像数据根据指定格式比如png格式或jpg格式存储到本地或者将图像二进制存储到内存。

可以在局部匹配过程中设置匹配区域，其中图像文字会被端智能提取成文字，将这部分的图像区域识别出的文字与规则正则进行匹配，如果匹配符合正则规则将截图区域图像保存入图像缓存。在设置过程中，如果设置了截图区域，则在触发截图动作时会根据截图区域在整体图像中的坐标定位进行截图，如果没有设定截图区域则默认为全局截图整个图像。

对各个图像中至少部分区域的截图进行比较，如果截图区域图像未发生变化则保存一张，如果发生变化例如截图区域内文字变化则将不同截图保存，以保证不同截图仅一张，留作后续存入本地。在匹配区域内容未发生变化的时间区间内，在端智能下可能有多张图像进入缓存，这时可以考虑仅将截图区域内图像中文字变化巨大的图像存入，而截图区域内未产生文字变化的仅保存第一张图像。

在步骤S130，选择包括目标内容的截图进行保存。

作为一个具体例子，可以在截图后对时间序列阈值区间中的图像进行自动化挑选给出推荐图片供选择保存使用，也就是说可以将步骤S120的几张截图显示在图像保存面板中，人工交互选择最优截图进行保存。还可以根据当前播放时间将图像命名并存储在用户端本地。

图2为本发明另一个实施例提供的在线课堂内容采集装置的结构示意图。如图2所示，该实施例提供的在线课堂内容采集装置200包括信息获取单元210、匹配单元220、图像内容采集单元230、截图选取单元240、以及存储单元250。

信息获取单元210用于实时从视频流中获取信息并保存到缓冲区。信息获取单元210的操作可以参照上面参考图1描述的步骤S110的操作。

信息获取单元210可以包括视频获取模块和音频获取模块。视频获取模块用于通过端技术获取视频流并将视频流画面映射到后台视频图像画布中。音频获取模块用于将视频流中音频内容映射到音频段缓冲区中。

信息获取单元210还可以包括图像切分模块和音频切分模块。图像切分模块用于根据图像变化获取稳定图像，通过图像对比，仅在图像发生本质变化时例如图像中文字或者大部分像素发声变化时，进行图像获取。音频切分模块用于将音频段缓冲区域内的音频进行切分，按照当前语音进行段落区分，仅仅留存当前段落语音，并将当前语音发声段落变化时将音频与预设规则进行匹配。

匹配单元220用于将获取的信息与预设规则进行匹配。匹配单元220的操作可以参照上面参考图1描述的步骤S120的操作。

匹配单元220可以包括图像匹配模块和音频匹配模块。图像匹配模块用于通过读取预设规则内容将匹配区域图像与预设规则进行匹配，可以利用端智能进行神经网络在线预测匹配。输入匹配区域图像和预设规则，通过神经网络得到是否匹配的结果。音频匹配模块用于通过读取预设规则内容将语音内容与预设规则进行匹配，可以利用端智能进行神经网络在线预测匹配。输入语音和预设规则，通过神经网络得到是否匹配的结果。

图像内容采集单元230用于在当前获取的信息与预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对所述各个图像中至少部分区域进行截图。图像内容采集单元230的操作可以参照上面参考图1描述的步骤S130的操作。

具体来说，图像内容采集模块230可以进一步用于根据匹配步骤的结果，进行缓冲区域图像唤起，从而可以将前后连续不同稳定图像唤起并且根据设定的规则将这几张图像的局部区域图像内容获取到并显示在面板中。

截图选取单元240用于选择包括目标内容的截图。截图选取单元240的操作可以参照上面参考图1描述的步骤S140的操作。进一步来说，截图选取单元240的主要作用是去重，将图像内容采集模块230得到的多张截图显示在图像保存面板中，人工交互选择最优图像进行触发图像保存。

存储单元250用于保存所选择的截图。存储单元250的操作可以参照上面参考图1描述的步骤S150的操作。

该实施例的在线课堂内容采集装置还可以包括规则设置单元，用于设置截图规则，满足匹配时使用。通过交互触发添加规则面板，在面板中新增规则。具体来说，规则设置单元可以用于设置全屏匹配添加词语、拼音、正则表达式和/或图像匹配，或者通过添加图像匹配区域在屏幕上绘制局部匹配区域并添加词语、拼音、正则表达式和/或图像匹配规则；而且对于这两种方式都可以设置目标截图区域例如通过屏幕绘制选定方式设置。还可以设置匹配方式比如语音和/或图像方式，还可以添加多条规则。该实施例的在线课堂内容采集装置还可以包括规则存储单元，用于将设置的规则存储在用户端本地，进行本地数据持久化供多次使用。

该实施例的在线课堂内容采集装置可以位于视频播放器上。该视频播放器的输入部分可以包括视频流和匹配的多个规则，规则可以对当前视频流语音或者图像进行匹配。作为一种实施方式，可以通过视频中语音匹配自动进行局部截图。作为另一种实施方式，如图3A和图3B所示，也可以通过视频中局部区域A的内容匹配而在局部区域B内进行截图。截图后可以对时间序列阈值区间中的图像进行自动化挑选给出推荐图片供选择保存使用。

本发明实施例提供的在线课堂内容采集方法及装置是一种智能化的在线课堂内容采集技术，用户比如学生在手机或者PC上使用网课终端参与使用直播课程页面的过程中，学生高度注意力进行在线课堂学习，为了不因为交互操作影响学习效果或者信息出现猝不及防、转瞬即逝却没来得及记录，学生在观看课程前可以预先设置规则，当在线视频中语音或图像画面相应区域命中规则将会触发图像获取，将图像进行“内容去重”后进行保存。既获得信息，又减少学生对此产生注意力分散。

本发明实施例提供的在线课堂内容采集方法及装置实时监控在线课堂画面和语音，根据设定规则可以在用户比如学生观看在线课程视频的同时自动触发局部画面获取并且去除“相似”画面，给学生用户更加顺滑的视频观看和体验效果，边看边积累重要课堂内容截图，智能化在线课堂内容采集技术是在线课堂的一个非常重要的发展趋势。解决了在手机、PC等终端中通过在线直播课堂播放器进行课程学习的过程中用户比如学生具有及时获取重要的全局或局部图像画面需求，使得用户比如学生流畅观看课堂内容减少交互操作注意力分散，又能够根据规则及时获取并保留瞬间图像内容又不重复。

图4为根据本发明实施例的用于在线课堂内容采集处理的计算设备的结构框图。

如图4所示，计算设备400可以包括至少一个处理器410、存储器420、内存430、通信接口440以及内部总线450，并且至少一个处理器410、存储器420、内存430和通信接口440经由总线450连接在一起。该至少一个处理器410执行在计算机可读存储介质（即，存储器420）中存储或编码的至少一个计算机可读指令（即，上述以软件形式实现的元素）。

在一个实施例中，在存储器420中存储有计算机可执行指令，当其执行时使得至少一个处理器410执行：实时从视频流中获取信息并保存到缓冲区，将获取的信息与预设规则进行匹配；在当前获取的信息与所述预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对所述各个图像中至少部分区域进行截图；选择包括目标内容的截图进行保存。

应该理解的是，在存储器420中存储的计算机可执行指令当执行时使得至少一个处理器410进行本公开的各个实施例中以上结合图1-3描述的各种操作和功能。

在本公开中，计算设备400可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理（PDA）、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。

根据一个实施例，提供了一种例如非暂时性机器可读介质的程序产品。非暂时性机器可读介质可以具有指令（即，上述以软件形式实现的元素），该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-3描述的各种操作和功能。

具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

以上所述仅为本发明的实施例，并非因此限制本发明的权利要求保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明权利要求的保护范围内。