一种用于教学互动的智慧教育平台交互系统及交互方法

摘要

本发明公开了一种用于教学互动的智慧教育平台交互系统及交互方法。智慧教育平台交互系统包括智慧教育平台、教师端和多个学生端，智慧教育平台与教师端和多个学生端通过网络通信连接。还包括语音识别模块，通过教学过程的语音交互信息进行语音识别，形成文本信息，并即时反馈给教师和学生，辅助交互信息的传输，在进行语音交互的同时实现了文本的交互，避免了由于网络波动导致的交互不畅通的问题，改善了教学体验。

说明书

技术领域

本发明涉及智慧教育平台技术领域，具体涉及一种用于教学互动的智慧教育平台交互系统及交互方法。

背景技术

随着学校教育信息化和移动互联网的发展，线上教学平台越来越多的应用在教学过程中。目前在网络教学的过程中往往存在网络延迟，以及多人同时发言导致交互过程混乱的问题。比如在回答老师问题的过程中，有些学生的语音会因为网络的原因无法完整的清晰的被老师获得，同时老师的教学语音也会因为相同的原因被学生遗漏。有时候老师接收到很多同学的语音信息，导致每个人的语音内容都听不清楚。

另外，现有的语音识别技术并非专用于教育教学领域，基于现有的语音识别技术，不能满足在线上教学过程中对语音交互内容的即时显示和记录的要求。

发明内容

本发明针对上述现有技术中的不足，本发明旨在提供一种用于教学互动的智慧教育平台交互系统及交互方法，通过对语音识别算法进行改进，使得交互语音能够快速进行文本转换，提高在线教学交互过程的有效性和准确性，同时，对转换后的语音文本进行校正，在提高交互流畅性的同时，对教学过程进行记录，方便教师对课堂情况进行分析，同时方便学生对课堂学习的内容进行复习。

为了实现上述目的，本发明采用如下技术方案：

提供一种用于教学互动的智慧教育平台的交互系统，其特征在于，包括智慧教育平台、教师端和多个学生端，智慧教育平台与教师端和多个学生端通过网络通信连接；

所述智慧教育平台包括登录模块，语言模型数据库，数据处理模块；

所述教师端包括：显示模块，显示模块包括教学过程记录区用于对教学记录进行展示；音频输出模块，用于对接收到的语音信息进行输出；语音输入模块，用于接收教师端语音信息；视频输入模块，用于拍摄教师教学过程；第一语音识别模块，用于对用户语音信息进行快速识别，并转换成文本信息；第二语音识别模块，用于对用户语音信息进行精准识别，并对快速识别获得的文本信息进行校正；

所述学生端包括：显示模块，显示模块包括教学过程记录区用于对教学记录进行展示；音频输出模块，用于对接收到的语音信息进行输出；语音输入模块，用于接收学生端语音信息；视频输入模块，用于拍摄学生学习过程；第一语音识别模块，用于对用户语音信息进行快速识别，并转换成文本信息；第二语音识别模块，用于对用户语音信息进行精准识别，并对快速识别获得的文本信息进行校正。

优选的，智慧教育平台还包括存储模块，用于存储语言模型数据库，教学课件，教学过程视频及数据。

优选的，所述第一语音识别模块采用基于单向循环神经网络的语音识别，以获得实时的识别结果。

优选的，所述第二语音识别模块采用基于双向循环神经网络的语音识别，以获得更加准确的识别结果。

优选的，语言模型数据库内的语言模型基于教师和学生语音特点以及教学内容设置。

本发明还提供了一种教学互动的智慧教育平台交互方法，应用于一种用于教学互动的智慧教育平台的交互系统，包括如下步骤：

S1，教师通过教师端登录智慧教育平台，选择教学内容，根据教师的身份信息以及其选择的教学内容，调取对应神经网络模型，用于进行语音识别；多个学生通过学生端登录智慧教育平台，并获取教师选择的教学内容，根据学生的身份以及教师选择的教学内容，调取对应神经网络模型，用于进行语音识别；

S2，初始化教师端与学生端智慧教育平台的显示界面，分别获取教师端和学生端的语音输入和视频输入。智慧教育平台的显示界面至少包括教学过程记录区；

S3：获取教师端与学生端发送的操作指令进行相关操作，同时教师端与学生端的第一语音识别模块对接收到的语音信息进行快速识别，并转化为文本信息；

S4：在教师端和学生端的教学过程记录区显示教师端与学生端发送的操作指令，以及所述教师端和学生端获得的语音信息对应的文本信息，并在每条文本信息前标注该条文本信息对应的教师端或学生端的编号或姓名；

S5：教师在教学过程获得学生端交互信息，同时根据教学过程记录区显示的文本信息，校准所述交互信息，并依据上述交互信息，进行课堂教学；学生通过教学过程记录区显示的文本信息，对教师端获得的交互信息进行辅助识别；

S6：通过第二语音识别模块对用户语音进行精准识别，并对快速识别获得的文本信息进行校正。

S7：教学结束后，上传教学录屏视频及教学过程记录，并存储在智慧教育平台的存储模块。

优选的，智慧教育平台的显示界面还包括视频图像显示区，其中教师端视频图像显示区同时显示由多个学生端获取的视频图像。

优选的，学生交互信息包括学生端获取的语音信息和视频信息。

优选的，所述第一语音识别模块采用基于单向循环神经网络的语音识别，以获得实时的识别结果；所述第二语音识别模块采用基于双向循环神经网络的语音识别，以获得更加准确的识别结果。

优选的，对步骤4教学过程记录，具体包括如下步骤：

S401：识别教师端语音信息是否为疑问句并需要学生回答，若是则进行步骤S402，若否则进行步骤S403.

S402：获取学生语音信息转化成文本信息，判断该文本信息是否为学生答题信息，若是则将该文本信息以首行缩进的方式显示在教师所提问题下方，若否则将该文本信息以非首行缩进的形式进行记录。

S403：继续获取教师端与学生端的语音信息。

优选的，对步骤S6文本信息的校正还包括以下步骤：

S601：将第二语音识别模块识别出来的文本数据与第一语音识别模块识别出来的文本数据进行逐句对比，当二者对比结果一致时，将该文本数据作为教学过程记录数据；当二者对比的结果不一致时，将第二语音识别模块的识别文本数据作为教学过程记录数据，并对该数据进行标注。

S602：对标注的教学过程记录数据，进行人工核实，如果该标注的教学过程数据的识别结果是正确的，则将该段语音重新作为样本数据对第一语音识别模块进行训练；如果该标注的教学过程数据的识别结果是错误的，则对其进行修改，并将该段语音数据作为样本数据对第一语音识别模块和第二语音识别模块进行训练。

优选的，神经网络模型的训练所采用的语言模型数据库内的语言模型基于教师和学生语音特点以及教学内容设置。

与现有技术相比，本发明的有益效果是：

(1)通过教学过程记录区对教师与学生之间的交互内容的详细记录，能够使得教师与学生之间的语音内容都能够被对方所获知，在进行语音交互的同时实现了文本的交互，避免了由于网络波动导致的交互不畅通的问题，改善了教学体验。

(2)在教学过程记录区，每条文本信息前标注该条文本信息对应的学生端编号或学生姓名，避免在教师接收到来自多个学生的语音交互信息时，分不清交互信息的来源，不能对学生进行针对性的教学。

(3)对循环神经网络算法进行了改进，通过添加简化的去噪过程，简化了计算过程，同时提高了语音识别的准确率。

(4)通过语音识别模块1的设置实现了语音识别的即时性，保证了交互信息的传达到位；通过语音识别模块2的设置保证了教学过程记录的准确性，方便课后学生对学习视频的学习，以及教师对学习过程进行分析，以改善授课效果。

(5)将教师和学生语音特点，以及教学内容作为语言模型减少了循环神经网络的训练时间，并且针对教师、学生以及教学内容有更高的语音识别精度。

附图说明

图1为本发明的用于教学互动的智慧教育平台的交互系统结构图；

图2为本发明的教学互动的智慧教育平台交互方法流程图；

图3为本发明教师/学生端结构图；

图4为本发明语音识别流程图；

图5为本发明教学过程记录界面示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

参见图1-3,一种用于教学互动的智慧教育平台的交互系统，其特征在于，包括智慧教育平台、教师端和多个学生端，智慧教育平台与教师端和多个学生端通过网络通信连接；

所述智慧教育平台包括登录模块，语言模型数据库，数据处理模块；

所述教师端包括：显示模块，显示模块包括教学过程记录区用于对教学记录进行展示；音频输出模块，用于对接收到的语音信息进行输出；语音输入模块，用于接收教师端语音信息；视频输入模块，用于拍摄教师教学过程；第一语音识别模块，用于对用户语音信息进行快速识别，并转换成文本信息；第二语音识别模块，用于对用户语音信息进行精准识别，并对快速识别获得的文本信息进行校正；

所述学生端包括：显示模块，显示模块包括教学过程记录区用于对教学记录进行展示；音频输出模块，用于对接收到的语音信息进行输出；语音输入模块，用于接收学生端语音信息；视频输入模块，用于拍摄学生学习过程；第一语音识别模块，用于对用户语音信息进行快速识别，并转换成文本信息；第二语音识别模块，用于对用户语音信息进行精准识别，并对快速识别获得的文本信息进行校正。

参见附图4，本发明语音识别过程如下，首先，对教师和学生的语音进行录制作为语音样本，并结合教学内容进行模型训练，得到训练后的分类器。在语音识别过程中，通过对接收到的输入语音信息进行特征拾取，获得序列化特征值矩阵，将其输入到神经网络分类器中，进行运算，最后得到语音对应的文本，并进行输出。

本发明通过对不同教师和学生的语音进行采集，将带有用户发音特点的语音片段，作为语音识别神经网络的训练样本，并结合教学的内容建立专属不同教师和学生的语言模型数据库，这样就大大降低了对语音识别神经网络的训练成本，并有效的提高了该神经网络模型针对相应的教师、学生和教学模型进行语音识别的准确率。

第一语音识别模块采用基于单向循环神经网络的语音识别，以实时获得识别结果，并即时反映在终端的教学过程记录区域，辅助教师和学生及时的获取交互语音的内容和学习过程的记录。

第二语音识别模块采用基于双向循环神经网络的语音识别，以获得更加准确的识别结果，在第一语音识别模块对语音数据进行识别的同时，第二语音识别模块也对语音数据进行识别。并根据第二语音识别模块获得的识别结果对教学过程记录进行校正，以获得准确的教学过程记录。

具体方案如下：将第二语音识别模块识别出来的文本数据与第一语音识别模块识别出来的文本数据进行逐句对比，当二者对比结果一致时，将该文本数据作为教学过程记录数据；当二者对比的结果不一致时，将第二语音识别模块的识别文本数据作为教学过程记录数据，并对该数据进行标注。

对标注的教学过程记录数据，进行人工核实，如果该标注的教学过程数据的识别结果是正确的，则将该段语音重新作为样本数据对第一语音识别模块进行训练；如果该标注的教学过程数据的识别结果是错误的，则对其进行修改，并将该段语音数据作为样本数据对第一语音识别模块和第二语音识别模块进行训练。

通过上述步骤，可以在获得准确教学过程记录的同时，也能够对神经网络的分类器进行完善，使得其能够更加适应用户的发音习惯。

进一步的，语言模型数据库内的语言模型基于教师和学生语音特点以及教学内容设置。

参见附图5，本申请中教学过程记录界面至少记录以下内容：教师端与学生端发出的指令、教师端与学生端发送的语音信息、上述操作发生的时间信息、语音信息对应的来源、教学过程中的实时视频图像，授课结束后的课堂分析信息，教师布置的课后学习任务信息。

实施例二：

参见图2，为一种教学互动的智慧教育平台交互方法，应用于一种用于教学互动的智慧教育平台的交互系统，包括如下步骤：

S1，教师通过教师端登录智慧教育平台，选择教学内容，根据教师的身份信息以及其选择的教学内容，调取对应神经网络模型，用于进行语音识别；多个学生通过学生端登录智慧教育平台，并获取教师选择的教学内容，根据学生的身份以及教师选择的教学内容，调取对应神经网络模型，用于进行语音识别；

S2，初始化教师端与学生端智慧教育平台的显示界面，分别获取教师端和学生端的语音输入和视频输入。智慧教育平台的显示界面至少包括教学过程记录区；

S3：获取教师端与学生端发送的操作指令进行相关操作，同时教师端与学生端的第一语音识别模块对接收到的语音信息进行快速识别，并转化为文本信息；

S4：在教师端和学生端的教学过程记录区显示教师端与学生端发送的操作指令，以及所述教师端和学生端获得的语音信息对应的文本信息，并在每条文本信息前标注该条文本信息对应的教师端或学生端的编号或姓名；

S5：教师在教学过程获得学生端交互信息，同时根据教学过程记录区显示的文本信息，校准所述交互信息，并依据上述交互信息，进行课堂教学；学生通过教学过程记录区显示的文本信息，对教师端获得的交互信息进行辅助识别；

S6：通过第二语音识别模块对用户语音进行精准识别，并对快速识别获得的文本信息进行校正。

S7：教学结束后，上传教学录屏视频及教学过程记录，并存储在智慧教育平台的存储模块。

对步骤4教学过程记录，具体包括如下步骤：

S401：识别教师端语音信息是否为疑问句并需要学生回答，若是则进行步骤S402，若否则进行步骤S403.

S402：获取学生语音信息转化成文本信息，判断该文本信息是否为学生答题信息，若是则将该文本信息以首行缩进的方式显示在教师所提问题下方，若否则将该文本信息以非首行缩进的形式进行记录。

S403：继续获取教师端与学生端的语音信息。

这样，教师和学生可以在上课的过程中一目了然的了解到教师的提问内容和答题信息，并且将延迟收到的答题信息也能够集中的置于教师提问的记录之下。

对步骤S6文本信息的校正还包括以下步骤：

S601：将第二语音识别模块识别出来的文本数据与第一语音识别模块识别出来的文本数据进行逐句对比，当二者对比结果一致时，将该文本数据作为教学过程记录数据；当二者对比的结果不一致时，将第二语音识别模块的识别文本数据作为教学过程记录数据，并对该数据进行标注。

S602：对标注的教学过程记录数据，进行人工核实，如果该标注的教学过程数据的识别结果是正确的，则将该段语音重新作为样本数据对第一语音识别模块进行训练；如果该标注的教学过程数据的识别结果是错误的，则对其进行修改，并将该段语音数据作为样本数据对第一语音识别模块和第二语音识别模块进行训练。

这样就可以在教学的过程中不断的对语音识别的分类器进行训练，使其更适合用户的语音习惯提高语音识别的准确性。

实施例三：

通常语音数据是一段声波信号，经过提取特征参数，得到序列化特征值矩阵。在此基础上建立语音识别所需的分类器。而计算机在识别过程中要根据语音识别的分类器，将计算机中存放的语音模型与输入的语音信号的特征进行比较，根据一定的搜索和匹配策略，找出一系列最优的与输入语音匹配的模型。然后根据此模型的定义，通过查表就可以给出计算机的识别结果。

通常情况下，将该特征值矩阵直接作为输入数据输入到神经网络中，这就导致了运算的复杂以及运算时间的增加，无法满足教学过程中所需要的识别速度，影响上课过程的流畅性。

本发明所采用的循环神经网络相较于现有的循环神经网络，做了改进以提高其识别速度和识别精度。具体改进架构如下：

Y

x

其中，s

其中h

以上所述仅为本发明的较佳实施例而已，并不以本发明为限制，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。