一种基于人工智能与虚拟现实的教学方法及系统

摘要

本发明公开一种基于人工智能与虚拟现实的教学方法及系统，该方法包括：根据目标人物的语音特征数据和动作特征数据分别合成目标人物的虚拟语音库和虚拟动作库；获取虚拟语音库与虚拟动作库之间的映射关系；基于映射关系构造目标人物的虚拟人物模型；通过预设的教学内容获取相应的场景要素；基于虚拟人物模型及场景要素合成虚拟教学场景以发送给虚拟现实设备进行显示。该方法实现了场景化教育，满足用户快速、便捷获取学习信息的需求，增强了用户的学习兴趣与学习积极性，提升了学习的体验。

说明书

技术领域

本发明涉及教育教学领域。更具体地，涉及一种基于人工智能与虚拟现实的教学方法及系统。

背景技术

在现实的教学场景中，学生对教师的选择是有限的，教师的外在形象跟声音都是固定的。研究表明，由学生喜爱的老师进行授课，往往更能激发学生的学习兴趣。

因此，需要提供一种虚拟教学场景，可使得学生自主选择自己老师的形象和声音来进行授课，从而实现场景化教育，满足用户快速、便捷获取学习信息的需求，增强了用户的学习兴趣与学习积极性，提升了学习的体验。

发明内容

本申请的目的在于提供一种基于人工智能与虚拟现实的教学方法及系统，以解决现有技术存在的问题中的至少一个。

为达到上述目的，本申请采用下述技术方案：

本申请第一方面提供了一种基于人工智能与虚拟现实的教学方法，该包括：

根据目标人物的语音特征数据和动作特征数据分别合成所述目标人物的虚拟语音库和虚拟动作库；

获取所述虚拟语音库与所述虚拟动作库之间的映射关系；

基于所述映射关系构造目标人物的虚拟人物模型；

通过预设的教学内容获取相应的场景要素；

基于所述虚拟人物模型及所述场景要素合成虚拟教学场景以发送给虚拟现实设备进行显示。

在一个可能的实现方式中，在所述根据目标人物的语音特征数据和动作特征数据分别合成所述目标人物的虚拟语音库和虚拟动作库之前，该方法包括：

根据目标人物发出的基于预设语音内容的训练语音数据并通过语音提取获取所述语音特征数据；

根据目标人物展示的基于预设动作内容的训练动作数据并通过动作分解获取所述动作特征数据。

在一个可能的实现方式中，所述根据目标人物的语音特征数据和动作特征数据分别合成所述目标人物的虚拟语音库和虚拟动作库包括：

基于所述语音特征数据，通过人工智能合成所述目标人物的虚拟语音库；

基于所述动作特征数据，通过人工智能合成所述目标人物的虚拟动作库。

在一个可能的实现方式中，所述获取所述虚拟语音库与所述虚拟动作库之间的映射关系包括：

基于所述预设语音内容与所述预设动作内容之间的配对关系，生成所述虚拟语音库与所述虚拟动作库之间的对应关系表；

通过调用所述对应关系表获取所述虚拟语音库与所述虚拟动作库之间的映射关系。

在一个可能的实现方式中，所述通过预设的教学内容获取相应的场景要素包括：

解析预设的教学内容，获得场景要素，所述场景要素包括：

主题背景、音乐背景和场景动画。

在一个可能的实现方式中，所述基于所述映射关系构造目标人物的虚拟人物模型包括：

基于3D成像技术以及所述虚拟语音库与所述虚拟动作库之间的映射关系构建目标人物的虚拟人物模型。

在一个可能的实现方式中，所述语音特征数据包括：

目标人物的音色、语速、语调、语音的轻重、语音的长度以及语音的升降。

在一个可能的实现方式中，所述动作特征数据包括：

目标用户的面部表情和肢体动作。

本发明的另一个方面提供一种基于人工智能与虚拟现实生的教学系统，该系统包括：

采集单元、处理单元及虚拟现实设备；

其中，所述采集单元用于采集目标人物发出的基于预设语音内容的训练语音数据和采集目标人物发出的基于预设动作内容的训练动作数据；

处理单元用于将所述训练语音数据通过语音提取得到所述目标人物的语音特征数据；

将所述训练动作数据通过动作分解得到所述目标人物的动作特征数据；

根据目标人物的语音特征数据和动作特征数据分别合成所述目标人物的虚拟语音库和虚拟动作库；

获取所述虚拟语音库与所述虚拟动作库之间的映射关系；

基于所述映射关系构造目标人物的虚拟人物模型；

通过预设的教学内容获取相应的场景要素；

基于所述虚拟人物模型及所述场景要素合成虚拟教学场景以发送给虚拟现实设备进行显示；

虚拟现实设备用于将处理单元加载的虚拟教学场景进行展示。

在一个可能的实现方式中，该系统还包括，虚拟现实交互单元，用于用户与所述目标人物的虚拟人物模型进行情景交互。

本发明的有益效果如下：

本申请的技术方案，提供了一种能模拟真实人物的外貌、形象、动作、表情以及声音等的虚拟教师，可以摆脱用户以往利用网络学习的孤独感，并能够加载实际的教学场景，使用户在可以选择虚拟教师的同时也具有接受正规教育的感觉，从而实现场景化教育，满足用户快速、便捷获取学习信息的需求，增强了用户的学习兴趣与学习积极性，提升了学习的体验。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1示出本申请的一个实施例提出的基于人工智能与虚拟现实生的教学系统结构示意图。

图2示出申请的一个实施例提出的处理单元的结构示意图。

图3示出申请的一个实施例提出的基于人工智能与虚拟现实生的教学方法的流程图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

目前人们在教育方面有这线下面对面教育和线上教育两种方式，对于传统的线下面对面教育而言，需要老师与学生处于同一地点才能实现，线上教育的提出是为了解决老师与学生在不同授课地点的问题。

为了提升学生的学习积极性，目前市场上提出一种具有虚拟老师的教学系统，该系统一般具有教学、答疑、布置作业和测验等功能。具有语音与3D形象的形教师任处于研究阶段。

为此，本申请的一个实施例提出了一种基于人工智能与虚拟现实生的教学系统，如图1所示，该系统包括：

采集单元、处理单元及虚拟现实设备；

其中，采集单元包括音频采集装置和视频采集装置，音频采集装置用于采集目标人物发出的基于预设语音内容的训练语音数据，视频采集装置用于采集目标人物发出的基于预设动作内容的训练动作数据。

举例说明，

音频采集装置采集目标人物发出的通过朗诵规定的语言文字(可以是朗诵课文或者朗读报纸等)的声音数据作为训练语音数据；视频采集装置采集目标人物展示规定的动作(做广播操等)而做出对应的动作反应及的面部、动作和肢体特征等动作数据作为训练动作数据。

需要说明的是本实施例中的音频采集装置可以是现有的录音笔、录音器和采音器等设备，视频采集装置可以是现有的录像机和摄像头等设备，对于音频采集装置与视频采集装置的具体选用，本申请不做具体限定。

处理单元用于将采集单元采集的训练语音数据通过语音提取得到目标人物的语音特征数据。例如，通过语音提取算法获取到目标人物的音色、语速、语调、语音的轻重、语音的长短和语音的升降等语音特征数据。

将训练动作数据通过动作分解得到目标人物的动作特征数据。例如，通过视频帧处理拆解等技术获取目标人物的面部形象、肢体特征、面部表情和肢体习惯等动作特征数据。

处理单元根据目标人物的语音特征数据和动作特征数据分别合成目标人物的虚拟语音库和虚拟动作库；即，采用人工智能技术将目标人物的语音特征和动作特征数据分别生成属于目标人物的虚拟语音库及虚拟动作库并进行保存。

处理单元获取虚拟语音库与虚拟动作库之间的映射关系；

具体的，基于预设语音内容与预设动作内容之间的配对关系，生成虚拟语音库与虚拟动作库之间的对应关系表；

通过调用对应关系表获取虚拟语音库与虚拟动作库之间的映射关系。

举例而言，目标人物在朗诵的规定语言文字中出现了“同学们看黑板”时，则在目标人物展示规定的动作中会相对应出现“敲黑板”的动作，则将“同学们看黑板”的语音内容与“敲黑板”的动作内容在对应表中形成相互的对应关系。

通过这种方法，将预设语音内容与预设动作内容一一形成配对关系，将这种配对关系应用生成虚拟语音库与虚拟动作库之间的对应关系表并保存。

基于映射关系构造目标人物的虚拟人物模型；

利用3D成像技术和虚拟语音库内的内容和虚拟动作库中的内容及虚拟语音库与虚拟动作库之间的映射关系构造属于目标人物的虚拟人物模型。

通过预设的教学内容获取相应的场景要素；

场景要素包括人物、地点、背景、天气、主题、时间、变化趋势、图片等信息；整合教学内容中的关键词生成局部场景、根据对应的文本、图片、天气要素形成整体的场景；根据时间、天气、图片组合主题背景；根据音频文件组合背景音乐；根据任务状态弹出字母提示；根据运动趋势展现当前场景动画。

举例而言，预设教学内容为物理课，则生成物理实验室的布景。

基于虚拟人物模型及场景要素合成虚拟教学场景以发送给虚拟现实设备进行显示；即处理单元将目标人物的虚拟模型与场景要素融合到一起生成最终的虚拟教学场景并将虚拟教学场景通过虚拟现实设备进行展示。

本实施例提出的虚拟现实设备可以是VR、AR及3(4或5)D投影设备等，本申请对此不做具体限定。

需要说明的是，本申请中提出的处理单元可以现有的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，被配置为可执行处理单元所执行的内容。如图2所示，适于用来实现本实施例提供的服务器的计算机系统，包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有计算机系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。

以下部件连接至I/O接口:包括键盘、鼠标等的输入部分；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

特别地，提据本实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。

附图中的流程图和示意图，图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本申请提出的教学系统还能实现用户与虚拟人物模型之间的互动，用于增加学生学习的兴趣，在一些实施例中，该教学系统还包括，虚拟现实交互单元，用于用户与目标人物的虚拟人物模型进行情景交互。

该虚拟现实交互单元通过内置的内容优选算法拆解内容，提取用户形态关键词，根据当前场景智能解析出用户当前行为动作。例如：举手提问等微动作。

为了方便理解本申请的技术方案，本申请在另一个实施例中提出了一种基于人工智能与虚拟现实的教学方法，如图3所示，该教学方法包括以下步骤：

S100、采集单元采集目标人物发出的基于预设语音内容的训练语音数据及目标人物展示的基于预设动作内容的训练动作数据；

S200、处理单元基于训练语音数据和训练动作数据分别通过语音提取和动作分解获取目标人物的语音特征数据和动作特征数据。

S300、处理单元根据目标人物的语音特征数据和动作特征数据分别合成目标人物的虚拟语音库和虚拟动作库；

具体地，

S310、基于目标人物的语音特征数据，通过人工智能合成目标人物的虚拟语音库；

S320、基于目标人物的动作特征数据，通过人工智能合成目标人物的动作语音库。

S400、处理器获取所述虚拟语音库与所述虚拟动作库之间的映射关系；

具体地，基于预设语音内容与预设动作内容之间的配对关系，生成虚拟语音库与虚拟动作库之间的对应关系表；

通过调用对应关系表获取虚拟语音库与虚拟动作库之间的映射关系。

S500、基于所述映射关系构造目标人物的虚拟人物模型；

具体地，基于3D成像技术以及虚拟语音库与虚拟动作库之间的映射关系构建目标人物的虚拟人物模型。

S600、通过预设的教学内容获取相应的场景要素；

具体地，解析预设的教学内容，获得场景要素，场景要素包括：

主题背景、音乐背景和场景动画等。

S700、基于虚拟人物模型及场景要素合成虚拟教学场景以发送给虚拟现实设备进行显示。

在一个具体示例中，目标人物选为用户的父亲，即构建用户父亲的虚拟人物模型，用户的父亲通过录制指定的语音训练、动作训练视频，生成与父亲的声音和面容相同的虚拟老师形象，通过与“用户”的AI交流选定指定的课程，然后对指定的教育内容进行智能解析，变成3D的教育视频，由虚拟的父母形象进行传授课程。

需要说明的是，本实施例提供的显示控制方法的原理及工作流程是基于上述教育系统中的各单元进行的，相关之处可以参照上述说明，在此不再赘述。

还需要说明的是，在本申请的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。