首页> 中国专利> 基于虚拟现实技术未来课堂的互动系统及方法

基于虚拟现实技术未来课堂的互动系统及方法

摘要

本发明涉及虚拟现实技术领域,一种基于虚拟现实技术未来课堂的互动方法,包括步骤1)将人物与资源库中的模型绑定;2)采集人物的实时动作信息和人物的实时声音信息;3)对实时动作信息和实时声音信息进行解析;4)与模型的属性数据进行匹配;5)上传;6)分配;7)互动,通过将实时采集的动作与声音信息与模型匹配,提高模型互动的亲切感;通过模型的碰撞属性完成动作的互动,提高互动方式,增强用户代入感。

著录项

  • 公开/公告号CN112732084A

    专利类型发明专利

  • 公开/公告日2021-04-30

    原文格式PDF

  • 申请/专利权人 西安飞蝶虚拟现实科技有限公司;

    申请/专利号CN202110045162.7

  • 发明设计人 王亚刚;

    申请日2021-01-13

  • 分类号G06F3/01(20060101);G06T13/20(20110101);G06T13/40(20110101);G09B5/14(20060101);G10L21/0208(20130101);G06Q50/20(20120101);

  • 代理机构61226 西安佩腾特知识产权代理事务所(普通合伙);

  • 代理人张倩

  • 地址 710021 陕西省西安市未央区凤城八路168号西北国金中心B座19层

  • 入库时间 2023-06-19 10:48:02

说明书

技术领域

本发明涉及虚拟现实技术领域,具体涉及一种基于虚拟现实技术未来课堂的互动系统及方法。

背景技术

虚拟现实(VR)是指借助计算机系统及传感器技术人为创造一个三维场景,在这个人造的三维场景中,每个物体相对于系统的坐标系都有一个位置与姿态,用户看到的景象是由用户的位置和头(眼)的方向来确定的。虚拟现实创造出一种崭新的人机交互状态,通过调动用户所有的感官(视觉、听觉、触觉、嗅觉等),带来更加真实的、身临其境的体验,广泛应用于媒体、社交、教育等领。

目前,虚拟现实教学广泛应用于在线课程教学中,学生通过观看虚拟现实课堂就能够在沉浸式的环境同时进行知识课程的学习,这不仅有利于提高学生的学习兴趣,并且还有助于改善学生的学习效率。

现有的动画互动形式和模型动作单一,减少了用户使用使的投入感,不能一对一进行有效互动,互动不充分,降低学习效率,难以大范围推广。

发明内容

针对现有技术的不足,本发明的目的在于提供一种基于虚拟现实技术未来课堂的互动系统及方法,解决现有技术互动形式单一的问题。

为实现上述目的,本发明提供如下技术方案:一种基于虚拟现实技术未来课堂的互动系统,其特征在于,包括互动模块和至少两个虚拟动画生成系统,所述虚拟动画生成系统包括:

关联模块:用于将人物与资源库中对应的模型绑定,所述模型拥有多个属性数据;

动作采集模块:用于采集人物的实时动作;

声音采集模块:用于采集人物的实时声音;

信息解析模块:用于对实时动作信息和实时声音信息进行解析,生成实时动作参数信息和多方位声音信息;

模型行为数据生成模块:用于将实时动作参数信息与模型的属性数据进行匹配,得到虚拟动作数据;将多方位声音信息进行处理生成虚拟声音数据;同时将虚拟声音数据与虚拟动作数据组合生成模型行为数据;

传输模块:用于将模型行为数据上传至中转模块;

中转模块:用于将模型行为数据接收后分配给需要互动的用户;

互动模块:将用户收到的模型行为数据生成与人物行为一致的虚拟动画进行展示,同时用户对所展示的虚拟动画做出反馈行为,并通过动画生成系统将反馈行为生成相应的模型行为数据后发送给需要接收反馈的用户,最终在互动模块中进行虚拟动画展示,以此循环直至互动完成。

进一步限定,所述信息解析模块包括:

动作解析模块:用于将实时动作信息解析为实时动作参数信息,所述实时动作参数信息包括动作部位信息、位移信息和角度信息,所述属性数据包括骨骼信息、动画信息和边缘信息;

声音解析模块:用于将实时声音信息解析为多个不同方位的声音信息,生成多方位声音信息;

所述模型行为数据生成模块包括:

匹配模块:将动作部位信息与模型的骨骼信息绑定,同时将单个位移信息和单个角度信息与模型的单个动画信息进行匹配,得到单个虚拟动作数据;

声音生成模块:用于将多方位声音信息进行编码生成虚拟声音数据;

组合模块:用于将单个虚拟动作数据与虚拟声音数据组合,生成模型行为数据。

进一步限定,所述声音解析模块包括:

过滤模块:用于将实时声音信息滤波降噪处理,得到降噪声音数据;

立体化模块:用于将降噪声音数据进行多方位处理,得到多方位声音信息;

所述模型行为数据生成模块还包括:

动作融合模块:用于将多组单个虚拟动作数据进行融合,得到同步动作的组合虚拟动作数据;

组合模块具体为:用于将单个虚拟动作数据或组合虚拟动作数据和与之对应的虚拟声音数据组合,生成模型行为数据。

进一步限定,所述模型行为数据生成模块还包括:

碰撞分析模块:将单个虚拟动作数据或组合虚拟动作数据与模型的碰撞信息进行分析,判断单个虚拟动作数据或组合虚拟动作数据与空间域中物体模型是否有碰撞;若无,则直接上传至组合模块;若有,则将物体模型与骨骼信息绑定,得到带有物体模型运动信息的单个虚拟动作数据或组合虚拟动作数据,随后上传至组合模块;

辅助分析模块:将模型行为数据与模型的边缘信息进行对比分析,判断模型行为数据与所要发生的空间域是否有冲突;若有,则发出提醒并拦截模型行为数据;若无,则上传至传输模块。

进一步限定,所述传输模块包括压缩模块和上传模块,所述中转模块包括接收模块、分配模块和发送模块;

所述压缩模块用于将模型行为数据进行压缩,得到动画数据,提高传输效率;

所述上传模块用于将动画数据上传至中转模块;

所述接收模块用于对动画数据进行接收;

所述分配模块用于将动画数据按照需求分配给不同的用户;

所述发送模块用于将分配后的动画数据发送给对应的用户端。

一种基于虚拟现实技术未来课堂的互动方法,其特征在于,所述方法包括以下步骤:

1)虚拟动画生成:

1.1)将人物与资源库中的模型绑定,所述模型拥有多个属性数据;

1.2)采集人物的实时动作信息和人物的实时声音信息;

1.3)对实时动作信息和实时声音信息进行解析,生成实时动作参数信息和多方位声音信息;

1.4)将实时动作参数信息与模型的属性数据进行匹配,得到虚拟动作数据;将多方位声音信息进行处理生成虚拟声音数据;同时将虚拟声音数据与虚拟动作数据组合生成模型行为数据;

1.5)将模型动作数据和立体声音数据上传至中转系统;

1.6)将模型动作数据和立体声音数据接收后分配给不同用户;

2)互动

将用户收到的模型行为数据生成与人物行为一致的虚拟动画进行展示,同时用户对所展示的虚拟动画做出反馈行为,并通过动画生成系统将反馈行为生成相应的模型行为数据后发送给需要接收反馈的用户,最终在互动模块中进行虚拟动画展示,以此循环直至互动完成。

进一步限定,所述步骤1.3)和步骤1.4)具体分别为:

1.3)将实时动作信息解析为实时动作参数信息,实时动作参数信息包括动作部位信息、位移信息和角度信息,属性数据包括骨骼信息、动画信息和边缘信息;将实时声音信息处理为多个不同方位的声音信息,生成多方位声音信息;

1.4)将动作部位信息与模型的骨骼信息绑定,同时将单个位移信息和单个角度信息与模型的单个动画信息进行匹配,得到单个虚拟动作数据;将多方位声音信息进行编码生成虚拟声音数据;将单个虚拟动作数据与虚拟声音数据组合,生成模型行为数据。

进一步限定,所述步骤1.3)中多方位声音信息生成具体为:

将实时声音信息滤波降噪处理,得到降噪声音数据,将降噪声音数据进行多方位处理,得到多方位声音信息;

所述步骤1.4)还包括:

1.4)将动作部位信息与模型的骨骼信息绑定,同时将多个位移信息和多个角度信息与模型的多个动画信息进行匹配,得到多个虚拟动作数据,将多个虚拟动作数据进行融合得到同步动作的组合虚拟动作数据;将单个虚拟动作数据或组合虚拟动作数据和与之对应的虚拟声音数据组合,生成模型行为数据。

进一步限定,所述步骤1.4)还包括:

将单个虚拟动作数据或组合虚拟动作数据与模型的碰撞信息进行分析,判断单个虚拟动作数据或组合虚拟动作数据与空间域中物体模型是否有碰撞;若无,则直接进行组合;若有,则将物体模型与骨骼信息绑定,得到带有物体模型运动信息的单个虚拟动作数据或组合虚拟动作数据后进行组合;

将模型行为数据与模型的边缘信息进行对比分析,判断模型行为数据与所要发生的空间域是否有冲突;若有,则发出提醒并拦截模型行为数据;若无,则执行步骤5)。

进一步限定,所述步骤1.5)和步骤1.6)的具体步骤为:

1.5.1)将模型行为数据进行压缩,得到动画数据,提高传输效率;

1.5.2)将动画数据上传至中转系统;

1.6.1)对动画数据进行接收;

1.6.2)将动画数据按照需求分配给不同的用户;

1.6.3)将分配后的动画数据发送给对应的用户端。

本发明的有益效果在于:

1、通过将实时采集的动作与声音信息与模型匹配,提高模型互动的亲切感;通过模型的碰撞属性完成动作的互动,提高互动方式,增强用户代入感;

2、通过对不同用户分配不同动画,使得互动能够具有针对性;

3、通过互动能够完成双向的实时交流,增强沟通,提高互动效率,从而提高学习效率。

附图说明

图1为本实施例1的系统示意图;

图2为本实施例1中单个虚拟动作数据的虚拟动画生成系统示意图;

图3为本实施例1中组合虚拟动作数据的虚拟动画生成系统示意图;

图4为本实施例2的方法流程图;

图5为本实施例2中单个虚拟动作数据的虚拟动画生成流程图;

图6为本实施例2中组合虚拟动作数据的虚拟动画生成流程图。

具体实施方式

实施例1

参考图1~3,本发明涉及一种基于虚拟现实技术未来课堂的互动系统,包括:

关联模块:用于将人物与资源库中的模型绑定,所述模型拥有多个属性数据;

动作采集模块:用于采集人物的实时动作信息;

声音采集模块:用于采集人物的实时声音信息;

信息解析模块:用于对实时动作信息和实时声音信息进行解析,生成实时动作参数信息和多方位声音信息,具体包括动作解析模块和声音解析模块;

动作解析模块:用于将实时动作信息解析为实时动作参数信息,所述实时动作参数信息包括动作部位信息、位移信息和角度信息,所述属性数据包括骨骼信息、动画信息和边缘信息;

声音解析模块:用于将实时声音信息处理为多个不同方位的声音信息,生成多方位声音信息,具体包括过滤模块和立体化模块;

过滤模块:用于将实时声音信息滤波降噪处理,得到降噪声音数据;

立体化模块:用于将降噪声音数据进行多方位处理,生成多方位声音信息;

模型行为数据生成模块:用于将实时动作参数信息与模型的属性数据进行匹配,得到虚拟动作数据;将多方位声音信息进行处理生成虚拟声音数据;同时将虚拟声音数据与虚拟动作数据组合生成模型行为数据,具体包括匹配模块、声音生成模块、组合模块、辅助分析模块和动作融合模块:

匹配模块:具体为将动作部位信息与模型的骨骼信息绑定,同时将单个位移信息和单个角度信息与模型的单个动画信息进行匹配,得到单个虚拟动作数据;

声音生成模块:用于将多方位声音信息进行编码生成虚拟声音数据;

动作融合模块:用于将多组单个虚拟动作数据进行融合,得到同步动作的组合虚拟动作数据;

碰撞分析模块:将单个虚拟动作数据或组合虚拟动作数据与模型的碰撞信息进行分析,判断单个虚拟动作数据或组合虚拟动作数据与空间域中物体模型是否有碰撞;若无,则直接上传至组合模块;若有,则将物体模型与骨骼信息绑定,得到带有物体模型运动信息的单个虚拟动作数据或组合虚拟动作数据,随后上传至组合模块;

组合模块:用于将单个虚拟动作数据或组合虚拟动作数据和与之对应的虚拟声音数据组合,生成模型行为数据;

辅助分析模块:用于将模型行为数据与模型的边缘信息进行对比分析,判断模型行为数据与所要发生的空间域是否有冲突;若有,则发出提醒并拦截模型行为数据;若无,则上传至传输模块;

传输模块:用于将模型行为数据上传至中转模块,具体包括压缩模块和上传模块;其中,压缩模块用于将模型行为数据进行压缩,得到压缩模型行为数据,提高传输效率;上传模块用于压缩模型行为数据上传至中转模块;

中转模块:用于将模型行为数据接收后分配给不同用户,具体包括接收模块、分配模块和发送模块;其中,接收模块用于对压缩模型行为数据进行接收;分配模块用于将压缩模型行为数据按照需求分配给不同的用户;发送模块用于将分配后的压缩模型行为数据发送给对应的用户端;

互动模块:将用户收到的模型行为数据生成与人物行为一致的虚拟动画进行展示,同时用户对所展示的虚拟动画做出反馈行为,并通过动画生成系统将反馈行为生成相应的模型行为数据后发送给需要接收反馈的用户,最终在互动模块中进行虚拟动画展示,以此循环直至互动完成。

实施例2

参考图4~6,本发明涉及一种基于虚拟现实技术未来课堂中的动画展示方法,包括以下步骤:

1)虚拟动画生成:

1.1)将人物与资源库中的模型绑定,所述模型拥有多个属性数据,例如将人物与模型库中的卡通教师模型绑定;

1.2)采集人物的实时动作信息和人物的实时声音信息,例如抬胳膊和抬腿的动作以及讲解的声音;

1.3)将实时动作信息解析为实时动作参数信息,实时动作参数信息包括动作部位信息、位移信息和角度信息,属性数据包括骨骼信息、动画信息和边缘信息;将实时声音信息滤波降噪处理,得到降噪声音数据;将降噪声音数据进行多方位处理,得到多方位声音信息,例如将抬胳膊和抬腿的动作解析为胳膊和腿部动作部位的信息、胳膊和腿位移信息以及胳膊和腿转动角度的信息,将讲解声音中的噪音进行滤除,得到降噪声音数据,从而提高声音的清晰度,将降噪声音数据进行多方位处理,得到多个不同方位的多方位声音信息,并且符合近大远小的公知常识;

1.4)将动作部位信息与模型的骨骼信息绑定,同时将单个位移信息和单个角度信息与模型的单个动画信息进行匹配,得到单个虚拟动作数据,例如将人物的胳膊与模型的胳膊骨骼信息绑定,人物的腿与模型的腿部骨骼信息绑定,同时将抬胳膊的位移信息和角度信息与模型的抬胳膊动画信息匹配,将抬腿的位移信息和角度信息与模型的抬腿动画信息匹配,得到抬胳膊和抬腿依次进行的虚拟动作数据;

当动画信息为多组同时进行的,则将动作部位信息与模型的骨骼信息绑定,同时将多个位移信息和多个角度信息与模型的多个动画信息进行匹配,得到多个虚拟动作数据,将多个虚拟动作数据进行融合得到同步动作的组合虚拟动作数据,例如抬腿与抬胳膊是同时进行的,则将生成的抬胳膊虚拟动作数据和抬腿虚拟动作数据进行融合,得到抬腿与抬胳膊同步动作的组合虚拟动作数据;

将多方位声音信息进行编码生成虚拟声音数据,例如将讲解声音的多个不同方位的多方位声音信息进行编码生成具有立体感的虚拟声音数据;

将单个虚拟动作数据或组合虚拟动作数据与模型的碰撞信息进行分析,判断单个虚拟动作数据或组合虚拟动作数据与空间域中物体模型是否有碰撞;若无,则直接上传至组合模块;若有,则将物体模型与骨骼信息绑定,得到带有物体模型运动信息的单个虚拟动作数据或组合虚拟动作数据,随后上传至组合模块,例如将抬胳膊与抬腿的虚拟动作与模型的碰撞信息对比分析,判断抬胳膊和抬腿的动作是否与板擦模型接触,如果没有就进行后续组合步骤,如果抬胳膊时与板擦模型有接触,就把板擦模型与骨骼信息绑定,得到板擦模型跟随抬胳膊动作一起运动的虚拟动作数据,随后进行后续的组合步骤;

将单个虚拟动作数据或组合虚拟动作数据和与之对应的虚拟声音数据组合,生成模型行为数据将单个虚拟动作数据与虚拟声音数据组合,生成模型行为数据,例如将上述生成的抬胳膊和抬腿依次进行的虚拟动作数据或抬腿与抬胳膊同步动作的组合虚拟动作数据与虚拟声音数据组合,生成模型行为数据;

将模型行为数据与模型的边缘信息进行对比分析,判断模型行为数据与所要发生的空间域是否有冲突;若有,则发出提醒并拦截模型行为数据;若无,则执行步骤5),例如将抬胳膊与抬腿的虚拟动作与模型的边缘信息对比分析,判断抬胳膊和抬手的动作是否与所在空间有重叠或交叉造成视觉干扰,如果有,就进行提醒并且模型行为数据不进行下一步步骤,如果没有就执行下一步步骤;

1.5)将模型行为数据上传至中转系统:

1.5.1)将模型行为数据进行压缩,得到动画数据,例如,降低虚拟动作数据中的分辨率和帧率来降低文件大小,从而提高传输效率;

1.5.2)将动画数据上传至中转系统,方便统一分配;

1.6)将模型动作数据和立体声音数据接收后分配给不同用户:

1.6.1)对动画数据进行接收,准备分配;

1.6.2)将动画数据按照需求分配给不同的用户,例如将一年级课程动画数据分配给一年级的用户,二年级课程动画数据分配给二年级用户,其中一年级课程动画数据中含有抬胳膊的动作,一年级课程动画数据中含有抬胳膊和抬腿同步的动作;

1.6.3)将分配后的动画数据发送给对应的用户端,例如将分配给一年级的课程动画数据发送给一年级用户,二年级课程动画数据发送给二年级用户;

2)互动:

将用户收到的模型行为数据生成与人物行为一致的虚拟动画进行展示,同时用户对所展示的虚拟动画做出反馈行为,并通过动画生成系统将反馈行为生成相应的模型行为数据后发送给需要接收反馈的用户,最终在互动模块中进行虚拟动画展示,以此循环直至互动完成,例如老师准备将板擦模型递给一年级用户中的学生A,在未来教室的空间域中老师模型对应地完成抬胳膊拿板擦的动作、递板擦的动作和声音并发送给学生A,当学生A听到老师的点名并看到老师模型递板擦的动画后抬手去接板擦,相应地在未来教室的空间域中学生A对应的模型抬手接触板擦,老师看到学生A模型抬手接板擦时,松开手后板擦跟随学生A模型手部移动,递交板擦的交互完成。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号