一种基于5G云渲染的虚拟教学资源聚合系统及其工作方法

摘要

本发明属于信息技术的教学应用领域，构建一个基于5G云渲染的虚拟教学资源聚合系统，提供了教学资源上传工具接入用户共享的单个资源或已有的资源服务系统；采用自动化标准规范检查和可视平台抽检两种方式进行资源审核；对不同的教学资源进行语义关联与聚合，形成体系化的教学资源库，盘活原本孤立的教学资源；使用Unity引擎构建了虚拟教学资源展台和多资源切换模式，在云端进行实时渲染和编码压缩；采用插件机制，针对不同的VR终端设备开发适配插件，实现不同终端的自适应统一接入；云渲染结果经5G网络链路，在云服务器和不同VR终端之间压缩传输；终端设备对渲染结果进行解码、投影变换、立体呈现，并响应用户的操作，实现实时交互。

说明书

技术领域

本发明属于信息技术的教学应用领域，更具体地，涉及一种基于5G云渲染的虚拟教学资源聚合系统及其工作方法。

背景技术

所谓新型数字教育资源就是通过虚拟现实、增强现实等沉浸式技术来立体化呈现原本平面的二维教学资源，增加其直观性、可交互性，通过对感知功能进行现实延伸，帮助学习者在实践中掌握技能，理解难以形象化表述的抽象知识。

现有的虚拟教学资源通常需要特定的设备和软件才能查看，形成了大量的教学资源孤岛，相互之间无法有效整合，大大降低了这些教学资源的服务能力。因此，亟需构建一种有效的教学资源聚合平台，对教学资源进行统一的聚合管理及多终端的适配分发查看。

发明内容

针对现有技术的不足及用户需求，本发明提供了一种基于5G云渲染的虚拟教学资源聚合系统及其工作方法，为教学资源提供一种新的聚合共享模式。

本发明的目的是通过以下技术措施实现的。

本发明提供一种基于5G云渲染的虚拟教学资源聚合系统，包括资源上传模块、资源审核模块、资源聚合模块、虚拟展台构建模块、资源适配模块、数据压缩传输模块、沉浸式渲染与交互模块；

所述资源上传模块用于上传用户分享的单个教学资源模型及接入已有的教学资源网址；

所述资源审核模块用于管理员对用户上传的资源进行审核，包括资源标准性审核和可视平台抽检审核；

所述资源聚合模块用于根据用户上传的教学资源相关元字段信息，进行语义关联和聚合后分主题管理、存储；

所述虚拟展台构建模块为共享的教学资源和沉浸式交互提供展示平台及实现多资源切换；

所述资源适配模块用于将教学资源云渲染后结果自适应适配到不同的展示终端中；

所述数据压缩传输模块用于云渲染结果从云到VR终端的数据压缩传输；

所述沉浸式渲染与交互模块对云渲染后的虚拟教学资源、虚拟展台在VR终端中进行逼真、实时展示，并通过感知用户的各种交互行为，实现教学资源的切换及多模式的操作。

本发明还提供一种上述基于5G云渲染的虚拟教学资源聚合系统的工作方法，包括以下步骤：

S1，资源上传，对用户提供的共享教学资源，填写资源对应的表单信息，进行单个资源上传或已有资源服务的批量上传；

S2，资源审核，对所有上传的教学资源进行自动化完整性、规范性检查，并随机抽取一部分教学资源在可视平台渲染输出渲染结果，推送审核员审核；

S3，资源聚合，对所有资源进行元字段信息抽取，建立不同元字段数据间的语义关联，根据关联关系对所有的教学资源进行主题式聚合，形成体系化的教学资源库；

S4，虚拟展台构建，根据要展示的教学资源学科，加载不同主题的虚拟展台模型，构建立体的教学资源展示空间，在加载的虚拟展台上融入教学资源，并提供教学资源的轮循切换和手动切换；

S5，资源适配，当用户连接终端设备请求查看教学资源时，根据不同的终端设备型号，自适应调用相应插件，对资源进行云渲染，渲染后结果进行实时压缩，推送给终端设备；

S6，数据压缩传输，对云渲染后具备沉浸式体验的全视角视频进行可视域压缩，经5G基站，转发到5G无线单元，输出到终端VR设备；

S7，沉浸式渲染与交互，终端设备接收到云渲染结果后，对渲染结果进行解码、投影空间的转换，在设备空间呈现渲染画面，根据用户的交互行为对教学资源进行控制操作。

本发明的有益效果在于：

构建一个基于5G云渲染的虚拟教学资源聚合系统，提供了教学资源上传工具接入用户共享的单个资源或已有的资源服务系统；采用自动化标准规范检查和可视平台抽检两种方式进行资源审核；根据教学资源的相关元字段信息包括所属学科、对应的知识点等，对不同的教学资源进行语义关联与聚合，形成体系化的教学资源库，盘活原本孤立的教学资源；使用Unity引擎构建了虚拟教学资源展台和多资源切换模式，在云端进行实时渲染和编码压缩；采用插件机制，针对不同的VR终端设备开发适配插件，实现不同终端的自适应统一接入；云渲染结果经5G网络链路，在云服务器和不同VR终端之间压缩传输。终端设备对渲染结果进行解码、投影变换、立体呈现，并响应用户的头动、手势、手柄操控等操作，实现实时交互。通过对教学资源的有效聚合和统一渲染，本发明有助于满足教育新基建数字资源服务的需要，提供系统化、主题式教学资源服务。

附图说明

图1是本发明实施例中基于5G云渲染的虚拟教学资源聚合系统的示意图。

图2是本发明实施例中资源上传模块工作流程图。

图3是本发明实施例中资源审核模块工作流程图。

图4是本发明实施例中资源聚合模块工作流程图。

图5是本发明实施例中虚拟展台构建模块工作流程图。

图6是本发明实施例中资源适配模块工作流程图。

图7是本发明实施例中数据压缩传输模块工作流程图。

图8是本发明实施例中立体式渲染与交互模块工作流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本实施例提供一种基于5G云渲染的虚拟教学资源聚合系统，包括资源上传模块、资源审核模块、资源聚合模块、资源适配模块、虚拟展台构建模块、数据压缩传输模块、沉浸式渲染与交互模块；

所述资源上传模块用于上传用户分享的单个教学资源模型及接入已有的教学资源网址；

所述资源审核模块用于管理员对用户上传的资源进行审核，包括资源标准性审核和可视平台抽检审核；

所述资源聚合模块用于根据用户上传的教学资源相关元字段信息，进行语义关联和聚合后分主题管理、存储；

所述虚拟展台构建模块为共享的教学资源和沉浸式交互提供展示平台及实现多资源切换；

所述资源适配模块用于将教学资源云渲染后结果自适应适配到不同的展示终端中；

所述数据压缩传输模块用于云渲染结果从云到VR终端的数据压缩传输；

所述沉浸式渲染与交互模块对云渲染后的虚拟教学资源、虚拟展台在VR终端中进行逼真、实时展示，并通过感知用户的各种交互行为，实现教学资源的切换及头部、手势、或手柄多模式来操作教学资源。

本实施例还提供一种上述的基于5G云渲染的虚拟教学资源聚合系统的工作方法（以下具体说明系统中各模块的工作流程）：

（1）资源上传模块。对用户提供的共享教学资源，按照图2所示的资源上传流程图，填写资源对应的表单信息，进行单个资源上传或已有资源服务的批量上传。所述资源上传具体包括如下步骤：

（1-1）资源表单填写。教学资源表单主要涉及以下信息的填写，所属学科、对应的知识点、适用人群、资源所在路径或资源网址等，系统根据资源所在路径执行单个资源上传或根据资源网址执行批量资源上传。

（1-2）单个资源上传。支持Unity打包后的LZMA和LZ4格式的教学资源上传，上传时根据资源对应的表单元字段信息在数据库中生成相应表，同时将资源上传到云服务器的待审核目录中。

（1-3）批量资源上传。针对已有的资源网址，自动检测其中的资源下载链接及对应的说明信息，下载所有的教学资源并将说明信息映射到教学资源的元字段，最后将所有资源上传到云服务器的待审核目录中。

（2）资源审核模块。按照图3所示的资源审核流程图，对所有上传的教学资源进行自动化完整性、规范性检查，并随机抽取一部分教学资源在可视平台渲染输出渲染结果，推送审核员审核。所述资源审核具体包括如下步骤：

（2-1）自动化检查。首先进行资源完整性检查，基于Unity进行资源解析，检查资源中涉及到的纹理、材质、脚本是否缺失。如无缺失，读取资源的几何坐标，计算其外包围盒和模型中心，检查模型中心是否在原点，外包围盒半径是否超出阈值，判断模型是否存在离异点，将同时满足无缺失、模型中心在原点、外包围盒半径未超出阈值及不存在离异点的教学资源存入待聚合目录中。

（2-2）可视平台抽检。对待聚合目录中的教学资源，采用随机算法确定抽检的资源编号。根据资源编号将教学资源导入到可视平台中，对资源以60度为间隔进行6次定时旋转，每次旋转后自动将可视结果进行输出。输出的可视结果及对应的资源编号、资源相关信息如对应的学科、知识点等统一推送给审核员审核。

（3）资源聚合模块。在完成教学资源审核后，按照图4所示的资源聚合流程图，对所有资源进行元字段信息抽取，建立不同元字段数据间的语义关联，根据关联关系对所有的教学资源进行主题式聚合，形成体系化的教学资源库。所述资源聚合具体包括如下步骤：

（3-1）元数据抽取。根据教学资源对应的所属学科、知识点、适用人群等字段，抽取出主题相关的高层语义信息，构建<实体1，关系，实体2>和<实体1，属性1，属性值>的两类三元组，服务于资源的关联聚合。

（3-2）语义关联。得到元数据三元组后，需要建立不同实体语义间的关联关系，特别是不同知识点间的关联关系。采用树结构来组织不同的知识点实体，如物理中电路教学资源与磁场教学资源通过父类电磁来进行关联。

（3-3）知识聚合。得到所有教学资源对应的知识点语义关联关系后，按照学科-大类-子类-知识点的层级结构，对不同的关联关系树逐级进行合并，构建完整的关联链表，形成主题式资源集合。在教学资源展示页面，根据聚合后的关联链表，进行分类别分主题式教学资源展示。

（4）虚拟展台构建模块。为营造更立体的教学资源展示空间，按照图5所示的虚拟展台构建流程图，根据要展示的教学资源学科，加载不同主题的虚拟展台模型，构建立体的教学资源展示空间，在加载的虚拟展台上融入教学资源，并提供教学资源的轮循切换和手动切换。所述虚拟展台构建具体包括如下步骤：

（4-1）主题展台加载。根据教学资源所属学科，自动匹配不同主题的虚拟展台模型，基于Unity进行模型加载，在展台模型中央添加粒子特效，在场景中围绕展台模型添加多个点光源。

（4-2）教学资源加载。在构建的场景中加载需要展示的系列教学资源，根据当前展台的中心坐标及展台高度计算教学资源列表中第一个资源的初始位置，并隐藏列表中其他教学资源。对当前可见资源添加外发光特效。

（4-3）教学资源切换。提供两种教学资源切换模式，包括：轮循切换，按教学资源列表中顺序，单个资源展示时间达到资源切换时间间隔时，该资源设置为不可见，下一个资源设置为可见并将该资源位置移动到展台中心；手动切换，触发手动切换功能时，弹出资源列表，根据用户选中的教学资源，设置该资源为可见并将位置移动到展台中心，原展示资源设置为不可见。

（5）资源适配模块。当用户连接终端设备请求查看教学资源时，按照图6所示的资源适配流程图，根据不同的终端设备型号，自适应调用相应插件，对资源进行云渲染，渲染后结果进行实时压缩，推送给终端设备。所述资源适配具体包括如下步骤：

（5-1）终端识别。读取设备列表，在连接的USB设备列表中检索VR设备，获取该设备的型号代码。

（5-2）插件适配。基于主流VR设备的SDK开发相应的插件，实现与该设备的通信，主流VR设备包括Pico G2、Oculus Go、Oculus Rift S、VIVE Focus Plus、华为VR Glass；识别设备型号后，自动调用该插件，确定输出的渲染格式及交互控制。以Pico设备为例，插件开发流程如下：

I：下载设备的官方Unity SDK安装包，修改.unitypackage格式安装包的命名空间。

II：将运行时需要的预制体均保存在工程内XXXMobileSDK目录下，生成PicoSdk的运行管理类Pvr_UnitySDK实例和控制器模型管理类ControllerManager实例，分别控制响应事件、头盔相机和VR场景中的控制器模型、射线效果。

III：添加VR端设备检测相关脚本，检测未被使用的设备在VR场景中隐藏该设备模型；删除每个场景中的EventSystem和相机，使用Pvr_UnitySDK预制体中默认的组件。

IV：将可交互的UI调整为世界坐标系，调整物体层级为Default，添加Pvr_UICanvas脚本，确保控制器射线能检测到该物体。

（5-3）云端渲染。根据设备端发送的视角信息，在云服务器的GPU渲染平台中渲染对应视角下的虚拟展台和虚拟教学资源，实时计算多光源下的阴影位置及不同材质教学资源的反射效果。

（5-4）编码压缩。云渲染后的结果可压缩成3D-Video，根据不同的终端设备及显示需求，可供用户选择不同分辨率及编码的输出格式。根据用户选择的输出格式，确定数据的编码方式，利用视频编码库进行压缩编码。

（5-5）结果推送。编码后的渲染结果，采用TCP服务，经5G传输链路，推送到用户终端。

（6）数据压缩传输模块。经云渲染后具备沉浸式体验的全视角视频会占据较高带宽，为了减少带宽资源占用，按照图7所示的数据压缩传输流程图，对云渲染后的全视角视频进行可视域压缩，经5G基站，转发到5G无线单元，输出到终端VR设备。所述数据压缩传输具体包括如下步骤：

（6-1）可视域压缩。用于用户仅能感知到视觉可见区域的视觉内容，该范围内的渲染数据需要具有较高分辨率，其他区域的渲染数据可降低其分辨率。针对这一特性，在数据进入传输链路前对渲染后数据进行分视角的变分辨率压缩，在视觉可见区域内的渲染数据保持较高分辨率，其他区域的渲染数据降低其分辨率，来减少传输链路负载量，同时保证用户具有较好观感。

（6-2）传输链路。5G传输物理链路主要包括云、5G基站、5G无线单元、终端设备。在传输过程中，采用差异化缓存、MEC协同方案，根据用户信道条件优化资源分发及分配，来降低时延，提升用户体验。

（7）沉浸式渲染与交互模块。终端设备接收到云渲染结果后，按照图8所示的流程图，对渲染结果进行解码、投影空间的转换，在设备空间呈现渲染画面，根据用户的交互行为对教学资源进行控制操作。所述沉浸式渲染与交互具体包括如下步骤：

（7-1）云渲染结果接收与数据请求。利用5G无线通信模块基于TCP协议，采用websocket建立与云服务器的连接，发送数据请求，通过心跳机制监听云服务器发送的渲染数据包。

（7-2）解码。根据云渲染传输时采用的编码结构，解析出关键帧、邻近帧、变化参数，利用关键帧、邻近帧及变化信息内插还原出多视角渲染画面。

（7-3）投影变换。由于云渲染平台和VR终端展示的投影空间不同，需要对解析后渲染数据进行投影变换。根据设备可视空间中相机参数，计算投影矩阵，将渲染数据从世界坐标系转换到相机坐标系，再规范化到设备坐标系下，经过视口变换，转为屏幕坐标系。

（7-4）资源呈现。基于OpenGLES库在终端设备上绘制投影后的渲染结果，对于不改变视角的交互事件，仅改变相机投影参数，重新调用投影变换；改变视角的交互事件，与终端通信调用数据请求接口进行重新渲染。

（7-5）实时交互。用户与教学资源的交互主要包括：教学资源控制和教学资源切换。教学资源的控制指令有移动、旋转、缩放、拉近拉远、动画效果等，根据用户的头部运动控制资源的移动，手势动作控制资源的旋转、缩放、拉近拉远，手柄设备控制资源的动画效果和教学资源间的切换。

本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。