一种基于XR技术的沉浸式课堂构建方法、系统及存储介质

摘要

本发明公开一种基于XR技术的沉浸式课堂构建方法、系统及介质，该方法包括以下步骤：配置沉浸式课堂；生成沉浸式课堂场景，并分配场景实例给师生；生成教学内容场景，并分配教学内容场景实例给师生；课堂场景加载教学内容场景；根据教学活动需求，师生进行场景切换。本发明构建的沉浸式课堂使得沉浸式教学可管可控。

说明书

技术领域

本发明涉及基于XR技术的沉浸式课堂教学技术领域，特别涉及一种基于XR技术的沉浸式课堂构建方法、系统及存储介质。

背景技术

由于XR技术的技术能力，基于XR技术的沉浸式教学，将可以在职业教育提升学生职业实践能力中，发挥关键作用。然而把基于XR技术的沉浸式教学的潜力充分挖掘出来，有许多重要问题需要研究，其中，最核心的问题是基于XR技术如何构建沉浸式课堂。在教学活动中，课程知识所依赖的虚拟场景可能非常大，但教室空间有限，当给所有学生都同时提供虚拟教学场景时，如何构建课堂场景，如何使沉浸式课堂适配“学中做”、小组学习、学习竞赛等多样化的教学活动，如何使沉浸式教学活动可管可控成为一难题。

发明内容

本发明的主要目的在于提出一种基于XR技术的沉浸式课堂构建方法、系统及存储介质，旨在实现沉浸式教学可控可管。

为实现上述目的，本发明提供了一种基于XR技术的沉浸式课堂构建方法，其特征在于，所述方法包括以下步骤：

步骤S10，配置沉浸式课堂：配置课堂的基础参数、课堂的教学内容，所述课堂的基础参数至少包括师生姓名、课堂开始时间信息；

步骤S20，生成沉浸式课堂场景，并分配课堂场景实例给师生：调用课堂场景模板，根据所述沉浸式课堂配置信息，生成课堂场景，实例化课堂场景，把课堂场景实例分配给师生；

步骤S30，生成教学内容场景，并把教学内容场景实例分配给师生：根据所述教学内容，读取课程XR教学资源，根据学生分组情况，生成单个或多个教学内容场景，实例化教学内容场景，把教学内容场景实例分配给师生；

步骤S40，课堂场景加载教学内容场景：为所有教学内容场景都分别指定三维成像区间，各教学内容场景在其成像区间的部分经过缩放呈现在课堂场景指定位置与姿态角；

步骤S50，根据教学活动需求，师生进行场景切换：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换。

本发明进一步地技术方案是，所述步骤S40，还包括任意师生可以同时进入多个场景，包括：同时进入教学内容场景与课堂场景，以及同时进入多个教学内容场景。

本发明进一步地技术方案是，所述步骤S40课堂场景加载教学内容场景后，师生可以在课堂场景直接与教学内容场景内的对象互动，在所述步骤S50，任意师生同时进入多个场景后，可以同时与这些场景内的对象进行互动。

本发明进一步地技术方案是，所述步骤S40，课堂场景加载教学内容场景的步骤包括：

步骤S401，课堂场景实例与教学内容场景实例建立通信连接；

步骤S402，教学内容场景实例实时生成体素图；

步骤S403，课堂场景实例实时接收教学内容场景体素图；

步骤S404，加载体素图到课堂场景；

步骤S405，获取课堂场景内对教学内容场景对象的互动命令，并把互动命令的位姿参数转换到教学内容场景坐标系下，位姿参数转换后的互动命令传输到教学内容场景。

本发明进一步地技术方案是，所述步骤S50，师生同时进入多个场景进行沉浸式体验，实现步骤包括：

步骤S501，设定各场景在用户体验空间的三维显示区间；

步骤S502，计算各场景的成像区间；

步骤S503，计算师生在各场景中的位姿值；

步骤S504，生成各场景的用户体验画面；

步骤S505，拼接各场景用户体验画面生成师生多场景体验画面，在拼接过程中根据各场景体验画面深度信息，进行遮挡计算；

步骤S506，获取用户互动命令，根据互动命令的位姿参数，确定对应的互动操作所作用的场景，把所述互动命令的位姿参数转换到场景坐标下系，转换了位姿参数的互动命令传输给对应场景。

本发明进一步地技术方案是，所述S405获取课堂场景内对教学内容场景对象的互动命令，并把互动命令的位姿参数转换到教学内容场景坐标系下，位姿参数转换后的互动命令传输到教学内容场景具体为：

课堂场景实例监听到互动操作命令时，以互动操作信息位姿参数中的位置坐标值是否在任意教学内容场景体素图的显示区间内为判断准则，判断所述互动操作命令是否为对教学内容场景的互动，以及与哪个教学内容场景互动，当所述互动操作命令是对教学内容场景S

本发明进一步地技术方案是，所述步骤S401，每个教学内容场景必须有至少一个场景实例与所有课堂场景实例建立通信连接，从而确保任意师生可以在分配给其的课堂场景实例里看到所有教学内容场景；为了减少场景实例之间通信连接数量，教学内容场景实例与流媒体服务器采取流媒体服务器中继的方式建立通信连接，流媒体服务器与各课堂场景实例采取流媒体服务器中继的方式建立通信连接，流媒体服务器把各场景实例实时生成的体素图汇总到一起，然后发送给各课堂场景实例；每个师生用户被分配的课堂场景实例与教学内容场景实例建立可传送互动操作命令的通信连接，师生在课堂场景就可以与教学内容场景里的物体互动。

本发明进一步地技术方案是，所述步骤S10，配置的沉浸式教学内容具体包括教学内容的介绍信息，以及教学内容对应的XR应用程序，其中XR教学应用程序可以生成教学内容场景；所述步骤S20生成沉浸式课堂场景，并分配课堂场景实例给师生，具体步骤为：调用课堂场景模板，根据所述沉浸式课堂配置信息，配置课堂场景模板中师生信息、教学内容介绍信息，生成课堂场景，在课堂预定的开始时间，创建课堂场景实例，课堂场景实例的数量须满足可以同时为所有师生提供课堂场景体验，在师生登录系统申请加入课堂时，师生的XR终端分别与被分配的课堂场景实例建立通信连接，课堂场景实例把渲染出的课堂体验画面传输给师生的XR终端，师生的XR终端把用户对课堂场景的互动操作发送给课堂场景实例；在所述步骤S50，师生在课堂场景与教学内容场景之间切换，实现方法为改变与师生的XR终端连接的场景实例，当体验课堂场景时，XR终端与课堂场景实例连接，接受课堂场景发送过来的体验画面，把互动操作传送给课堂场景实例，当要体验教学内容场景时，断开XR终端与课堂场景实例的连接，建立XR终端与教学内容场景实例之间的连接，XR终端接收教学内容场景实例生成的体验画面，向教学内容场景实例发送互动操作信息，教学内容场景实例生成体验画面过程不受给教学内容场景设定的三维成像区间限制，如果要切换回课堂场景，需要XR终端断开与教学内容场景实例的连接，重建与课堂场景实例的连接；步骤S50后还包括步骤S60：当课堂教学完成时，销毁所述课堂场景实例和所述教学内容场景实例。

为实现上述目的，本发明还提出一种基于XR技术的沉浸式课堂构建系统，所述系统的硬件主要包括云服务器集群、网络设备、以及XR终端，在云服务器集群中，服务器包括课堂管理服务器、多台XR应用服务器、存储服务器、流媒体服务器，所述系统的软件包括：沉浸式课堂管理控制中心、XR资源库、用户端、XR应用服务端、流媒体服务端，沉浸式课堂管理控制中心安装在课堂管理服务器，XR资源库部署在存储服务器，用户端安装在师生的XR终端上，XR应用服务端安装在每台XR应用服务器上，流媒体服务端安装在流媒体服务器上，其中，XR资源库存储了课堂场景模板、教学内容对应的XR应用资源，沉浸式课堂管理控制中心模块用来配置课堂基础参数与课堂的教学内容、调配实例化课堂场景所需要XR应用服务器、调配实例化课堂场景所需要XR应用服务器、设定各教学内容场景的三维成像区间、管理教学内容场景实例的动态生成与销毁，在课堂教学完成时，指令XR应用服务器上的XR应用服务端销毁所有课堂场景实例与教学内容场景实例，用户端模块，用于根据师生用户体验需求，与课堂场景实例或教学内容场景实例建立通信连接，可以采集师生用户终端的定位数据、互动操作，发送给场景实例，接收场景实例发功过来的沉浸式体验画面，并显示给用户，当用户同时进入多个场景时，用户可以通过用户端模块设置各场景在用户体验空间的三维显示区间，还可以设置场景在用户体验空间呈现的位姿以及缩放比例，所述基于XR技术的沉浸式课堂系统软件被所述系统硬件运行时执行如上所述方法的步骤。

为实现上述目的，本发明一种计算机可读存储介质，所述计算机可读存储介质存储有基于XR技术的沉浸式课堂构建程序，所述基于XR技术的沉浸式课堂构建程序被处理器运行时执行如上所述的方法的步骤。

本发明基于XR技术的沉浸式课堂构建方法、系统及存储介质的有益效果是：本发明通过上述技术方案，包括以下步骤：步骤S10，配置沉浸式课堂：配置课堂的基础参数、课堂的教学内容，所述课堂的基础参数至少包括师生姓名、课堂开始时间信息；步骤S20，生成沉浸式课堂场景，并分配课堂场景实例给师生：调用课堂场景模板，根据所述沉浸式课堂配置信息，生成课堂场景，实例化课堂场景，把课堂场景实例分配给师生；步骤S30，生成教学内容场景，并把教学内容场景实例分配给师生：根据所述教学内容，读取课程XR教学资源，根据学生分组情况，生成单个或多个教学内容场景，实例化教学内容场景，把教学内容场景实例分配给师生；步骤S40，课堂场景加载教学内容场景：为所有教学内容场景都分别指定三维成像区间，各教学内容场景在其成像区间的部分经过缩放呈现在课堂场景指定位置与姿态角；步骤S50，根据教学活动需求，师生进行场景切换：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换，构建的沉浸式课堂使得沉浸式教学可管可控。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明基于XR技术的沉浸式课堂构建方法较佳实施例的流程示意图；

图2是沉浸式课堂场景加载教学内容场景效果示意图；

图3是师生用户同时进入多个场景的示意图；

图4是读取步骤S10中的课堂基础配置后初始生成的课堂场景示意图；

图5是读取步骤S10的教学内容配置后为每位师生生成的教学内容场景示意图；

图6是课堂场景加载所有师生的教学内容场景后的效果示意图；

图7是单个师生用户同时进入两个场景后看到的画面示意图。

图8是所有师生进入课堂场景示意图；

图9是单人教学任务生成教学内容场景实例示意图；

图10是分组学习任务生成教学内容场景实例示意图；

图11是教学内容场景实例与课堂场景实例建立通信连接示意图；

图12是学生进入教学内容场景示意图；

图13是进入他人的教学内容场景示意图；

图14是学生观看教师教学示意图；

图15是学生边学边做，同时进入两个教学内容场景的示意图；

图16是本发明基于XR技术的沉浸式课堂构建方法所涉及的系统硬件构成示意图；

图17是发明基于XR技术的沉浸式课堂构建方法所涉及的系统软件构成示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在此对“场景”与“场景实例”这个两个概念进行说明，以便区分。场景定义了一个三维空间里包含的对象、对象状态、对象自身运行逻辑、以及对象之间相互作用的逻辑；场景实例是系统调用计算机处理器、内存、显卡等计算资源根据场景定义实时运行的程序进程，此程序进程实时计算场景内各对象状态，并渲染画面。单个场景同时有个用户体验时，单个场景实例能获得的计算资源如果不能实时为所有用户生成体验画面时，就需要为此场景生成多个场景实例并分配给用户，这些场景实例之间同步场景内对象状态，各场景实例分别为对应的用户实时生成体验画面，从而各用户共享体验此场景。

本发明基于XR技术，提出了一种基于XR技术的沉浸式课堂构建方法，革新了课堂的组成、结构、功能以及教学方法。本发沉浸式课堂包含课堂场景、教学内容场景。课堂场景提供了课堂教学的组织管理功能，教学内容场景提供教学内容体验。教学内容场景可以为师生分别单独体验、分组体验或全课堂共享体验，当教学内容场景为师生分别单独体验或分组体验时，需要同时构建多个教学内容场景。课堂场景加载所有教学内容场景，所有师生共享同一个课堂场景。在课堂场景里，师生可以进行协同互动，也可以直接与教学内容场景里的对象互动，还可以选择进入教学内容场景。为了适配学习协助、学习竞赛、学中做等教学需求，用户可以选择同时进入多个教学内容场景。

具体地，如图1所示，本发明基于XR技术的沉浸式课堂构建方法较佳实施例包括以下步骤：

步骤S10，配置沉浸式课堂：配置课堂的基础参数、课堂的教学内容，所述课堂的基础参数至少包括师生姓名、课堂开始时间信息。

步骤S20，生成沉浸式课堂场景，把课堂场景实例分配给师生：根据所述课堂的基础参数，调用课堂场景模板，生成课堂场景，并调用服务器资源实例化课堂场景，分配课堂场景实例给师生。

步骤S30，生成教学内容场景，并把教学内容场景实例分配给师生：根据所述教学内容，读取课程XR教学资源，根据学生分组情况，生成单个或多个教学内容场景，调用服务器资源实例化教学内容场景，把教学内容场景实例分配给师生。

步骤S40，课堂场景加载教学内容场景：为所有教学内容场景都分别指定三维成像区间，各教学内容场景在其成像区间的部分经过缩放呈现在课堂场景指定位置。课堂场景加载教学内容场景后，师生可以在课堂场景直接与教学内容场景内的对象互动。

步骤S50，根据教学活动需求，师生进行场景切换：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换；另外，任意师生可以同时进入多个场景，师生同时进入多个场景后，可以同时与这些场景内的对象进行互动，包括：同时进入教学内容场景与课堂场景，同时进入多个教学内容场景。

如图2所示，课堂场景加载所有教学内容场景。在图2中，有1位教师与4位学生组织沉浸式课堂教学，系统构建了一个课堂场景，还构建了5个教学内容场景，系统给每位教师与学生每人分配了一个教学内容场景，各教学内容场景按照一定的形状、大小、位姿同时呈现在课堂场景里。

如图3所示，任意师生可同时进入多个场景。在图3中，学生A同时进入了两个教学内容场景，其中教学场景A是分配给学生A的，教学场景E是分配给教师，从而学生A可以同时看到自己的教学内容场景A与教师的教学内容场景E，由此学生A可以沉浸式观看教师在教学内容场景E的教学活动，同时可以在自己的教学内容场景A进行虚拟实操。

本实施例中的沉浸式课堂的实际效果图如图4至图7所示，其中，图4是读取步骤S10中的课堂基础配置后初始生成的课堂场景效果示例图，图5是读取步骤S10的教学内容配置后为每位师生生成的教学内容场景效果示例图，图6是课堂场景加载所有教学内容场景后的效果示例图，图7是单个师生用户同时进入两个场景后看到的效果示例图。

进一步地，本实施例中，所述步骤S10，配置沉浸式课堂的步骤包括：

根据教学任务安排，配置课堂基础参数：师生集合为P＝{p

本实施例中，所述课堂场景模板定义了课堂场景的基础视觉效果，并定义了师生信息、教学内容介绍信息的显示方式，课堂场景模板中师生信息、教学内容介绍信息可配置，所述步骤S20，生成沉浸式课堂场景，并分配课堂场景实例给师生：调用课堂场景模板，根据所述沉浸式课堂配置信息，配置课堂场景模板中师生信息、教学内容介绍信息，生成课堂场景，调用服务器资源生成课堂场景实例，分配课堂场景实例给师生的步骤包括：

步骤S201，调用课堂场景模板，根据所述沉浸式课堂配置信息，配置课堂场景模板中师生信息、教学内容介绍信息，生成课堂场景，在课堂预定的开始时间T

步骤S202，分配课堂场景实例给师生，在师生登录系统申请加入课堂时，师生的XR终端分别与被分配的课堂场景实例建立通信连接，课堂场景实例把渲染出的课堂体验画面传输给师生的XR终端，师生的XR终端把用户对课堂场景的互动操作发送给课堂场景实例。

本实施例中，所述步骤S30，生成教学内容场景，并把教学内容场景实例分配给师生：根据所述教学内容，读取课程XR应用程序，根据学生分组情况，生成单个或多个教学内容场景，调用服务器资源实例化教学内容场景，把教学内容场景实例分配给师生：

根据步骤S10配置的教学内容Φ，读取相关XR应用程序，当默认的教学任务需要学生单独完成时，给每个学生分别生成一个教学内容场景并实例化教学内容场景，分配教学场景实例给对应学生。在本实施例中，单个XR应用程序只能同时构建单个教学内容场景，为了构建多个教学内容场景，需要复制此XR应用程序，复制后生成的多个XR应用程序可以分布在多台服务器上，同时运行生成多个教学内容场景。

当教学任务需要小组学习时，给小组内的学生构建一个教学内容场景，小组内的学生共享此教学内容场景，生成教学内容场景实例分配给小组内的学生，其中，为单个学习小组创建教学内容场景实例的数量根据小组学生数量与单个场景实例能服务学生数量决定，单个学习小组教学内容场景实例的数量须满足可以同时为小组内所有学生提供教学内容场景体验，小组内的教学内容场景实例需要进行场景状态的同步，分配教学场景实例给小组内对应学生。

本实施例中，所述步骤S40，课堂场景加载教学内容场景：指定各教学内容场景的三维成像区间，各教学内容场景在其三维成像区间的部分经过缩放呈现在课堂场景指定位置，师生在课堂场景内能直接与教学内容场景的对象进行互动。

本实施例中，所述步骤S50，根据教学活动需求，师生进行场景切换：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换；另外，任意师生可以同时进入多个场景，师生同时进入多个场景后，可以同时与这些场景内的对象进行互动，包括：同时进入教学内容场景与课堂场景，同时进入多个教学内容场景。

作为一种实施方式，本实施例中，所述步骤S50，根据教学活动需求，师生进行场景切换的步骤之后还包括：

步骤S60：当课堂教学完成时，销毁所述课堂场景实例和所述教学内容场景实例。

以下对本发明基于XR技术的沉浸式课堂构建方法各步骤的具体实现方案进行进一步地详细阐述。

步骤S10，配置沉浸式课堂：

根据教学任务安排，配置课堂基础参数：师生集合为P＝{p

步骤S20，生成沉浸式课堂场景，并分配课堂场景实例给师生：调用课堂场景模板，根据所述沉浸式课堂配置信息，配置课堂场景模板中师生信息、教学内容介绍信息，生成课堂场景，调用服务器资源生成课堂场景实例，分配课堂场景实例给师生。具体如下。

步骤S201，调用课堂场景模板，根据所述沉浸式课堂配置信息，配置课堂场景模板中师生信息、教学内容介绍信息，生成课堂场景，在课堂预定的开始时间T

步骤S202，分配课堂场景实例给师生，在师生登录系统申请加入课堂时，师生的XR终端分别与被分配的课堂场景实例建立通信连接，课堂场景实例把渲染出的课堂体验画面传输给师生的XR终端，师生的XR终端把用户对课堂场景的互动操作发送给课堂场景实例。

以图8为例，1位教师和3位学生加入课堂，系统为每位师生生成了一个课堂场景实例，共生成了4个课堂场景实例，课堂场景实例1和课堂场景实例2、实例3、实例4建立了通信连接，4个课堂场景实例之间同步课堂场景状态。4个课堂场景实例分配给师生，各师生终端分别与被分配的场景实例建立了通信连接，例如学生A终端与课堂场景实例2建立通信连接，学生终端A的对课堂场景的互动操作发送给课堂场景实例2，课堂场景实例2生成学生A的体验画面并发送给学生A的终端。

步骤S30，生成教学内容场景实例并分配给师生：

根据所述教学内容，读取课程XR应用程序，根据学生分组情况，生成单个或多个教学内容场景，调用服务器资源实例化教学内容场景，把教学内容场景实例分配给师生：

根据步骤S10配置的教学内容Φ，读取相关XR应用程序，当默认的教学任务需要学生单独完成时，给每个学生分别生成一个教学内容场景并实例化教学内容场景，分配教学场景实例给对应学生。在本实施例中，单个XR应用程序构建单个教学内容场景，为了构建多个教学内容场景，需要复制此XR应用程序，复制后生成的多个XR应用程序可以分布在多台服务器上，同时运行生成多个教学内容场景。

当默认的教学任务需要小组学习时，给小组内的学生构建一个教学内容场景，小组内的学生分享此教学内容场景，生成教学内容场景实例分配给小组内的学生，其中，为单个学习小组创建教学内容场景实例的数量根据小组学生数量与单个场景实例能服务学生数量决定，单个学习小组教学内容场景实例的数量须满足可以同时为小组内所有学生提供教学内容场景体验，小组内的教学内容场景实例需要进行场景状态的同步，分配教学场景实例给小组内对应学生。

以图9为例，1位教师和3位学生加入课堂，默认的教学任务需要学生单独完成，系统为每位师生都构建了教学内容场景，共四个教学内容场景，分别为：教学内容场景1、教学内容场景2、教学内容场景3、教学内容场景4。系统为每个教学内容场景都生成1个场景实例，分别生成了教学内容场景1实例1、教学内容场景2实例1、教学内容场景3实例1、教学内容场景4实例1，共生成了4个课堂场景实例，这些教学内容场景实例分别分配给教师、学生A、B、C。不过教学内容场景实例暂时不需要和师生的XR终端建立通信。

以图10为例，当教学任务需要学生分组完成，学生A和学生B组成学习小组，学生C单独一个小组，故系统为学生A和学生B构建一个共享的教学内容场景2，为教师与学生C分别构建了教学内容场景1、3。在图10中，系统为学生A和学生B各生成了一个教学内容场景2的实例，也就是教学内容场景2实例1与教学内容场景2实例2，其中教学内容场景2实例1分配给学生A，教学内容场景2实例2分配给学生B，这两个场景实例建立通信连接同步场景状态，使学生A和学生B协同体验教学内容场景2。

步骤S40，课堂场景加载教学内容场景：

指定各教学内容场景的三维成像区间，此三维成像区间可以是长方体、球型等任意形状，各教学内容场景在其三维成像区间的部分经过缩放呈现在课堂场景指定位置与姿态角，师生在课堂场景内能直接与教学内容场景的对象进行互动。

教学内容场景在课堂场景中呈现的方式为：教学内容场景实例实时生成三维成像区间内场景部分的体素图，体素图实时被传送到课堂场景实例，然后体素图依照指定的缩放比例，在一定的位姿参数下部署到课堂场景实例里。具体步骤如下：

(1)课堂场景实例与教学内容场景实例建立通信连接。每个教学内容场景必须有至少一个场景实例与所有课堂场景实例建立通信连接，从而确保任意师生可以在分配给其的课堂场景实例里看到所有教学内容场景。为了减少场景实例之间通信连接数量，可以采取流媒体服务器中继的方式，教学内容场景实例与流媒体服务器建立通信连接，流媒体服务器与各课堂场景实例建立通信连接，流媒体服务器把各场景实例实时生成的体素图汇总到一起，然后发送给各课堂场景实例。另外，每个师生用户被分配的课堂场景实例还可以与教学内容场景实例建立可传送互动操作命令的通信连接，从而师生用户在课堂场景就可以与教学内容场景里的对象互动，而不需要切换到教学内容场景。

以图11为例，系统为4位师生构建了4个教学内容场景并生成了4个场景实例，这4个场景实例都与流媒体服务器建立通信连接，也就是教学内容场景1实例1、教学内容场景2实例1、教学内容场景3实例1、教学内容场景4实例1都与流媒体服务器建立通信连接，这4个教学内容场景实例生成体素图传输到流媒体服务器。流媒体服务器与所有的课堂场景实例都建立了通信连接，也就是流媒体服务器与课堂场景实例1、2、3、4建立了通信连接，流媒体服务器汇总所有实时生成的体素图后，实时传输给各课堂场景实例。在图11中，各师生用户的课堂场景实例分别与分配给他们的教学内容场景实例建立了用来传送互动操作命令的通信连接，例如：分配给教师的课堂场景实例1与教学内容场景1实例1建立了用来传输互动操作数据的通信连接，分配给教师的课堂场景实例2与教学内容场景2实例1建立了用来传输互动操作数据的通信连接。

(2)教学内容场景实例实时生成体素图。

对于任意教学内容场景S

体素是3D空间的像素，本实施例中任意体素成像区域为场景中的一个长方体，长方体大小确定了体素的分辨率，长方体越大，体素分辨率越小。令体素图V中，任意体素对应的成像长方体大小为

在本实施例中，体素V(i j k)对应成像长方体

令任意物体在Ψ

由此，体素图V中任意体素V(i j k)对应的成像长方体

遍历教学内容场景实例S

(3)课堂场景实例实时接收体素图。

任意课堂场景实例都实时接收所有体素图，例如图11所示，课堂场景实例1通过流媒体服务器，实时接收到教学内容场景1、2、3、4的场景实例生成的体素图。

(4)加载体素图到课堂场景。

课堂场景实例读取体素图各体素的值，并确定各体素在课堂场景实例中的三维显示区间。

对于任意体素V(i j k)，如果δ

设定

令

把成像长方体

对体素V(i j k)，在课堂场景中部署一个位姿形状大小与

(5)获取课堂场景内对教学内容场景的互动命令并转换传输到教学内容场景。

用户进行互动操作，系统生成相应的互动操作命令，互动操作命令包含互动操作的位姿参数(位置与姿态角)，当课堂场景实例监听到互动操作命令时，在本实施例中以互动操作位姿参数中的位置坐标值是否在此教学内容场景体素图的显示区间内为判断准则，判断此互动操作命令是否为对教学内容场景的互动，当此用户互动操作命令是对教学内容场景的互动，课堂场景实例把此互动操作命令的位姿参数转换到教学内容场景坐标系，转换成教学内容场景的互动命令，并把转换后的互动命令发送到对应的教学内容场景实例，教学内容场景实例接收到互动命令，对此互动命令进行响应。

例如：对于任意师生用户p，有任意教学内容场景S

令

令用户p在课堂场景进行互动操作，生成互动命令a，其位姿参数中位置W

步骤S50，根据教学活动需求，师生进行场景切换：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换；另外，任意师生可以同时进入多个场景，师生同时进入多个场景后，可以同时与这些场景内的对象进行互动，包括：同时进入教学内容场景与课堂场景，同时进入多个教学内容场景。

师生在课堂场景与教学内容场景之间切换：

实现方法为改变与师生的XR终端连接的场景实例。任意师生体验课堂场景，XR终端与课堂场景实例连接，接受课堂场景发送过来的体验画面，把互动操作传送给课堂场景实例；当要体验教学内容场景时，断开XR终端与课堂场景实例的连接，建立XR终端与教学内容场景实例之间的连接，XR终端接收教学内容场景实例生成的体验画面，向教学内容场景实例发送互动操作信息；如果要切换回课堂场景，需要XR终端断开与教学内容场景实例的连接，重建与课堂场景实例的连接。以图11、图12为例，在图11中，教师与学生都是体验课堂场景，在图12中，三位学生的终端断开了与课堂场景实例的连接，与教学内容场景实例建立了通信连接，由此三位学生从课堂场景实例切换到了教学内容场景，其中教学内容场景实例生成体验画面传输给终端时，生成体验画面过程不受系统给教学内容场景实例设定的三维成像区间的限制。

师生在多个教学内容场景之间切换：

师生可以切换到他人的教学内容场景，观看对方的教学过程或者进行教学协同。实现方法为：用户p的XR终端断开原有与场景实例之间的通信连接，与分配给用户

如图12、图13所示，在图12中，学生A在自己的教学内容场景2中体验，教学内容场景3是学生B的场景，在图13中，学生A申请进入学生B的教学内容场景，系统克隆教学内容场景3实例1，生成教学内容场景3实例2，学生A的XR终端与教学内容场景3实例2建立通信连接，教学内容场景3实例1、2之间建立了通信连接同步场景状态，教学内容场景3的实时生成体验画面传送给学生A的终端，XR终端把学生A的互动操作信息发送给教学内容场景3实例2，从而实现了学生A切入到学生B的教学内容场景。

当所有学生都切换到教师的教学内容场景，学生就可以在教师的教学内容场景里沉浸式观看教师的教学。所有学生的终端都需要和教师的教学内容场景实例建立通信连接，教师的教学内容场景实例分别为师生渲染体验画面，当教师内容场景单个实例不能同时为所有师生实时生成体验画面时，就需要生成教师教学内容场景的多个场景实例，这些场景实例之间建立通信连接，同步场景状态，并分配给师生。以图14为例，为了简便，图14中没有给出课堂场景实例。如图14所示，系统克隆教师的教学内容场景1的实例1，生成了教学内容场景1实例2、3、4，实例1分别与实例2、3、4建立通信连接，同步场景状态，系统把实例2、3、4分配给学生A、B、C，并分别建立场景实例与学生终端的通信连接。

如图14所示，是所有学生都进入教师的课程内容讲授场景，也就是学生分享教学内容场景1，所以教学场景1分别生成了实例2、3、4给三位学生。

师生同时进入多个场景：

任意师生可以同时进入多个场景，例如学生可以同时进入教师的场景与自己的实操场景，从而可以边学边做；也可以同时进入自己的场景与别的学生场景，从而可以在进行自己学习任务时，给别的学生提供学习帮助；或者教师进入教学内容场景后，同时进入课堂场景，从而教师在教学的同时对课堂进行管理。

实现的方式为：令任意师生用户p，申请同时进入多个场景

(1)计算各场景实例的成像区间

给任意场景s

已知：用户体验空间直角坐标系为

解：令场景s

则Φ

(2)计算用户在各场景实例坐标系下的位姿值

令任意用户p

令

场景实例集合Q中任意场景s

(3)场景实例分别渲染用户位姿下的体验画面

任意时刻t

(4)拼接各场景实例渲染图片生成用户多场景体验画面

用户终端接收到各场景实例发送过来的体验画面与深度图片，把各场景实例生成的体验画面图片拼接得到多场景体验画面，在拼接过程中，由于在用户视线上的不同显示区间之间会相互遮挡，所以根据体验画面深度图片进行遮挡计算。具体如下：

用户p

首先，令

依据上面计算方法，遍历完所有场景实例体验画面，最终计算得到的彩色图像

互动操作

用户的互动操作，根据互动操作的位置所在显示区间，判断互动操作属于哪个场景实例，并把互动操作命令的位姿参数转换成对应场景实例，终端把位姿参数转换后的互动操作命令发送给对应的场景实例。具体如下：

用户p

下文以“学中做”教学活动为例，介绍用户同时进入多个场景的通信连接。

如图15所示，学生为了在听教师讲授的同时也进行实操，系统克隆了教师的教学内容场景实例，给每位学生都分配了一个教师教学内容场景实例，这些教学内容场景实例与教师自己的教学内容场景实例建立了通信连接，同步场景状态，也就是教学内容场景1实例1与教学内容场景1实例2、3、4同步状态，每位学生同时与自己教学内容场景的实例以及克隆的教师教学内容场景实例建立通信连接，例如学生A同时与教学内容场景2实例1和教学内容场景1实力建立通信连接，同时接收这两个场景实例发送的用户体验画面，拼接体验画面生成多场景体验画面。

步骤S60，结束教学，销毁所有场景实例，关闭沉浸式课堂。

以下对实现本发明基于XR技术的沉浸式课堂构建方法所涉及的系统架构进行说明。

一、系统硬件构成

如图16所示，实现本发明基于XR技术的沉浸式课堂构建方法所涉及的系统架构硬件系统主要包括云服务器集群、网络设备、以及XR终端。在云服务器集群中，服务器包括课堂管理服务器、多台XR应用服务器、存储服务器、流媒体服务器。XR应用服务器须具备高性能的图形渲染能力，服务器之间须互联互通，用户的XR终端通过无线网络访问课堂管理服务器与所有XR应用服务器，XR终端可以是手机、XR头显或眼镜。

二、系统软件构成

如图17所示，实现本发明基于XR技术的沉浸式课堂构建方法所涉及的系统架构软件系统主要包括5个模块：沉浸式课堂管理控制中心、XR资源库、用户端、XR应用服务端、流媒体服务端。沉浸式课堂管理控制中心安装在课堂管理服务器，XR资源库部署在存储服务器，用户端安装在师生的XR终端上，XR应用服务端安装在每台XR应用服务器上，流媒体服务端安装在流媒体服务器上。下面介绍各模块的主要功能。

1、XR资源库：

XR资源库存储了课堂场景模板、教学内容对应的XR应用程序等XR应用资源。

2、沉浸式课堂管理控制中心：

安装在沉浸式课堂管理服务器上，功能包括：

(1)课堂管理人员在沉浸式课堂管理控制中心配置课堂的基础参数与课堂的教学内容。

(2)调配实例化课堂场景所需要XR应用服务器，根据云服务器集群内所有XR应用服务器闲置的CPU、显卡等计算资源情况，课堂场景实例所需数量，以及单个课堂场景实例需要的计算资源，确定哪些服务器需要用来实例化课堂场景，进一步确定各台服务器需要生成的课堂场景实例数量。然后，沉浸式课堂管理控制中心，给这些需要实例化课堂场景的XR应用器上的XR应用服务端发送课堂场景实例化指令，XR应用服务端将根据指令里生成课堂场景实例数量参数与沉浸式课堂配置信息，调用课堂场景模板，生成课堂场景，生成相应数量的课堂场景实例。沉浸式课堂管理控制中心指定各课堂场景实例的归属，完成课堂场景实例的分配。

例如：每台XR应用服务器的cpu具有16核并带3块高性能显卡，参与课堂的师生共有31人，令每个课堂场景实例只为1位师生提供沉浸式体验，每个课堂场景实例需要5核和1块高性能显卡，则系统需要共生成31个课堂场景实例，所以沉浸式课堂管理控制中心调配了11台完全空闲的XR应用服务器，向这11台服务器的XR应用服务端发送指令，其中10台服务器分别生成3个课堂场景实例，另外1台服务器只生成1个课堂场景实例，这11台服务器的XR应用服务器收到指令后，共生成31个课堂场景实例，沉浸式课堂管理控制中心指定31个场景实例分别属于哪位师生。

(3)课堂管理员或系统可以在教学管理控制中心对学生分组，教学管理控制中心根据学生分组情况，确定需要生成的教学内容场景数量，调配实例化课堂场景所需要XR应用服务器，根据云服务器集群内所有XR应用服务器闲置的CPU、显卡等计算资源情况，教学内容场景实例所需数量，以及单个教学内容场景实例需要的计算资源，确定哪些服务器需要用来实例化教学内容场景，进一步确定各台服务器需要生成的教学内容场景实例数量。然后，沉浸式课堂管理控制中心，给这些需要实例化教学内容场景的XR应用器上的XR应用服务端发送教学内容场景实例化指令，XR应用服务端将根据指令里生成教学内容场景数量参数与沉浸式课堂配置信息，调用教学内容对应XR应用程序，生成相应数量的教学内容场景实例。沉浸式课堂管理控制中心指定各课堂场景实例的归属，完成课堂场景实例的分配，并指令属于同一个教学内容场景的场景实例建立通信连接，同步场景状态。

例如：课堂内有30位学生和1位教师，30位学生分成6组，每组5位学生，系统需要生成7个教学内容场景，其中教师1个教学内容场景，6个小组每个组1个教学内容场景。每台XR应用服务器的cpu具有16核并带3块高性能显卡，令每个教学内容场景实例只为1位师生提供沉浸式体验，每个课堂场景实例需要5核和1块高性能显卡，则系统需要为每个小组的教学内容场景生成5个教学内容场景实例，为教师的教学内容场景生成1个教学内容场景实例，共生成31个教学内容场景实例，沉浸式课堂管理控制中心调配11台完全空闲的XR应用服务器，向这11台服务器的XR应用服务端发送指令，其中10台服务器分别生成3个教学内容场景实例，另外1台服务器只生成1个教学内容场景实例，这11台服务器的XR应用服务器收到指令后，共生成31个教学内容场景实例，沉浸式课堂管理控制中心指定31个教学内容场景实例分别属于哪位师生，并命令属于同一组的教学内容场景实例建立通信连接，同步场景状态。

(4)课堂管理员或系统可以在教学管理控制中心设定各教学内容场景的三维成像区间，可以设定三维成像区间在教学内容场景的位姿，可以设置各教学内容场景体素图在课堂场景呈现的位姿与缩放尺寸。

(5)根据教学活动需求，可以动态管理教学内容场景实例的生成与销毁。例如：以图14为例，学生A需要进入教师的教学内容场景听课，分配给教师的教学内容场景1实例1没有多余的计算资源为学生A生成沉浸式体验，则沉浸式课堂管理控制中心会调配一台空闲或有足够空闲计算资源的XR应用服务器，给此服务器的XR应用服务端发送指令，实例化教师教学内容场景，生成教学内容场景1实例2，沉浸式课堂管理控制中心把此场景实例分配给学生A，此场景实例与教师的教学内容场景实例建立通信连接并同步状态，当学生A离开教师的教学内容场景时，沉浸式课堂管理控制中心会指令服务器的XR应用服务端销毁教学内容场景1实例2。

(6)当课堂教学完成时，指令XR应用服务器上的XR应用服务端销毁所有课堂场景实例与教学内容场景实例。

3、XR应用服务端：

具体功能包括：

(1)接收沉浸式课堂管理控制中心发送过来的课堂场景实例化指令，XR应用服务端将根据指令里生成课堂场景实例数量参数与沉浸式课堂配置信息，调用课堂场景模板，生成课堂场景，生成相应数量的课堂场景实例。

(2)接收沉浸式课堂管理控制中心发送过来的教学内容场景实例化指令，XR应用服务端将根据指令里生成教学内容场景数量参数与沉浸式课堂配置信息，调用教学内容对应XR应用程序，生成相应数量的教学内容场景实例。

(3)接收沉浸式课堂管理控制中心发送过来的销毁场景实例指令，销毁对应的课堂场景实例或教学内容场景实例。

4、用户端：

具体功能包括：

(1)根据师生用户体验需求，与课堂场景实例或教学内容场景实例建立通信连接；

(2)采集师生用户终端的定位数据、互动操作等，发送给场景实例；

(3)接收场景实例发功过来的沉浸式体验画面，并显示给用户；

(4)当用户同时进入多个场景时，用户可以通过用户端设置各场景在用户体验空间的三维显示区间，还可以设置场景在用户体验空间呈现的位姿以及缩放比例；

5、流媒体服务端：

安装在流媒体服务器，接收教学内容场景实例实时发送过来的体素图，汇总后发送到各课堂场景实例。

本发明基于XR技术的沉浸式课堂构建方法的有益效果是：本发明通过上述技术方案，包括以下步骤：步骤S10，配置沉浸式课堂：配置课堂的基础参数、课堂的教学内容，所述课堂的基础参数至少包括师生姓名、课堂开始时间信息；步骤S20，生成沉浸式课堂场景，并分配课堂场景实例给师生：调用课堂场景模板，根据所述沉浸式课堂配置信息，生成课堂场景，实例化课堂场景，把课堂场景实例分配给师生；步骤S30，生成教学内容场景，并把教学内容场景实例分配给师生：根据所述教学内容，读取课程XR教学资源，根据学生分组情况，生成单个或多个教学内容场景，实例化教学内容场景，把教学内容场景实例分配给师生；步骤S40，课堂场景加载教学内容场景：为所有教学内容场景都分别指定三维成像区间，各教学内容场景在其成像区间的部分经过缩放呈现在课堂场景指定位置与姿态角；步骤S50，根据教学活动需求，师生进行场景切换：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换，构建的沉浸式课堂使得沉浸式教学可管可控。

为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有基于XR技术的沉浸式课堂构建程序，所述基于XR技术的沉浸式课堂构建程序被处理器运行时执行如上实施例所述的方法的步骤，这里不再赘述。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。