元宇宙虚拟场景的动作交互方法、装置、系统及存储介质

摘要

本发明提供了一种元宇宙虚拟场景的动作交互方法、装置、系统及存储介质，涉及元宇宙技术领域。所述处理方法包括步骤：采集用户的坐标信息，根据坐标的变化，确定用户在现实空间中的现实移动轨迹；获取现实移动虚拟场景中对应现实移动轨迹的虚拟移动轨迹；判断虚拟移动轨迹是否与现实移动轨迹匹配；不匹配时，调取现实移动轨迹对应的现实用户模型，对该现实用户模型进行采样，并基于预设的理论映射关系，确定与前述现实移动轨迹匹配的，在虚拟移动轨迹下虚拟用户模型的移动轨迹和/或坐标位置。本发明在用户现实移动轨迹和虚拟移动轨迹不一致时，对现实用户模型进行采样和分析，得到用户在虚拟空间中的移动轨迹和/或坐标位置。

说明书

技术领域

本发明涉及元宇宙技术领域，尤其涉及元宇宙虚拟场景的动作交互方法。

背景技术

元宇宙(Metaverse)是一种由物联网技术、区块链技术、交互技术、人工智能技术、网络及运算技术等科学技术来进行与现实世界交互的虚拟世界。用户通过元宇宙进行虚拟场景，能够突破时间和空间的束缚，并且能够身临其境地实现自己的旅游梦。

元宇宙虚拟场景是现有的一个大热的概念，所谓虚拟场景，指的是建立在现实场景基础上，利用虚拟现实技术，通过模拟或超现实景，构建一个虚拟的三维立体场景环境，网友足不出户，就能在三维立体的虚拟环境中遍览遥在万里之外的风光美景，也能在该虚拟环境中走街串巷，从而应用计算机技术实现场景的三维模拟，使操作者感受目的地场景的美好风光。

而当前存在的技术问题是，会存在用户在现实空间中的移动轨迹和肢体动作与用户在虚拟空间中呈现的移动轨迹和肢体动作不一致的情况。例如，用户的现实移动轨迹是走了一个半圆，而对应用户在虚拟场景中则是走了一条直线。又比如，用户在现实空间中走过一段回旋楼梯，而虚拟移动轨迹对应的则是用户在虚拟场景中走过一个十字路口的斑马线。

为此，提供一种元宇宙虚拟场景的动作交互方法、装置、系统及存储介质，以解决现实空间中移动轨迹与虚拟空间中移动轨迹的不一致时，导致虚拟空间中用户模型的移动轨迹定位和肢体动作的呈现发生偏移，即现实空间中用户的移动轨迹、肢体动作和虚拟空间中用户的移动轨迹、肢体动作不一致，是当前亟需解决的技术问题。

发明内容

本发明的目的在于：克服现有技术的不足，提供一种元宇宙虚拟场景的动作交互方法、装置、系统及存储介质，本发明能够采集在现实空间中用户的坐标信息，根据坐标的变化，确定用户在现实空间中的现实移动轨迹；所述现实移动轨迹对应有现实用户模型，所述现实用户模型中记录有用户基本属性参数和用户动态参数；获取前述现实移动轨迹以及用户在虚拟场景中对应现实移动轨迹的虚拟移动轨迹；判断前述虚拟移动轨迹是否与现实移动轨迹匹配；判定不匹配时，调取前述现实移动轨迹对应的现实用户模型，对该现实用户模型进行采样，并基于预设的理论映射关系，确定与前述现实移动轨迹匹配的，在虚拟移动轨迹下虚拟用户模型的移动轨迹和/或坐标位置。

为解决现有的技术问题，本发明提供了如下技术方案：

一种元宇宙虚拟场景的动作交互方法，其特征在于，包括步骤：

采集在现实空间中用户的坐标信息，根据坐标的变化，确定用户在现实空间中的现实移动轨迹；所述现实移动轨迹对应有现实用户模型，所述现实用户模型中记录有用户基本属性参数和用户动态参数；获取前述现实移动轨迹以及用户在虚拟场景中对应现实移动轨迹的虚拟移动轨迹；判断前述虚拟移动轨迹是否与现实移动轨迹匹配；判定不匹配时，调取前述现实移动轨迹对应的现实用户模型，对该现实用户模型进行采样，并基于预设的理论映射关系，确定与前述现实移动轨迹匹配的，在虚拟移动轨迹下虚拟用户模型的移动轨迹和/或坐标位置；所述理论映射关系能够展示现实移动轨迹和虚拟移动轨迹的对应关系。

进一步，对所述采样设置检测周期，并基于预设的帧频选取与时间点对应的现实用户模型进行采样。

进一步，所述采样包括步骤：选取任一时间点对应的现实用户模型；对该现实用户模型进行虚拟剖切，以得到具有前述现实用户模型的切片平面；在前述切片平面上获取人体区域内至少三个不重合且不共线的采样点。

进一步，所述虚拟剖切是指对前述现实用户模型进行断层扫描，得到多个具有人体切片的切片平面；所述切片平面与用户运动方向相互垂直。

进一步，所述用户运动的部位包括躯干、头部和四肢中的至少一种；所述用户运动方向包括躯干运动方向、头部运动方向和四肢运动方向中的至少一种；根据预设的用户行动方向选取规则，确定任一时间点下的用户运动方向。

进一步，对前述采样点进行连线；将切片平面的坐标位置，转换为虚拟场景中对应的坐标位置。

进一步，根据采集到的用户在现实空间中的坐标信息和坐标的变化，结合用户行走速率和用户行走方向，实时更新用户的坐标信息。

一种元宇宙虚拟场景的动作交互装置，其特征在于，包括结构：

信息采集单元，用以采集在现实空间中用户的坐标信息，根据坐标的变化，确定用户在现实空间中的现实移动轨迹；所述现实移动轨迹对应有现实用户模型，所述现实用户模型中记录有用户基本属性参数和用户动态参数；

信息获取单元，用以获取前述现实移动轨迹以及用户在虚拟场景中对应现实移动轨迹的虚拟移动轨迹；

信息判断单元，用以判断前述虚拟移动轨迹是否与现实移动轨迹匹配；

信息定位单元，用以调取前述现实移动轨迹对应的现实用户模型，对该现实用户模型进行采样，并基于预设的理论映射关系，确定与前述现实移动轨迹匹配的，在虚拟移动轨迹下虚拟用户模型的移动轨迹和/或坐标位置；所述理论映射关系能够展示现实移动轨迹和虚拟移动轨迹的对应关系。

一种元宇宙虚拟场景的动作交互系统，其特征在于，所述系统包括动作交互模块和系统服务器：

所述动作交互模块，用于采集在现实空间中用户的坐标信息，根据坐标的变化，确定用户在现实空间中的现实移动轨迹；所述现实移动轨迹对应有现实用户模型，所述现实用户模型中记录有用户基本属性参数和用户动态参数，以及，获取前述现实移动轨迹以及用户在虚拟场景中对应现实移动轨迹的虚拟移动轨迹；

所述系统服务器被配置为：判断前述虚拟移动轨迹是否与现实移动轨迹匹配；判定不匹配时，调取前述现实移动轨迹对应的现实用户模型，对该现实用户模型进行采样，并基于预设的理论映射关系，确定与前述现实移动轨迹匹配的，在虚拟移动轨迹下虚拟用户模型的移动轨迹和/或坐标位置；所述理论映射关系能够展示现实移动轨迹和虚拟移动轨迹的对应关系。

一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述元宇宙虚拟场景的动作交互方法的实施步骤。

基于上述优点和积极效果，本发明的优势在于：针对现实空间中现实移动轨迹与虚拟空间中虚拟移动轨迹不一致的情况，将用户的现实移动轨迹对应的用户模型基于虚拟剖切方式，即对采样的用户模型进行断层扫描的方式得到具有人体切片的切片平面，对切片平面上的采样点实现切片平面在虚拟空间中的坐标位置转换，从而得到虚拟空间中完整的用户模型和坐标信息，以此来确定用户在虚拟空间中的移动轨迹和/或肢体动作。

附图说明

图1为本发明实施例提供的一个流程图。

图2为本发明实施例提供的另一个流程图。

图3为本发明实施例提供的客户端的结构示意图。

图4为本发明实施例提供的系统的结构示意图。

附图标记说明：

装置200，信息采集单元201，信息获取单元202，信息判断单元203，信息定位单元204；

系统300，动作交互模块301，系统服务器302。

具体实施方式

以下结合附图和具体实施例对本发明公开的一种元宇宙虚拟场景的动作交互方法、客户端及系统作进一步详细说明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

需说明的是，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响发明所能产生的功效及所能达成的目的下，均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现，其中可以不按所述的或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

实施例

参见图1所示，为本实施例提供的一个流程图。所述方法的实施步骤S100如下：

S101，采集在现实空间中用户的坐标信息，根据坐标的变化，确定用户在现实空间中的现实移动轨迹；所述现实移动轨迹对应有现实用户模型，所述现实用户模型中记录有用户基本属性参数和用户动态参数。

在执行前述采集操作时，可使用的装置包括但不限制于数码相机、手机和三维扫描装置等能够采集现实空间中用户模型的设备。

所述现实用户模型能够预先存储在系统中。通过对现实空间中用户的形体、步态和拾物等姿势的扫描，以及数据加工和数据处理后，得到二维现实用户模型和/或三维现实用户模型。

所述现实用户模型能够存储用户在现实空间中行走、移动等操作时，对应的用户基本属性参数和用户动态参数。

所述用户基本属性参数，作为举例，比如用户实际的身体尺寸数据、姿态数据、习惯表情数据、习惯动作数据等。同一用户的用户基本属性参数，一般是不改变的。也就是说，某个用户在现实空间中的多个现实移动轨迹，对应的是同一个用户基本属性参数。

所述用户动态参数则与现实移动轨迹一一对应设置。即所述用户动态参数对应用户在现实空间中的移动信息，都会通过用户动态参数记录下来，每条现实移动轨迹都对应有自己的用户动态参数。

S102，获取前述现实移动轨迹以及用户在虚拟场景中对应现实移动轨迹的虚拟移动轨迹。

所述虚拟场景包括但不限制于虚拟旅游场景、虚拟街景和虚拟游戏场景等。

由于前述元宇宙虚拟场景中涉及的坐标定位与现实空间中的坐标定位存在差异，因此，要将现实空间中用户的坐标信息和用户坐标的变化，转换为虚拟场景中用户的坐标信息和虚拟场景中用户坐标的变化。

S103，判断前述虚拟移动轨迹是否与现实移动轨迹匹配；

在将现实移动轨迹转换为虚拟移动轨迹的过程中，会由于二者的移动轨迹存在不对应的状况，例如用户在现实空间中走过一段回旋楼梯，虚拟移动轨迹对应的则是用户在虚拟场景中走过一个十字路口的斑马线。而实际上则是需要虚拟移动轨迹对应用户在虚拟场景中走过一段回旋楼梯。为此，需要对现实移动轨迹和虚拟移动轨迹的匹配与否进行判断。

S104，判定不匹配时，调取前述现实移动轨迹对应的现实用户模型，对该现实用户模型进行采样，并基于预设的理论映射关系，确定与前述现实移动轨迹匹配的，在虚拟移动轨迹下虚拟用户模型的移动轨迹和/或坐标位置；所述理论映射关系能够展示现实移动轨迹和虚拟移动轨迹的对应关系。

所述理论映射关系能够体现前述现实移动轨迹和虚拟移动轨迹的匹配关系，例如，在用户的现实移动轨迹是走了一个半圆，对应用户在虚拟场景中也走了一个半圆。

还需要说明的是，所述映射关系可以是以下三种对应关系：现实空间中用户的现实移动轨迹和虚拟场景中用户虚拟移动轨迹之间的对应关系；现实空间中用户的现实肢体动作和虚拟场景中用户的虚拟肢体动作之间的对应关系；以及，现实空间中用户的现实移动轨迹和现实肢体动作的组合与虚拟场景中用户的虚拟移动轨迹和虚拟肢体动作组合后，两个组合间的对应关系。

优选的，对所述采样设置检测周期，并基于预设的帧频选取与时间点对应的现实用户模型进行采样。

所述检测周期可以设置为分、秒或微秒等。

例如，在一个检测周期中，一个检测周期为秒，每秒下,能得到60帧画面，其帧频为5，则该以秒为检测周期时，能提取12帧画面对应的用户模型，并对其进行虚拟剖切。

在本实施例的优选实施方式中，虚拟剖切的对象是一个检测周期下任一时间点一帧画面对应的用户模型。

参见图2所示，为本实施例中的另一个流程图，以其中的任一时间点的采样为例，所述采样包括步骤S110：

S111，选取任一时间点对应的现实用户模型。

S112，对该现实用户模型进行虚拟剖切，以得到具有前述现实用户模型的切片平面。

所述虚拟剖切通过使用断层扫描的方式，能够以任何厚度和/或任何角度得到所切割的用户模型中各层面结构，即得到一片片具有人体切片的切片平面。

作为优选的实施方式之一，在进行所述虚拟剖切时，能够优选对三维现实用户模型进行虚拟剖切。

由于采样时采取虚拟剖切方式所参照的坐标系为现实空间坐标系，即预设XYZ轴的坐标系，从而使所述切片平面中含有用户人体切片面积数据。

在虚拟剖切中，可以设置虚拟剖切的厚度和/或角度。在本实施例的优选实施方式中，所述切片平面与用户运动方向相互垂直，即所述角度为90度，而所述厚度则可以根据分析需求进行自定义调整。因此，在进行虚拟剖切时，虚拟剖切的方向与用户运动方向垂直。

假设，检测周期为t秒，则得到一帧对应时间点下用户模型所需的时间为t/n秒，其中，n为预设的检测周期内的帧频数。根据扫描反馈计算出在每个t/n时间段中全身关节的坐标位置。

如果用户躯干发生了明显的位移，则将躯干中的每个坐标所对应的参数变化信息生成多组近似同方向的切线方程，在所有切线方程的正向方向向量相加后，求取平均方向向量，并将该平均方向向量的指向方向作为最终的用户运动方向。最后，得到与用户移动方向垂直的切片平面，获取切片平面上用户的人体切片信息。

S113，在前述切片平面上，获取人体区域内至少三个不重合且不共线的采样点。

在获取前述采样点时，能够同时得到前述采样点对应的采样点信息，所述采样点信息包括用户模型基于现实空间坐标系对应的采样点坐标位置。

优选的，所述虚拟剖切是指对前述现实用户模型进行断层扫描，得到多个具有人体切片的切片平面；所述切片平面与用户运动方向相互垂直。

优选的，所述用户运动的部位包括躯干、头部和四肢中的至少一种；所述用户运动方向包括躯干运动方向、头部运动方向和四肢运动方向中的至少一种；根据预设的用户行动方向选取规则，确定任一时间点下的用户运动方向。

所述用户运动方向可以是进行前进、后退、左转、右转，跳跃、下蹲等各种动作时形成的运动方向。

所述用户运动方向可分为躯干运动方向、四肢运动方向和头部运动方向，所述四肢运动方向由在单位时间内四肢中运动幅度最大的肢体来确定最终的运动方向，所述运动幅度为单位时间内各个肢体在现实空间中运动时扫过的曲面面积，其中，确定最终运动方向的优先级降序排序为躯干运动方向、四肢运动方向和头部运动方向。

作为举例而非限制，当躯干、四肢和头部都在运动时，把躯干运动方向作为用户运动方向；当躯干不动、四肢和头部在运动时，把四肢中运动幅度最大的肢体运动方向作为用户运动方向；当躯干和四肢不动，仅头部在运动时，把头部运动方向作为用户运动方向。

优选的，对前述采样点进行连线；将切片平面的坐标位置，转换为虚拟场景中对应的坐标位置。

所述转换能够将用户的现实移动轨迹映射为虚拟移动轨迹，并以虚拟空间坐标系的形式进行呈现。例如，在用户的现实移动轨迹是走了一个半圆，对应用户在虚拟场景中走了一条半圆。

所述转换前，对照现实用户模型预设人体坐标系，将现实用户模型导入前述人体坐标系，对该人体坐标系上的坐标数据进行首次设置。

作为本实施例优选实施方式之一，可以默认用户的头顶顶部为坐标系原点，垂直地表活动平面向上的方向为Z轴方向，以人体左肩为朝向并垂直于Z轴的轴向为Y轴方向，之后以人体正前方为朝向并垂直于YOZ面的轴向为X轴方向，将这个坐标系称为人体坐标系，每个随机生成的采样点都有参照所述人体坐标系所生成的具体坐标点；从而，将基于人体采样点对应到虚拟场景中人体坐标系进行映射生成，以确定当前在虚拟空间中的采样点坐标位置。

在前述切片平面上获取人体区域内至少三个不重合且不共线的采样点，对这些采样点进行连线，能够得到这些采样点对应切片平面的坐标信息，之后再将该切片平面的坐标信息映射为在虚拟空间中这一时间点下切片平面对应的虚拟移动轨迹和坐标位置。

同样以用户下蹲为例，得到用户在下蹲动作中任一帧用户模型进行虚拟剖切后，能够得到人体动作信息的m个切片平面。参照人体坐标系，在每个切片平面中的人体剖面区域随机获取至少三个采样点，则所有切片平面上一共有至少3m个采样点，且每个采样点都有基于人体坐标系的具体坐标点；在现实空间中计算用户头顶离地面的距离，之后将这个距离映射到虚拟空间中，从而生成在虚拟空间中的头顶坐标原点，并建立在虚拟空间中的人体坐标系，根据在现实空间中基于人体坐标系的所有采样点坐标信息，将现实空间中的采样点坐标映射到虚拟空间中。

作为举例而非限制，由虚拟剖切得到任一左膝盖切片上的三个采样点坐标分别为(0.05m,0.25m,-0.8m)、(0.04m,0.22m,-0.8m)、(0.01m,0.18m,-0.8m)。之后，可以根据这些采样点信息来确定左膝盖切片平面在虚拟空间中的坐标信息。

此外，人体上的其他关节坐标点信息也参照左膝盖切片的方式来确定，最后将这一时间点下所有切片平面都采用上述步骤执行后，确定用户在虚拟场景下的虚拟移动轨迹和坐标位置。

可选的，在映射时，由于每个在切片平面上的人体切片，其切片轮廓线上都带有像素值，因此，在汇总前述映射关系后，能得到虚拟空间中用户模型的人体像素信息。

以下蹲为实施例，由于在现实空间里所截得的切片平面中带有人体切片轮廓线与采样点到人体切片轮廓线的距离是恒定不变的。因此，可根据在虚拟空间中生成的切片平面、虚拟空间中的采样点坐标和现实空间中的采样点到轮廓线上各个点的距离计算出每个人体切片在虚拟空间中的坐标信息，并将在虚拟空间中的所有切片平面进行汇总，在虚拟空间中还原出在这一时间点下彩色的虚拟用户模型和在虚拟场景下的坐标信息。

优选的，根据采集到的用户在现实空间中的坐标信息和坐标的变化，结合用户行走速率和用户行走方向，实时更新用户的坐标信息。

所述位置变化信息中包含用户行走速率信息和用户运动方向信息。

在实时更新用户的坐标信息的同时，还能够向虚拟场景反馈用户坐标信息，从而根据用户的现实坐标信息更新，同步用户在虚拟空间中的位置画面与声音信息。

其它技术特征参考在前实施例，在此不再赘述。

参见图3所示，本发明还给出了一个实施例，提供了一种元宇宙虚拟场景的动作交互装置200，其特征在于，包括结构：

信息采集单元201，用以采集在现实空间中用户的坐标信息，根据坐标的变化，确定用户在现实空间中的现实移动轨迹；所述现实移动轨迹对应有现实用户模型，所述现实用户模型中记录有用户基本属性参数和用户动态参数。

信息获取单元202，用以获取前述现实移动轨迹以及用户在虚拟场景中对应现实移动轨迹的虚拟移动轨迹。

信息判断单元203，用以判断前述虚拟移动轨迹是否与现实移动轨迹匹配。

信息定位单元204，用以调取前述现实移动轨迹对应的现实用户模型，对该现实用户模型进行采样，并基于预设的理论映射关系，确定与前述现实移动轨迹匹配的，在虚拟移动轨迹下虚拟用户模型的移动轨迹和/或坐标位置；所述理论映射关系能够展示现实移动轨迹和虚拟移动轨迹的对应关系。

此外，参见图4所示，本发明还给出了一个实施例，提供了一种元宇宙虚拟场景的动作交互系统300，其特征在于，所述系统300包括动作交互模块301和系统服务器302。

所述动作交互模块301，用于采集在现实空间中用户的坐标信息，根据坐标的变化，确定用户在现实空间中的现实移动轨迹；所述现实移动轨迹对应有现实用户模型，所述现实用户模型中记录有用户基本属性参数和用户动态参数，以及，获取前述现实移动轨迹以及用户在虚拟场景中对应现实移动轨迹的虚拟移动轨迹。

所述系统服务器302被配置为：判断前述虚拟移动轨迹是否与现实移动轨迹匹配；判定不匹配时，调取前述现实移动轨迹对应的现实用户模型，对该现实用户模型进行采样，并基于预设的理论映射关系，确定与前述现实移动轨迹匹配的，在虚拟移动轨迹下虚拟用户模型的移动轨迹和/或坐标位置；所述理论映射关系能够展示现实移动轨迹和虚拟移动轨迹的对应关系。

其它技术特征参见在前实施例，在此不再赘述。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有程序，用于前述元宇宙虚拟场景的动作交互装置中，所述程序被处理器执行时，能够实现上述任一项所述元宇宙虚拟场景的动作交互方法的步骤。

其它技术特征参见在前实施例，在此不再赘述。

在上面的描述中，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。

虽然已出于说明的目的描述了本公开内容的示例方面，但是本领域技术人员应当意识到，上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明的优选实施方式的范围包括另外的实现，其中可以不按所述出现或讨论的顺序来执行功能。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。