基于数字孪生元宇宙的社会认知评估训练系统

摘要

本发明涉及虚拟现实技术领域，具体公开了一种基于数字孪生元宇宙的社会认知评估训练系统，所述系统包括人物构建模块，用于构建虚拟人；动态调整模块，用于实时捕捉用户的体态信息，根据所述体态信息实时调整虚拟人，得到各个时间点的虚拟人；场景测试模块，用于在预设的训练内容库中读取并显示场景及任务项，读取显示过程中的虚拟人的动态信息；报告生成模块，用于根据所述动态信息生成用户的评估报告。本发明通过一种在虚拟现实场景中使用脸部表情捕捉、眼动设备、动作捕捉设备进行游戏化评估和训练的方法，以反应真实人物的生物反馈数据结合用户在游戏中的行为分析数据来进行认知功能评估，从而解决传统评分技术中依赖主观判断的缺点。

说明书

技术领域

本发明涉及虚拟现实技术领域，具体是一种基于数字孪生元宇宙的社会认知评估训练系统。

背景技术

目前并没有系统性的在元宇宙环境下通过数字孪生的方法进行认知训练的方法。部分技术解决了局部的问题，例如如何通过数字孪生将现实世界中的实物转化到虚拟世界，又例如在虚拟现实场景下针对社会认知功能中情绪表达的诱发和监控，以及通过语音识别和人脸数据进行情绪识别的技术。但这些都是作为底层技术或者针对局部认知功能的方法。而应用层面如CN202111462457也忽略了在社交场景下对社会认知能力的训练方法，此外，现有技术中还缺少了对训练效果的定量评估方法。

发明内容

本发明的目的在于提供一种基于数字孪生元宇宙的社会认知评估训练系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于数字孪生元宇宙的社会认知评估训练系统，所述系统包括：

人物构建模块，用于获取用户的人口学信息和认知信息，根据人口学信息和认知信息构建虚拟人；

动态调整模块，用于实时捕捉用户的体态信息，根据所述体态信息实时调整虚拟人，得到各个时间点的虚拟人；

场景测试模块，用于在预设的训练内容库中读取并显示场景及任务项，读取显示过程中的虚拟人的动态信息；其中，所述动态信息为一段时间内该虚拟人的所有帧数据；

报告生成模块，用于根据所述动态信息生成用户的评估报告。

作为本发明进一步的方案：所述人物构建模块包括：

人口学信息录入单元，用于获取人口学信息；所述人口学信息包括姓名、年龄、性别、受教育程度和职业；

认知信息录入单元，用于基于预设的认知量表获取认知信息；所述认知量表包括智能精神状态检查量表、蒙特利尔认知评估量表、长谷川式简易智能量表、认知障碍自评量表、临床痴呆评定量表、阿尔兹海默病评分量表-认知分表、数字广度倒背表、语言流畅性测试表、韦氏数字符号测验表、广泛性焦虑量表、汉密尔顿焦虑量表、汉密尔顿抑郁量表、抑郁自评量表、Berg平衡量表、Fugl-Meyer平衡量表和ADL日常生活能力量表。

作为本发明进一步的方案：所述动态调整模块包括：

面部数据捕捉单元，用于捕捉面部数据；

表情提取单元，用于根据训练好的人工智能算法提取所述面部数据中的表情数据，将所述表情数据转换为情绪数据；

眼动数据捕捉单元，用于捕捉眼动数据，所述眼动数据包括眼动轨迹及眼动频率；

动作捕捉单元，用于采集和分析用户的身体动作和运动轨迹；

数据处理单元，用于根据面部数据、情绪数据、眼动数据、身体动作和运动轨迹确定调节信息，根据调节信息对虚拟人进行调节，得到虚拟人在各个时间点的状态。

作为本发明进一步的方案：所述场景测试模块包括：

任务接收单元，用于接收工作人员输入的场景和生活任务；

虚拟场景搭建单元，用于根据所述场景和生活任务构建并显示虚拟场景、物品和任务机制；

虚拟场景修正单元，用于开放信息输入端口，基于所述信息输入端口获取调节指令，根据所述调节指令修正虚拟场景、物品和任务机制。

作为本发明进一步的方案：所述报告生成模块包括：

评分单元，用于根据预设的评分公式计算训练内容的相关性评分；

排序筛选单元，用于根据所述相关性评分对训练内容进行降序排序，按顺序在排序后的训练内容中选取预设数量的训练内容；

参数设置单元，用于在选取的训练内容中设置不同的训练参数；所述训练参数包括难度等级、训练时长、内部物品的移动速度和出现频率；

用户分类单元，用于根据训练参数对用户进行分类。

作为本发明进一步的方案：所述评分公式包括：

其中，C为某个认知单元的评估得分；n为认知单元的总个数，w相应认知单元的权重；所述认知单元用于表征用户的认知能力；所述认知单元包括面部表情、身段表情、言语表情、言语表达、听理解、阅读理解、反应时间、手眼协调。

作为本发明进一步的方案：所述系统还包括通信模块，用于通过远程通信协议获取用户数据并保存至云端设备；通过云端设备分发保存的数据，同步至相关用户的终端设备。

作为本发明进一步的方案：所述系统还包括交易管理模块，用于搭建基于虚拟币的交易平台，根据用户的评估报告生成奖励信息。

与现有技术相比，本发明的有益效果是：本发明通过一种在虚拟现实场景中使用脸部表情捕捉、眼动设备、动作捕捉设备进行游戏化评估和训练的方法，以反应真实人物的生物反馈数据结合用户在游戏中的行为分析数据来进行认知功能评估，从而解决传统评分依赖主观判断的缺点；系统的评估过程无需人员监督从而减少人力成本。

本发明基于评估结果进行个性化训练内容定制来解决缺少个性化训练的问题，加上VR沉浸式的训练场景和趣味化的游戏训练内容缓解依赖人力监督和训练枯燥的问题。

本发明借助元宇宙的三个核心要素，通过对数字孪生的虚拟人和虚拟场景的建立使得用户之间能够模拟真实世界的训练内容；通过互联网技术使得多人同时在线成为可能，进而模拟人与人之间的真实社交；通过虚拟币的经济系统对社会认知训练产生激励，并强化真实世界的模拟程度；在上述技术手段的基础上得以对不同认知水平的用户实施个性化的训练内容，并定量控制变量参数，达到更精准的训练目标。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为基于数字孪生元宇宙的社会认知评估训练系统的架构图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例中，一种基于数字孪生元宇宙的社会认知评估训练系统，所述系统包括：

人物构建模块，用于获取用户的人口学信息和认知信息，根据人口学信息和认知信息构建虚拟人；

动态调整模块，用于实时捕捉用户的体态信息，根据所述体态信息实时调整虚拟人，得到各个时间点的虚拟人；

场景测试模块，用于在预设的训练内容库中读取并显示场景及任务项，读取显示过程中的虚拟人的动态信息；其中，所述动态信息为一段时间内该虚拟人的所有帧数据；

报告生成模块，用于根据所述动态信息生成用户的评估报告。

过往的认知功能训练往往针对个人对于事物的认知能力，而社会认知需要在真实的社交场景下对于人际间关系的处理进行认知功能的训练。在传统的技术层面由于缺少表情识别、情绪识别因而难以对社会认知进行有效的模拟和评估。而由于人工智能技术的成熟，加上数字孪生技术、区块链技术的出现，又得以在虚拟现实的环境中通过数据化生成的虚拟人和以虚拟币为手段的经济系统来模拟真实的社会生活，从而使得社会认知功能的评估和训练成为了可能。

本发明就是基于已有的情绪识别、数字孪生以及元宇宙等技术实现一套社会认知功能的评估和训练方法。

在本发明技术方案的一个实例中，基于数字孪生技术通过对真实世界人物数据的捕捉，在虚拟世界中构建一个等效的虚拟人。对于社会认知的评估训练而言，虚拟人需要具备与真实人物同等效力的人物表情、部分身体动作、眼球视线轨迹以及交互行为。这些可以通过系统组成中所述方法(摄像头、动作捕捉技术等)进行数据的采集并按一定的协议在虚拟世界中构建相对应的虚拟人模型与行为。

作为本发明技术方案的一个优选实施例，所述人物构建模块包括：

人口学信息录入单元，用于获取人口学信息；所述人口学信息包括姓名、年龄、性别、受教育程度和职业；

认知信息录入单元，用于基于预设的认知量表获取认知信息；所述认知量表包括智能精神状态检查量表、蒙特利尔认知评估量表、长谷川式简易智能量表、认知障碍自评量表、临床痴呆评定量表、阿尔兹海默病评分量表-认知分表、数字广度倒背表、语言流畅性测试表、韦氏数字符号测验表、广泛性焦虑量表、汉密尔顿焦虑量表、汉密尔顿抑郁量表、抑郁自评量表、Berg平衡量表、Fugl-Meyer平衡量表和ADL日常生活能力量表。

作为本发明技术方案的一个优选实施例，所述动态调整模块包括：

面部数据捕捉单元，用于捕捉面部数据；

表情提取单元，用于根据训练好的人工智能算法提取所述面部数据中的表情数据，将所述表情数据转换为情绪数据；

眼动数据捕捉单元，用于捕捉眼动数据，所述眼动数据包括眼动轨迹及眼动频率；

动作捕捉单元，用于采集和分析用户的身体动作和运动轨迹；

数据处理单元，用于根据面部数据、情绪数据、眼动数据、身体动作和运动轨迹确定调节信息，根据调节信息对虚拟人进行调节，得到虚拟人在各个时间点的状态。

请参阅图1，在本发明技术方案的一个实例中，系统包括数据预录入模块、实时交互模块、通信模块、云端计算服务模块和结果展示模块，具体的：

数据预录入模块包含用户的基本人口学信息的录入和认知量表信息的录入。其中数据预录入设备可以是鼠标键盘为交互手段的常规计算机设备，也可以是触控显示一体机或者平板电脑、手机等设备。

实时交互模块包含面部表情数据、动作捕捉数据、眼动数据、语音数据和游戏行为数据的采集。其中面部表情数据通过摄像头捕捉用户的面部数据，再通过人工智能算法将面部数据进行分析得到表情数据，再将表情数据识别成相应的情绪数据。眼动数据通过摄像头捕捉眼球轨迹、眨眼等数据。动作捕捉通过摄像头、惯性传感器、肌电信号传感器等设备将用户的身体动作、运动轨迹等运动数据进行采集和分析。系统中的实时训练模块会根据用户的表情、眼动、身体动作和游戏行为实时给与交互反馈，从而进行认知训练；系统中的评估结果分析模块则会根据对这些数据的分析给出评估结果。

云端计算服务模块包括评估模块(常模分析和评估结果分析)、训练模块(个性化训练内容和虚拟经济系统模块)和数据存储模块；

通信模块使用互联网通信协议，数据会通过远程通信协议上传服务器并在服务端保存；同时，通过云端设备的数据分发，同步到相关用户的终端设备，使得多人在同场景下进行同步的实时交互训练成为可能；

结果展示模块包含结果的显示，可以在各种类型的显示终端进行显示(例如手机、平板电脑、大屏幕显示器)。

作为本发明技术方案的一个优选实施例，所述场景测试模块包括：

任务接收单元，用于接收工作人员输入的场景和生活任务；

虚拟场景搭建单元，用于根据所述场景和生活任务构建并显示虚拟场景、物品和任务机制；

虚拟场景修正单元，用于开放信息输入端口，基于所述信息输入端口获取调节指令，根据所述调节指令修正虚拟场景、物品和任务机制。

通过对现实生活中涵盖的部分场景、生活任务和挑战，在虚拟世界中构建相应的虚拟场景、物品和任务机制，从而让用户在还原真实世界的过程中进行社会认知训练。

作为本发明技术方案的一个优选实施例，所述报告生成模块包括：

评分单元，用于根据预设的评分公式计算训练内容的相关性评分；

排序筛选单元，用于根据所述相关性评分对训练内容进行降序排序，按顺序在排序后的训练内容中选取预设数量的训练内容；

参数设置单元，用于在选取的训练内容中设置不同的训练参数；所述训练参数包括难度等级、训练时长、内部物品的移动速度和出现频率；

用户分类单元，用于根据训练参数对用户进行分类。

具体的，所述评分公式包括：

其中，C为某个认知单元的评估得分；n为认知单元的总个数，w为相应认知单元的权重；所述认知单元用于表征用户的认知能力；所述认知单元包括面部表情、身段表情、言语表情、言语表达、听理解、阅读理解、反应时间、手眼协调。

所述报告生成模块描述了具体的应用过程，需要举例进行说明；在举例说明之前，对认知单元的划分过程进行了具体的限定，如下：

本系统综合神经心理学的不同分类方式以及社会认知学的分类方法，将目标认知单元划分为一级单元以及一级单元下的二级单元，结构如下：

表1认知单元划分表

可以看到，评分公式中的认知单元，指的是上述二级单元。

具体的，对于评估内容，这里举几个典型的实施例子，实际应用过程中不应当局限于这几个例子。

让用户完成3项认知评估训练游戏，3项评估训练游戏分别为“你划我猜”、“超市购物”和“多人乒乓”。

1、“你划我猜”：一名用户可以看到随机出现答案(一个词语)，该用户需要用动作或者语言对该词语进行描述，过程不得出现该词语的任何字。另一名用户根据前者的动作和语言描述猜该词语。

系统会记录用户表现和眼动轨迹数据，并通过计算平局值得到用户的“面部视线停留率”、“回答正确率”、“反应时间”、“表情变化率”、“姿势变化率”和“言语量”这6种数据指标。其中：

面部视线停留率＝回答问题者在描述者面部的眼动轨迹点数/总眼动轨迹点数回答正确率＝答对数量/问题数量

反应时间＝各问题出现到回答的时间长度总和/问题数量

表情变化率＝表情变化的次数/总时长

姿势变化率＝肢体平均运动速度

言语量＝语言表达中的字数总和。

2、“超市购物”：系统会用户随机指定一些采购任务，任务指令会通过语言或者文字的形式给用户，过程中用户可以用语言和其他用户交流，讨论完成任务的方案。系统会记录用户表现，并通过计算平均值得到用户的“语音指令执行正确率”、“文字指令执行正确率”、“回答时间”和“言语量”。

3、“多人乒乓”：2-4人的乒乓对战游戏，用户通过动作捕捉、惯性传感器或者肌电传感设备来进行操控。系统会记录用户表现，并通过计算平均值得到用户的“接球遗漏率”和“得分率”。

最后，每个评估训练游戏都对应不同的认知单元，根据用户在这3项评估训练游戏中的行为表现，可以得到各游戏对应的原始得分X。各游戏和认知单元的对应关系如下：

表2评分模板表

依照此方法取若干用户作为样本，并按照人口学信息和认知评估量表的得分将样本用户进行分类。并对样本进行评估获取原始评估结果的常模。

针对目标用户的原始得分，取对应人群的常模进行标准化处理，按照如下方法：S＝A*(X-M)/SD+B。其中X为用户的原始得分，M表示样本平均得分，SD表示样本的标准差，A和B为预设偏移参数。预设偏移参数可以根据经验值设定。

按照3个游戏所对应的认知单元的关联强度设定相应的权重值，该权重值可依据经验设定。从而各二级认知单元的得分为：

其中，S为用户在评估游戏中按照对应认知单元计算方法经过标准化后的得分，w为此游戏所对应的认知单元的相关性权重值。

下图为各评估游戏和相关认知单元的权重关系的一种实施例：

表3实际评分表

其中，一级认知单元的得分为所属二级认知单元的得分的平均值。

根据用户在评估训练游戏中得到的评估结果，生成个性化的训练方案，其步骤如下：

计算每个训练游戏的相关性评分，评分公式如下：

其中，C为某个二级认知单元的评估得分；n为二级认知单元的总个数，w为该游戏在某个二级认知单元的权重值。其权重关系的实例即为“计算评估结果”中所述。相关性评分越高即表示在此用户的评估结果下，该游戏的训练内容最能训练此用户的薄弱认知单元。

按照游戏的相关性评分R的值由大到小排序，选择最前的若干个训练内容作为此用户下一阶段的个性化训练方案。

每个训练游戏设置不同的参数梯度，参数包括难度等级、训练时长、内部物品的移动速度、出现频率等等，根据用户的认知水平提供相应的训练参数。

这里以难度等级为实施例：划分若干个游戏难度等级，根据用户得分在样本得分中的位置选择相应难度。一种实施例可以是：将游戏分为1-100级，若用户的得分为M(样本平均得分)则给与50级难度，若为M+3SD则给与100级，若为M-3SD则给与1级难度。

不同认知水平的用户可以按一定区间分配到同一个组别，从而使得水平相当的用户能够更多的进行同组训练。

按照新的训练结果给与新的认知单元评估得分，再次从个性化训练的第一步重复给与新的训练方案。

作为本发明技术方案的一个优选实施例，所述系统还包括通信模块，用于通过远程通信协议获取用户数据并保存至云端设备；通过云端设备分发保存的数据，同步至相关用户的终端设备。

互联网技术使得多人实时在线交互成为可能。每一个终端通过数字孪生技术对人物的虚拟化构建成为整个元宇宙生态中的一个主体，通过互联网技术将这些虚拟人在特定的虚拟场景和任务中实时呈现，并通过多人的任务、训练游戏形成合作、竞争的社交关系，从而对社会认知中的人际关系认知有更好的理解和学习。

作为本发明技术方案的一个优选实施例，所述系统还包括交易管理模块，用于搭建基于虚拟币的交易平台，根据用户的评估报告生成奖励信息。

在本发明技术方案的一个实例中，系统会设定一些奖励性质的内容和服务，例如特殊的虚拟人外形、衣服、装饰品。

用户在认知训练中会得到一定的虚拟币，获胜者、训练进步较快的用户系统会给与额外的虚拟币奖励。

用户可以使用虚拟币购买系统中设置的奖励性质的内容和服务。

进一步的，本发明的评估和训练内容可以是其他神经心理学实验范式改编而成的游戏，评估和训练的内容数量也不局限于3种，任何以此方式改编成的认知评估和训练游戏按照此专利中所描述基于脸部表情数据、眼动数据、动作捕捉数据、语音数据和游戏行为数据计算评估得分的方法，并基于认知评估得分进行个性化训练方案定制和难度设置的方法都应属于此专利的权利要求范围。

虚拟现实设备可以使用头戴式的虚拟现实显示设备、虚拟现实一体机设备、投影设备或者电子显示器设备。眼动设备可以是任何捕捉眼动轨迹的摄像头，摄像头可以与通用计算机设备、平板电脑、手机或者VR头显设备相集成。动作捕捉设备可以是光学动作捕捉设备、惯性传感器或者肌电设备等。

虚拟经济系统中的虚拟币可以是由区块链技术生成的非同质化代币(NFT)，也可以是传统软件技术生成的可交易积分。

具体的，为了便于本领域技术人员更好地理解本发明技术方案，对上述内容中涉及到的一些概念进行补充说明，如下：

认知功能(cognitive function)：是大脑反映客观事物的特征、状态及其相互联系，并揭示事物对人的意义与作用的判断能力，是一种高级心理功能。通常包含注意力、记忆、思维、感知觉等维度。

社会认知(social cognition)：是个体如何理解与思考他人，根据环境中的社会信息形成对他人或事物的推论。社会认知是个人对他人的心理状态、行为动机、意向等作出推测与判断的过程。社会认知的过程既是根据认知者的过去经验及对有关线索的分析而进行的，又必须通过认知者的思维活动(包括某种程度上的信息加工、推理、分类和归纳)来进行。社会认知是个体行为的基础，个体的社会行为是社会认知过程中作出各种裁决的结果。

认知功能下降：科学家发现人类能够感知到自身较之前正常状态而言有认知功能下降,并且把这种阶段称为“主观认知功能下降”(Subjective cognitive decline,简称SCD),这个阶段随后被各种研究证实与认知功能障碍密切相关。

许多研究者认为SCD是阿尔茨海默病(AD)的高危阶段:约25％的SCD患者在未来4年内发展为轻度认知功能障碍(mild cognitive impairment,简称MCI),同时这些个体在五年内的随访期内有双倍发展为痴呆的风险,如果在SCD人群中有和AD有相同基因(如APOE4)及潜在阳性标志物(如Aβ淀粉样沉积和磷酸化tau蛋白),那么这些人群会更容易进展到MCI和AD。

神经心理学实验：源于19世纪末期和20世纪早期,主要目的是在一定的刺激反应情景下，评价个体的行为，推论有关人脑结构和功能的关系。心理测验是神经心理学评定主要方法，即在控制条件下观察患者对特定刺激的行为反应。心理测验作为一种古老而又年轻的技术,为探讨大脑和行为之间的关系提供了有科学基础的评价方法。

常用的神经心理学测验主要有两类:一类是成套测验，一类是单项测验。成套测验中有专门为，神经心理学研究而设计的如HR神经心理学成套测验，有时是一般的心理测验，如韦氏成人，智力量表等:单项测验一般是专为某一或几种心理功能而设计。这里举部分神经心理学的常用测验，例如：注意力的数字广度测验、数字警觉测验、数字符号测验、数字颜色连线测验和Stroop测验；记忆功能的中文听觉词汇学习测验和Ruf路线学习测验；视觉空间觉功能的Hooer视觉组织测验和线段方向判定测验；额叶流畅性功能的词汇流畅性测验和图形流畅性测验，等等。

数字孪生(Digital Twin)：是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。数字孪生是一种超越现实的概念，可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统。最早，数字孪生思想由密歇根大学的Michael Grieves命名为“信息镜像模型”(Information Mirroring Model)，而后演变为“数字孪生”的术语。数字孪生也被称为数字双胞胎和数字化映射。

元宇宙(Metaverse)：是利用科技手段进行链接与创造的，与现实世界映射与交互的虚拟世界，具备新型社会体系的数字生活空间。元宇宙本质上是对现实世界的虚拟化、数字化过程，需要对内容生产、经济系统、用户体验以及实体世界内容等进行大量改造。但元宇宙的发展是循序渐进的，是在共享的基础设施、标准及协议的支撑下，由众多工具、平台不断融合、进化而最终成形。它基于扩展现实技术提供沉浸式体验，基于数字孪生技术生成现实世界的镜像，基于区块链技术搭建经济体系，将虚拟世界与现实世界在经济系统、社交系统、身份系统上密切融合，并且允许每个用户进行内容生产和世界编辑。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。