基于多模态信息的自闭症辅助诊断系统、设备及介质

摘要

本公开公开了基于多模态信息的自闭症辅助诊断系统、设备及介质，包括：自闭症识别模块，将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。

说明书

技术领域

本公开涉及基于多模态信息的自闭症辅助诊断系统、设备及介质。

背景技术

本部分的陈述仅仅是提高了与本公开相关的背景技术，并不必然构成现有技术。

儿童孤独症是广泛性发育障碍的一种亚型，以男性多见，起病于婴幼儿期，主要表现为不同程度的言语发育障碍、人际交往障碍、兴趣狭窄和行为方式刻板。

自闭症严重影响患者的正常生活状态及身体发育，一些患者显现出感觉反应迟钝的现象，严重者会有自伤自残的行为，造成精神残疾丧失社会功能。据美国精神医学会调查显示，目前每20分钟就有一个孩子被诊断为自闭症，发病率为1％-4％，全球约有3500万人患有自闭症。越来越多的实例表明，对于自闭症的治疗，需要进行早期诊断和早期干预，可以减轻患儿症状，最大程度发挥其潜能，提高功能水平，同时争取较好的预后。

自闭症的准确评估对于患者的针对性康复治疗具有重要指导意义，目前自闭症的诊断和评估仍缺乏客观生理手段。临床以语言与交流障碍、社会交往障碍，兴趣范围狭窄与刻板的行为模式，不同程度的智能障碍等标准为基础设计行为观察量表，通过专业医师病史询问以及家长观察儿童行为进行量表评定。量表填写人的主观倾向性以及患者临场心理状态均会对评定结果产生严重影响，误导针对性干预方案的制定，延误患者的有效康复。

在实现本发明的过程中，发明人发现现有技术中缺乏自闭症诊断系统。

发明内容

为了解决现有技术的不足，本公开提供了基于多模态信息的自闭症辅助诊断系统；

本公开第一方面提供了基于多模态信息的自闭症辅助诊断系统；

基于多模态信息的自闭症辅助诊断系统，包括：

自闭症识别模块，将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。

作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：

训练数据采集模块，从基于生理信号的情绪识别数据库DEAP(Database forEmotion Analysis using Physiological signals)中提取受试者在不同情绪状态下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据。

训练数据特征提取模块，对脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；

训练数据特征融合模块，将采集的特征进行串联，得到融合后的每个受试者的特征。

作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：

BP神经网络构建模块，构建BP神经网络；

神经网络训练模块，将训练数据中不同虚拟现实场景下对应受试者的融合特征和受试者的情绪标签，输入到BP神经网络中，对BP神经网络进行训练，直至损失函数值最小，训练结束，得到训练好的BP神经网络；

作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：

待测数据采集模块，根据情绪标签构建若干个虚拟现实场景，情绪标签与虚拟现实场景之间是一一对应关系；采集待测试人员在不同虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据；

待测数据特征提取模块，对每个虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；

待测数据特征融合模块，对每个虚拟现实场景下提取的特征按照串联的方式进行特征融合。

所述待测试人员通过佩戴头盔显示器和虚拟现实眼镜来观看虚拟现实场景，所述待测试人员通过佩戴耳机来收听虚拟现实场景的音效；测试人员佩戴的数据手套触摸所处虚拟现实场景。

分类结果输出模块，将分类结果输出。

作为一种可能的实现方式，所述脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据的具体步骤为：

从脑电信号中提取脑电信号的时域特征和频域特征；从肌电信号中提取肌电信号的时域特征和频域特征；从眼电信号中提取眼电信号的时域特征和频域特征；从皮肤电反应信号中提取皮肤电反应信号的时域特征和频域特征；从体温数据中提取体温的平均值；从呼吸频率数据中提取呼吸频率的平均值；从心率数据中提取心率的平均值。

作为一种可能的实现方式，建立心理情绪坐标，所述心理情绪坐标包括：X轴和Y轴，所述X轴与Y轴相互垂直，将心理情绪划分为第一、第二、第三和第四象限；

第一象限中包括的情绪状态：愉快、满意、专注、期待、快乐、欢乐和兴奋；

第二象限中包括的情绪状态：紧张、警觉、警惕、恐惧和担心；

第三象限中包括的情绪状态：伤心、厌烦、厌倦、无精打采和挫折；

第四象限中包括的情绪状态：称心、关注、释放和平静；

如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态一致，则表示情绪反馈灵敏，积3分；

如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态在心理情绪坐标的相同象限，则表示反馈恰当，积2分；

如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态在心理情绪坐标的不同象限，则表示错误反馈，积0分；

对积分进行累积求和，如果求和结果处于0到20分，表示受试者为高风险自闭症；如果求和结果处于20到30分，表示受试者为低风险自闭症；如果求和结果处于30到40分，表示受试者为正常；如果求和结果处于40到60分，表示受试者为良好。

本公开第二方面提供了一种电子设备；

一种电子设备，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成以下步骤：

将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。

本公开第三方面提供了一种计算机可读存储介质；

一种计算机可读存储介质，其上运行计算机指令，所述计算机指令被处理器运行时，完成以下步骤：将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。

与现有技术相比，本公开的有益效果是：

(1)基于生理指标的情绪测定。自闭症儿童因为在思维、交流沟通、人际关系上存在不可逾越的障碍，其情绪波动存在隐匿性，无法通过观察受试者的语言、肢体、表情等准确获得。同时情感状态产生于人体的不同生物系统，所以生理信号和脑电信号非常适用于情绪识别，准确率比主观观察评价有显著改善。

(2)基于情绪反馈指征的自闭症测评体系。情绪与自主神经系统之间的关系一直是心理学研究的一个重点领域。情绪，是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态，可以被描述为针对内部或外部的事件所产生的反应。健康人群对同一种环境总是有相似的恰当反应。自闭症儿童因神经系统发育不良，对外部信息的正常获取存在障碍，患者内在情绪波动与外部环境刺激缺乏良性反馈机制，面对相同的环境无法获得与健康人群相似的情感体验和情绪表达。因此，准确的情绪反馈评估对于评价自闭症儿童的康复效果具有重要的指导意义。

(3)虚拟现实沉浸式体验。虚拟现实是合成的计算机用户界面，通过视、听、触、嗅等多种感知渠道对现实进行模拟。本发明利用头盔式显示器、数据手套、耳机、追踪系统、三维空间传感器等搭建虚拟现实体验平台，使受试者沉浸到特定环境中获得逼近真实的感官刺激，激发受试者情绪，其仿真环境营造在超文本性和交互性方面具有显著优势。

(4)BP神经网络。基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑神经系统对复杂信息处理机制的一种BP神经网络。它无需事先确定输入输出之间的映射关系，仅通过自身的训练，学习某种规则，在给定输入值时得到最接近期望输出值的结果。神经网络只要求部分条件，甚至有节点断裂也不影响信息的完整性，具有鲁棒性和容错性，同时能够明显提高分类问题的精度。本发明采用BP神经网络，以采集的受试者生理信号为样本归类至相应的情绪目标。

(5)建立心理情绪坐标，可以对自闭症辅助诊断结果更加精细化。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本申请实施例的系统架构图；

图2是虚拟现实体验平台与生理信号即时捕获系统功能结构示意图；

图3是基于情绪反馈的自闭症评估系统流程图；

图4是基于生理指标的情绪判定机器学习模型；

图5是基于觉醒维度(Arousal)/效价维度(Valence)空间的情绪反馈评价系统示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

情绪问题处理是自闭症儿童教育训练活动的基础也是诊断与评估的重要指征。自闭症儿童的情绪问题对其社会交往能力损害较大，他们不能像正常儿童面对各种生活场景恰当地控制自己的情绪，他们只是生活在自己的世界里，用自己的方式宣泄自己的情绪，比如表现出过度冲动、伤人行为、大声叫喊等。本发明利用虚拟现实技术产生一个三度空间(三度空间，指由长、宽、高三个维度所构成的空间)的虚拟世界，营造真实的生活场景，为受试者提供关于视觉、听觉、触觉等感官的模拟，使其获得身临其境的逼真体验，激发患者情绪。虚拟环境包含五种主要场景类型，分别应对自闭症儿童情绪控制障碍的基本症状，每种场景标注相对应的情绪状态。

第一、沟通障碍，自闭症儿童有语言障碍和沟通交流障碍，不会说话或不爱说话，不能准确地表达自己的想法，不能正常上课学习，成年后更为严重，事业和家庭受阻。针对性设置四种虚拟现实体验环境，分别为课堂学习、与同龄儿童游戏、食物诱惑、公共交通乘坐。

第二、精神受损，自闭症的儿童整日里沉默不语、畏缩不前，导致对于社会的适应能力受损、也使自我管理能力下降，生活技能方面获取不足，精神活动自闭。针对性设置四种虚拟现实体验环境，分别为风景欣赏、文艺节目、陌生人求助、父母呼喊。

第三、智力影响，在学习方面表现为汲取新知识相对较慢，学习成绩落后。在生活方面表现为，和小朋友的相处中，他们常常手足无措，封闭在自己世界里。

针对性设置四种虚拟现实体验环境，分别为被批评、被夸赞、获得礼物、玩具剥夺。

第四，危险举动，自闭症患儿往往不具备恐惧感，因此，他们常有危险举动，把手伸进感兴趣的电源开关，把身体探出窗口观望，在高处行走攀爬，一些患儿在闲得无聊时还会出现挠头，撞墙等自伤行为。针对性设置四种虚拟现实体验环境，分别为高空行走、马路中心、火焰、危险动物。

第五，预测能力差，由于缺乏想象力和预测能力，无法进行思想建设。为了寻找特殊的快感，他们往往打碎或撕掉一些家里重要的摆设和文件。针对性设置四种虚拟现实体验环境，分别为幽默动画、数字重复、亲人分别、交友体验。

场景所对应的正常情绪状态为：课堂学习-专注、与同龄儿童游戏-欢乐、食物诱惑-期待、公共交通乘坐-平静、风景欣赏-释放、文艺节目-愉快、陌生人求助-警觉、父母呼喊-关注、被批评-挫折、被夸赞-满意、获得礼物-称心、玩具剥夺-痛苦、高空行走-恐惧、马路中心-紧张、火焰-担心、危险动物-警惕、幽默动画-快乐、数字重复-厌倦、亲人分别-伤心、交友体验-兴奋。Russell提出A-V(arousal,valence)情感模型，觉醒维度(arousal)和效价维度(valence)是在情绪识别领域应用最广的维度空间，定义了情绪状态从被动到主动，从消极到积极的变化，以此为基础建立二维空间，不同情绪状态离散分布于空间中。

面对相应的生活场景体验，通过监测受试者情绪感受的对应度，评估儿童应对外界刺激做出正确回应的敏感性。在受试者基于VR设备进行沉浸式情景体验的过程中，同步佩戴脑电、肌电、心率、呼吸频率等生理信号即时获取装置，多种生物信号相融合。采用多模态情感识别方案，以人体生理信号为基础进行自动情绪识别，具体过程为：

(1)开发二十种针对性较强的虚拟现实场景，在受试者沉浸式体验同时能够激发特定的情绪状态。

(2)以BP神经网络和生理信号情绪识别数据集(DEAP)为基础训练机器学习模型，对多模态人体生理信号可智能判定情绪状态。

(3)将受试者在情景体验中获取的即时生理信号输入神经网络，得到对应不同场景的情绪状态。

(4)通过人机交互的方式，将虚拟现实场景所应激发出的体验者情绪获得与体验者的真实情绪判定相对照，评估受试者面对不同生活场景的情绪敏感度与情绪获得的健康程度，将这一指标量化，作为自闭症儿童对外部环境刺激能作出及时正确反馈的测量标准，评估自闭症患者精神损害程度。

实施例一：如图1所示，基于多模态信息的自闭症辅助诊断系统，包括：

自闭症识别模块，将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。

作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：

训练数据采集模块，从基于生理信号的情绪识别数据库DEAP中提取受试者在不同情绪状态下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据。

训练数据特征提取模块，对脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；

训练数据特征融合模块，将采集的特征进行串联，得到融合后的每个受试者的特征。

作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：

BP神经网络构建模块，构建BP神经网络；

神经网络训练模块，将训练数据中不同虚拟现实场景下对应受试者的融合特征和受试者的情绪标签，输入到BP神经网络中，对BP神经网络进行训练，直至损失函数值最小，训练结束，得到训练好的BP神经网络；

作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：

待测数据采集模块，根据情绪标签构建若干个虚拟现实场景，情绪标签与虚拟现实场景之间是一一对应关系；采集待测试人员在不同虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据；

待测数据特征提取模块，对每个虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；

待测数据特征融合模块，对每个虚拟现实场景下提取的特征按照串联的方式进行特征融合。

所述待测试人员通过佩戴头盔显示器和虚拟现实眼镜来观看虚拟现实场景，所述待测试人员通过佩戴耳机来收听虚拟现实场景的音效；测试人员佩戴的数据手套触摸所处虚拟现实场景。

分类结果输出模块，将分类结果输出。

作为一种可能的实现方式，所述脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据的具体步骤为：

从脑电信号中提取脑电信号的时域特征和频域特征；从肌电信号中提取肌电信号的时域特征和频域特征；从眼电信号中提取眼电信号的时域特征和频域特征；从皮肤电反应信号中提取皮肤电反应信号的时域特征和频域特征；从体温数据中提取体温的平均值；从呼吸频率数据中提取呼吸频率的平均值；从心率数据中提取心率的平均值。

如图2所示，为本发明的系统功能结构示意图，由虚拟现实体验功能模块、基于情绪反馈的生理信号获取功能模块组成。虚拟现实体验功能模块以高性能图像生成及处理系统作为硬件开发平台，以面向对象的虚拟现实应用软件作为软件开发平台，开发平台连接和协调整个系统的其它子系统工作和运转。为获得理想的沉浸体验，以头盔式显示器作为显示工具，它具备高度临场感和参与性，使受试者能够充分实现与虚拟空间的情绪互动。虚拟现实交互功能模块采用面向特定应用的虚拟外设，包括触觉反馈系统、位置跟踪器、数据手套等。

触觉反馈系统：通过作用力、振动等一系列动作为使用者再现触感，其力学刺激可被应用于计算机模拟中的虚拟场景或者虚拟对象的辅助创建和控制，以及加强对于机械和设备的远程操控。

头盔显示器：即头显，是虚拟现实应用中的3DVR图形显示与观察设备，可单独与主机相连以接受来自主机的3DVR图形信号。使用方式为头戴式，辅以三个自由度的空间跟踪定位器可进行VR输出效果观察，同时观察者可做空间上的自由移动。

图形眼镜：即VR头显(虚拟现实头戴式显示器)，是现代显示技术中的一种全新技术，在增强显示、虚拟现实以及立体显示等方面有非常重要的应用。

数据手套：是一种多模式的虚拟现实硬件，可进行虚拟场景中物体的抓取、移动、旋转等动作，也可以利用它的多模式性，用作一种控制场景漫游的工具。

耳机：耳机是一对转换单元，它接受媒体播放器或接收器所发出的电讯号，利用贴近耳朵的扬声器将其转化成可以听到的音波。

跟踪系统：作用于空间跟踪与定位的装置，一般与其他VR设备结合使用。

三维空间传感器：安装在远处的运动物体上，根据接受器所接收到的磁场，计算出接收器相对于发射器的位置和方向，并通过通信电缆把数据传送给主计算机。计算机能间接地跟踪运动物体相对于反射器的位置和方向。在虚拟现实环境中，常被用来安装在数据手套和头盔显示器上。

产品之间通过集成控制系统进行管理，彼此相互联结协同工作。在进行情景体验的同时，通过生理信息采集中心模块，接收放置于受试者体表的体温、脑电、心率等探测节点传送的即时生理信号。

如图3所示，本发明采用生理信号情感分析数据集(DEAP)训练机器学习模型，该数据集对32个健康参与者的情绪激发试验结果进行了记录。情绪激发试验通过让一个受试者观看事前已经分类的视频激发他的情绪状态，当受试者在观看视频时，许多生理信号会被记录下来。存储在DEAP数据集中的信号包括脑电图(EEG)、肌电图(EMG)、眼电图(EOG)，原发性皮肤反应(GSR)，体温(Temp)、呼吸模式(RESP)、心率(HR)等。基于觉醒维度(Arousal)/效价维度(Valence)空间的特定位置，对这些信号进行标注并一起存储下来。

如图4所示，本发明采用BP神经网络作为人体生理信号智能识别的预测模型，由大量处理单元互联组成非线性、自适应信息处理系统。基于有监督学习策略，将DEAP数据集中多种类型的人体生理信号特征作为输入信息，将对应的情绪目标作为一个期望的输出值。这一BP神经网络可以分析训练数据，产生一个推断功能，映射新的输入样本，用建立的BP神经网络预测未来受试者通过虚拟现实场景的情绪激发所获取的生理信号。

神经网络训练步骤为：

(1)用适当的值作为初始化权重；

(2)从训练数据中获得输入(DEAP数据集中的多模态人体生理信号)，训练格式为{输入，正确输出}，然后将“输入”传递到BP神经网络中，计算正确输出(生理信号所对应的情绪标签)d_i与BP神经网络输出y_i之间的误差e_i，即：

e_i＝d_i-y_i

(3)根据增量规则计算权重的更新，即：

α为学习率，x_j为输入节点输出值，v_i为输出节点i加权和，为激活函数导数；

(4)调整权重，即：

ω_ij＝ω_ij+Δω_ij

(5)所有训练数据重复执行(2)-(4)步；

(6)重复(2)-(5)，表示神经网络用相同的数据集进行训练，直至误差达到理想的水平。

训练集标签采用独热表示法建立二十维向量，表示二十种不同的情绪类别，每个类别分别占据独立的一位，任何情况下独热表示中只有一位是1，其他都为0。如情绪状态是平静，则其对应的标签[0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]中仅有第四位是1。生理信号输入训练后的神经网络，输出向量中最大值对应的下标位置，即是判定的情绪状态；

在图3中，预测向量是：

[0.01,0.01,0.01,0.81,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01]，第四位是最大值，表示这个样本预测是正确的。这一方案使训练过程不会受到因为分类值表示的问题而对BP神经网络产生负面的影响。否则，离散的情绪状态表现在最终的输出层上只会有一个神经元，输出值的跨度就会比较大，一个微小的特征变化都会对最终的结果产生很大的影响。

如图5所示，本发明基于人体生理信号的智能预测，判定受试者在虚拟场景下的心理状态，以此来评估面对特定环境的人体情绪反馈机制。自闭症儿童由于注意力不集中，难以从情境中获得良好的情绪体验，通常会作出不恰当的情绪反馈，通过对其生理信号的获取进行情绪判定，结论会与虚拟现实的情境设置氛围误差较大。在此基础上建立评分机制，受试者间断性体验二十种不同的虚拟现实场景，每段时间持续3-5分钟，针对二十种同步获取的生理信号进行智能情绪反馈判定，

建立心理情绪坐标，所述心理情绪坐标包括：X轴和Y轴，所述X轴与Y轴相互垂直，将心理情绪划分为第一、第二、第三和第四象限；

第一象限中包括的情绪状态：愉快、满意、专注、期待、快乐、欢乐和兴奋；

第二象限中包括的情绪状态：紧张、警觉、警惕、恐惧和担心；

第三象限中包括的情绪状态：伤心、厌烦、厌倦、无精打采和挫折；

第四象限中包括的情绪状态：称心、关注、释放和平静；

如果虚拟现实场景所设定情绪氛围与受试者通过生理信号预测情绪状态一致，则表示情绪反馈灵敏，积3分；

如果虚拟现实场景所设定情绪氛围与受试者通过生理信号预测情绪状态在心理情绪坐标的相同象限，则表示反馈恰当，积2分；

如果虚拟现实场景所设定情绪氛围与受试者通过生理信号预测情绪状态在心理情绪坐标的不同象限，则表示错误反馈，积0分；

对积分进行累积求和，如果求和结果处于0到20分，表示受试者为高风险自闭症；如果求和结果处于20到30分，表示受试者为低风险自闭症；如果求和结果处于30到40分，表示受试者为正常；如果求和结果处于40到60分，表示受试者为良好。

根据统计结果评估自闭症儿童对外部信息获取和及时准确处理的能力，量化神经系统康复指标。

实施例二：提供了一种电子设备，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成以下步骤：

将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。

实施例三，提供了一种计算机可读存储介质，其上运行计算机指令，所述计算机指令被处理器运行时，完成以下步骤：将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。