一种面向孤独症谱系障碍儿童的执行功能评测与训练系统

摘要

本发明公开了一种面向孤独症谱系障碍儿童的执行功能评测与训练系统，利用先进人机交互技术和脑信息感知技术来解决孤独症谱系障碍儿童执行功能评测与训练问题。包括：学生智能终端、便携式脑波仪、数据机顶盒、云服务器和家长手持智能手机，各功能单元之间通过无线通信技术相连；其中：学生智能终端提供用户交互界面，并实时记录用户面部表情图像以及按键的时空动力学行为；便携式脑波仪记录用户的脑电波节律；数据机顶盒是系统数据汇集和分析中心，通过算法对所汇集数据进行分析以实现对用户实现对执行功能的感知和估计，并在此基础上构建人机交互界面实现执行功能的训练；家长手持智能手机通过云服务器了解其孩子的执行功能评测与训练结果。

说明书

技术领域

本发明涉及一种面向孤独症谱系障碍儿童的执行功能评估与干预系统，特别 涉及一种集成孤独症谱系障碍儿童执行功能发展测评、康复训练、教育和信息管 理为一体的儿童康复管理平台。

背景技术

孤独症谱系障碍(Autismspectrumdisorder，ASD)是一组以社交障碍、 语言交流障碍、兴趣或活动范围狭窄以及重复刻板行为为主要特征的神经发育性 障碍。ASD已成为世界公共卫生和教育领域的严重挑战，严重危害儿童身心健康， 如果不能获得康复，可造成终生残疾，影响患者终生的身心健康、社会交往、学 习、生活、就业，给家庭和社会也造成了严重的负担。

尽管学术界对于孤独症的病因尚未形成统一的结论，但执行功能障碍理论得 到了越来越多临床数据的支持，已成为当前发展心理学的研究热点和重点。值得 强调的是，目前国内外对孤独症的执行功能缺陷理论研究较为热门，但对孤独症 的执行功能康复训练研究较少；而执行功能作为认知的高级成分，在孤独症康复 训练中处于不可或缺的重要地位。此外，目前孤独症康复评价体系不够健全，更 缺乏对康复过程的形成性评价，未对孤独症谱系障碍儿童日常干预过程中的表现 做出评估。

基于上述分析，本发明从执行功能障碍理论视角研究孤独症谱系障碍儿童的 个性化康复，借助学生智能终端和便携式脑波仪实现先进人机交互和脑信息感知， 建立孤独症谱系障碍儿童执行功能评测的关键脑电和行为指标，实现对孤独症谱 系障碍儿童执行功能的感知和估计，并在此基础上构建人机交互界面实现对孤独 症谱系障碍儿童执行功能的训练，系统解决孤独症谱系障碍儿童执行功能评测与 训练问题，为孤独症谱系障碍儿童的评估和教育提供实证性研究工具和科学数据。

发明内容

本发明所解决的技术问题是：提供一种集孤独症谱系障碍儿童执行功能发展 测评、康复训练、教育和信息管理为一体的儿童康复管理平台。

为了解决上述技术问题，本发明所采用的技术方案是：

提供一种面向孤独症谱系障碍儿童的执行功能评测与训练系统，包括学生智 能终端10、便携式脑波仪20、数据机顶盒30、云服务器40和家长手持智能手机50； 所述学生智能终端10提供用户交互界面，产生虚拟现实场景，当用户按照设计场 景内容进行某种操作时，可实时记录用户的时空动力学数据，同时还通过其摄像 头14记录用户的面部表情图像信息，这些数据通过无线通信技术实时传送给数据 机顶盒30；所述便携式脑波仪20记录用户在使用系统过程中的脑电波节律，并通 过无线通信技术将脑电波节律数据上传给数据机顶盒30；所述数据机顶盒30是系 统数据汇集和分析中心，通过无线通信技术汇集所有用户数据，并通过算法对这 些数据进行分析以实现对用户执行功能的评估，所述执行功能评估结果将实时反 馈给学生智能终端10中虚拟现实人机交互场景就可形成了闭环的人机交互界面， 用户可以根据虚拟场景的可视化结果动态调整自身的执行功能负荷水平，最终达 到提升执行功能的目的；所述云服务器40与家长手持智能手机50通过云服务技术 实现通讯，方便家长了解其孩子的执行功能评测与训练结果。其中，所述数据机 顶盒30通过无线通信技术汇集所有用户数据，该用户数据包括用户的时空动力学 数据、面部表情数据、脑电波节律。

所述学生智能终端10包括任务调度模块11、刺激呈现模块12、触屏时空数据 记录模块13、摄像头14、面部表情图像记录模块15、生物反馈模块16和无线通信 模块17；任务调度模块11首先通过刺激呈现模块12产生虚拟现实场景，用户按照 设计场景内容进行某种操作，触屏时空数据记录模块13实时记录用户触摸电容屏 的位置和时刻，与此同时面部表情图像记录模块15借助摄像头14实时记录用户的 面部表情图像，触屏时空数据以及面部表情数据通过无线通信模块17上传给数据 机顶盒30；数据机顶盒30通过汇集和分析用户数据后获得执行功能评估结果，所 述评估结果将通过第一无线收发模块32实时反馈给学生智能终端10中生物反馈 模块16，进而调节刺激呈现模块12中虚拟现实人机交互场景就可形成闭环的人机 交互界面，用户可以根据虚拟场景的可视化结果动态调整自身的执行功能负荷水 平，最终达到提升执行功能的目的。

所述数据机顶盒包括微处理器31、第一无线收发模块32、第二无线收发模 块33、无线网络模块34、触屏时空数据分析模块35、表情分类器36、认知负荷 估计器37、注意力水平估计器38、生物反馈模块39；所述微处理器31通过第 一无线收发模块32与学生智能终端10实现双向无线通讯，通过第二无线收发模 块33与便携式脑波仪20进行双向无线通讯，还通过无线网络模块33与云服务 器40进行双向通信；所述触屏时空数据分析模块35通过分析用户触摸电容屏的 位置和时刻信息获得孤独症谱系障碍儿童的响应正确率、响应时间、触屏模式这 些认知线索；所述表情分类器36采用了标准化的三层前向神经网络，隐层激励 函数是Sigmoid函数，输出层激活函数为线性函数，其输入参数为面部典型特征 参数，输出为七种基本表情；所述认知负荷估计器37采用了标准化的三层前向 神经网络，隐层激励函数是Sigmoid函数，输出层激活函数为线性函数，其输入 参数为脑电波节律(包括δ波、θ波、α波、β波和γ波)，输出为认知负 荷；所述注意力水平估计器38采用了标准化的三层前向神经网络，隐层激励函 数是Sigmoid函数，输出层激活函数为线性函数，其输入参数为脑电波节律(包 括δ波、θ波、α波、β波和γ波)，输出为注意力水平；生物反馈模块39 通过多模态数据分析技术实现对用户执行功能的评估，并将评估结果将实时反馈 给学生智能终端10中虚拟现实人机交互场景就可形成了闭环的人机交互界面， 用户可以根据虚拟场景的可视化结果动态调整自身的执行功能负荷水平，数据机 顶盒所汇集的用户数据分别通过触屏时空数据分析模块、面部表情分析模块、认 知负荷估计模块、注意力水平估计模块来获得用户在面对特定任务时的认知线索、 认知负荷、情绪状态以及正确率等信息，最终实现对用户执行功能的评估。

所述面部典型特征参数为Ekman的46种动作单元；所述表情分类器36通过选 取国际上权威的面部表情数据库作为训练数据样本集和测试样本集，采用了标准 化的前向神经网络结构设计算法，确定隐层神经元数量、输入层权值与阀值、隐 层权值与阀值、输出层权值与阀值等结构信息。

所述便携式脑波仪20整体被封装在可头戴的外壳中，主要包括微处理器21、 无线收发模块22、SD卡读写模块23、双导脑电采集模块24、电源调节与管理模块 25、锂电池26、USB充电模块27；通过与计算机USB接口或者与带USB接口的AC-DC 器件相连，USB充电模块27实现对锂电池26的充电功能；电源调节与管理模块37 可以对系统所有功能单元提供稳定可靠的电源；所述微处理器21将双导脑电采集 模块24采集的原始脑电信号进行分析处理并提取出反映大脑活动的脑电波节律； 所述SD卡读写模块23将脑电波节律存储于SD卡中并由无线收发模块22实时发送 至数据机顶盒30。

所述双导脑电采集模块24由干电极、参考电极、地电极、三级放大电路、 带通滤波器和A/D转换器组成，干电极其中2个布置在双侧前额叶，而参考电极 和地电极分别布置在双耳耳垂；由干电极获得的脑电信号经过三级放大电路放大 后再经过带通滤波器获得信噪比较高的信号，该信号再经过高精度A/D转换器处 理后获得稳定的原始脑电信号，此外，反映大脑活动的脑电波节律为δ波(1-3Hz)、 θ波(4-7Hz)、α波(8-13Hz)、β波(14-25Hz)、γ波(25Hz以上)功率谱。

所述云服务器40为Browser/Server结构，采用“PHP+MySQL”进行架构， 包括Web服务器41、数据库服务器42和互联网43；当用户有数据查询和服务需 求时，用户首先通过浏览器经由访问互联网访问Web服务器41，再通过Web服 务器41访问数据库服务器42。

本发明的有益效果是：本发明建立在脑-行为整合理论基础之上，利用先进 人机交互技术和脑信息感知技术来解决孤独症谱系障碍儿童执行功能评测与训 练问题，建立孤独症谱系障碍儿童执行功能评测的关键脑电及行为指标，实现对 孤独症谱系障碍儿童执行功能的感知和估计，并在此基础上构建人机交互界面实 现对孤独症谱系障碍儿童执行功能的训练。与目前国内外相关技术比较而言，与 现有技术相比，本发明具有如下优点：

(1)本发明从脑-行为整合视角下解决执行功能评测与训练问题，建立工作 执行功能评测的关键脑电及行为指标，实现对执行功能水平的感知和估计，并将 这些感知计算结果实时反馈到人机交互界面，能够实现对执行功能的训练。

(2)本发明采用能诱发不同执行功能水平的虚拟场景作为刺激，记录用户 在与虚拟场景进行人机交互过程中的行为响应，并同步记录用户在人机交互过程 中左右前额叶皮层的脑电节律功率谱，且这些数据将被用于执行功能水平的实时 在线评估，并将评估结果实时反馈以动态改变虚拟场景的进程，经过多次反馈就 可以达到测量和训练执行功能的目的。

(3)本发明利用平板电脑产生虚拟现实环境，并采用最先进的人机交互技 术，评测和训练的生态性好，可以准确获得孤独症谱系障碍儿童的行为学指标。

(4)本发明采用了便携式脑电信号获取技术，可以方便获得孤独症谱系障 碍儿童在行为操作过程中与执行功能密切相关的脑电信息。

(5)本发明采用云服务器对数据进行存储，便于用户查询历史记录，还可 定制个性化训练任务定制和专家远程咨询服务等。

附图说明

图1为本发明的整体组成框架图；

图2为本发明中学生智能终端的组成框图；

图3为本发明中便携式脑波仪的组成框图；

图4为本发明中数据机顶盒的组成框图；

图5为本发明中云服务器的组成框图。

附图标记：10-学生智能终端、20-便携式脑波仪、30-数据机顶盒、40-云服 务器、50-家长手持智能手机、11-任务调度模块、12-刺激呈现模块、13-触屏时 空数据记录模块、14-摄像头、15-面部表情图像记录模块、16-生物反馈模块、17- 无线通信模块、21-微处理器、22-无线收发模块、23-SD卡读写模块、24-双导脑 电采集模块、25-电源调节与管理模块、26-锂电池、27-USB充电模块、31-微处 理器、32-第一无线收发模块、33-第二无线收发模块、34-无线网络模块、35-触 屏时空数据分析模块、36-表情分类器、37-认知负荷估计器、38-注意力水平估计 器、39-生物反馈模块、40-云服务器、41-Web服务器、42-数据库服务器、43- 互联网

具体实施方式

本发明的实施方案如图1至图5所示，面向孤独症谱系障碍儿童的执行功能 评测与训练系统主要包括学生智能终端10、便携式脑波仪20、数据机顶盒30、 云服务器40和家长手持智能手机50这四个主要功能单元。

本发明首先通过学生智能终端10构建虚拟现实人机交互场景，接着用户佩戴 便携式脑波仪20并按照要求完成一些操作，学生智能终端10将记录用户在操作过 程中的触屏行为并同步记录用户的面部表情图像数据，而便携式脑波仪20将同步 记录脑用户在操作设备过程中的脑电波节律，上述用户数据(包括用户触摸屏幕 的时空动力学数据、面部表情数据、脑电波节律)通过无线通信技术发送给数据 机顶盒30；数据机顶盒30是系统数据汇集和分析中心，通过分析汇集来的用户数 据实现对用户执行功能的评估，所述执行功能评估结果将实时反馈给学生智能终 端10中虚拟现实人机交互场景就可形成了闭环的人机交互界面，用户可以根据虚 拟场景的可视化结果动态调整自身的执行功能负荷水平，最终达到提升执行功能 的目的；云服务器40与家长手持智能手机50通过云服务技术实现通讯，方便家长 了解其孩子的执行功能评测与训练结果。

下面具体介绍本发明系统每个部分的设计方案和实施方式。

1、学生智能终端10。如图2所示，学生智能终端10包括任务调度模块11、刺 激呈现模块12、触屏时空数据记录模块13、摄像头14、面部表情图像记录模块15、 生物反馈模块16和无线通信模块17等单元；任务调度模块11首先通过刺激呈现模 块12产生虚拟现实场景，用户按照设计场景内容进行某种操作，触屏时空数据记 录模块13实时记录用户触摸电容屏的位置和时刻，与此同时面部表情图像15记录 模块借助摄像头14实时记录用户的面部表情图像，触屏时空数据以及面部表情数 据通过线通信模块上传给数据机顶盒30；数据机顶盒30通过汇集和分析用户数据 (包括用户触摸屏幕的时空动力学数据、面部表情数据、脑电波节律)后获得执 行功能评估结果，所述评估结果将通过第一无线收发模块32实时反馈给学生智能 终端10中生物反馈模块16，进而调节刺激呈现模块12中虚拟现实人机交互场景就 可形成了闭环的人机交互界面，用户可以根据虚拟场景的可视化结果动态调整自 身的执行功能负荷水平，最终达到提升执行功能的目的。

2、便携式脑波仪20。如图3所示，便携式脑波仪20整体被封装在可头戴的 外壳中，主要包括微处理器21、无线收发模块22、SD卡读写模块23、双导脑电 采集模块24、电源调节与管理模块25、锂电池26、USB充电模块27等功能单元； 通过与计算机USB接口或者与带USB接口的AC-DC器件相连，USB充电模块27 实现对锂电池26的充电功能；由于锂电池输出电压范围为3.7-4.2V，电源调节 与管理模块25可以对系统所有功能单元提供稳定可靠的3.3V和5V电源；双导 脑电采集模块24由干电极、参考电极、地电极、三级放大电路、带通滤波器、 A/D转换器等单元组成，干电极其中2个布置在双侧前额叶，而参考电极和地电 极分别位布置在双耳耳垂；由干电极获得的脑电信号经过三级放大电路放大后再 经过带通滤波器获得信噪比较高的信号，该信号再经过高精度A/D转换器处理后 获得稳定的原始脑电信号，微处理器21将通过现有的公知技术从原始脑电信号 中提取反映大脑活动节律的δ波(1-3Hz)、θ波(4-7Hz)、α波(8-13Hz)、β 波(14-25Hz)、γ波(25Hz以上)功率谱；大脑活动节律的δ波、θ波、α波、 β波、γ波功率谱指标，将通过无线收发模块22实时发送给数据机顶盒30中的 第二无线收发模块33。

3、数据机顶盒30。如图3所示，数据机顶盒30包括微处理器31、第一无线收 发模块32、第二无线收发模块33、无线网络模块34、触屏时空数据分析模块35、 表情分类器36、认知负荷估计器37、注意力水平估计器38、生物反馈模块39；所 述微处理器31通过第一无线收发模块32与学生智能终端10实现双向无线通讯，通 过第二无线收发模块33与便携式脑波仪20进行双向无线通讯，还通过无线网络模 块33与云服务器40进行双向通信；所述触屏时空数据分析模块35通过分析用户触 摸电容屏的位置和时刻信息获得孤独症谱系障碍儿童的响应正确率、响应时间、 触屏模式等认知线索；所述认知负荷估计器37采用了标准化的三层前向神经网络， 隐层激励函数是Sigmoid函数，输出层激活函数为线性函数，其输入参数为脑电 波节律(包括δ波、θ波、α波、β波和γ波)，输出为认知负荷；所述注意力 水平估计器38采用了标准化的三层前向神经网络，隐层激励函数是Sigmoid函数， 输出层激活函数为线性函数，其输入参数为脑电波节律(包括δ波、θ波、α波、 β波和γ波)，输出为注意力水平；生物反馈模块39通过多模态数据分析技术实 现对用户执行功能的评估，并将评估结果将实时反馈给学生智能终端10中虚拟现 实人机交互场景就可形成了闭环的人机交互界面，用户可以根据虚拟场景的可视 化结果动态调整自身的执行功能负荷水平。所述表情分类器36采用了标准化的三 层前向神经网络，隐层激励函数是Sigmoid函数，输出层激活函数为线性函数， 其输入参数为面部典型特征参数，输出为七种基本表情，其中所述面部典型特征 参数为Ekman的46种动作单元；所述表情分类器36通过选取国际上权威的面部表 情数据库作为训练数据样本集和测试样本集，采用了标准化的前向神经网络结构 设计算法，确定隐层神经元数量、输入层权值与阀值、隐层权值与阀值、输出层 权值与阀值等结构信息。数据机顶盒30对所汇集的有用户数据(包括用户触摸屏 幕的时空动力学数据、面部表情数据、脑电波节律)，分别通过触屏时空数据分 析模块35、表情分类器36、认知负荷估计器37、注意力水平估计器38等工具获得 用户在面对特定任务时的认知线索、认知负荷、情绪状态等信息，最终实现对用 户执行功能的评估。

4、云服务器40。如图5所示，云服务器40由Web服务器41、数据库服务 器42、互联网43组成；用户通过浏览器与Web服务器41和数据库服务器42进 行数据交互，可以查询到评测与训练结果的历史记录，这些结果将为个性化训练 任务定制、专家远程咨询服务等提供便捷；在具体的技术实现层面，采用了云服 务器为Browser/Server结构，采用“PHP+MySQL”进行架构。

5、家长智能手机50。可以选用市场上主流的智能手机即可。

根据以上所述，便可实现本发明。

本发明建立在脑-行为整合理论基础之上，利用先进人机交互技术和脑信息 感知技术来解决孤独症谱系障碍儿童执行功能评测与训练问题，建立孤独症谱系 障碍儿童执行功能评测的关键脑电及行为指标，实现对孤独症谱系障碍儿童执行 功能的感知和估计，并在此基础上构建人机交互界面实现对孤独症谱系障碍儿童 执行功能的训练。与目前国内外相关技术比较而言，本发明突出的特点和进步是： (1)本发明从脑-行为整合视角下解决执行功能评测与训练问题，建立工作执行 功能评测的关键脑电及行为指标，实现对执行功能水平的感知和估计，并将这些 感知计算结果实时反馈到人机交互界面，能够实现对执行功能的训练；(2)本发 明采用能诱发不同执行功能水平的虚拟场景作为刺激，记录用户在与虚拟场景进 行人机交互过程中的行为响应，并同步记录用户在人机交互过程中左右前额叶皮 层的脑电节律功率谱，且这些数据将被用于执行功能水平的实时在线评估，并将 评估结果实时反馈以动态改变虚拟场景的进程，经过多次反馈就可以达到测量和 训练执行功能的目的；(3)本发明利用平板电脑产生虚拟现实环境，并采用最先 进的人机交互技术，评测和训练的生态性好，可以准确获得孤独症谱系障碍儿童 的行为学指标；(4)本发明采用了便携式脑电信号获取技术，可以方便获得孤独 症谱系障碍儿童在行为操作过程中与执行功能密切相关的脑电信息；(5)本发明 采用云服务器对数据进行存储，便于用户查询历史记录，还可定制个性化训练任 务定制和专家远程咨询服务等。

以上显示和描述了本发明的基本原理,主要特征和本发明的优点。本行业的 技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述 的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有 各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求 保护范围由所附的权利要求书及其等效物界定。