一种想像能力评估方法、系统及可读存储介质

摘要

本发明公开了一种想像能力评估方法、系统及可读存储介质，属于数据处理分析技术领域，包括获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。本发明实现了对认知灵活性及想像能力客观的、科学的评估。

说明书

技术领域

本发明涉及数据处理分析技术领域，特别涉及一种想像能力评估方法、系统及可读存储介质。

背景技术

当前的认知灵活性与想象能力评估方法与装置主要以传统心理学量表评估为，人类的认知过程遵循着利用从当前环境和过去记忆中收集的信息来产生对未来的预测的规律。研究表明，人脑中跨DMN的区域表现出这样的影响，包括前叶/背外侧和背外侧前额叶皮层、侧颞和顶叶皮层、前耳、后扣带和海马。传统的心理测量范式主要有AUT任务(AlternateUses Task)、WCST(威斯康星卡片分类测试)、IGT决策任务等。

对想象能力的测试主要依靠“大五”人格特征或五因素人格模型中的“开放性”特征得分进行评估，主要包括以下几种方式：

(a)基于生理信号的人格评估方法，如基于皮肤电阻进行人格评估，基于脑电生理信号进行人格评估，或者在人格的测量中将参与者的能力作为整体评估内容的一部分进行测量。

(b)基于社交行为与使用物品行为等行为特征的人格评估方法。如根据编程过程中使用编程帮助按键、出现同类错误、粘贴次数等数据，采用朴素贝叶斯模型与K邻近模型进行人格预测的方法，基于社交网络点赞内容与内容主题分析等自然语言处理技术的人格预测方法，基于手机用户的手机使用行为的人格测评方法，基于眼动特征的人格预测方法等。

(c)基于多模态数据融合的人格预测方法。如将语音数据、文本数据、视频数据进行特征提取与融合，进行人格预测的方法。

上述现有技术存在以下缺陷：

(1)基于传统心理学进行能力评估的方法，由于数据来自于被试的主观回答或被试的任务完成情况，故所得结果缺乏客观性、真实性、准确性，也可能因为评分标准的跨文化性、主试的专业程度差等因素导致所得测量结果有失偏颇，种种原因也导致了所得的数据结论信效度差且测量方式难以推广。

(2)在人格测量方面，已有方法均未专门针对认知灵活性与想象能力这一特定能力进行专门化评估：基于用户信息与社交行为的人格测评方法如若未经过科学理论指导与规范实验设计验证相关技术路径，则缺乏可解释性和科学依据；基于多模态融合数据的人格测评在模态融合的算法方面，仍然需要技术提升以使所得融合结果更为准确，此过程中也面临缺乏实验检验的问题。

发明内容

本发明的目的在于克服现有技术存在的缺陷，实现对认知灵活性和想像能力的客观、科学的测评。

为实现以上目的，本发明采用一种想像能力评估方法，包括：

获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；

将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；

基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；

将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。

进一步地，所述基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序，包括：

利用db-5小波滤波器将所述被试者的第二脑影像成像的时间序列分解为多个频带，对于每个频带对应的脑影像，计算所述大脑功能连接区域中各区域对之间的皮尔逊相关性，并对皮尔逊相关性超过相关性阈值的区域打上标签；

使用路径查找算法Dijkstra或中心度算法PageRank，利用邻接矩阵对打上标签的区域计算得到大脑连接性网络特征；

使用mRMR特征选择方法，基于特征与标签之间的信息统计依赖性对大脑连接性网络特征进行排序，得到排序后的大脑连接性网络特征序列。

进一步地，所述利用db-5小波滤波器将所述被试者的磁共振成像时间序列分解为5个频带，分别为范围在0.015～0.03Hz内的频带B1、范围在0.03～0.06Hz的频带B2、范围在0.06～0.11Hz的频带B3、范围在0.11～0.22Hz的频带B4和范围在0.22～0.44Hz的频带B5。

进一步地，还包括：

获取所述被试者的人口学基本信息作为预测因子；

使用随机森林算法对预测因子进行回归分类，得到与所述被试者的认知灵活性和想像能力的相关性显著的因素。

进一步地，在所述获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据时，还包括：

在所述被试者在执行想像认知任务时，记录所述被试者的描述音频作为音频文件，并获取执行想像认知任务时的脑影像数据作为第二脑影像数据。

进一步地，还包括：

将所述语音文件表示为一系列对数光谱图，并将对数光谱图作为神经网络模型的输入，得到所述被试者的灵活性与想像能力的分类结果。

进一步地，还包括：

采集设定数量的参与者的所述第一脑影像数据和第二脑影像数据；

将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域，基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；

将每个参与者的大脑连接性网络特征序列作为所述支持矢量机分类器的输入、每个参与者的想像力分类结果作为输出，对所述支持矢量机分类器进行训练。

进一步地，还包括：

采集设定数量的参与者在执行想像认知任务时的描述音频作为音频文件；

将每个参与者的音频文件表示为对数光谱图，并将对数光谱图作为神经网络模型的输入、将每个参与者的想象力分类结果作为输出，对所述神经网络模型进行训练。

第二方面，采用一种想象能力评估系统，包括：数据获取模块、提取模块、特征排序模块和分类模块，其中：

数据获取模块用于获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；

提取模块用于将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；

特征排序模块用于基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；

分类模块用于将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。

第三方面，采用一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如上所述的想像能力评估方法。

与现有技术相比，本发明存在以下技术效果：本发明在认知神经科学指导下涉及并建立规范的实验流程，利用实验所得数据作为依据设计想像能力评估方法，实现了对认知灵活性及想像能力客观的、科学的评估。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种想像能力评估方法的流程图；

图2是数据采集流程图；

图3是神经网络模型的结构图；

图4是一种想像能力评估系统的结构图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种想像能力评估方法，包括如下步骤S1至S4：

S1、获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；

第一脑影像数据的获取过程为：被试者在静态仰卧状态听从指导语(比如“清空思维”，但不仅限于此)一定时长(比如5分钟)，被试者在静息状态下，采用3.0T的功能磁共振成像设备进行脑影像扫描，记录被试者的默认网络活动状态脑影像数据作为第一脑影像数据。

第二脑影像数据的获取过程为：在5分钟后，按照标准规范，被试者观看图片并自由想象与图片有关的内容，并在想象过程中记录被试者的脑影像数据作为第二脑影像数据，即作为第一脑影像数据的对照样本。

S2、将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；

需要说明的是，本实施例中使用计算机，对第一脑影像数据和第二脑影响数据特征进行对比研究，可以理解为对被试者静息状态下的BOLD(血氧依赖水平)特征和启动想像认知任务时的BOLD(血氧依赖水平)进行对比研究。以确认磁共振成像支持了健康被试者与认知灵活性或想象力受损被试者的认知功能半球侧化。用横向化指数来量化了半球横向化的程度，使用SPM8 LI-toolbox中的已有公式(LI)如下：

其中，A

需要说明的时，已确认可以提取到的存在差异的脑功能连接区域包括但不限于：后扣带回皮质(PCC)、楔前叶(Precuneus)、内侧前额叶皮质(MPFC)、顶下小叶(IPL)及双侧颞叶皮质(BTC)。

S3、基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；

S4、将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。

作为进一步优选的技术方案，本实施例中脑影像数据是通过3.0T磁共振成像扫描仪获得，实际使用时丢弃扫描仪每次运行的前四张图像，以使纵向磁化强度达到平衡。

并对最终扫描的脑影像图像进行预处理，预处理操作包括切片时间校正，运动和失真校正、空间平滑，排除标准外的图像。

作为进一步优选的技术方案，上述步骤S3：基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序，具体包括如下细分步骤S31至S33：

S31、利用db-5小波滤波器将所述被试者的第二脑影像成像的时间序列分解为多个频带，对于每个频带对应的脑影像，计算所述大脑功能连接区域中各区域对之间的皮尔逊相关性，并对皮尔逊相关性超过相关性阈值的区域打上标签；

具体地，相关性阈值范围为0.4～1.0之间，可以理解为相关性在0.4-0.6范围内为中等程度相关，相关性在0.6-0.8范围内为强相关，相关性在0.8-1.0范围内为极强相关；在实际操作中，本领域技术人员可根据实际情况，具体是设置相关性阈值。

需要说明的是，利用db-5小波滤波器将从每个受试者中提取的时间序列分解为5个频带，频带为B1(0.015～0.03Hz)、B2(0.03～0.06Hz)、B3(0.06～0.11Hz)、B4(0.11～0.22Hz)和B5(0.22～0.44Hz)。对于每个频带(其中∈{B1、B2、B3、B4、B5})的图像，计算区域对之间的皮尔逊相关性(Pik、j)：

其中，X＝Pik，Y＝j，X,Y是每对取值，δ是标准差，μ是平均数，E为数学期望或均值。

S32、使用路径查找算法Dijkstra或中心度算法PageRank，利用邻接矩阵对打上标签的区域计算得到大脑连接性网络特征；

S33、使用mRMR特征选择方法，基于特征与标签之间的信息统计依赖性对大脑连接性网络特征进行排序，得到排序后的大脑连接性网络特征序列。

需要说明的是，通过特征排序来去除不相关的冗余特征(噪声)来降低学习的难度，去除噪声的干扰，留下关键因素，提高预测精度，选择网络特征。

作为进一步优选的技术方案，本实施例还需对支持矢量机分类器进行预先训练，如图2所示，过程如下：

招募符合实验标准的参与者共200人，其中男性100人，女性100人；初中学历男女各25人，高中学历各25人，本科学历各25人，本科以上学历各25人；

要求参与者在静态仰卧状态听从指导语“清空思维”5分钟，在参与者静息状态下，采用3.0T的功能磁共振成像设备进行脑影像扫描，记录参与者的默认网络活动状态脑影像数据作为第一脑影像数据；

在5分钟后，分别按照标准规范，观看图片并自由想象与图片有关的内容并对着录音装置进行叙述，在此过程中记录参与者所描述的音频得到音频文件，并在想象过程中记录参与者的脑影像数据作为第二脑影像数据；

将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域，基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；

将每个参与者的大脑连接性网络特征序列作为所述支持矢量机分类器的输入、每个参与者的想像力分类结果作为输出，对所述支持矢量机分类器进行训练。

作为进一步优选的技术方案，在上述步骤S4：将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果中，通过使用支持矢量机分类器(Support Vector Machine，SVM)在数据集找到灵活性与想象能力不同类别之间的最佳分离超平面，分离超平面是SVM直接给出的结果的一种表达方式，是一个二维几何空间中的分类，SVM会在数据集合中找出不同类别的分离界限并且分离出来，即得到被试者的认知灵活性与想象能力的分类结果，将被试者分为能力强与能力弱两类。

作为进一步优选的技术方案，还包括：

获取所述被试者的人口学基本信息作为预测因子；

使用随机森林算法对预测因子进行回归分类，得到与所述被试者的认知灵活性和想像能力的相关性显著的因素，该结果可提供给心理咨询师或参与者本人，为治疗参与者认知灵活性或想象力缺陷的问题提供参考。

具体为：在人口学基本信息中，分别定义被试者社会人口学基本调查中，如年龄A，性别S，学历E等作为预测因子。使用SPSS 23.0版本对预测因子进行数据的预处理后，使用随机森林算法(Random Forest，RF)对预测因子进行回归分类。

在实际使用时，输入被试者的社会人口学信息，即可直接给出各预测因子的排名，目的在于分析被试者的社会人口学信息，存在哪些预测因子和被试者的认知能力及想象力的相关性最为显著。

作为进一步优选的技术方案，本实施例还包括：

采集设定数量的参与者在执行想像认知任务时的描述音频作为音频文件；

将每个参与者的音频文件表示为对数光谱图，并将对数光谱图作为神经网络模型的输入、将每个参与者的想象力分类结果作为输出，对所述神经网络模型进行训练。

作为进一步优选的技术方案，本实施例还将所述语音文件表示为一系列对数光谱图，并将对数光谱图作为训练好的神经网络模型的输入，得到所述被试者的灵活性与想像能力的分类结果。

作为进一步优选的技术方案，本实施例不仅获得音频与图像资料分析的各自结果，也可将根据脑影像数据评估的被试者的认知灵活性与想象能力的分类结果与根据语音文件评估得到的被试者的认知灵活性与想象能力的分类结果使用并集的方式展示，以进一步增加准确性。

具体地来说，将音频文件表示为一系列对数光谱图，并随机采样，以平衡正负样本。由于录音的数量和不同的长度，将音频文件切成较短的片段，称为样本，在每个参与者中得到尽可能多的样本，样本S＝4s(4s是裁剪文件的最佳长度)。以确保分类算法的所有输入都有相同的大小，而且可生成大量的样本来训练模型，因此这些模型将直观地、更有代表性和准确。

从COVAREP(v1.3.2)中提取的开源MATLAB和一些工具箱：基频、性能、能量、归一化振幅商、24兆频上端系数(MFCC)等制作语音特征。将对数光谱图作为输入特征，每个对数谱图表示为尺寸为F0×T0的矩阵。

本实施例中的神经网络模型采用基于卷积神经网络(Convolutional NeuralNetworks，CNNs)，具体为2016年视听情感挑战(AVEC-2016)的抑郁分类子挑战(DCC)中提供的实验方案，如图3所示：

其中，F0和T0是对数光谱图的大小，N是1d-CNN层中滤波器的数量，k是最大池核的大小，s是步幅，p是填充(在所有实验中等于s)，n3和n4分别是第三层和第四层的神经元的数量。1d-CNN结构的参数配置如下：输入尺寸为F0×T0＝513×125，第1层的滤波器数为具有F1×1大小的N＝128，第2层的内核大小、步幅和填充分别为k＝5、＝4和p＝4，第4层的神经元数为n4＝128。

需要说明的是，本实施例中使用编程语言Python3.6；利用LibROSA工具对对数光谱图进行计算；在Keras中对神经网络模型进行编程。

如图4所示，本实施例公开了一种想像能力评估系统，包括：数据获取模块10、提取模块20、特征排序模块30和分类模块40，其中：

数据获取模块10用于获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；

提取模块20用于将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；

特征排序模块30用于基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；

分类模块40用于将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。

作为进一步优选的技术方案，特征排序模块30包括相关性计算单元、网络特征计算单元以及特征排序单元，其中：

相关性计算单元用于利用db-5小波滤波器将所述被试者的磁共振成像时间序列分解为多个频带，对于每个频带对应的脑影像，计算所述大脑功能连接区域中各区域对之间的皮尔逊相关性，并对皮尔逊相关性超过相关性阈值的区域打上标签；

网络特征计算单元用于使用路径查找算法Dijkstra或中心度算法PageRank，利用邻接矩阵对打上标签的区域计算得到大脑连接性网络特征；

特征排序单元用于使用mRMR特征选择方法，基于特征与标签之间的信息统计依赖性对大脑连接性网络特征进行排序，得到排序后的大脑连接性网络特征序列。

作为进一步优选的技术方案，数据获取模块10还用于在所述被试者在执行想像认知任务时，获取所述被试者的描述音频作为音频文件。

该系统还包括基于音频的想像能力预测模块，将所述语音文件表示为一系列对数光谱图，并将对数光谱图作为基于音频的想像能力预测模块的输入，得到所述被试者的灵活性与想像能力的分类结果。

作为进一步优选的技术方案，本实施例将基于音频的想像能力预测模块与支持矢量机分类器置入一个储存装置中，储存装置可通过USB接口与通用主机进行连接，使得该系统可通过接口调用，与不同设备连接，增加装置的可推广性。

需要说明的是，该系统可以通过获取被试者音频数据获得认知灵活性与想象能力的评估结果，也可通过启动想像认知任务前后磁共振成像的图像信息获得认知灵活性与想象能力的评估结果，或二者相结合。

作为进一步优选的技术方案，本实施例使用200个参与者中的50份数据，即25％样本量的社会人口学信息、音频、脑影像数据作为测试集，在分析主机上进行实际效果验证，使得得到验证准确率达到95％以上。

本实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如上所述的想像能力评估方法。

本实施例封装上述系统进入储存介质并预设置调用接口，使得该装置能够在通用计算机端插入主机调用相关计算程序，即可预测被试的想象能力。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。