基于图像先验的单试次脑电P300成分检测方法及装置

摘要

本发明属于人脑与机器视觉融合技术领域，尤其涉及基于图像先验的单试次脑电P300成分检测方法及装置。基于图像先验的单试次脑电P300成分检测方法，包括：计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；对不同复杂度的图像诱发的脑电信号训练分类器；对图像诱发的脑电信号进行评分。基于图像先验的单试次脑电P300成分检测装置，包括：复杂度计算排序模块；训练模块；评分模块。本发明可以根据图像复杂度主动预判P300潜伏期的范围。

说明书

技术领域

本发明属于人脑与机器视觉融合技术领域，尤其涉及基于图像先验的单试次脑电P300成分检测方法及装置。

背景技术

由于在基于脑电的目标图像检测的实时系统中，P300成分的检测依然不能达到较高的精度。因此部分学者考虑充分利用人脑的高效理解能力与计算机的处理速度，搭建融合人脑与机器视觉的图像检索系统。这些系统利用较多试次的脑电兴趣得分，引导机器视觉搜索高兴趣得分的图像，这是一种“决策级”的融合方式。

人类视觉系统是自然界长期演化的结果，对自然图像的识别具有高速、鲁棒的特点。而机器视觉是利用现代计算机处理图像的技术，相对于人类视觉，具有批量处理的优点，但对于非结构化的、具有深层语义信息的图像，机器视觉始终无法达到较高的识别精度。哥伦比亚大学的Sajda等人，在利用人脑P300成分检测感兴趣目标图片的基础上，结合计算机视觉技术，搭建了皮层耦合计算机视觉系统(C3Vision)。该系统如下工作：先在一个图片库中随机选择少量图片组成图片序列，将图片序列快速呈现给被试观看，同时采集被试的脑电信号，利用脑电检索模块对这些图片所对应的脑电信号进行兴趣评分，并根据兴趣评分重新排序。随后，计算机视觉模块利用脑电检索模块的结果，再从图片数据库中选取类似的图片。由于脑电信号噪声比较大，EEG检索模块的输出并不是非常准确，这会导致计算机视觉模块的输出也达不到预期的效果，如果可以把这个结果反馈给被试，再让用户去判断计算机给出的结果是否准确，那么检索效果可能就会有显著的提升。于是，Eric等人又在Sadja的研究基础上，搭建了一个闭环系统(Closed-Loop C3Vision)，使得计算机视觉模块能够和EEG检索模块进行交互。此外，浙江大学的Wang等人采用类似方法搭建了闭环人脸识别系统、加州圣迭戈大学则利用人类天生对危险场景的警觉能力结合计算机技术，搭建了“认知技术威胁警报系统”(Cognitive Technology Threat Warning System，CT2WS)等。

然而在这些系统中人类视觉系统与机器视觉系统的融合方式是一种“决策级”融合方法。对图像的识别更多的依托P300成分的检测，并不能将当前机器视觉的成果引入到对单试次P300成分的分析中。

在申请号为201610139359.6的发明专利申请文件中，我们验证了不同复杂度的目标图像引起的脑电P300成分的差异，高复杂度目标图像诱发的脑电P300成分具有更低的峰值与更长的潜伏期。而脑地形图则显示了高复杂度图像将引起大脑右前额叶更长时间的活动。但是在基于脑电信号的目标图像检索中，存在P300检测算法被动适应P300潜伏期的变化问题。

发明内容

基于上述P300检测算法存在的问题，发明一种可以根据图像复杂度主动预判P300潜伏期的范围的方法及装置。

为了实现上述目的，本发明采用以下技术方案：

基于图像先验的单试次脑电P300成分检测方法，包括以下步骤：

步骤1：计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；

步骤2：对不同复杂度的图像诱发的脑电信号训练分类器；

步骤3：对图像诱发的脑电信号进行评分。

优选地，所述步骤1包括：

步骤1.1：计算数据集中图像的复杂度，计算公式为：

其中，IC为图像的复杂度，f_i为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；

步骤1.2：根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集。

优选地，所述步骤2包括：

步骤2.1：将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；

步骤2.2：将每张图像诱发的脑电信号的每个部分单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器。

优选地，所述步骤3包括：

步骤3.1：统计每一张图像诱发的脑电信号对应的三个分类器的评分；

步骤3.2：根据每张图像的复杂度将三个评分以一定权值相加，作为图像的最终兴趣得分，具体公式如下：

其中T为图像，IC(T)为图像T的图像复杂度，IC_{high_th}与IC_{mid_th}分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IC_{high_th}时，T被判定为高复杂度图像，当IC(T)小于IC_{mid_th}时，T被判定为低复杂度图像，当IC(T)在IC_{high_th}与IC_{mid_th}之间时，T被判定为中复杂度图像，y_{IS_hclass}(T)，y_{IS_mclass}(T)及y_{IS_lclass}(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重。

优选地，在所述步骤3之后还包括：

根据图像的最终兴趣得分判断图像是否为目标图像；

检测目标图像和非目标图像诱发的各分类器脑电P300成分。

优选地，所述高复杂度阈值为高复杂度数据集中最小的图像复杂度的值；所述中复杂度阈值为中复杂度数据集中最小的图像复杂度的值；所述高复杂度图像为高复杂度数据集中的图像，中复杂度图像为中复杂度数据集中的图像，低复杂度图像为低复杂度数据集中的图像。

基于图像先验的单试次脑电P300成分检测装置，包括：

复杂度计算排序模块，用于计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；

训练模块，用于对不同复杂度的图像诱发的脑电信号训练分类器；

评分模块，用于对图像诱发的脑电信号进行评分。

优选地，还包括：

判断模块，用于根据图像的最终兴趣得分判断图像是否为目标图像；

检测模块，用于检测目标图像和非目标图像诱发的各分类器脑电P300成分。

优选地，所述复杂度计算排序模块包括：

计算模块，用于计算数据集中图像的复杂度，计算公式为：

其中，IC为图像的复杂度，f_i为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；

排序模块，用于根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集。

优选地，所述训练模块包括：

脑电信号划分模块，用于将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；

训练子模块，用于将每张图像诱发的脑电信号的每个部分单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器。

优选地，所述评分模块包括：

统计模块，用于统计每一张图像诱发的脑电信号对应的三个分类器评分；

评分子模块，用于根据每张图像的复杂度将三个评分以一定权值相加作为最终兴趣得分，具体公式如下：

其中T为图像，IC(T)为图像T的图像复杂度，IC_{high_th}与IC_{mid_th}分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IC_{high_th}时，T被判定为高复杂度图像，当IC(T)小于IC_{mid_th}时，T被判定为低复杂度图像，当IC(T)在IC_{high_th}与IC_{mid_th}之间时，T被判定为中复杂度图像，y_{IS_hclass}(T)，y_{IS_mclass}(T)及y_{IS_lclass}(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重。

与现有技术相比，本发明具有的有益效果：

本发明首先利用卷积神经网络图像处理机制与人脑类似的特点，使用图像在卷积神经网络上的特征权重构建图像复杂度，并定义了图像复杂度公式，根据复杂度的不同将图像分成高、中、低三类。然后通过对不同图像复杂度范围的图像所诱发的P300成分进行分析，能够发现不同复杂度范围内目标图像诱发的P300成分是有差异的，而非目标图像则没有显著差异。

本发明通过对刺激图像的图像复杂度的评估，来预判所诱发的P300成分潜伏期的可能范围，以达到更好的检测精度，相对于传统的单纯在算法角度被动适应潜伏期变化的方法，该方法是一种更加主动合理的策略。并且，本发明相对传统的机器视觉融合脑电的目标检测系统来说，是一种全新的人脑与机器视觉融合的方式，且在传统的融合系统中依然可以使用。

附图说明

图1为本发明基于图像先验的单试次脑电P300成分检测方法的基本流程示意图之一。

图2为本发明基于图像先验的单试次脑电P300成分检测方法的基本流程示意图之二。

图3为本发明基于图像先验的单试次脑电P300成分检测方法的刺激图像数据集按图像复杂度由高到低排列示意图。

图4为本发明基于图像先验的单试次脑电P300成分检测方法的高、中、低图像复杂度诱发P300成分脑地形图变化趋势。

图5为本发明基于图像先验的单试次脑电P300成分检测方法的fHDCA与TRICP两种方法下的AUC值比较结果图。

图6为本发明基于图像先验的单试次脑电P300成分检测装置的结构示意图之一。

图7为本发明基于图像先验的单试次脑电P300成分检测方法的结构示意图之二。

具体实施方式

为了便于理解，对本发明的具体实施方式中出现的部分名词作以下解释说明：

fHDCA：folding HDCA，采用固定时间窗口策略，在每个时间窗口的空间滤波器构建中引入之前时间窗口的信息，是一种可以较好的适应P300潜伏期的变化的分类算法，参见申请号为201610139359.6的发明专利申请文件。

ROC：接收者操作特征，Receiver Operating Characteristic，ROC曲线上每个点反映着对同一信号刺激的感受性。

AUC：Area Under Curve，ROC曲线下的面积，介于0.1和1之间，AUC作为数值可以直观的评价分类器的好坏，值越大越好。

SD：Standard Deviation，样本标准差。

下面结合附图和具体的实施例对本发明做进一步的解释说明：

实施例一：

如图1所示，本发明的一种基于图像先验的单试次脑电P300成分检测方法，包括以下步骤：

步骤S101：计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；

步骤S102：对不同复杂度的图像诱发的脑电信号训练分类器；

步骤S103：对图像诱发的脑电信号进行评分。

实施例二：

如图2-5所示，本发明的另一种基于图像先验的单试次脑电P300成分检测方法，包括以下步骤：

步骤S201：计算数据集中图像的复杂度，根据图像的复杂度对数据集中的图像进行排序；包括：

步骤S2011：计算数据集中图像的复杂度，计算公式为：

其中，IC为图像的复杂度，f_i为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；

作为一种可实施的方式，k取值为2；

步骤S2012：根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，根据图像复杂度由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集；作为一种可实施方式，选取3组共36张图片作为刺激图像，其中每组有12张图片，排序后的数据集中图片如图3所示，其中图像的复杂度依次递减，每一组图片的前4幅为高复杂度数据集，每一组图片的中间4幅为中复杂度数据集，每一组图片的后4幅为低复杂度数据集，高复杂度数据集、中复杂度数据集及低复杂度数据集各有12幅图片。

步骤S202：对不同复杂度的图像诱发的脑电信号训练分类器；包括：

步骤S2021：将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；

步骤S2022：将每张图像诱发的脑电信号的每个部分采用fHDCA方法单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器。

步骤S203：对图像诱发的脑电信号进行评分；包括：

步骤S2031：统计每一张图像诱发的脑电信号对应的三个分类器的评分；

步骤S2032：根据每张图像的复杂度将三个评分以一定权值相加，作为图像的最终兴趣得分，具体公式如下：

其中T为图像，IC(T)为图像T的图像复杂度，IC_{high_th}与IC_{mid_th}分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IC_{high_th}时，T被判定为高复杂度图像，当IC(T)小于IC_{mid_th}时，T被判定为低复杂度图像，当IC(T)在IC_{high_th}与IC_{mid_th}之间时，T被判定为中复杂度图像，y_{IS_hclass}(T)，y_{IS_mclass}(T)及y_{IS_lclass}(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重；所述高复杂度阈值为高复杂度数据集中最小的图像复杂度的值；所述中复杂度阈值为中复杂度数据集中最小的图像复杂度的值；所述高复杂度图像为高复杂度数据集中的图像，中复杂度图像为中复杂度数据集中的图像，低复杂度图像为低复杂度数据集中的图像；

作为一种可实施的方式，α＝0.5，β＝0.25。

步骤S204：根据图像的最终兴趣得分判断图像是否为目标图像：

判断图像的最终兴趣得分是否大于或等于目标图像兴趣得分阈值，若是，则该图像为目标图像；若否，则该图像为非目标图像；

作为一种可实施方式，目标图像兴趣得分阈值的选取方式和fHDCA方法中目标图像兴趣得分阈值方法选取方式一致；

步骤S205：检测目标图像和非目标图像诱发的各分类器脑电P300成分。

作为一种可实施的方式，分别对19名被试者进行测试，可以发现高复杂度数据集，简称为HIC的目标图像诱发的P300成分具有更低的峰值及更长的潜伏期，如表1所示，其中，MIC为中复杂度数据集，LIC为低复杂度数据集。

进一步的，统计了所有被试者在不同复杂度范围内，目标类组平均脑电波形中P300峰值与峰潜伏期的差异，如表1所示，HIC的峰值与峰潜伏期显著差异于MIC与LIC；其中，HIC，峰值为4.76±1.09μV，潜伏期为564.98±52.98ms；MIC，峰值为5.44±0.9μV，潜伏期为530.19±58.66ms；LIC，峰值为5.49±1.22μV，潜伏期为525.33±50.27ms。

总体上，HIC的峰值要比MIC低0.68μV，比LIC低0.73μV，而HIC的峰潜伏期要比MIC延迟34.79ms，比LIC延迟39.65ms；并且可以发现，高复杂度范围内的P300成分的峰值与潜伏期均与中低复杂度的峰值与潜伏期具有显著性差异。

高、中、低图像复杂度诱发P300成分脑地形图变化趋势如图4所示。

最后，采用五折交叉验证对算法性能进行验证，将数据分为5部分，其中4部分作为训练集，剩余部分作为测试集，使用fHDCA算法计算不同图像复杂度范围下的单试次P300分类器，采用分类器的ROC曲线下面积，即AUC作为比较指标，19名被试在fHDCA与TRICP两种方法下的AUC值比较结果如图5所示。

对所有的被试的AUC值进行分析，可以发现TRICP算法AUC值在0.75～0.94之间，mean为0.846；而单纯的fHDCA算法AUC值在0.66～0.94之间，mean为0.817；其中，mean为平均值。

表1 19名被试在不同复杂度范围内的P300峰值与潜伏期

实施例三：

如图3所示，本发明的一种基于图像先验的单试次脑电P300成分检测装置，包括：

复杂度计算排序模块301，用于计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；

训练模块302，用于对不同复杂度的图像诱发的脑电信号训练分类器；

评分模块303，用于对图像诱发的脑电信号进行评分。

实施例四：

如图4所示，本发明的另一种基于图像先验的单试次脑电P300成分检测装置，包括：

复杂度计算排序模块401，用于计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；

训练模块402，用于对不同复杂度的图像诱发的脑电信号训练分类器；

评分模块403，用于对图像诱发的脑电信号进行评分；

判断模块404，用于根据图像的最终兴趣得分判断图像是否为目标图像；

检测模块405，用于检测目标图像和非目标图像诱发的各分类器脑电P300成分。

所述复杂度计算排序模块401进一步包括：

计算模块4011，用于计算数据集中图像的复杂度，计算公式为：

其中，IC为图像的复杂度，f_i为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；

排序模块4012，用于根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集。

所述训练模块402进一步包括：

脑电信号划分模块4021，用于将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；

训练子模块4022，用于将每张图像诱发的脑电信号的每个部分单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器。

所述评分模块403进一步包括：

统计模块4031，用于统计每一张图像诱发的脑电信号对应的三个分类器评分；

评分子模块4032，用于根据每张图像的复杂度将三个评分以一定权值相加作为最终兴趣得分，具体公式如下：

其中T为图像，IC(T)为图像T的图像复杂度，IC_{high_th}与IC_{mid_th}分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IC_{high_th}时，T被判定为高复杂度图像，当IC(T)小于IC_{mid_th}时，T被判定为低复杂度图像，当IC(T)在IC_{high_th}与IC_{mid_th}之间时，T被判定为中复杂度图像，y_{IS_hclass}(T)，y_{IS_mclass}(T)及y_{IS_lclass}(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重。

以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。