一种基于脑洞和眼动特征的图像三分类解码方法以及装置

摘要

本公开是关于一种基于脑洞和眼动特征的图像三分类解码方法、装置、电子设备以及存储介质。其中，该方法包括：基于解码模型训练的脑电样本数据构建脑电时‑空特征提取模型、脑电频域特征提取模型并提取脑电时‑空特征、脑电频域特征；基于眼动信号样本数据构建眼动时域特征提取模型并提取时域特征，基于脑电时‑空特征、脑电频域特征、时域特征构建脑电与眼动特征的分类模型，实现基于脑洞和眼动特征的图像三分类解码。本公开充分利用脑电与眼动双模态脑信息数据的协同优势，提取双模态脑信息的时‑空‑频联合特征，提高了基于快速序列视觉呈现脑机接口的图像三分类解码效率，推动了脑机接口在小样本图像目标快速检索及脑机智能的融合。

说明书

技术领域

本公开涉及脑机接口、图像分类领域，具体而言，涉及一种基于脑洞和眼动特征的图像三分类解码方法、装置、电子设备以及计算机可读存储介质。

背景技术

基于快速序列视觉呈现(rapid serial visual presentation,RSVP)是脑机接口(brain computer interface,BCI)应用中重要的范式之一。它以每秒高速率在相同的空间使用视觉刺激器连续呈现刺激图像，当呈现的图像序列中出现被试者所感兴趣的目标图像是，会诱发出对应的事件相关电位成分。通过脑信号解码算法可以实现海量图片的快速检索。RSVP-BCI系统利用了人类视觉系统的图像处理和理解能力，在图像检索领域，相比机器视觉和人工手动方法具有独特的优势。相比机器视觉，RSVP-BCI不需要大样本支持，具有更强的适应能力与泛化处理能力，尤其对于新出现的或变种而来的新目标类型，也可以很好的适应；相比人工手动识别，RSVP-BCI具有更快的速度，每秒最多可自动、快速、准确的识别处理15张图像。RSVP-BCI在涉及海量图片中快速搜索、定位、分类出感兴趣的稀疏性目标对象领域具有广泛应用前景，尤其对于感兴趣的目标对象样本缺乏、变化多样等场景，比如应用在复杂背景下广域军事目标侦查、医疗靶向图像筛查、宗教色情图片识别和脑纹身份认证等领域。

然而，尽管现有的RSVP—BCI技术和方法，大多数都是集中于二分类问题，即区分非目标与目标，尚缺乏面向图像多分类的方法。然而，随着RSVP-BCI系统应用需求的提升，基于RSVP-BCI的图像二分类方法已经无法满足实际应用需求，不仅要辨别是否为目标，而且还要将目标类型进行区分，也就是多分类问题。当前对基于RSVP-BCI的图像三分类方法中，解码识别精度较低，无法有效区分双目标所诱发的脑响应模式和关键成分。

因此，需要一种或多种方法解决上述问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于脑洞和眼动特征的图像三分类解码方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供一种基于脑洞和眼动特征的图像三分类解码方法，包括：

将用于解码模型训练的第一样本数据，基于层次判别分析法，提取所述第一样本数据中各样本的时-空特征，并将所述第一样本数据中各样本的时-空特征与第一样本数据中各样本的类别标签建立对应关系，构建脑电时-空特征提取模型；

将用于解码模型训练的第二样本数据，基于共空间模式法，提取所述第二样本数据中各样本的脑电频域特征，并将所述第二样本数据中各样本的脑电频域特征与第二样本数据中各样本的类别标签建立对应关系，构建脑电频域特征提取模型；

将用于解码模型训练的第三样本数据，通过时间滤波器，提取所述第三样本数据中各样本的指标数据的时域特征，并将所述第三样本数据中各样本的指标数据的时域特征与第三样本数据中各样本的类别标签建立对应关系，构建眼动时域特征提取模型；

将所述第一样本数据中各样本的时-空特征、所述第二样本数据中各样本的脑电频域特征、所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加，生成脑电与眼动特征向量，并基于前向卷积神经网络模型，将所述脑电与眼动特征向量与所述脑电与眼动特征向量在所述第一样本、第二样本、第三样本中对应的类别标签建立对应关系，完成脑电与眼动特征的分类模型的建立。

在本公开的一种示例性实施例中，所述方法还包括：

所述用于解码模型训练的第一样本数据、第二样本数据为脑电样本数据；

所述用于解码模型训练的第三样本数据为眼动信号样本数据。

在本公开的一种示例性实施例中，所述方法还包括：

在提取所述第一样本数据中各样本的时-空特征、提取所述第二样本数据中各样本的脑电频域特征前，基于预设频率的带通滤波器对脑电数据进行滤波处理。

在本公开的一种示例性实施例中，所述方法还包括：

将用于解码模型训练的第一样本数据中的各样本数据基于预设数据点数量分解为4个时间窗，基于层次判别分析法，提取所述第一样本数据中各样本的4个时间窗的时-空特征，将所述第一样本数据中各样本的4个时间窗的时-空特征相加生成1*4的时-空特征向量，将所述第一样本数据中各样本的时-空特征向量与第一样本数据中各样本的类别标签建立对应关系，构建脑电时-空特征提取模型。

在本公开的一种示例性实施例中，所述方法还包括：

将用于解码模型训练的第二样本数据中的各样本数据基于预设频率区间分解为3个频段，基于共空间模式法，提取所述第二样本数据中各样本的3个频段的脑电频域特征，将所述第二样本数据中各样本的3个频段的脑电频域特征相加生成1*3的脑电频域特征向量，将所述第二样本数据中各样本的脑电频域特征向量与第二样本数据中各样本的类别标签建立对应关系，构建脑电频域特征提取模型。

在本公开的一种示例性实施例中，所述方法还包括：

将用于解码模型训练的第三样本数据中的各样本数据基于预设类别标签分解为3个指标数据组别，通过时间滤波器，提取所述第三样本数据中各样本的3个指标数据的时域特征，将所述第三样本数据中各样本的3个指标数据的时域特征相加生成1*3的时域特征向量，将所述第三样本数据中各样本的指标数据的时域特征向量与第三样本数据中各样本的类别标签建立对应关系，构建眼动时域特征提取模型。

在本公开的一种示例性实施例中，所述方法还包括：

将所述第一样本数据中各样本的时-空特征、所述第二样本数据中各样本的脑电频域特征、所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加，生成1*10的脑电与眼动特征向量，并基于前向卷积神经网络模型，将所述脑电与眼动特征向量与所述脑电与眼动特征向量在所述第一样本、第二样本、第三样本中对应的类别标签建立对应关系，完成脑电与眼动特征的分类模型的建立。

在本公开的一种示例性实施例中，所述方法还包括：

将第四样本数据分别基于脑电时-空特征提取模型、脑电频域特征提取模型、眼动时域特征提取模型生成所述第四样本的时-空特征、脑电频域特征、指标数据的时域特征并将所述时-空特征、脑电频域特征、指标数据的时域特征对应的特征向量相加，生成所述第四样本数据的脑电与眼动特征向量；

以所述第四样本数据的脑电与眼动特征向量为输入，基于脑电与眼动特征的分类模型，完成基于脑洞和眼动特征的图像三分类解码。

在本公开的一种示例性实施例中，所述方法还包括：

所述第四样本数据为测试数据或待三分类解码的图像数据。

在本公开的一个方面，提供一种基于脑洞和眼动特征的图像三分类解码装置，包括：

脑电时-空特征提取模型构建模块，用于将用于解码模型训练的第一样本数据基于层次判别分析法，提取所述第一样本数据中各样本的时-空特征，并将所述第一样本数据中各样本的时-空特征与第一样本数据中各样本的类别标签建立对应关系，构建脑电时-空特征提取模型；

脑电频域特征提取模型构建模块，用于将用于解码模型训练的第二样本数据基于共空间模式法，提取所述第二样本数据中各样本的脑电频域特征，并将所述第二样本数据中各样本的脑电频域特征与第二样本数据中各样本的类别标签建立对应关系，构建脑电频域特征提取模型；

眼动时域特征提取模型构建模块，用于将用于解码模型训练的第三样本数据通过时间滤波器，提取所述第三样本数据中各样本的指标数据的时域特征，并将所述第三样本数据中各样本的指标数据的时域特征与第三样本数据中各样本的类别标签建立对应关系，构建眼动时域特征提取模型；

脑电与眼动特征的分类模型构建模块，用于将所述第一样本数据中各样本的时-空特征、所述第二样本数据中各样本的脑电频域特征、所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加，生成脑电与眼动特征向量，并基于前向卷积神经网络模型，将所述脑电与眼动特征向量与所述脑电与眼动特征向量在所述第一样本、第二样本、第三样本中对应的类别标签建立对应关系，构建脑电与眼动特征的分类模型。

在本公开的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的方法。

在本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的方法。

本公开的示例性实施例中的一种基于脑洞和眼动特征的图像三分类解码方法，其中，该方法包括：基于解码模型训练的脑电样本数据构建脑电时-空特征提取模型、脑电频域特征提取模型并提取脑电时-空特征、脑电频域特征；基于眼动信号样本数据构建眼动时域特征提取模型并提取时域特征，基于脑电时-空特征、脑电频域特征、时域特征构建脑电与眼动特征的分类模型，实现基于脑洞和眼动特征的图像三分类解码。本公开充分利用脑电与眼动双模态脑信息数据的协同优势，提取双模态脑信息的时-空-频联合特征，提高了基于快速序列视觉呈现脑机接口的图像三分类解码效率，推动了脑机接口在小样本图像目标快速检索及脑机智能的融合。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过参照附图来详细描述其示例实施例，本公开的上述和其它特征及优点将变得更加明显。

图1示出了根据本公开一示例性实施例的一种基于脑洞和眼动特征的图像三分类解码方法的流程图；

图2示出了根据本公开一示例性实施例的一种基于脑洞和眼动特征的图像三分类解码装置的示意框图；

图3示意性示出了根据本公开一示例性实施例的电子设备的框图；以及

图4示意性示出了根据本公开一示例性实施例的计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在本示例实施例中，首先提供了一种基于脑洞和眼动特征的图像三分类解码方法；参考图1中所示，该一种基于脑洞和眼动特征的图像三分类解码方法可以包括以下步骤：

步骤S110，将用于解码模型训练的第一样本数据，基于层次判别分析法，提取所述第一样本数据中各样本的时-空特征，并将所述第一样本数据中各样本的时-空特征与第一样本数据中各样本的类别标签建立对应关系，构建脑电时-空特征提取模型；

步骤S120，将用于解码模型训练的第二样本数据，基于共空间模式法，提取所述第二样本数据中各样本的脑电频域特征，并将所述第二样本数据中各样本的脑电频域特征与第二样本数据中各样本的类别标签建立对应关系，构建脑电频域特征提取模型；

步骤S130，将用于解码模型训练的第三样本数据，通过时间滤波器，提取所述第三样本数据中各样本的指标数据的时域特征，并将所述第三样本数据中各样本的指标数据的时域特征与第三样本数据中各样本的类别标签建立对应关系，构建眼动时域特征提取模型；

步骤S140，将所述第一样本数据中各样本的时-空特征、所述第二样本数据中各样本的脑电频域特征、所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加，生成脑电与眼动特征向量，并基于前向卷积神经网络模型，将所述脑电与眼动特征向量与所述脑电与眼动特征向量在所述第一样本、第二样本、第三样本中对应的类别标签建立对应关系，完成脑电与眼动特征的分类模型的建立。

本公开的示例性实施例中的一种基于脑洞和眼动特征的图像三分类解码方法，其中，该方法包括：基于解码模型训练的脑电样本数据构建脑电时-空特征提取模型、脑电频域特征提取模型并提取脑电时-空特征、脑电频域特征；基于眼动信号样本数据构建眼动时域特征提取模型并提取时域特征，基于脑电时-空特征、脑电频域特征、时域特征构建脑电与眼动特征的分类模型，实现基于脑洞和眼动特征的图像三分类解码。本公开充分利用脑电与眼动双模态脑信息数据的协同优势，提取双模态脑信息的时-空-频联合特征，提高了基于快速序列视觉呈现脑机接口的图像三分类解码效率，推动了脑机接口在小样本图像目标快速检索及脑机智能的融合。

下面，将对本示例实施例中的一种基于脑洞和眼动特征的图像三分类解码方法进行进一步的说明。

在步骤S110中，可以将用于解码模型训练的第一样本数据，基于层次判别分析法，提取所述第一样本数据中各样本的时-空特征，并将所述第一样本数据中各样本的时-空特征与第一样本数据中各样本的类别标签建立对应关系，构建脑电时-空特征提取模型。

在本示例的实施例中，所述方法还包括：

所述用于解码模型训练的第一样本数据、第二样本数据为脑电样本数据；

所述用于解码模型训练的第三样本数据为眼动信号样本数据。

在本示例的实施例中，所述方法还包括：

在提取所述第一样本数据中各样本的时-空特征、提取所述第二样本数据中各样本的脑电频域特征前，基于预设频率的带通滤波器对脑电数据进行滤波处理。

在本示例的实施例中，用1-30Hz的带通滤波器对脑电数据进行滤波处理，滤除干扰噪声信号。

在本示例的实施例中，所述方法还包括：

将用于解码模型训练的第一样本数据中的各样本数据基于预设数据点数量分解为4个时间窗，基于层次判别分析法，提取所述第一样本数据中各样本的4个时间窗的时-空特征，将所述第一样本数据中各样本的4个时间窗的时-空特征相加生成1*4的时-空特征向量，将所述第一样本数据中各样本的时-空特征向量与第一样本数据中各样本的类别标签建立对应关系，构建脑电时-空特征提取模型。

在本示例的实施例中，对用作解码模型训练的脑电样本数据，用层次判别分析法(HDCA)提取每个脑电样本的时-空特征，并结合每个脑电样本对应的类别标签，对基于层次判别分析法的脑电时-空特征提取模型进行训练，建立脑电时-空特征提取模型。

在本示例的实施例中，对用作解码模型训练的脑电样本数据，用层次判别分析法(HDCA)提取每个脑电样本的时-空特征。用作解码模型训练的有5000个脑电样本数据，每个样本数据长度为1000个数据点，每个样本数据对应相应的0、1、2类别标签，其中0代表非目标对应的脑电，1代表目标类型1对应的脑电，2代表目标类型2对应的脑电。用层次判别分析法(HDCA)提取每个脑电样本的时-空特征，在特征提取过程中，将每个脑电样本数据分解4个时间窗，每个窗的长度为250个数据点，得到每个窗的时-空特征值，并将4个窗的特征值拼接为1*4的特征向量。并结合每个脑电样本对应的类别标签，对基于层次判别分析法的脑电时-空特征提取模型进行训练，建立脑电时-空特征提取模型。

在步骤S120中，可以将用于解码模型训练的第二样本数据，基于共空间模式法，提取所述第二样本数据中各样本的脑电频域特征，并将所述第二样本数据中各样本的脑电频域特征与第二样本数据中各样本的类别标签建立对应关系，构建脑电频域特征提取模型。

在本示例的实施例中，所述方法还包括：

将用于解码模型训练的第二样本数据中的各样本数据基于预设频率区间分解为3个频段，基于共空间模式法，提取所述第二样本数据中各样本的3个频段的脑电频域特征，将所述第二样本数据中各样本的3个频段的脑电频域特征相加生成1*3的脑电频域特征向量，将所述第二样本数据中各样本的脑电频域特征向量与第二样本数据中各样本的类别标签建立对应关系，构建脑电频域特征提取模型。

在本示例的实施例中，对用作解码模型训练的脑电样本数据，用频率滤波器将每个脑电样本信号分成若干频段，并通过共空间模式法(CSP)提取各频段的脑电频域特征，并结合每个脑电样本对应的类别标签，对基于共空间模式法的脑电频域特征提取模型进行训练，建立脑电频域特征提取模型。

在本示例的实施例中，对用作解码模型训练的脑电样本数据，用频率滤波器将每个脑电样本信号分成若干频段。用作解码模型训练的有5000个脑电样本数据，每个样本数据长度为1000个数据点，每个样本数据对应相应的0、1、2类别标签，其中0代表非目标对应的脑电，1代表目标类型1对应的脑电，2代表目标类型2对应的脑电。用滤波器将每个脑电样本分成1-5Hz、1-10Hz、1-32Hz三个频段。并通过共空间模式法(CSP)提取各频段的脑电频域特征，得到1*3的特征向量，并结合每个脑电样本对应的类别标签，对基于共空间模式法的脑电频域特征提取模型进行训练，建立脑电频域特征提取模型。

在步骤S130中，可以将用于解码模型训练的第三样本数据，通过时间滤波器，提取所述第三样本数据中各样本的指标数据的时域特征，并将所述第三样本数据中各样本的指标数据的时域特征与第三样本数据中各样本的类别标签建立对应关系，构建眼动时域特征提取模型。

在本示例的实施例中，将用于解码模型训练的第三样本数据中的各样本数据基于预设类别标签分解为3个指标数据组别，通过时间滤波器，提取所述第三样本数据中各样本的3个指标数据的时域特征，将所述第三样本数据中各样本的3个指标数据的时域特征相加生成1*3的时域特征向量，将所述第三样本数据中各样本的指标数据的时域特征向量与第三样本数据中各样本的类别标签建立对应关系，构建眼动时域特征提取模型。

在本示例的实施例中，对用作解码模型训练的眼动信号样本数据，通过时间滤波器提取每个眼动数据样本的瞳孔面积、瞳孔面积变化速度、瞳孔面积变化加速度的时域特征，并结合每个眼动样本对应的类别标签，对基于时间滤波器的眼动时域特征提取模型进行训练，建立眼动时域特征提取模型。

在本示例的实施例中，对用作解码模型训练的眼动信号样本数据，通过时间滤波器提取每个眼动数据样本的瞳孔面积、瞳孔面积变化速度、瞳孔面积变化加速度的时域特征。用作解码模型训练的有5000个眼动样本数据，每个眼动数据长度为1000个数据点，每个样本数据对应相应的0、1、2类别标签，其中0代表非目标对应的眼动，1代表目标类型1对应的眼动，2代表目标类型2对应的眼动。时间滤波器采用微分滤波器，提取眼动特征，得到1*3的眼动时域特征。并结合每个眼动样本对应的类别标签，对基于微分滤波器的眼动时域特征提取模型进行训练，建立眼动时域特征提取模型。

在步骤S140中，可以将所述第一样本数据中各样本的时-空特征、所述第二样本数据中各样本的脑电频域特征、所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加，生成脑电与眼动特征向量，并基于前向卷积神经网络模型，将所述脑电与眼动特征向量与所述脑电与眼动特征向量在所述第一样本、第二样本、第三样本中对应的类别标签建立对应关系，完成脑电与眼动特征的分类模型的建立。

在本示例的实施例中，将所述第一样本数据中各样本的时-空特征、所述第二样本数据中各样本的脑电频域特征、所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加，生成1*10的脑电与眼动特征向量，并基于前向卷积神经网络模型，将所述脑电与眼动特征向量与所述脑电与眼动特征向量在所述第一样本、第二样本、第三样本中对应的类别标签建立对应关系，完成脑电与眼动特征的分类模型的建立。

在本示例的实施例中，将步骤S110-S130中提取到的每个样本特征拼接成一个一维特征向量，输入到前向卷积神经网络模型(FF-CNN)分类器中，并结合每个样本对应的类别标签，对前向卷积神经网络模型分类器进行训练，建立面向脑电与眼动特征的分类模型。

在本示例的实施例中，所述方法还包括：

将第四样本数据分别基于脑电时-空特征提取模型、脑电频域特征提取模型、眼动时域特征提取模型生成所述第四样本的时-空特征、脑电频域特征、指标数据的时域特征并将所述时-空特征、脑电频域特征、指标数据的时域特征对应的特征向量相加，生成所述第四样本数据的脑电与眼动特征向量；

以所述第四样本数据的脑电与眼动特征向量为输入，基于脑电与眼动特征的分类模型，完成基于脑洞和眼动特征的图像三分类解码。

在本示例的实施例中，所述方法还包括：

所述第四样本数据为测试数据或待三分类解码的图像数据。

在本示例的实施例中，将用作解码模型测试的1250个脑电与眼动样本数据，分别输入到步骤S110-S130训练好的特征提取模型中，分别得到每个测试样本的脑电与眼动特征，并按第五步方法，将提取的到的特征拼接成一个一维特征向量，输入到步骤S140训练好的分类器中，得到测试样本的解码结果，完成基于脑电与眼动融合的图像三分类解码。

在本示例的实施例中，基于脑电与眼动融合的图像三分类解码方法充分利用脑电与眼动双模态脑信息数据的协同优势，提取双模态脑信息的时-空-频联合特征，提高对基于RSVP-BCI的图像三分类解码效率，对推动RSVP-BCI在小样本图像目标快速检索及脑机智能融合技术发展具有重要意义。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

此外，在本示例实施例中，还提供了一种基于脑洞和眼动特征的图像三分类解码装置。参照图4所示，该一种基于脑洞和眼动特征的图像三分类解码装置400可以包括：脑电时-空特征提取模型构建模块210、脑电频域特征提取模型构建模块220、眼动时域特征提取模型构建模块230以及脑电与眼动特征的分类模型构建模块240。其中：

脑电时-空特征提取模型构建模块210，用于将用于解码模型训练的第一样本数据基于层次判别分析法，提取所述第一样本数据中各样本的时-空特征，并将所述第一样本数据中各样本的时-空特征与第一样本数据中各样本的类别标签建立对应关系，构建脑电时-空特征提取模型；

脑电频域特征提取模型构建模块220，用于将用于解码模型训练的第二样本数据基于共空间模式法，提取所述第二样本数据中各样本的脑电频域特征，并将所述第二样本数据中各样本的脑电频域特征与第二样本数据中各样本的类别标签建立对应关系，构建脑电频域特征提取模型；

眼动时域特征提取模型构建模块230，用于将用于解码模型训练的第三样本数据通过时间滤波器，提取所述第三样本数据中各样本的指标数据的时域特征，并将所述第三样本数据中各样本的指标数据的时域特征与第三样本数据中各样本的类别标签建立对应关系，构建眼动时域特征提取模型；

脑电与眼动特征的分类模型构建模块240，用于将所述第一样本数据中各样本的时-空特征、所述第二样本数据中各样本的脑电频域特征、所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加，生成脑电与眼动特征向量，并基于前向卷积神经网络模型，将所述脑电与眼动特征向量与所述脑电与眼动特征向量在所述第一样本、第二样本、第三样本中对应的类别标签建立对应关系，构建脑电与眼动特征的分类模型。

上述中各一种基于脑洞和眼动特征的图像三分类解码装置模块的具体细节已经在对应的一种基于脑洞和眼动特征的图像三分类解码方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了一种基于脑洞和眼动特征的图像三分类解码装置400的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图3来描述根据本发明的这种实施例的电子设备300。图3显示的电子设备300仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图3所示，电子设备300以通用计算设备的形式表现。电子设备300的组件可以包括但不限于：上述至少一个处理单元310、上述至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330、显示单元340。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元310执行，使得所述处理单元310执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。例如，所述处理单元310可以执行如图1中所示的步骤S110至步骤S140。

存储单元320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)3201和/或高速缓存存储单元3202，还可以进一步包括只读存储单元(ROM)3203。

存储单元320还可以包括具有一组(至少一个)程序模块3203的程序/实用工具3204，这样的程序模块3203包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线350可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备300也可以与一个或多个外部设备370(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备300交互的设备通信，和/或与使得该电子设备300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口350进行。并且，电子设备300还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器360通过总线350与电子设备300的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

参考图4所示，描述了根据本发明的实施例的用于实现上述方法的程序产品400，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。