基于离散表征和条件自回归的fMRI视觉重构方法

摘要

本发明提供一种基于离散表征和条件自回归的fMRI视觉重构方法。该方法包括：步骤1：构建图像离散表征模型和图像重构模型；步骤2：构建fMRI视觉重构数据集，所述数据集包含训练集和测试集，训练集包含第一套图像和被试看到第一套图像刺激后的第一套fMRI脑信号；所述测试集包含第二套图像和被试看到第二套图像刺激后的第二套fMRI脑信号；步骤3：根据训练集和图像离散表征模型，构建fMRI脑信号到图像离散表征的条件自回归模型；步骤4：根据条件自回归模型和图像重构模型，得到第二套fMRI脑信号的视觉重构结果。本发明主要面向复杂自然图像的重构。

说明书

技术领域

本发明涉及视觉重构技术领域，尤其涉及一种基于离散表征和条件自回归的fMRI视觉重构方法。

背景技术

基于fMRI的视觉重构是基于fMRI的视觉信息解码的关键技术，旨在根据大脑皮层神经信息来重构出图像刺激，是大脑视觉解码中最困难的问题。引起视觉重构困难的原因主要包括噪声、高维、信息缺失。在fMRI数据采集过程中，机器、被试等各类噪声不可避免被引入；大脑皮层体素数量较大；由于大脑视觉信息处理过程中存在不变性造成体素中包含的视觉信息缺失，导致大脑信号到视觉刺激图像的一对多的问题。这些问题一直影响着视觉重构的质量。

现有的fMRI视觉重构方法可以大致分为基于贝叶斯理论的方式、基于刺激图像像素建模的方式、基于可逆特征表达的方式和基于生成对抗网络的方式这四种。

(1)基于贝叶斯理论的视觉重构

在贝叶斯框架下，可以通过最大化后验概率P(S|R)实现图像重构，其中S代表待重构图像，R代表体素，然而P(S|R)较难得到。在贝叶斯公式P(S|R)＝P(R|S)P(S)/P(R)中，条件概率P(R|S)代表已知图像S下体素响应R的可能性，反映了编码模型概率分布，P(S)表示图像的先验概率分布。因此，最大化后验概率P(S|R)可以转化成最大化编码概率和先验分布概率的乘积，即从贝叶斯理论出发解决重构问题。

2006年，Thirion等人根据贝叶斯理论实现了多米诺骨牌简单图像的重构。2009年，Naselaris等人对自然图像视觉刺激进行重构，考虑到自然图像包含了丰富的统计结构和语义内容，因此，根据基于预先构造的结构性编码模型和语义编码模型，通过贝叶斯准则和自然图像先验信息实现了自然图像视觉刺激的重构。2011年，Nishimoto等人(Nishimoto,S.,et al.,Reconstructing visual experiences from brain activityevoked by natural movies.Current Biology,2011.21(19):p.1641-1646.)采集被试观看视频序列时的fMRI信号，通过联合Gabor小波特征和运动能量特征实现了更好的编码模型。依靠编码模型，分别依据最大后验概率准则(maximum a posteriori，MAP)的方法实现了视觉刺激图像的重构。

(2)基于刺激图像像素建模的视觉重构

基于刺激图像像素建模的视觉重构，一般是直接构建从所有大脑体素到图像像素的映射关系，通过优化求解的方法确定每个大脑体素到像素映射的权重系数。

这方面最经典的研究为2008年日本人Miyawaki等人(Miyawaki,Y.,et al.,Visual image reconstruction from human brain activity using a combination ofmultiscale local image decoders.Neuron,2008.60(5):p.915-929.)发表在《Neuron》上的工作。其基本思路是：将包含字母或简单图形的10×10像素人造图片转换成由小棋盘格方块构成的图像，呈现给被试并获取其fMRI信号；以fMRI信号作为输入，构建一种线性多体素模式解码器，该解码器通过对各体素fMRI信号分别进行线性加权，预测每个像素的强度，从而获得对于整个刺激图像的逐像素解码结果。2018年，Ma等人(Ma,Y.,et al.,Reconstruction of visual image from functional magnetic resonance imagingusing spiking neuron model.IEEE Transactions on Cognitive and DevelopmentalSystems,2018.10(3):p.624-636.)考虑到脉冲卷积神经网络(Spike Neural network，SNN)更贴合生物神经系统，利用SNN结构实现了对图像块明暗的二分类，由于视觉刺激图像由144个图像块组成，在分类结果的基础上实现了视觉刺激图像的重构。

(3)基于深度网络特征可逆表达的方法

近年来，深度学习在计算机视觉领域和语音识别领域取得了重大突破，深度网络开始逐渐被广大视觉编解码技术研究学者关注并逐渐应用到该领域，由于深度网络在图像特征表达上的优势，在编解码问题上取得了较好的效果。很多方法实验验证了深度网络的特征与视觉皮层响应具有较高的相关性，因此通过深度网络特征作为桥梁实现图像重构，首先把皮层响应映射到深度网络特征，然后通过对特征层实施逆向操作，实现特征到图像的映射，从而完成视觉重构任务。

2017年，Han等人使用一种深度网络结构——变分自编码器(Variational Auto-Encoder,VAE)来构造编码模型。首先基于自然图像数据库训练VAE模型，实现图像的特征表达和重构。然后训练体素响应到VAE隐空间特征向量的线性回归映射，最后利用VAE重构部分实现重构。2017年，Wen等人在预训练的AlexNet卷积神经网络(ConvolutionalNeuralNetwork,CNN))模型基础上，通过训练视觉体素分别到CNN网络中第一层特征层的映射，然后通过对第一层特征的预测结果解卷积可以实现视觉刺激图像的重构。2018年，VanRullen等人(VanRullen,R.and L.Reddy,Reconstructing Faces fromfMRI Patterns using Deep Generative Neural Networks.arXiv preprint arXiv:1810.03856,2018.)在VAE模型的基础上，增加一个判别网络，通过生成对抗网络的方式来训练VAE模型，然后通过训练体素到VAE隐特征空间的映射，从而利用VAE的解码网络可以实现对视觉刺激图像的重构。

(4)基于生成对抗网络的方法

近年来，生成对抗网络(Generative Adversarial Network,GAN)在自然图像生成方面取得了较大进展。由于其生成图像较为自然的优势，以及很多视觉重构方法重构图像较为模糊且图像自然属性较低，因此，借助生成对抗网络来改善视觉重构图像质量的方式开始引起人们的思考和尝试，并取得了一定的进展。

2017年，St-Yves等人训练条件生成对抗网络，本质是通过噪声在体素的先验下实现视觉重构。2018年，Seeliger等人(Seeliger,K.,et al.,Generative adversarialnetworks for reconstructing natural images from brain activity.NeuroImage,2018.181:p.775-785.)首先训练基于视觉刺激图像的生成对抗网络实现相似图像的生成，然后使用脑信号映射到生成网络的隐特征空间上，送入生成器通过约束重构图像与原始视觉刺激图像在图像空间和预训练深度模型的特征空间上相似来实现对视觉皮层响应的视觉刺激图像重构。

目前，对于自然图像的重构，主要利用基于可逆特征的方式和基于生成对抗网络的方式。由于后者需要更多的数据且训练不稳定，目前基于可逆特征的方式是一种较为主流的重构方式。然而，基于可逆特征的方式主要采用两阶段的重构策略，通常依赖于预训练的深度网络模型，中间特征维度较高，且中间特征与体素响应的匹配度很难达到较高的水平，使得中间特征在可逆过程中的误差累积效应是影响视觉重构质量的关键问题。因此，如何构造低维网络特征作为中间桥梁，与体素响应实现较好地匹配是亟待解决的关键问题。

发明内容

针对现有方法提取的图像特征与体素响应匹配度仍然不高的问题，本发明提供一种基于离散表征和条件自回归的fMRI视觉重构方法，主要面向复杂自然图像的重构，通过离散表征压缩图像内容，通过条件自回归，实现fMRI脑信号与离散特征的关联，进而实现图像重构。

本发明提供的基于离散表征和条件自回归的fMRI视觉重构方法，包括：

步骤1：构建图像离散表征模型和图像重构模型；

步骤2：构建fMRI视觉重构数据集，所述数据集包含训练集和测试集，训练集包含第一套图像和被试看到第一套图像刺激后的第一套fMRI脑信号；所述测试集包含第二套图像和被试看到第二套图像刺激后的第二套fMRI脑信号；

步骤3：根据训练集和图像离散表征模型，构建fMRI脑信号到图像离散表征的条件自回归模型；

步骤4：根据条件自回归模型和图像重构模型，得到第二套fMRI脑信号的视觉重构结果。

进一步地，步骤1具体为：

确定刺激图像类别，收集与刺激图像类别相同的图像，根据收集到的图像构建VQ-VAE-2模型。

进一步地，步骤1中，采用第一保真度损失函数对图像离散表征模型和图像重构模型进行训练，所述第一保真度损失函数用于约束输入图像和重构图像的保真度。

进一步地，步骤3具体为：

步骤3.1：利用步骤1构建的图像离散表征模型，得到第一套图像的离散特征，并将得到的离散特征与第一套fMRI脑信号逐一构成样本对；

步骤3.2：将第一套fMRI脑信号作为自回归模型的条件向量输入，根据步骤3.1构造的样本对，训练得到离散特征的自回归模型。

进一步地，步骤3.2中，采用第二保真度损失函数对自回归模型进行训练，所述第二保真度损失函数用于约束输入的离散特征和预测的离散特征的保真度。

进一步地，步骤4具体为：

步骤4.1：将第二套fMRI脑信号作为条件自回归模型的输入，条件自回归模型的输出为预测的离散特征；

步骤4.2：将预测的离散特征作为步骤1的图像重构模型的输入，图像重构模型的输出即为重构得到的刺激图像。

本发明的有益效果：

本发明从网络中间特征出发，通过VQ-VAE-2模型对图像信息高度压缩，提取图像关键特征，从而实现体素响应与之较好的匹配映射，从而可以改善自然图像的重构质量。

附图说明

图1为本发明实施例提供的基于离散表征和条件自回归的fMRI视觉重构方法的流程示意图；

图2为本发明实施例提供的构建图像离散表征模型和图像重构模型的示意图；

图3为本发明实施例提供的构建fMRI脑信号到图像离散表征的条件自回归模型的示意图；

图4为本发明实施例提供的fMRI脑信号的视觉重构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

fMRI视觉重构是指根据被试在看到图像刺激时大脑视觉区的fMRI信号，直接重构出被试所看到的图像。

如图1所示，本发明实施例提供一种基于离散表征和条件自回归的fMRI视觉重构方法，包括以下步骤：

S101：构建图像离散表征模型和图像重构模型；

具体地，如图2所示，首先确定刺激图像类别，然后收集与刺激图像类别相同的图像，根据收集到的图像构建VQ-VAE-2模型。VQ-VAE-2模型由图像离散表征模型和图像重构模型组成，训练完成后通过特征采样，可以由图像重构模型生成自然图像。采用第一保真度损失函数对图像离散表征模型和图像重构模型进行训练，所述第一保真度损失函数用于约束输入图像和重构图像的保真度。例如，第一保真度损失函数(即图2中的保真度损失函数)可以采用图像像素均方误差、结构相似性误差、深度网络特征层均方误差。

需要说明的是，本发明主要针对计算机视觉领域自然图像类别(如ImageNet数据库类别)，对一般性类别具有通用性。

本步骤中的“图像离散表征模型”能够实现对输入图像离散表征得到图像的离散特征；“图像重构模型”能够根据图像的离散特征再次重构出图像。该两个模型均由神经网络组成。其中，“图像离散表征模型”通过表征离散化，大幅实现了图像的特征压缩，有利于后续通过fMRI脑信号实施重构。

需要说明的是，构建VQ-VAE-2模型的过程可以参考“Razavi A,van den Oord A,Vinyals O.Generating diverse high-fidelity images with vq-vae-2[C]//Advancesin Neural Information Processing Systems.2019:14866-14876”。

S102：构建fMRI视觉重构数据集，所述数据集包含训练集和测试集，训练集包含第一套图像和被试看到第一套图像刺激后的第一套fMRI脑信号；所述测试集包含第二套图像和被试看到第二套图像刺激后的第二套fMRI脑信号；

S103：根据训练集和图像离散表征模型，构建fMRI脑信号到图像离散表征的条件自回归模型；

具体地，如图3所示，首先，利用步骤S101构建的图像离散表征模型，得到第一套图像的离散特征，并将得到的离散特征与第一套fMRI脑信号逐一构成样本对；然后，将第一套fMRI脑信号作为自回归模型的条件向量输入，根据构造的样本对，训练得到离散特征的自回归模型。本步骤中，采用第二保真度损失函数对自回归模型进行训练，所述第二保真度损失函数用于约束输入的离散特征和预测的离散特征的保真度。本步骤中的自回归模型可以采用经典的PixelRNN、PixelCNN等自回归神经网络模型。

第二保真度损失函数(即图3中的保真度损失函数)可以采用均方误差、余弦相似性、交叉熵，用来度量离散特征和预测的离散特征。

S104：根据条件自回归模型和图像重构模型，得到第二套fMRI脑信号的视觉重构结果。

具体地，如图4所示，首先，将第二套fMRI脑信号作为条件自回归模型的输入，条件自回归模型的输出为预测的离散特征；然后，将预测的离散特征作为步骤S101的图像重构模型的输入，图像重构模型的输出即为重构得到的刺激图像。

本发明实施例提供的基于离散表征和条件自回归的fMRI视觉重构方法，主要面向复杂自然图像的重构。通过离散表征压缩图像内容，通过条件自回归，实现fMRI脑信号与离散特征的关联，进而实现图像重构。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。