基于STFT和卷积神经网络的模式识别方法、系统和介质

摘要

本发明公开了一种基于STFT和卷积神经网络的模式识别方法、系统和介质，基于STFT和卷积神经网络的模式识别方法包括：获取原始图像，对原始图像进行数据预处理得到第一图像；将第一图像分为训练集和验证集；使用双样本T检验的方式从训练集提取第一体素点，从验证集提取第二体素点；对第一体素点进行短时傅里叶变换处理得到第一时频谱图，对第二体素点进行短时傅里叶变换处理得到第二时频谱图，将第一时频谱图和第二时频谱图送入卷积神经网络进行深度学习，以得到模式识别结果。解决了不连续时序之间信息融合的问题，且使用的卷积神经网络模型，结构轻减，在提高识别率的同时还减少了模型的计算量。

说明书

技术领域

本发明涉及小样本神经网络模型技术领域，特别涉及一种基于STFT和卷积神经网络的模式识别方法、系统和介质。

背景技术

脑科学一直都是研究热点，但目前的研究常常是基于静息态数据进行研究，对任务态数据的分析并不多。目前对fMRI(functional magnetic resonance imaging，功能核磁共振成像)数据的分析方法多是通过构建脑网络并借助机器学习的方法来进行分析，但是由于构建脑网络需要借助不同的脑模板，因此不同的脑模板构建出来的脑网络会有差异，这对后序分析结果会有很大的影响且机器学习因其深度有限，导致无法提取更深层次的信息。fMRI数据的一个特点就是维度高，因此较适用于深度学习，但fMRI数据通常样本量较少，使用深度学习的方法往往会导致模型过拟合，普通的数据增强方法对于模型的训练并没有太大的帮助。

发明内容

本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种基于STFT和卷积神经网络的模式识别方法，能够在MRI数据样本量较少的情况下，解决模型容易过拟合的问题，能够提取更深层次的信息，在提高识别率的同时还减少了模型的计算量。

本发明还提出一种具有上述基于STFT和卷积神经网络的模式识别方法的基于STFT和卷积神经网络的模式识别系统。

本发明还提出一种计算机可读存储介质。

第一方面，本实施例提供了一种基于STFT和卷积神经网络的模式识别方法，包括以下步骤：

获取原始图像，对所述原始图像进行数据预处理得到第一图像；

将所述第一图像分为训练集和验证集；

使用双样本T检验的方式从所述训练集提取第一体素点，从所述验证集提取第二体素点；

对所述第一体素点进行短时傅里叶变换处理得到第一时频谱图，对所述第二体素点进行短时傅里叶变换处理得到第二时频谱图，

将所述第一时频谱图和所述第二时频谱图送入卷积神经网络进行深度学习，以得到模式识别结果。

根据本发明实施例的基于STFT和卷积神经网络的模式识别方法，至少具有如下有益效果：首先获取原始图像，对原始图像进行预处理得到第一图像，将第一图像分为训练集和验证集，其中训练集占多数，验证集占少数，再使用双样本T检验的方式从训练集中提取第一体素点，从验证集中提取第二体素点，将第一体素点的时序和第二体素点的时序提取出来，对第一体素点的时序进行短时傅里叶变换处理得到第一时频谱图，对第二体素点的时序进行短时傅里叶变换处理得到第二时频谱图，最后将第一时频谱图和第二时频谱图送入卷积神经网络进行深度学习，以得到模式识别结果。

本实施例提供的基于STFT和卷积神经网络的模式识别方法在时频谱的获取和神经网络的构建都选取了更加简便的方式，考虑到数据时序不连续的特点，选择的短时傅里叶变换的方法获取时频谱，解决了不连续时序之间信息融合的问题，且使用的卷积神经网络模型，结构轻减，在提高识别率的同时还减少了模型的计算量。

根据本发明的一些实施例，所述训练集为所述第一图像的90％，所述验证集为所述第一图像的10％。训练集用于在模型确认后对普通参数进行训练，用训练集对普通参数训练完成后再用验证集对模型是否正确进行验证。

根据本发明的一些实施例，所述使用双样本T检验的方式从所述训练集提取第一体素点，从所述验证集提取第二体素点，包括步骤：使用双样本T检验的方式从所述训练集获取特征点位置，再根据所述特征点位置从所述训练集提取第一体素点，从所述验证集提取第二体素点。双样本T检验是T检验的一种形式，用于分析两个样本的均值是否存在统计上的差异，以确定他们是否来自于同一总体，双样本T检验的检验假设是两总体均数相等。

根据本发明的一些实施例，所述卷积神经网络包括输入层、卷积层、池化层、全连接层和输出层。

根据本发明的一些实施例，所述卷积神经网络包括输入层、卷积层、归一化层、全连接层和输出层。

根据本发明的一些实施例，所述卷积层共三层，每个所述卷积层均由3*3的卷积核组成，对每一层所述卷积层的卷积提取的特征进行归一化处理，在所述全连接层对所述特征分类。本实施例通过对模型结构进行改进，得到了一个由输入层、卷积层、归一化层、全连接层和输出层构成的卷积神经网络，其中卷积层共三层，每个卷积层均是由3*3的卷积核组成，使用一致性填充方法并使用‘relu’函数激活，对每一层的卷积提取出来的特征进行归一化处理，最后在全连接层实现分类，能有效降低数据处理的数据复杂度，减小数据量。本实施例不需要构造复杂的特征工程，直接对体素点进行分析，解决了因脑模板不同而带来的结果差异，在保证识别率的前提下使得模型更加轻减。

根据本发明的一些实施例，所述使用双样本T检验的方式从所述训练集提取第一体素点，从所述验证集提取第二体素点，包括步骤：使用降维的方法来选取第一体素点和第二体素点。这样在整个模型训练的过程中，可以使所选取的特征完全没有借鉴先验信息，模式识别的结果更加可靠。

第二方面，本实施例提供了一种基于STFT和卷积神经网络的模式识别系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于STFT和卷积神经网络的模式识别方法。

根据本发明实施例的基于STFT和卷积神经网络的模式识别系统，至少具有如下有益效果：

基于STFT和卷积神经网络的模式识别系统应用了如第一方面所述的基于STFT和卷积神经网络的模式识别方法，在时频谱的获取和神经网络的构建都选取了更加简便的方式，考虑到数据时序不连续的特点，选择的短时傅里叶变换的方法获取时频谱，解决了不连续时序之间信息融合的问题，且使用的卷积神经网络模型，结构轻减，在提高识别率的同时还减少了模型的计算量。

第三方面，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如如第一方面所述的基于STFT和卷积神经网络的模式识别方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中摘要附图要与说明书附图的其中一幅完全一致：

图1是本发明一个实施例提供的基于STFT和卷积神经网络的模式识别方法的流程图；

图2是本发明另一个实施例提供的基于STFT和卷积神经网络的模式识别方法的流程图；

图3是本发明另一个实施例提供的基于STFT和卷积神经网络的模式识别方法的卷积神经网络的结构图；

图4是本发明另一个实施例的数据处理的表格。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

目前对fMRI数据最常用的方法就是构建脑网络，之后再对脑网络进行分析。而脑网络的构建需要脑模板，不同的脑模板对脑区的划分也是不同的(具体体现在精细程度上)。因此采用不同的脑模板所构建的脑网络也是不同的，从而导致脑网络所蕴含的特征信息有所不同。对fMRI数据进行分析时，其特征维度往往是成千上万，对机器学习模型来说，模型深度不够，对于高维特征的解析能力不够，降维可能会导致特征信息损失。而神经网络模型对于解析高维数据有着不错的效果，但是深度学习模型在进行训练的时候，对样本量往往有一定的要求，对于fMRI数据这种高维，数据量少的数据来说，如何进行模型增强是一个亟待解决的问题，传统的例如翻转图片等数据增强的方法对于fMRI数据来说并不是很适用，因为在对fMRI数据分析时，并不是对采集到的的原始图片进行分析，而是对一些列特征向量进行分析，因此传统的数据增强方法并不适用。

本发明提供了一种基于STFT和卷积神经网络的模式识别方法，对模型进行了有效地增强，在时频谱的获取和神经网络的构建都选取了更加简便的方式，考虑到数据时序不连续的特点，选择的短时傅里叶变换的方法获取时频谱，解决了不连续时序之间信息融合的问题，且使用的卷积神经网络模型，结构轻减，在提高识别率的同时还减少了模型的计算量。

下面结合附图，对本发明实施例作进一步阐述。

参照图1和图2，图1是本发明一个实施例提供的基于STFT和卷积神经网络的模式识别方法的流程图，图2是本发明另一个实施例提供的基于STFT和卷积神经网络的模式识别方法的流程图，基于STFT和卷积神经网络的模式识别方法包括但不仅限于步骤S110至步骤S150。

步骤S110，获取原始图像，对原始图像进行数据预处理得到第一图像；

步骤S120，将第一图像分为训练集和验证集；

步骤S130，使用双样本T检验的方式从训练集提取第一体素点，从验证集提取第二体素点；

步骤S140，对第一体素点进行短时傅里叶变换处理得到第一时频谱图，对第二体素点进行短时傅里叶变换处理得到第二时频谱图；

步骤S150，将第一时频谱图和第二时频谱图送入卷积神经网络进行深度学习，以得到模式识别结果。

在一实施例中，首先获取原始图像，对原始图像进行预处理得到第一图像，将第一图像分为训练集和验证集，其中训练集占多数，验证集占少数，再使用双样本T检验的方式从训练集中提取第一体素点，从验证集中提取第二体素点，将第一体素点的时序和第二体素点的时序提取出来，对第一体素点的时序进行短时傅里叶变换处理得到第一时频谱图，对第二体素点的时序进行短时傅里叶变换处理得到第二时频谱图，最后将第一时频谱图和第二时频谱图送入卷积神经网络进行深度学习，以得到模式识别结果。

由于fMRI数据量较小，在深度学习模型上容易过拟合，因此需要进行数据增强。对于深度模型的输入，往往是一张蕴含丰富信息的特征图。因此，尝试基于小样本量构造一种新的特征图。由于每个被试会采集多次fMRI图像，这些图像蕴含着被试脑部活动在时序上的信息，且大脑可以抽象为是由许多体素点组成的，因此我们尝试研究某些体素点在时序上的变化，将这些体素点在时域上的信息转换为时频谱，这样不仅达到了一种信息增强的效果，也保证了输入数据为图片类型，而非是向量。其次，由于进行任务刺激时，不能保证同一任务是在同一连续时间进行的，因此关于不连续时序之间的信息融合，通过滑动窗口的方法来进行信息融合。

在一实施例中，首先使用双样本t检验选取体素点，将体素点的时序提取出来，进行短时傅里叶变换得到体素点的时频谱图，最后将时频谱图送入神经网络进行训练。

1.双样本t检验

双样本T检验是T检验的一种形式，用于分析两个样本的均值是否存在统计上的差异，以确定他们是否来自于同一总体。其原理为，双样本T检验的检验假设是两总体均数相等，即H

其中v表示自由度。

S

2.短时傅里叶变换(short time frequency transform，stft)

短时傅里叶变换是一种常用的时频域分析方法，在语音信号、生理信号等方面应用十分广泛。其基本思想就是在傅里叶变换的基础上实现时域的局部化，它将一段较长的时域信息分成许多大小相同的小段，并在每一小段时域上进行傅里叶变换，从而构成时变信号的时频谱。

由上式知，信号在时间t处的短时傅里叶变换就是信号乘上一个以t为中心的“分析窗”后所作的傅里叶变换。乘以分析窗函数等价于取出信号在分析时间点t附近的一个切片。对于给定时间t，可以看作是该时刻的频谱。

在一实施例中，获取原始图像，对原始图像进行预处理得到第一图像，将第一图像分为训练集和验证集，训练集为第一图像的90％，所述验证集为第一图像的10％。训练集用于在模型确认后对普通参数进行训练，用训练集对普通参数训练完成后再用验证集对模型是否正确进行验证。

在一实施例中，获取原始图像，对原始图像进行数据预处理得到第一图像，将第一图像分为训练集和验证集，使用双样本T检验的方式从训练集获取特征点位置，再根据特征点位置从训练集提取第一体素点，从验证集提取第二体素点，对第一体素点进行短时傅里叶变换处理得到第一时频谱图，对第二体素点进行短时傅里叶变换处理得到第二时频谱图，将第一时频谱图和第二时频谱图送入卷积神经网络进行深度学习，以得到模式识别结果，双样本T检验是T检验的一种形式，用于分析两个样本的均值是否存在统计上的差异，以确定他们是否来自于同一总体，双样本T检验的检验假设是两总体均数相等。

在一实施例中，卷积神经网络包括输入层、卷积层、池化层、全连接层和输出层。

参考图3，图3是本发明另一个实施例提供的基于STFT和卷积神经网络的模式识别方法的卷积神经网络的结构图。

在一实施例中，卷积神经网络包括输入层、卷积层、归一化层、全连接层和输出层。本实施例通过对模型结构进行改进，得到了一个由输入层、卷积层、归一化层、全连接层和输出层构成的卷积神经网络。其中卷积层共三层，每个卷积层均是由3*3的卷积核组成，使用一致性填充方法并使用‘relu’函数激活，对每一层的卷积提取出来的特征进行归一化处理，最后在全连接层实现分类。

本实施例在时频谱的获取和神经网络的构建都选取了更加简便的方式，本实施例考虑到数据时序不连续的特点，选择的短时傅里叶变换的方法获取时频谱，解决了不连续时序之间信息融合的问题，且使用的卷积神经网络模型，结构轻减，在提高识别率的同时还减少了模型的计算量。

在一实施例中，通过对模型结构进行改进，得到了一个由输入层、卷积层、归一化层、全连接层和输出层构成的卷积神经网络，其中卷积层共三层，每个卷积层均是由3*3的卷积核组成，使用一致性填充方法并使用‘relu’函数激活，对每一层的卷积提取出来的特征进行归一化处理，最后在全连接层实现分类，能有效降低数据处理的数据复杂度，减小数据量。本实施例不需要构造复杂的特征工程，直接对体素点进行分析，解决了因脑模板不同而带来的结果差异，在保证识别率的前提下使得模型更加轻减。

在一实施例中，使用降维的方法来选取第一体素点和第二体素点。在选取体素点的过程中，可以使用降维的方法来选取权重较大的体素点，这样在整个模型训练的过程中，可以保证所选取的特征完全没有借鉴先验信息，使得结果更加可靠。

参考图4，图4是本发明另一个实施例的数据处理的表格。

一.实验数据

本研究所使用的的数据均来源于中南大学湘雅二医院医学影像科，且经过中南大学湘雅二医院伦理委员会审批备案。完成试验数据共93例，其中目前正处于长期阶段状态的男性MA滥用者48名和正常男性对照者45名。两组被试入组标准如表1所示。所有被使者的排除标准如下：

(1)目前存在幻觉、妄想、抑郁、焦虑等精神症状症状；

(2)既往有其他轴I精神障碍(如精神分裂症、抑郁症、双相情感障碍、躁狂等)史；

(3)参与本研究前3内接受过精神科、神经内科或其它专科开具的影响脑部功能的药物或物理治疗；

(4)既往存在脑肿瘤、脑外伤等脑器质性疾病史；

(5)癫痫、昏迷、高热抽搐等发作病史；

(6)罹患影响脑部功能的代谢内分泌、心血管疾病等躯体疾病；

(7)体内有金属或电磁植入物、罹患幽闭恐怖症等不适合进行磁共振检查的情况；

(8)同性恋倾向或性冷淡。

所有受试者均为自愿参加，在研究开始之前，均已告知研究目的，研究方法流程以及被试者将会面临的风险和收益，并签署了知情况同意书。

每位被试者都会接受四种任务刺激，分别是毒品线索，性线索，中性线索和Rest。整个图片呈现的过程包含六个会话，共计450s。其中，每个会话包含毒品、中性、色情以及rest四个区组。需要注意的是，除rest之外的每个区组都包含五张图片，每张图片呈现时间为3s，图片切换时间为1s。rest组块为呈现“+”，呈现事件为15s。四种线索的呈现是随机的，但是每个会话中必定包含四种线索且所有呈现的图片不会有重复。

二.数据预处理

所有fMRI图像数据均在中南大学湘雅二医院医学影像科使用德国Siemens公司生产的3.0特斯拉磁共振扫描系统进行采集。磁共振数据采集参数如下:TR＝2000ms,TE＝20ms,FOV＝220mm,matrix＝64*64,flip angle＝80°,voxel size＝3.4×3.4×3.4mm,slice thickness＝4mm,number of slice＝36,隔层扫描，先扫描偶数层后扫描奇数层，共采集225个时间点。使用Dcm2AsiszImg软件分类出原始图像数据中的任务态图像数据，并使用MRI converter转换为NIfTI hdr/img格式。使用DPARSFA软件对数据进行预处理，分别是时间层校正，头动校正，使用EPI模板进行空间标准化配准，使用半高全宽值为6mm的高斯核函数进行高斯空间平滑。剔除头动大于2.5mm的被试样本后，剩余MA滥用者42名，正常对照组32名。

三.模型训练

使用GLM(Generalize Linear Model，一般线性模型模型)对预处理后的数据进行分析，提取出在毒品线索刺激下得到的contrast文件。将被试数据分为训练集和测试集。

使用训练集的contrast进行双样本T检验，得到p值小于0.005的体素点的位置信息。根据位置信息，提取出对应体素点在毒品线索刺激下的时序信息，每个体素点在毒品线索刺激下的时序长为60s，使用STFT对提取出来的体素点的时序信息进行处理得到时频图，大小为875*656。

使用训练集的时频图对模型进行训练，将图片大小重塑为224*224，送入模型训练，训练网络时，batch_size为32，epoch为500，初始学习率为0.001，按步衰减，步长为10，衰减率为0.99，使用自适应优化器(Adm)优化模型的权重。

四.结果分析

使用验证集对模型进行验证，实验采用十折交叉验证，其中验证集分类准确率最高可达到100％，最低为83.33％。综合准确率为93.42％。相较于相关技术中的方法，准确率提升了13％。

基于STFT和CNN(Convolutional Neural Networks,卷积神经网络)的模式识别方法可以应用于静息态或任务态fMRI数据的分析，诸如年龄、性别、是否患病等模式的识别分类，本模型不需要构造复杂的特征工程，直接对体素点进行分析，解决了因脑模板不同而带来的结果差异，在保证识别率的前提下使得模型更加轻减。

本发明还提供了一种基于STFT和卷积神经网络的模式识别系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于STFT和卷积神经网络的模式识别方法。基于STFT和卷积神经网络的模式识别系统应用了如第一方面所述的基于STFT和卷积神经网络的模式识别方法，在时频谱的获取和神经网络的构建都选取了更加简便的方式，考虑到数据时序不连续的特点，选择的短时傅里叶变换的方法获取时频谱，解决了不连续时序之间信息融合的问题，且使用的卷积神经网络模型，结构轻减，在提高识别率的同时还减少了模型的计算量。

此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，控制处理器能够执行图1中的方法步骤S110至步骤S150。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。