基于深度神经网络的脑膜瘤快速分割定性方法

摘要

本发明涉及手术前的脑膜瘤级别判断领域，公开了一种基于深度神经网络的脑膜瘤快速分割定性方法，包括如下步骤：准备磁共振脑部图像；建立脑膜瘤分割模型，并通过脑膜瘤分割模型从磁共振脑部图像中筛选出包含脑膜瘤区域的有效图像；建立脑膜瘤分级模型，并通过脑膜瘤分级模型对有效图像进行分级检测，并输出脑膜瘤分级检测结果。通过本发明提出的上述方法，只需要将某患者扫描后生成的一系列磁共振脑部图像输入进网络，经过对所有磁共振脑部图像的综合分析计算后，迅速地给出该患者脑膜瘤的分级结果，达到辅助医师进行诊断的目的，并且，整个过程自动进行，减少了医师大量的重复性工作，节约了时间，使患者能够更快地接受治疗。

说明书

技术领域

本发明涉及手术前的脑膜瘤级别判断领域，具体涉及一种基于深度神经网络的脑膜瘤快速分割定性方法。

背景技术

脑膜瘤起源于脑膜及脑膜间隙的衍生物，是颅内第二大常见肿瘤，占颅内肿瘤的13%~26%，近年来发病率呈上升趋势。按2016年WHO中枢神经系统肿瘤分类,将脑膜瘤分为3个级别，大多数脑膜瘤被归类为WHO Ⅰ级病变,即良性病变,生长缓慢，术后不易复发。少数按局部侵袭性和非典型性细胞特征归类为WHO Ⅱ级或Ⅲ级病变,即恶性病变，患者可能出现失明，偏瘫，癫痫等症状，病情严重者甚至可能突然死亡。由于恶性脑膜瘤具有侵袭性强，复发与转移率较高的特点，手术方式有别于良性脑膜瘤。因此，术前尽早地对脑膜瘤级别进行准确判断至关重要，将有助于制定患者的手术方式及评估愈后状况。

对于脑膜瘤的诊断，目前最常用且有效的手段为医学影像检查中的磁共振（MRI）检查。具体做法为脑膜瘤患者将在影像科的专业医师的指导下，接受磁共振机对其颅脑按一定扫描序列在冠状位、矢状位和横断位方向上的全方位立体扫描。扫描完成后，医生对该序列下得到的每一张MRI图像数据进行读图分析，根据患者颅脑MRI图像中显示出的肿瘤形态，纹理，像素强度等特征，对患者进行脑膜瘤级别的诊断。

虽然大部分医院都具有核磁扫描机器，但是更为重要的是专业医生的读图诊断，对于相对偏远的乡镇医院很难及时获得经验丰富的医生的临床意见。同时，由于断层扫描的间隔非常小，因此一个患者的颅脑核磁断层扫描切片一般就达到了200-300张，数量庞大，完全依靠医生的人工读图诊断工作量巨大，耗时较长，效率较低。

发明内容

本发明的目的是提供一种基于深度神经网络的脑膜瘤快速分割定性方法，能在极短时间内快速分析患者对应的多张脑部MRI图像，预测脑膜瘤良恶性以及级别。

本发明解决其技术问题，采用的技术方案是：

基于深度神经网络的脑膜瘤快速分割定性方法，包括如下步骤：

步骤1.准备磁共振脑部图像；

步骤2.建立脑膜瘤分割模型，并通过所述脑膜瘤分割模型从所述磁共振脑部图像中筛选出包含脑膜瘤区域的有效图像；

步骤3.建立脑膜瘤分级模型，并通过所述脑膜瘤分级模型对所述有效图像进行分级检测，并输出脑膜瘤分级检测结果。

进一步的是，步骤1具体如下步骤：

步骤101.获取多例脑膜瘤患者的颅脑磁共振图像文件及其病例报告，其中，包含脑膜瘤一级良性样本及脑膜瘤二级恶性样本；

步骤102.从每例颅脑磁共振图像文件中读取患者脑部在横断位方向上每隔第一距离进行断层扫描的磁共振脑部图像序列；

步骤103.基于患者的病例报告结果获得其对应的磁共振脑部图像中脑膜瘤的类别标签；

步骤104.基于图像标注系统完成对磁共振脑部图像中脑膜瘤区域的勾画；

步骤105.勾画完成并进行交叉验证后，再对肿瘤勾画区域进行确认，获得其脑膜瘤的分割标签。

进一步的是，步骤102中，所述第一距离为1mm。

进一步的是，步骤2中，所述建立的脑膜瘤分割模型为结合双向长短时记忆单元的脑膜瘤分割模型，通过该脑膜瘤分割模型，对每例颅脑磁共振图像文件中所有组的磁共振脑部图像按序列顺序进行脑膜瘤区域的识别与分割。

进一步的是，步骤2中，所述建立的脑膜瘤分割模型对输入的磁共振图像进行的处理包括如下步骤：

步骤201.输入患者的磁共振脑部图像；

步骤202.依次利用池化操作进行下采样；

步骤203.在下采样的最后一步中，加入双向长短时记忆单元，存储来自磁共振脑部图像序列中前向图像和后向图像的特征图，用于分割约束；

步骤204.依次利用双线性插值进行上采样，其中将同一尺度的上采样和下采样时的特征图拼接，用于信息补全；

步骤205.对最后一次上采样还原得到的特征图中的每个像素分类，分割出脑膜瘤区域与背景区域，脑膜瘤区域的像素值为1，背景区域的像素值为0。

进一步的是，步骤205之后，对所述建立脑膜瘤分割模型进行训练，训练完成后，输入一系列的磁共振脑部图像，输出一个与输入图像大小一致的分割矩阵，并按照分割矩阵和值的高低排序，筛选出脑膜瘤最明显的前5张磁共振脑部图像作为该患者病例的代表图像。

进一步的是，对筛选出的代表图像，根据其分割矩阵的0/1分布情况，定位至脑膜瘤区域的中心，并依此为中心，向四周截取出90*90大小的脑膜瘤单独图像，并将该脑膜瘤单独图像作为有效图像输入至脑膜瘤分级模型。

进一步的是，步骤3中，通过所述脑膜瘤分级模型对所述有效图像进行分级检测，并输出脑膜瘤分级检测结果，其具体包括如下步骤：

步骤301.使用多个残差学习模块，通过组合叠加的方式构成特征提取器进行脑膜瘤特征提取；

步骤302.对同属于一例病例的多张有效图像特征在通道维度上进行均值融合；

步骤303.使用全连接层构成分类器，对特征融合后的特征向量结果进行分类，输出该患者病例对应的脑膜瘤分级检测结果。

进一步的是，在步骤3之后，对步骤1-3组成的整体网络进行训练和测试。

进一步的是，对所述整体网络进行训练和测试时，将所有磁共振脑部图像按照8:2的比例随机划分为训练集与测试集。

本发明的有益效果是，通过上述基于深度神经网络的脑膜瘤快速分割定性方法，只需要将某患者扫描后生成的一系列磁共振脑部图像输入进网络，经过对所有磁共振脑部图像的综合分析计算后，迅速地给出该患者脑膜瘤的分级结果，达到辅助医师进行诊断的目的，并且，整个过程自动进行，减少了医师大量的重复性工作，节约了时间，使患者能够更快地接受治疗。

附图说明

图1为本发明基于深度神经网络的脑膜瘤快速分割定性方法的流程图；

图2为本发明中数据准备流程图；

图3为本发明中脑膜瘤分割模型处理流程图；

图4为本发明中脑膜瘤分级模型处理流程图；

图5为本发明实施例中的整体工作流程图。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。

本发明公开了一种基于深度神经网络的脑膜瘤快速分割定性方法，其流程图见图1，其中，该方法包括如下步骤：

S1.准备磁共振脑部图像。

S2.建立脑膜瘤分割模型，并通过所述脑膜瘤分割模型从所述磁共振脑部图像中筛选出包含脑膜瘤区域的有效图像。

S3.建立脑膜瘤分级模型，并通过所述脑膜瘤分级模型对所述有效图像进行分级检测，并输出脑膜瘤分级检测结果。

上述方法中，参见图2的数据准备流程图，S1具体可以如下步骤：

S101.获取多例脑膜瘤患者的颅脑磁共振图像文件及其病例报告，其中，包含脑膜瘤一级良性样本及脑膜瘤二级恶性样本。

S102.从每例颅脑磁共振图像文件中读取患者脑部在横断位方向上每隔第一距离进行断层扫描的磁共振脑部图像序列；其中，为了得到更能表象图像的数据，第一距离优选为1mm。

S103.基于患者的病例报告结果获得其对应的磁共振脑部图像中脑膜瘤的类别标签。

S104.基于图像标注系统完成对磁共振脑部图像中脑膜瘤区域的勾画。

S105. 勾画完成并进行交叉验证后，再对肿瘤勾画区域进行确认，获得其脑膜瘤的分割标签。这里，由技术人员勾画完成并进行交叉验证后，再由专业医师对肿瘤勾画区域进行确认，获得其脑膜瘤的分割标签，以保证分割标签的精确性。

需要指出的是，S2中，建立的脑膜瘤分割模型为结合双向长短时记忆单元的脑膜瘤分割模型，可以通过该脑膜瘤分割模型，对每例颅脑磁共振图像文件中所有组的磁共振脑部图像按序列顺序进行脑膜瘤区域的识别与分割。

这里，参见图3的脑膜瘤分割模型处理流程图，其中，建立的脑膜瘤分割模型对输入的磁共振图像进行的处理可以包括如下步骤：

S201.输入患者的磁共振脑部图像。

S202.依次利用池化操作进行下采样。

S203.在下采样的最后一步中，加入双向长短时记忆单元，存储来自磁共振脑部图像序列中前向图像和后向图像的特征图，用于分割约束。

S204.依次利用双线性插值进行上采样，其中将同一尺度的上采样和下采样时的特征图拼接，用于信息补全。

S205.对最后一次上采样还原得到的特征图中的每个像素分类，分割出脑膜瘤区域与背景区域，脑膜瘤区域的像素值为1，背景区域的像素值为0。

实际应用过程中，S205之后，还可以对建立脑膜瘤分割模型进行训练，训练完成后，输入一系列的磁共振脑部图像，输出一个与输入图像大小一致的分割矩阵，并按照分割矩阵和值的高低排序，筛选出脑膜瘤最明显的前5张磁共振脑部图像作为该患者病例的代表图像；对筛选出的代表图像，根据其分割矩阵的0/1分布情况，定位至脑膜瘤区域的中心，并依此为中心，向四周截取出90*90大小的脑膜瘤单独图像，并将该脑膜瘤单独图像作为有效图像输入至脑膜瘤分级模型。

参见图4的脑膜瘤分级模型处理流程图，S3中，通过脑膜瘤分级模型对有效图像进行分级检测，并输出脑膜瘤分级检测结果，其具体包括如下步骤：

S301.使用多个残差学习模块，通过组合叠加的方式构成特征提取器进行脑膜瘤特征提取。

S302.对同属于一例病例的多张有效图像特征在通道维度上进行均值融合。

S303.使用全连接层构成分类器，对特征融合后的特征向量结果进行分类，输出该患者病例对应的脑膜瘤分级检测结果。

另外，还可在S3之后，对S1-S3组成的整体网络进行训练和测试。

这里，对整体网络进行训练和测试时，将所有磁共振脑部图像按照8:2的比例随机划分为训练集与测试集，能够更好地对整体网络进行训练和测试，使本发明提出的基于深度神经网络的脑膜瘤快速分割定性方法能够更好地识别出患者的脑膜瘤级别。

因此，本发明能够针对患者脑部的一系列MRI（磁共振）图像进行其脑膜瘤级别的诊断，并且，脑膜瘤级别的诊断过程完全由计算机自动完成，仅需输入该患者的脑部MRI图像，即可自动进行计算与预测，不需要其他人为参数设置和特征指定。

实际应用时，患者一次脑部核磁扫描后，会生成大量MRI序列图像，本发明使用脑膜瘤分割模型筛选出包含脑膜瘤且脑膜瘤显示明显的有效图像进行后续分级诊断，提高诊断精度。其中脑膜瘤分割模型加入了双向双向长短时记忆（LSTM）单元，某图像在分割时能够融合序列前后的图像信息，能够更精准地完成分割任务同时，提高运算效率，节省计算资源。并且，本发明能在极短时间内快速分析该患者对应的多张脑部MRI图像，预测脑膜瘤良恶性以及级别，减少了医生大量的重复性工作，达到在临床上，辅助医生进行脑膜瘤分级检测的实际应用目的。

实施例

本发明实施例提出的基于深度神经网络的脑膜瘤快速分割定性方法，其整体工作流程图见图5，其中，在脑膜瘤患者经过颅脑核磁扫描后，生成得到一个对应于该患者脑部三维MRI图像序列的扫描文件。从文件中解析出所需要的患者脑部在横断位方向上的一组MRI断层扫描图像，首先对该组所有MRI图像进行脑膜瘤区域的分割与识别，目的是为了筛选出包含肿瘤区域的有效图像，然后再对这少部分包含脑膜瘤的有效图像进行一个综合的分类判断，最后给出患者脑膜瘤的分级检测结果，其中，涉及到的分割与分类模型均为神经网络模型。

本实施例中，具体实现了利用神经网络的方法，对来自脑膜瘤患者脑部的一组MRI图像完成整体的分割定性判断，包括以下几个部分：

（1）MRI图像数据的准备。

获得了多例脑膜瘤患者的颅脑MRI图像文件，包含了脑膜瘤1级良性样本与脑膜瘤2级恶性样本。从每例MRI图像文件中读取出患者脑部在横断位方向上每隔1mm进行断层扫描的一组MRI脑部图像，同时，每例MRI图像的脑膜瘤级别标签对应于该患者病历报告上的医生给出的专业诊断结果。为了后续对模型的训练与测试，将全部图像数据按照8:2随机划分为训练集与测试集。

（2）脑膜瘤分割模型的建立。

由于一例颅脑MRI图像文件经过解析后，多达200-300张，但脑膜瘤在颅内所占体积不大，这就造成了有超过三分之二的切片中是不包含肿瘤区域的。而一例MRI图像文件对应于同一个级别标签，意味着会有许多不含脑膜瘤的图片将被赋予肿瘤的级别标记，与事实不符，属于噪声数据。为了降低这部分图像对于最终分类效果的干扰，建立一个脑膜瘤分割模型，筛选出包含脑膜瘤的有效切片，去除噪声，提高准确率。

（2a）结合双向长短时记忆（LSTM）单元的脑膜瘤分割模型：选择U-Net分割网络作为该分割模型的雏形，其中加入了双向的LSTM单元达到序列融合的目的，对一例MRI扫描文件中的所有图像按序列顺序进行脑膜瘤区域的识别与分割。该分割模型主要执行五类操作：

操作一：下采样：使用2×2大小的最大池化窗口将特征图缩小一倍，依次完成下采样；

操作二：上采样：采用双线性插值方式对特征图进行上采样，将特征图扩大一倍，逐步恢复到原始图像大小；

操作三：跨层连接：将同一尺度的前后特征图拼接，补充了上采样还原图像时需要的信息；

操作四：双向LSTM单元：在下采样的最后一步中，加入双向LSTM记忆单元，存储来自图像序列中前向和后向图像的特征图，在上采样时提供先验知识，更精准地控制分割区域，提高分割准确率。

操作五：分割：对最终还原得到的特征图中的每个像素分类，由于只需要分割出脑膜瘤与背景，令脑膜瘤区域的像素值为1，背景区域的像素值为0。

该分割模型训练完成后，当输入一系列脑部MRI图像后，输出一个与输入图像大小一致的分割矩阵，数值为1的部分即对应了输入图像中的脑膜瘤，其余为0。某图像输出的分割矩阵和值越大，则说明该图像包含的脑膜瘤区域越大，若等于0，则说明该图像中无脑膜瘤区域。因此，对于一例MRI文件中的所有图像，按照分割矩阵和值的高低排序，筛选出脑膜瘤最明显的前5张图像作为该患者病例的代表图像。

（2b）基于分割矩阵的脑膜瘤区域截取：对筛选出的脑膜瘤代表图像，根据其分割矩阵0/1分布情况，定位至脑膜瘤区域的中心，并依此为中心，向四周截取出90*90大小的脑膜瘤单独图像。并将该数据作为后续脑膜瘤分级模型的输入图像数据。

（3）脑膜瘤分级模型的建立。

患者脑部MRI图像的分辨率较大，普通浅层的神经网络对图像的学习能力有限，因此本发明中建立了一个深层神经网络，能够实现对分割后重新整理得到的一组脑部MRI图像，输出整体的分级结果。

（3a）特征提取：使用了多个残差学习模块，通过组合叠加的方式构成了该神经网络的特征提取部分。残差模块由一层1×1大小,一层3×3大小和一层1×1大小的卷积层组成，既能完成特征提取，又降低了参数数量，提高训练速度。

（3b）特征融合：输入的多张图像，分别经过特征提取部分后，获得各自对应的特征向量。对所有特征向量在通道维度上进行均值计算，得到所有图像特征融合后的特征向量结果。

（3c）分类：使用全连接层对特征融合后的特征向量进行分类，输出该患者MRI脑部图像对应的综合脑膜瘤分级结果。

（4）模型的训练与测试。

（4a）数据增广：考虑到本数据集规模较小，为了让分级模型具有更强的泛化性能和鲁棒性，在脑膜瘤MRI图像输入分级模型前进行空间几何上的一些变换，例如随机旋转，剪裁等，以获得比原始数据集规模更大的数据集用以模型的训练。

（4b）训练策略：为了完成对一组输入图像给出其整体分类结果，先对组内所有图像的提取到的特征进行融合，转换为单个特征向量后，再完成分类。因此，本发明设计的神经网络中的特征提取模块与分类模块将分步，前后单独进行训练。

特征提取器模块训练：特征提取器部分包括网络中的最后一层卷积结构以前的部分。该部分的参数学习使用到的图像数据以张为单位，采用预训练结合微调的方式，一方面比随机初始化权重的训练速度更快，另一方面是为了尽量避免数据量不足而导致的过拟合现象，增强对图像特征的提取能力。

分类器模块训练：分类器部分即网络中的最后一层卷积结构以后的部分。分类器训练的时候，特征提取器部分的参数将不再更新。分类器的参数学习使用到的图像数据以例为单位，对于输入网络的一组图像，通过特征提取及融合后，送入分类器模块进行脑膜瘤一级与二级的二分类判断。

（4c）网络的前向计算：

通常，对一个L层的前馈神经网络，设其训练样本集合为

其中，

使用最后一层的网络输出

（4d）网络的反向传播，其步骤如下：

1.由前馈计算计算出各节点的输出值

2.计算最后一层的残差

3.从后往前计算各层的残差

4.由残差计算出对应的梯度：

5.更新对应权值，其中

网络将重复（4c）和（4d）直至网络收敛或达到规定的迭代次数。

（4e）网络的测试：整个网络训练完成后，对网络的分类性能进行了测试与评估。

在划分好的测试数据集上，输入患者对应的一组脑部MRI图像，对本实施例设计的神经网络预测出的脑膜瘤分级结果与样本实际的级别标签进行统计与比对，达到了0.875的分类准确率，灵敏度和特异度均达到了90%以上，说明了该方法既能保证漏诊率低，又能保证误诊率低。