MRI嗅球体积检测方法、计算机装置、计算机可读存储介质

摘要

本发明提供了一种基于深度神经网络的MRI嗅球体积检测方法、计算机装置、计算机可读存储介质。该MRI嗅球体积检测方法包括：步骤A，获取一系列的包括嗅球目标的冠状面MRI影像；步骤B，将每一张的冠状面MRI影像输入经过训练的深度神经网络，对其中的嗅球组织进行标注，得到掩码图像；以及步骤C，对于一系列的标注嗅球组织后的掩码图像，结合MRI扫描的缩放比例和间隔厚度计算嗅球体积。本发明利用深度神经网络来实现MRI嗅球体积的自动化检测，节省了人工，提高了效率，同时比人工更为稳定、通用性更好，更为客观和一致。

说明书

技术领域

本发明涉及信息处理行业影像识别技术领域，尤其涉及一种基于深度神经网络的磁共振成像(Magnetic Resonance Imaging，简称MRI)嗅球体积检测方法、计算机装置、计算机可读存储介质。

背景技术

嗅觉功能作为人类五大基础感觉之一，在人类的生产生活中起着极其重要的作用。嗅球是嗅觉系统的信息中转站，是嗅觉系统的重要组成部分，其位于筛板上方的前颅底，呈椭圆形，并通过与条索状的嗅束与嗅觉高级中枢及其他脑区相联系。

既往多项研究已证实嗅觉系统的可塑性，作为嗅觉系统的重要组成部分，嗅球形态、大小也会受到多种因素如病毒感染、炎症、外伤等的影响出现相应改变。嗅球体积除了与嗅觉功能有着高度的相关性外，近年来多项研究还证实了嗅觉障碍与神经退行性疾病、情感障碍和精神疾病的相关性。嗅觉功能的变化作为阿尔兹海默病(Alzheimer disease，简称AD)的早期诊断指标，在欧洲已经被广泛接受。

嗅球体积这一指标在耳鼻喉以及神经科学领域的应用越来越广泛。随着医学影像学的发展，嗅觉系统影像最近几十年也有了长足进步。在嗅觉系统影像中嗅球因其易被分辨和测量，嗅球体积已被广泛用作客观嗅觉功能及嗅觉系统状态的指标。因此嗅球体积测量是目前及未来临床及科研工作中极其重要的内容。

在实现本发明的过程中，申请人发现传统的MRI嗅球体积检测方法均是通过人工标注和计算，需要勾画人员有丰富的医学及影像学背景。这带来两个问题：①人工标注操作精细复杂，操作时间较长；②标注有一定主观性，学习成本高且一致性差，最终标注结果的稳定性不高。

发明内容

(一)要解决的技术问题

本发明以期至少部分地解决以上技术问题中的至少之一。

(二)技术方案

为了实现如上目的，本发明提供了一种MRI嗅球体积检测方法。该MRI嗅球体积检测方法包括：步骤A，获取一系列的包括嗅球目标的冠状面MRI影像；步骤B，将每一张的冠状面MRI影像输入经过训练的深度神经网络，对其中的嗅球组织进行标注，得到掩码图像；以及步骤C，对于一系列的标注嗅球组织后的掩码图像，结合MRI扫描的缩放比例和间隔厚度计算嗅球体积。

为了实现如上目的，本发明还提供了一种计算机装置。该计算机装置包括：存储器；以及处理器，电性耦接至所述存储器，其被配置为基于存储在所述存储器中的指令，执行如上所述的MRI嗅球体积检测方法。

为了实现如上目的，本发明又提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机指令，所述指令被处理器执行时执行如上所述的MRI嗅球体积检测方法。

(三)有益效果

从上述技术方案可知，本发明至少具有以下有益效果其中之一：

(1)利用深度神经网络来实现MRI嗅球体积的自动化检测，节省了人工，提高了效率，同时比人工更为稳定、通用性更好，更为客观和一致。

(2)基于端到端的深度学习框架，广泛支持开箱即用的、低门槛的高效显卡加速运算。

(3)中心裁剪的步骤使得占用显存低、运算速度快，平均标注一张图片的时间在一秒之内，大大减少了患者等待结果的时间。

(4)深度神经网络模型采用编码、解码并级联的方式，编码器可以提取嗅球组织各层级的特征，解码器和级联操作保证了特征还原到原图上的精确性，从而实现了像素级的高精度、高准确率的嗅球检测。

(5)在每一解码层，包括：串联运算、两次卷积运算和反卷积运算，其中：①串联运算可以更好地还原高分辨率下MRI影像中嗅球目标的轮廓。通过引入对应的同级特征图串联，可以更好地帮助各级特征图逐级还原成为原始尺寸的高分辨率影像，保证学习得到的嗅球轮廓在高分辨率下依旧清晰，符合实际嗅球的生理形态特征；②进行两次卷积运算可以提升串联运算的合并特征图的非线性表达，提高两个特征图的融合程度；③通过在解码层中引入了反卷积运算，以将尺寸较小的特征图逐层还原到较大的影像尺寸，保证高分辨率下原图目标特征的还原轮廓清晰。

附图说明

图1为本发明实施例MRI嗅球体积检测方法的流程图。

图2为图1所示MRI嗅球体积检测方法中卷积神经网络的结构示意图。

图3A为经过预处理后的冠状面MRI影像。

图3B为验证集中专家标注的嗅球标注结果。

图3C为由图1所示MRI嗅球体积检测方法中的卷积神经网络处理得到的嗅球标注结果。

图4为根据本发明另一实施例计算机装置的示意图。

图5为根据本发明另一实施例计算机可读存储介质的示意图。

具体实施方式

本发明利用深度神经网络来实现MRI嗅球体积的自动化检测，并且在深度神经网络模型中采用编码、解码并级联的方式，可以实现像素级的高精度、高准确率的嗅球检测，节省了人工，提高了效率。

为使本发明的目的、技术方案和优点更加清楚明白，下文结合具体实施例，并参照附图，对本发明进一步详细说明。应当理解的是，提供这些实施例使得本发明满足适用的法律要求，而本发明可以许多不同形式实现，而不应被解释为限于此处所阐述的实施例。

在本发明的一个示例性实施例中，提供了一种MRI嗅球体积检测方法。图1为本发明实施例MRI嗅球体积检测方法的流程图。如图1所示，本发明基于深度神经网络的MRI嗅球体积检测方法包括：

步骤A，获取一系列的包括嗅球目标的冠状面MRI影像；

需要说明的是，无论是在检测阶段，还是在深度神经网络模型的训练阶段，都需要对脑部MRI影像进行预处理，此处统一进行说明。

本领域技术人员可以理解的是，对于待检测的患者嗅球而言，其表现为一系列的冠状面MRI影像，其中每一张影像以冠状面方位自前向后拍摄出了病人脑部包含嗅球的不同位置的切面。

本实施例中，对于每一张冠状面影像，该步骤A进一步包括：

子步骤A1，从脑部MRI影像的原始DICOM格式数据提取一系列的包括嗅球目标的冠状面MRI影像并以灰阶格式存储；

本实施例中，冠状面MRI影像采用PNG文件格式。当然，在本发明其他实施例中，也可以采用其他的文件格式。

子步骤A2，对于每一张冠状面MRI影像，中心不变，将其裁剪为L×W的冠状面MRI影像，其中，L和W分别为裁剪后的冠状面MRI影像长度方向和宽度方向的像素数；

本子步骤的目的在于增加嗅球目标在待识别影像中的面积占比，提高目标背景比例不均衡情况下的分割精度。

其中，在实现本发明的过程中，申请人首次发现嗅球一般均位于冠状面MRI影像的正中，而这为MRI影像的裁剪提供了可能。在裁剪待识别影像时，利用了嗅球位于冠状面MRI影像正中的特点，位置形态相对固定的特点，以冠状面MRI影像的中心为中心得到待识别影像。

本实施例中，L＝480，W＝480。对于待识别影像的L、W而言，如果设置太大，就会增加处理复杂度；如果设置太小，则可能损失嗅球目标的信息。因此，考虑到如上两个方面，可以设置为：300≤L，W≤800。

可以理解的是，中心裁剪的步骤使得占用显存低、运算速度快，平均标注一张图片的时间在一秒之内，大大减少了患者等待结果的时间。

步骤B，将每一张的冠状面MRI影像输入经过训练的深度神经网络，对其中的嗅球组织进行标注，得到掩码图像；

1、卷积神经网络

本实施例中，深度神经网络采用卷积神经网络。图2为图1所示MRI嗅球体积检测方法中卷积神经网络的结构示意图。如图2所示，该卷积神经网络包括：级联的编码部分和解码部分。其中，编码部分又包括级联的五层编码层；解码部分包括级联的四层解码层，与同级编码层对应。对于编码部分和解码部分中的任一编码层和解码层而言，包含嗅球组织的冠状面MRI影像每经过一层编码层，神经网络会学习到若干个通道(channel)叠在一起的特征图(feature map)，表示当前层级下嗅球组织的特征。

需要说明的是，在本发明其他实施例中，编码层和解码层的层数可以根据需要进行设定。考虑到层数越大，计算复杂度越大，层数取大于2小于8的整数。

1.1数据维度

请参照图2，每一编码层或解码层处理数据的维度为：

batch_size*通道数*宽度*高度

其中，batch_size为批尺寸，可以理解为一次检测(或训练)所选取的样本数。通道数为此层的编码层或解码层需要学习的特征图数量，宽度和高度分别为卷积运算矩阵的列数和行数。

1.2编码部分

请参照图2，在前半段编码部分的编码层中，其对输入数据进行下采样，从而学习到MRI冠状面中嗅球组织从浅到深不同层级的抽象含义。在编码部分中，包括级联的五层编码层：L

本实施例中，编码部分的级联的五层编码层的通道数分别为64、128、256、512、1024，以对MRI冠状面影像进行下采样，以逐级提取MRI影像中嗅球及其周围组织不同语义深度下的特征，通道数越多、层数越深提取到的特征越复杂。

关于通道数的设置，需要说明的是：①编码部分和解码部分整体看来是对应设计的，其水平对应部分通道数与结构一致；②通道数设计原则为满足学习到嗅球目标及其周围组织的生理特征图足够即可。

以编码部分的第二编码层L

(1)其输入I

其他编码层与此类似。而需要特别说明的是，对于第一编码层L

(2)其输出特征图O

其他编码层与此类似。而需要特别说明的是，对于第五编码层L

(3)其运算包括：

①卷积运算，即将当前编码层的输入I

②池化运算，即将卷积结果进行特征抽样，得到当前编码层的输出特征图，即O

本实施例在池化运算中，采用的是2×2的最大值池化(Max Pool 2×2)。当然，池化方式也可以采用平均值池化(Average Pool)，同时，池化尺寸也可以根据需要进行调整。

1.3解码部分

请参照图2，在后半段解码部分的编码层中，对特征图进行上采样操作并将编码器中对应层级的嗅球特征叠加，以帮助恢复嗅球这一小目标在高分辨率下的语义分割结果，这么做可以使检测结果更加精确、嗅球轮廓更加真实，有助于精确测量嗅球体积

本实施例中，对应编码部分，解码部分包括级联的四层解码层：L

四层解码层的通道数分别为512、256、128、64。在该部分中，将同级的下采样结构拼接以帮助还原影像中嗅球的轮廓特征，对影像进行上采样，同时进行像素级分割，并在最后一层的解码层中最终生成预测的掩码(Mask)图片。

以解码部分的第二解码层L

(1)其第一输入I

其他解码层与此类似。而需要特别说明的是，对于第四解码层而言，其第一输入为第五编码层L

(2)其输出O

其他解码层与此类似。而需要特别说明的是，对于第一解码层而言，其输出为掩码(Mask)图像，即标记嗅球组织后的图像。

(3)其运算包括：

①串联运算，即将第三解码层L

串联运算存在的目的是为了更好地还原高分辨率下MRI影像中嗅球目标的轮廓。通过引入对应的同级特征图串联，可以更好地帮助各级特征图逐级还原成为原始尺寸的高分辨率影像，保证学习得到的嗅球轮廓在高分辨率下依旧清晰，符合实际嗅球的生理形态特征。

②两次卷积运算，其中，卷积运算是将当前合并特征图与卷积核进行卷积运算，得到卷积结果，两次卷积运算的卷积核的通道数均与合并特征图保持一致。

本实施例中，进行两次卷积运算可以提升串联运算的合并特征图的非线性表达，提高两个特征图的融合程度。

③反卷积运算，即将两次卷积运算后的卷积结果与卷积核进行反卷积运算，得到的反卷积结果作为当前解码层的输出，即O

通过在解码层中引入了反卷积运算，以将尺寸较小的特征图逐层还原到较大的影像尺寸，保证高分辨率下原图目标特征的还原轮廓清晰。

综上所述，对于一系列的冠状面MRI影像的其中一张来讲，整体的特征图尺寸变化如下：

①.L

②.L

③.L

④.L

⑤.L

⑥.L

⑦.L

⑧.L

⑨.L

2、关于深度神经网络模型的训练

2.1训练数据

在进行训练之前，需要得到训练所需的训练数据集和验证数据集。

首先从医院相关核磁共振机得到原始采集的病人MRI影像数据，对于每一张冠状面MRI影像，由专家人工进行嗅球部分的像素级标注。而后根据专家人工标注结果结合原始数据，整理、生成进行深度神经网络训练或验证的嗅球数据集。

而后，对于该嗅球数据集，使用交叉验证的方法进行训练数据集、验证数据集的划分，从而得到对卷积神经网络进行训练的训练数据集和验证数据集。其中，训练数据集和验证数据集均包含多个病人的MRI影像和对应的专家人工标注结果。

需要说明的是，训练数据集和验证数据集中的MRI影像均经过了如步骤A所述的影像预处理过程，此处不再重述。

2.2损失函数

本实施例中，训练中采用GD损失函数，其表达式如下：

其中，GD(generalized dice coefficient)为一种相似度系数-Dice系数，k为加权的惩罚值超参数。GD损失函数的取值范围为[0.2，0.6]，数值越小，说明标注越准确，数值越大，说明标注越不准确。

2.3模型训练

为了结合MRI影像特征，确定一种端到端的卷积神经网络，本实施例在步骤B之前还包括：

步骤B′：以尽可能模拟专家人工标注结果为目标，利用训练数据集和验证数据集对卷积神经网络进行训练。

该步骤B′具体包括：

①利用训练数据集数据对卷积神经网络进行训练，调整学习率，将卷积神经网络迭代至GD损失函数不再有明显下降时保存模型权重作为结果。

②使用交叉验证的验证数据集数据测试卷积神经网络在全部数据集上的表现，评估是否满足检测要求。如果满足要求，则结束训练，如果不满足要求，则调整训练参数，重新训练。

本领域技术人员应当理解，通过训练可以确定卷积神经网络中包括多组的卷积核在内的众多的参数。

图3A为经过预处理后的冠状面MRI影像。图3B为验证集中专家标注的嗅球标注结果。图3C为由图1所示MRI嗅球体积检测方法中的卷积神经网络处理得到的嗅球标注结果。其中，图3B和图3C均为480像素*480像素，两者的形态越相似，说明模型准确率越高。

3、关于检测

将经过预处理之后的冠状面MRI影像输入经过训练的卷积神经网络，对其中的嗅球组织进行标注，就可以得到该张冠状面MRI影像对应的掩码图像。

步骤C，对于一系列的标注嗅球组织后的掩码图像，结合MRI扫描的缩放比例和间隔厚度计算嗅球体积，具体公式如下：

V

其中，V

至此，本发明实施例基于深度神经网络的MRI嗅球体积检测方法介绍完毕。

基于上述，本发明还提供了一种计算机装置。图4为根据本发明另一实施例计算机装置的示意图。如图4所示，本实施例中，该计算机装置包括：存储器；以及处理器，电性耦接至所述存储器，其被配置为基于存储在所述存储器中的指令，执行如上实施例所述的MRI嗅球体积检测方法。

其中，该MRI嗅球体积检测方法包括：步骤A，获取一系列的包括嗅球目标的冠状面MRI影像；步骤B，将每一张的冠状面MRI影像输入经过训练的深度神经网络，对其中的嗅球组织进行标注，得到掩码图像；步骤C，对于一系列的标注嗅球组织后的掩码图像，结合MRI扫描的缩放比例和间隔厚度计算嗅球体积。关于各步骤的详细说明可参照如上实施例的相关说明，其同时并入本实施例。此处不再详细说明。

基于上述，本发明还提供了一种计算机可读存储介质。图5为根据本发明另一实施例计算机可读存储介质的示意图。如图5所示，本实施例中，计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上实施例所述的MRI嗅球体积检测方法。

同上，该MRI嗅球体积检测方法包括：步骤A，获取一系列的包括嗅球目标的冠状面MRI影像；步骤B，将每一张的冠状面MRI影像输入经过训练的深度神经网络，对其中的嗅球组织进行标注，得到掩码图像；步骤C，对于一系列的标注嗅球组织后的掩码图像，结合MRI扫描的缩放比例和间隔厚度计算嗅球体积。关于各步骤的详细说明可参照如上实施例的相关说明，其同时并入本实施例。此处不再详细说明。

至此，已经结合附图对本发明的多个实施例进行了详细描述。

需要说明的是，对于某些实现方式，如果其并非本发明的关键内容，且为所属技术领域中普通技术人员所熟知，则在附图或说明书正文中并未对其进行详细说明，此时可参照相关现有技术进行理解。

此外，上述对各元件和方法的定义并不仅限于实施例中提到的具体结构、形状或方式，本领域技术人员可对其进行简单地更改或替换，例如：

(1)除了卷积神经网络之外，还可以采用其他类型的深度学习网络，例如：深度残差网络、DenseNet等，其训练过程与检测过程与采用卷积神经网络相同；

(2)卷积神经网络的具体形式可以根据需要采用现有技术中的已有形式，或者对已有形式进行调整；

(3)损失函数可以采用其他的形式；

(4)关于编码部分和解码部分的层数、通道数、池化方式等，均可以根据需要进行调整。

依据以上各个方面的描述，本领域技术人员应当对本发明基于深度神经网络的MRI嗅球体积检测方法有了清楚地认识。

综上所述，本发明利用深度神经网络，采用编码、解码并级联的方式，编码器可以提取嗅球组织各层级的特征，解码器和级联操作保证了特征还原到原图上的精确性，从而实现自动化、高精度、高准确率的嗅球检测，具有极强的实用性和推广应用价值。

除非明确指明为相反之意，本发明的说明书及权利要求中的数值参数可以是近似值，能够根据通过本发明的内容改变。具体而言，所有使用于说明书及权利要求中表示组成的含量、反应条件等的数字，应理解为在所有情况中是受到“约”的用语所修饰。一般情况下，其表达的含义是指包含由特定数量在一些实施例中±10％的变化、在一些实施例中±5％的变化、在一些实施例中±1％的变化、在一些实施例中±0.5％的变化。

说明书与权利要求中所使用的序数例如字母等，以修饰相应的步骤，其本意仅用来使具有某命名的一步骤得以和另一步骤能做出清楚区分，并不意味着该步骤有任何的序数，也不代表步骤的顺序。

此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的启示一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的相关设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该发明的方法解释成反映如下意图：即所要求保护的本发明需要比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，各个发明方面在于少于前面单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。