基于非局部注意力机制的多期相融合器官分割方法及装置

摘要

本申请公开了一种基于非局部注意力机制的多期相融合器官分割方法及装置，该方法通过预设多期相融合器官分割网络模型分别对全局尺度多期相数据对和局部尺度多期相数据对进行图片分割得到全局尺度分割结果和局部尺度分割结果，对全局尺度分割结果和局部尺度分割结果进行融合得到待分割器官的分割结果。本申请中通过预设多期相融合器官分割网络模型中的跨期相非局部注意力融合机制模块根据两个期相的特征之间的位置关系和深度关系对两个期相的特征进行互补，充分利用双期相的互补使得两个期相的特征之间可以有效融合，采用了多尺度分割框架对全局尺度分割结果和局部尺度分割结果进行融合，有效的利用全局上下文信息，提高器官分割的准确性。

说明书

技术领域

本申请涉及多期相器官分割技术领域，尤其涉及一种基于非局部注意力机制的多期相融合器官分割方法及装置。

背景技术

在医学图像分割领域，由于现有的CT成像技术能力有限，单期CT扫描往往难以准确定位器官的轮廓。而不同期相可以强调器官边界的不同细节，因此，参考不同期相的图像数据是尽可能完整识别器官边界的有效策略。比如许多指南明确推荐使用CT造影增强成像的双期包括动脉期和静脉期的胰腺方案。两个期相的图像数据在临床诊断中都很重要，尤其是癌症，动脉期的图像数据有助于发现肿瘤，静脉期的图像数据有助于显示周围结构的侵犯，双期图像数据为临床治疗提供了可靠的影像学依据。因此，目前国内外已经采用多期相融合分割方法进行器官自动分割。

现有的多期相融合分割方法存在以下两个缺点导致器官分割的准确性较低：

(1)现有的多期相融合分割方法的输入要么是医学图像的3D patch，要么是3张临近的切片，然而无论是3D patch还是切片均无法捕获医学影像强大的三维特性，也无法有效利用全局上下文信息；

(2)由于多期图像数据之间存在不一致性，导致多期图像数据之间无法有效融合。

发明内容

本申请提供一种基于非局部注意力机制的多期相融合器官分割方法及装置，提高器官分割的准确性。

第一方面，本申请提供了一种基于非局部注意力机制的多期相融合器官分割方法，包括：

分别对各待分割多期图像数据进行质心提取，得到待分割器官的质心；

根据所述质心分别对各待分割多期图像数据进行切割得到多期相数据对，其中，所述多期相数据对中的每个期相数据包含所述待分割器官的全部切片；

对所述多期相数据对进行可变形配准，得到配准后的多期相数据对；

对配准后的多期相数据对进行下采样得到全局尺度多期相数据对，对配准后的多期相数据对进行切片分割得到局部尺度多期相数据对，通过预设多期相融合器官分割网络模型的两个训练路径分别对所述全局尺度多期相数据对进行特征提取，得到两个期相的全局特征，根据所述两个期相的全局特征之间的位置关系和深度关系对所述两个期相的全局特征进行互补得到全局尺度分割结果，通过所述预设多期相融合器官分割网络模型的两个训练路径分别对所述局部尺度多期相数据对进行特征提取，得到两个期相的局部特征，根据所述两个期相的局部特征之间的位置关系和深度关系对所述两个期相的局部特征进行互补得到局部尺度分割结果，对所述全局尺度分割结果和所述局部尺度分割结果进行加权融合得到所述待分割器官的分割结果，其中，所述预设多期相融合器官分割网络模型为双路径全卷积网络。

可选的，所述分别对各待分割多期图像数据进行质心提取，得到待分割器官的质心的步骤，包括：

根据预设器官分割模型分别对各待分割多期图像数据进行器官分割，得到初始分割结果；

根据所述初始分割结果确定所述待分割器官的质心。

可选的，所述根据所述质心分别对各待分割多期图像数据进行切割得到多期相数据对的步骤，包括：

根据所述质心分别从各待分割多期图像中提取所述待分割器官的上下N层切片，得到包含所述待分割器官的全部切片的两个期相数据作为多期相数据对，其中，N为正整数。

可选的，所述根据所述两个期相的全局特征之间的位置关系和深度关系对所述两个期相的全局特征进行互补得到全局尺度分割结果的步骤，包括：

根据所述两个期相的全局特征中的一个期相的每个位置特征对另一期相的对应邻域的位置特征进行互补，计算所述两个期相的相同通道间的交叉相位的注意力值，根据所述注意力值对所述两个期相的全局特征中的深度特征进行互补，得到全局尺度分割结果。

可选的，所述根据所述两个期相的局部特征之间的位置关系和深度关系对所述两个期相的局部特征进行互补得到局部尺度分割结果的步骤，包括：

根据所述两个期相的局部特征中的一个期相的每个位置特征对另一期相的对应邻域的位置特征进行互补，计算所述两个期相的相同通道间的交叉相位的注意力值，根据所述注意力值对所述两个期相的局部特征中的深度特征进行互补，得到局部尺度分割结果。

可选的，所述预设多期相融合器官分割网络模型的主干网络由3D编码器和2D解码器组成。

可选的，所述待分割多期图像数据为CT的多期相图像数据或者MRI的多模态数据。

第二方面，本申请提供了一种基于非局部注意力机制的多期相融合器官分割装置，包括：

质心提取模块，用于分别对各待分割多期图像数据进行质心提取，得到待分割器官的质心；

切割模块，用于根据所述质心分别对各待分割多期图像数据进行切割得到多期相数据对，其中，所述多期相数据对中的每个期相数据包含所述待分割器官的全部切片；

配准模块，用于对所述多期相数据对进行可变形配准，得到配准后的多期相数据对；

融合模块，用于对配准后的多期相数据对进行下采样得到全局尺度多期相数据对，对配准后的多期相数据对进行切片分割得到局部尺度多期相数据对，通过预设多期相融合器官分割网络模型的两个训练路径分别对所述全局尺度多期相数据对进行特征提取，得到两个期相的全局特征，根据所述两个期相的全局特征之间的位置关系和深度关系对所述两个期相的全局特征进行互补得到全局尺度分割结果，通过所述预设多期相融合器官分割网络模型的两个训练路径分别对所述局部尺度多期相数据对进行特征提取，得到两个期相的局部特征，根据所述两个期相的局部特征之间的位置关系和深度关系对所述两个期相的局部特征进行互补得到局部尺度分割结果，对所述全局尺度分割结果和所述局部尺度分割结果进行加权融合得到所述待分割器官的分割结果，其中，所述预设多期相融合器官分割网络模型为双路径全卷积网络。

可选的，所述质心提取模块，包括：

分割子模块，用于根据预设器官分割模型分别对各待分割多期图像数据进行器官分割，得到初始分割结果；

确定子模块，用于根据所述初始分割结果确定所述待分割器官的质心。

可选的，所述切割模块，具体用于：

根据所述质心分别从各待分割多期图像中提取所述待分割器官的上下N层切片，得到包含所述待分割器官的全部切片的两个期相数据作为多期相数据对，其中，N为正整数。

可选的，所述融合模块，具体用于：

根据所述两个期相的全局特征中的一个期相的每个位置特征对另一期相的对应邻域的位置特征进行互补，计算所述两个期相的相同通道间的交叉相位的注意力值，根据所述注意力值对所述两个期相的全局特征中的深度特征进行互补，得到全局尺度分割结果。

可选的，所述融合模块，具体用于：

根据所述两个期相的局部特征中的一个期相的每个位置特征对另一期相的对应邻域的位置特征进行互补，计算所述两个期相的相同通道间的交叉相位的注意力值，根据所述注意力值对所述两个期相的局部特征中的深度特征进行互补，得到局部尺度分割结果。

可选的，所述预设多期相融合器官分割网络模型的主干网络由3D编码器和2D解码器组成。

可选的，所述待分割多期图像数据为CT的多期相图像数据或者MRI的多模态数据。

第三方面，本申请提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。

第四方面，本申请提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。

由上述技术方案可以看出，本申请提供了一种基于非局部注意力机制的多期相融合器官分割方法，在本方法中，分别对各待分割多期图像数据进行质心提取，得到待分割器官的质心，根据质心分别对各待分割多期图像数据进行切割得到多期相数据对，其中，多期相数据对中的每个期相数据包含待分割器官的全部切片，对多期相数据对进行可变形配准，得到配准后的多期相数据对，对配准后的多期相数据对进行下采样得到全局尺度多期相数据对，对配准后的多期相数据对进行切片分割得到局部尺度多期相数据对，通过预设多期相融合器官分割网络模型的两个训练路径分别对全局尺度多期相数据对进行特征提取，得到两个期相的全局特征，根据两个期相的全局特征之间的位置关系和深度关系对两个期相的全局特征进行互补得到全局尺度分割结果，通过预设多期相融合器官分割网络模型的两个训练路径分别对局部尺度多期相数据对进行特征提取，得到两个期相的局部特征，根据两个期相的局部特征之间的位置关系和深度关系对两个期相的局部特征进行互补得到局部尺度分割结果，对全局尺度分割结果和局部尺度分割结果进行加权融合得到待分割器官的分割结果，其中，预设多期相融合器官分割网络模型为双路径全卷积网络。在本申请的技术方案中，通过预设多期相融合器官分割网络模型中的跨期相非局部注意力融合机制模块根据两个期相的特征之间的位置关系和深度关系对两个期相的特征进行互补，抑制双期相没有严格对准特征的影响，保证两个期相的特征之间的一致性，充分利用双期相的互补使得两个期相的特征之间可以有效融合，并且，采用了多尺度分割框架对全局尺度分割结果和局部尺度分割结果进行融合的方式，可以有效的利用全局上下文信息，提高器官分割的准确性。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中的一种基于非局部注意力机制的多期相融合器官分割方法的流程示意图；

图2为本申请提出的基于非局部注意力机制的多期相融合器官分割方法的流程框架图；

图3为本申请实施例中的一种基于非局部注意力机制的多期相融合器官分割装置的结构示意图；

图4为本申请实施例中的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了解决现有技术中，无法有效利用全局上下文信息以及由于多期图像数据之间存在不一致性使得无法有效融合多期图像数据所导致的器官分割的准确性较低的问题。

本申请提供了一种基于非局部注意力机制的多期相融合器官分割方法，在本方法中，分别对各待分割多期图像数据进行质心提取，得到待分割器官的质心，根据质心分别对各待分割多期图像数据进行切割得到多期相数据对，其中，多期相数据对中的每个期相数据包含待分割器官的全部切片，对多期相数据对进行可变形配准，得到配准后的多期相数据对，对配准后的多期相数据对进行下采样得到全局尺度多期相数据对，对配准后的多期相数据对进行切片分割得到局部尺度多期相数据对，通过预设多期相融合器官分割网络模型的两个训练路径分别对全局尺度多期相数据对进行特征提取，得到两个期相的全局特征，根据两个期相的全局特征之间的位置关系和深度关系对两个期相的全局特征进行互补得到全局尺度分割结果，通过预设多期相融合器官分割网络模型的两个训练路径分别对局部尺度多期相数据对进行特征提取，得到两个期相的局部特征，根据两个期相的局部特征之间的位置关系和深度关系对两个期相的局部特征进行互补得到局部尺度分割结果，对全局尺度分割结果和局部尺度分割结果进行加权融合得到待分割器官的分割结果，其中，预设多期相融合器官分割网络模型为双路径全卷积网络。在本申请的技术方案中，通过预设多期相融合器官分割网络模型中的跨期相非局部注意力融合机制模块根据两个期相的特征之间的位置关系和深度关系对两个期相的特征进行互补，抑制双期相没有严格对准特征的影响，保证两个期相的特征之间的一致性，充分利用双期相的互补使得两个期相的特征之间可以有效融合，并且，采用了多尺度分割框架对全局尺度分割结果和局部尺度分割结果进行融合的方式，可以有效的利用全局上下文信息，提高器官分割的准确性。

下面结合附图，详细说明本申请的各种非限制性实施方式。

参见图1，示出了本申请实施例中的一种基于非局部注意力机制的多期相融合器官分割方法。在本实施例中，所述方法应用于电子设备，所述方法例如可以包括以下步骤：

S101：分别对各待分割多期图像数据进行质心提取，得到待分割器官的质心。

为了应对背景技术中现有技术的两个缺点，本申请借助深度学习的力量，研发出科学、准确、具有实际临床意义的多期相融合器官分割模型。该多期相融合器官分割模型是一种端到端的基于非局部注意力机制的多期相融合器官分割模型，可以有效结合2D和3D的网络特性并可以有效应对多期图像数据之间的不一致性。

针对现有技术中无法有效利用全局上下文信息的缺点，本申请采用多尺度分割框架，设计了全局尺度模型和局部尺度模型对全局信息和局部信息进行针对性的学习，最后将两个网络的结果融合作为最终的分割结果，达到有效利用全局上下文信息的目的。

针对现有技术中多期图像数据之间存在不一致性导致无法有效融合多期图像数据的缺点，本申请设计了跨期相非局部注意力融合机制模块对多期图像的特征进行互补，可以抑制非校准区域，提高多期相融合器官分割模型的鲁棒性，下面进行详细介绍。

由于原始的各待分割多期图像数据的空间分辨率为512×512，切片的数目不等，例如：在腹部扫描中动脉期图像数据与静脉期图像数据之间的扫描层数有差异，动脉期图像数据的扫描范围为多为腹部，静脉期图像数据的扫描范围多为腹盆腔，这使得不同期相的图像数据之间存在扫描的差异。

由于不同期相的图像数据扫描的差异导致对各多期图像数据直接配准难度巨大。因此，为了减少因扫描的差异导致的配准难度，在进行配准前，本申请提出了质心提取策略即分别对各待分割多期图像数据进行质心提取，得到待分割器官的质心，后续再依据质心进行配准，就可以减少配准难度，图2为本申请提出的基于非局部注意力机制的多期相融合器官分割方法的流程框架图，参见图2，图2中的多期图像就是各待分割多期图像数据。

其中，步骤S101可以包括：

根据预设器官分割模型分别对各待分割多期图像数据进行器官分割，得到初始分割结果；

根据初始分割结果确定待分割器官的质心。

示例性的，待分割多期图像数据可以为CT(computed tomography，断层扫描)的多期相图像数据或者MRI(Magnetic Resonance Imaging，磁共振成像)的多模态数据。

继续参见图2，使用预训练好的预设器官分割模型对各待分割多期图像数据进行器官分割，得到初始分割结果，也就是从各待分割多期图像数据中分割出待分割器官，然后根据初始分割结果确定待分割器官的质心，其中，预设器官分割模型可以为现有技术中的任一器官分割模型，本发明实施例对此并不做任何限定，预设器官分割模型也就是图2中的器官预分割网络。

S102：根据质心分别对各待分割多期图像数据进行切割得到多期相数据对，其中，多期相数据对中的每个期相数据包含待分割器官的全部切片。

在得到质心后，根据质心分别对各待分割多期图像数据进行切割得到多期相数据对，其中，多期相数据对中的每个期相数据包含待分割器官的全部切片，由此保证所有切割好的数据均包含全部的待分割器官的切片。

上述步骤S102可以为：根据质心分别从各待分割多期图像中提取待分割器官的上下N层切片，得到包含待分割器官的全部切片的两个期相数据作为多期相数据对，其中，N为正整数。

根据质心取上下N层切片，这么做的目的是为了保证不同期相的数据在相同层面的一致性，由此得到包含待分割器官的全部切片的两个期相数据作为多期相数据对，其中，N为正整数。继续参见图2，两个期相数据可以为图2中的期相一和期相二。

S103：对多期相数据对进行可变形配准，得到配准后的多期相数据对。

在得到多期相数据对后，即可对多期相数据对进行可变形配准，得到配准后的多期相数据对。也就是图2中的不同期相图像配准。其中，进行可变形配准的方式可以为现有技术中的任一可变形配准方式，本发明实施例对此不做任何限定。

S104：对配准后的多期相数据对进行下采样得到全局尺度多期相数据对，对配准后的多期相数据对进行切片分割得到局部尺度多期相数据对，通过预设多期相融合器官分割网络模型的两个训练路径分别对全局尺度多期相数据对进行特征提取，得到两个期相的全局特征，根据两个期相的全局特征之间的位置关系和深度关系对两个期相的全局特征进行互补得到全局尺度分割结果，通过预设多期相融合器官分割网络模型的两个训练路径分别对局部尺度多期相数据对进行特征提取，得到两个期相的局部特征，根据两个期相的局部特征之间的位置关系和深度关系对两个期相的局部特征进行互补得到局部尺度分割结果，对全局尺度分割结果和局部尺度分割结果进行加权融合得到待分割器官的分割结果，其中，预设多期相融合器官分割网络模型为双路径全卷积网络。

在本发明实施例中提出了一种多期相融合器官分割网络模型，也就通过预训练得到的预设多期相融合器官分割网络型。

继续参见图2，预设多期相融合器官分割网络模型为双路径全卷积网络，也就是图2中的多期相融合器官分割网络，该预设多期相融合器官分割网络模型包含两个路径，图2中的多期相融合器官分割网络中的上层为一路径，下层为另一路径，每个路径输入多期相数据对中的一个期相的数据，也就是说预设多期相融合器官分割网络模型输入的数据是配对的，即多期数据来自同一患者。

每个路径中的网络基于编码器-解码器架构建模，在编码器和解码器的跳层连接中进行中央裁剪，去掉编码器每个块的冗余特征。还添加了具有相同分辨率的两个路径的特征之间的跳层连接以进行不同期相的数据间的信息交互。如图2中，虚线路径和实线路径分别表示不同期相的训练路径，箭头表示不同期相的数据之间的信息传递。预设多期相融合器官分割网络模型的主干网络由3D编码器和2D解码器组成。这样做不仅有效利用了医学图像强大的3D特性并减少了网络的参数。

在预设多期相融合器官分割网络模型的训练过程中会进行多尺度监督，加强编码器的训练。其中，进行多尺度监督采用的是多尺度分割框架，该多尺度分割框架包括获取全局上下文特征也就是全局信息的全局尺度模型和获取局部细节也就是局部信息的局部尺度模型。

由于多期图像数据之间的严格对齐也就是多期图像数据之间的一致性对于精确的器官分割至关重要，而现有技术的方法由于不同期相图像数据之间的不严格对齐而不能有效地整合多期相数据。为了解决这一问题，本发明实施例开发了跨期相非局部注意力机制模块，以捕获多期相的特征之间的依赖关系，并进一步校准多期相的特征。

继续参见图2，预设多期相融合器官分割网络模型包括跨期相非局部注意力机制模块，跨期相非局部注意力机制模块由位置注意力模块、深度注意力模块和特征融合模块三部分构成。

其中，位置注意力模块：对于大多数多期相分割任务，通过现有的配准算法得到一对未严格对齐的图像即配准后的多期相数据对。这对图像在相应的邻域内是高度相关的。因此，用一个期相的相关邻域特征作为向导，对另外一个期相的每个位置的特征表示进行互补。目的是探讨不同期相的位置相关性，提高对非对齐特征的鲁棒性。

深度注意力模块：在不同路径的特征提取阶段，多期相图像数据的特征难以保持语义一致性。因此，使用通道数更加丰富的特征来指导不同路径上语义信息的一致性。

也就是该跨期相非局部注意力机制模块可以利用两个期相的数据之间的位置相关性和深度相关性来增强语义特征表示。该跨期相非局部注意力机制模块的位置相关性是通过估计一个期相每个位置与另一期相相应临域位置的相关关系，以探索不同期相之间的位置依赖信息。深度相关性是通过计算不同期相的通道间的交叉相位的注意力值来实现的。

特征融合模块：设计融合模块对不同期相的特征进行有效的整合和细化。

在得到配准后的多期相数据对后，对配准后的多期相数据对进行下采样得到全局尺度多期相数据对，对配准后的多期相数据对进行切片分割得到局部尺度多期相数据对，通过预设多期相融合器官分割网络模型的两个训练路径分别对全局尺度多期相数据对进行特征提取，得到两个期相的全局特征，根据两个期相的全局特征之间的位置关系和深度关系对两个期相的全局特征进行互补得到全局尺度分割结果，通过预设多期相融合器官分割网络模型的两个训练路径分别对局部尺度多期相数据对进行特征提取，得到两个期相的局部特征，根据两个期相的局部特征之间的位置关系和深度关系对两个期相的局部特征进行互补得到局部尺度分割结果，对全局尺度分割结果和局部尺度分割结果进行加权融合得到待分割器官的分割结果。

上述根据两个期相的全局特征之间的位置关系和深度关系对两个期相的全局特征进行互补得到全局尺度分割结果，可以包括：

根据两个期相的全局特征中的一个期相的每个位置特征对另一期相的对应邻域的位置特征进行互补，计算两个期相的相同通道间的交叉相位的注意力值，根据注意力值对两个期相的全局特征中的深度特征进行互补，得到全局尺度分割结果。

上述根据两个期相的局部特征之间的位置关系和深度关系对两个期相的局部特征进行互补得到局部尺度分割结果，可以包括：

根据两个期相的局部特征中的一个期相的每个位置特征对另一期相的对应邻域的位置特征进行互补，计算两个期相的相同通道间的交叉相位的注意力值，根据注意力值对两个期相的局部特征中的深度特征进行互补，得到局部尺度分割结果。

其中，上述计算两个期相的相同通道间的交叉相位的注意力值的方式可以为任一种注意力值计算方式，本发明对此并不做任何限定。

也就是说通过一个期相的位置特征对另一个期相的位置特征进行互补，互补的方式可以为现有技术中的任一方式，使得两个期相的位置互补后特征能够严格对齐即具有一致性，通过注意力值对两个期相的深度特征进行互补，使得两个期相的深度互补后特征能够严格对齐即具有一致性。由此，两个期相的特征经过跨期相非局部注意力机制模型进行了矫正，提高了对非对准特征的鲁棒性，其中，计算两个期相的相同通道间的交叉相位的注意力值的方式可以为现有技术中任一注意力值计算方式，本发明实施例对此并不作任何限定。

综上可见，本申请提供的一种基于非局部注意力机制的多期相融合器官分割方法，可以分别对各待分割多期图像数据进行质心提取，得到待分割器官的质心，根据质心分别对各待分割多期图像数据进行切割得到多期相数据对，其中，多期相数据对中的每个期相数据包含待分割器官的全部切片，对多期相数据对进行可变形配准，得到配准后的多期相数据对，对配准后的多期相数据对进行下采样得到全局尺度多期相数据对，对配准后的多期相数据对进行切片分割得到局部尺度多期相数据对，通过预设多期相融合器官分割网络模型的两个训练路径分别对全局尺度多期相数据对进行特征提取，得到两个期相的全局特征，根据两个期相的全局特征之间的位置关系和深度关系对两个期相的全局特征进行互补得到全局尺度分割结果，通过预设多期相融合器官分割网络模型的两个训练路径分别对局部尺度多期相数据对进行特征提取，得到两个期相的局部特征，根据两个期相的局部特征之间的位置关系和深度关系对两个期相的局部特征进行互补得到局部尺度分割结果，对全局尺度分割结果和局部尺度分割结果进行加权融合得到待分割器官的分割结果，其中，预设多期相融合器官分割网络模型为双路径全卷积网络。在本申请的技术方案中，通过预设多期相融合器官分割网络模型中的跨期相非局部注意力融合机制模块根据两个期相的特征之间的位置关系和深度关系对两个期相的特征进行互补，抑制双期相没有严格对准特征的影响，保证两个期相的特征之间的一致性，充分利用双期相的互补使得两个期相的特征之间可以有效融合，并且，采用了多尺度分割框架对全局尺度分割结果和局部尺度分割结果进行融合的方式，可以有效的利用全局上下文信息，提高器官分割的准确性。

同时，本申请提出的质心提取策略，可以分别对各待分割多期图像数据进行质心提取，得到待分割器官的质心，后续再依据质心进行配准，有效提高了不同期相图像数据之间的配准的精度。

并且，本申请提出的端到端的双路径全卷积网络也就是预设多期相融合器官分割网络模型可以有效的对两个期相的特征进行交互，可以有效结合局部信息和全局信息，发挥医学图像的3D性能并降低了参数，所提出的跨期相非局部注意力机制模块可以进一步矫正两个期相的特征，提高了对非对准特征的鲁棒性。

在上述基于非局部注意力机制的多期相融合器官分割方法的基础上，参见图3，本申请还提供了一种基于非局部注意力机制的多期相融合器官分割装置，所述装置包括：

质心提取模块301，用于分别对各待分割多期图像数据进行质心提取，得到待分割器官的质心；

切割模块302，用于根据所述质心分别对各待分割多期图像数据进行切割得到多期相数据对，其中，所述多期相数据对中的每个期相数据包含所述待分割器官的全部切片；

配准模块303，用于对所述多期相数据对进行可变形配准，得到配准后的多期相数据对；

融合模块304，用于对配准后的多期相数据对进行下采样得到全局尺度多期相数据对，对配准后的多期相数据对进行切片分割得到局部尺度多期相数据对，通过预设多期相融合器官分割网络模型的两个训练路径分别对所述全局尺度多期相数据对进行特征提取，得到两个期相的全局特征，根据所述两个期相的全局特征之间的位置关系和深度关系对所述两个期相的全局特征进行互补得到全局尺度分割结果，通过所述预设多期相融合器官分割网络模型的两个训练路径分别对所述局部尺度多期相数据对进行特征提取，得到两个期相的局部特征，根据所述两个期相的局部特征之间的位置关系和深度关系对所述两个期相的局部特征进行互补得到局部尺度分割结果，对所述全局尺度分割结果和所述局部尺度分割结果进行加权融合得到所述待分割器官的分割结果，其中，所述预设多期相融合器官分割网络模型为双路径全卷积网络。

可见，本装置可以分别对各待分割多期图像数据进行质心提取，得到待分割器官的质心，根据质心分别对各待分割多期图像数据进行切割得到多期相数据对，其中，多期相数据对中的每个期相数据包含待分割器官的全部切片，对多期相数据对进行可变形配准，得到配准后的多期相数据对，对配准后的多期相数据对进行下采样得到全局尺度多期相数据对，对配准后的多期相数据对进行切片分割得到局部尺度多期相数据对，通过预设多期相融合器官分割网络模型的两个训练路径分别对全局尺度多期相数据对进行特征提取，得到两个期相的全局特征，根据两个期相的全局特征之间的位置关系和深度关系对两个期相的全局特征进行互补得到全局尺度分割结果，通过预设多期相融合器官分割网络模型的两个训练路径分别对局部尺度多期相数据对进行特征提取，得到两个期相的局部特征，根据两个期相的局部特征之间的位置关系和深度关系对两个期相的局部特征进行互补得到局部尺度分割结果，对全局尺度分割结果和局部尺度分割结果进行加权融合得到待分割器官的分割结果，其中，预设多期相融合器官分割网络模型为双路径全卷积网络。在本申请的技术方案中，通过预设多期相融合器官分割网络模型中的跨期相非局部注意力融合机制模块根据两个期相的特征之间的位置关系和深度关系对两个期相的特征进行互补，抑制双期相没有严格对准特征的影响，保证两个期相的特征之间的一致性，充分利用双期相的互补使得两个期相的特征之间可以有效融合，并且，采用了多尺度分割框架对全局尺度分割结果和局部尺度分割结果进行融合的方式，可以有效的利用全局上下文信息，提高器官分割的准确性。

在一种实现方式中，所述质心提取模块301，可以包括：

分割子模块，用于根据预设器官分割模型分别对各待分割多期图像数据进行器官分割，得到初始分割结果；

确定子模块，用于根据所述初始分割结果确定所述待分割器官的质心。

在一种实现方式中，所述切割模块302，可以具体用于：

根据所述质心分别从各待分割多期图像中提取所述待分割器官的上下N层切片，得到包含所述待分割器官的全部切片的两个期相数据作为多期相数据对，其中，N为正整数。

在一种实现方式中，所述融合模块304，具体用于：

根据所述两个期相的全局特征中的一个期相的每个位置特征对另一期相的对应邻域的位置特征进行互补，计算所述两个期相的相同通道间的交叉相位的注意力值，根据所述注意力值对所述两个期相的全局特征中的深度特征进行互补，得到全局尺度分割结果。

在一种实现方式中，所述融合模块304，具体用于：

根据所述两个期相的局部特征中的一个期相的每个位置特征对另一期相的对应邻域的位置特征进行互补，计算所述两个期相的相同通道间的交叉相位的注意力值，根据所述注意力值对所述两个期相的局部特征中的深度特征进行互补，得到局部尺度分割结果。

在一种实现方式中，所述预设多期相融合器官分割网络模型的主干网络由3D编码器和2D解码器组成。

在一种实现方式中，所述待分割多期图像数据为CT的多期相图像数据或者MRI的多模态数据。

图4是本申请实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成基于非局部注意力机制的多期相融合器官分割装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本申请任一实施例中提供的基于非局部注意力机制的多期相融合器官分割方法。

上述如本申请图1所示实施例提供的基于非局部注意力机制的多期相融合器官分割方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本申请实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本申请任一实施例中提供的基于非局部注意力机制的多期相融合器官分割方法。

前述各个实施例中所述的电子设备可以为计算机。

本领域内的技术人员应明白，本申请的实施例可提供为方法或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。