放射粒子内放疗介入手术机器人的多脏器分割方法及介质

摘要

本发明涉及一种放射粒子内放疗介入手术机器人的多脏器分割方法及介质的技术方案，包括：预分割及交互优化；其中预分割包括：通过V‑Net级联神经网络对三维脏器图像进行基于图像块的全分辨训练；其中交互优化包括：根据预分割的训练结果，以及根据输入的边界框，对三维脏器图像的脏器目标和背景进行分离。本发明的有益效果为：实现了高效的多脏器分割能力，又具备分割结果二次修复编辑能力。

说明书

技术领域

本发明涉及计算机及医学影像处理领域，具体涉及了一种放射粒子内放疗介入手术机器人的多脏器分割方法及介质。

背景技术

医学图像中的器官分割在计算机辅助诊断(CAD)、诊断干预、治疗规划和治疗执行等诸多应用中均是一项至关重要的任务。靶器官轮廓的勾划是放射治疗计划中一项必不可少的重要环节，但其过程需要大量繁琐的手工操作。近年来，深度学习用于器官分割的相关技术得到了极大的关注，许多基于深度学习的分割模型，如FCNs、U-Net、V-Net及其变体，被提出并在在图像分割方面都取得了很好的效果。现阶段，这些研究专注于某些特定器官或组织的分割，如肝脏、胰腺、血管、胶质瘤等。单类别的分割方法使得网络更容易处理特定的器官，并可以根据目标脏器的先验信息采用特殊的策略以进一步优化分割结果。但是，从放射治疗计划对于器官分割的要求来看，训练多个特定任务的分割网络是低效的，因此该领域的研究重点应放在多脏器分割或者多任务分割网络，如何实现多器官精准分割仍然是一项具有挑战性的任务。

手术机器人不具备医师资深的医学背景知识，更无法快速将医学背景知识与病人体征信息相结合，因此，单纯地给机器人输入目标器官信息对于整个介入手术并不完整，同时有必要告知机器人与目标器官相邻的外周器官信息及介入过程途径的器官信息，以更好地使用机器人完成对应的手术辅助操作。与此同时，尽管深度神经网络极大地促进了医学图像处理的发展，但由于医学图像本身的某些挑战，比如图像质量差、成像协议差异以及患者自身的特异性，基于深度学习的全自动分割方法尚未能够在临床应用中输出足够准确可靠的结果。因此，现有的分割算法不能直接应用于临床诊断，其分割需要使用其他手工方法进行进一步编辑。同时，基于安全和伦理问题考虑，医学影像数据集通常都较小，这也增加了训练深度神经网络进行器官分割的难度。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种放射粒子内放疗介入手术机器人的多脏器分割方法及介质，通过脏器分割模型，实现了高效的多脏器分割能力，又具备分割结果二次修复编辑能力。

本发明的技术方案包括一种放射粒子内放疗介入手术机器人的多脏器分割方法，其特征在于，该方法包括：预分割及交互优化；所述预分割包括：通过V-Net级联神经网络对三维脏器图像进行基于图像块的全分辨训练；所述交互优化包括：根据所述预分割的训练结果，以及根据输入的边界框，对所述三维脏器图像的脏器目标和背景进行分离。

根据所述的放射粒子内放疗介入手术机器人的多脏器分割方法，其中预分割包括：预处理，将所述三维脏器图像所有的数据裁剪到非零区域；数据增强，将作为训练数据的所述三维脏器图像所有的数据执行数据增强，所述数据增强包括随机旋转、随机缩放、随机弹性变形、伽马校正增强和镜像；训练细节优化，采用dice损失函数和交叉熵损失函数作为最终的损失函数来训练模型；后处理，在训练数据上对所有标注数据的分割标签进行连通度分析。

根据所述的放射粒子内放疗介入手术机器人的多脏器分割方法，其中预处理包括：获取重采样的所述三维脏器图像数据集体素间距的中值，将三阶样条插值用于图像数据，将最近邻插值用于相应的分割掩模，对训练数据集中的分割掩模内出现的强度值进行统一，并通过clip函数将强度值限制在整个数据集强度的[0.5％，99.5％]内，根据所有强度值的平均值和标准差进行归一化处理。

根据所述的放射粒子内放疗介入手术机器人的多脏器分割方法，其中训练细节优化包括：通过Adam优化器，以及设置初始学习率为3×10

根据所述的放射粒子内放疗介入手术机器人的多脏器分割方法，其中后处理包括：所述三维脏器图像数据集对应的任意一个类在所有情况下只位于单个联通区域中时，保留最大的联通区域，自动删除对应类的其他联通区域。

根据所述的放射粒子内放疗介入手术机器人的多脏器分割方法，其中交互优化包括：交互设置，对所述分割结果中的欠分割区域以及过分割区域分别进行前景标记和背景标记；算法执行，获取深度学习方法的预分割结果，根据指定脏器目标进行标记交互，将根据标记信息以及指定脏器目标的预分割结果得到交互掩模，利用提取交互层的原始数据信息，根据输入的交互掩膜与交互层原始数据，采用Grabcut进行三维脏器图像对应区域进行优化。

根据所述的放射粒子内放疗介入手术机器人的多脏器分割方法，其中交互设置还包括：将图片像素分为确定的背景BG＝0、确定的前景FG＝1、可能的背景PR_BG＝2及可能的前景PR_FG＝3；将预分割结果设置为初始前景信息点FG＝1以及初始背景信息点BG＝0，当标记背景时，通过设置标记刷半径大小，将标记点周围的点设置为可能的背景PR_BG＝2，标记刷中心设为背景点BG＝0；以及，当标记前景时，通过设置标记刷半径大小，将标记点周围的点设置为可能的前景PR_FG＝3，标记刷中心设为前景点FG＝1。

根据所述的放射粒子内放疗介入手术机器人的多脏器分割方法，其中采用Grabcut进行三维脏器图像对应区域进行优化还包括：其优化方式为沿着指定轴向逐层进行优化。

根据所述的放射粒子内放疗介入手术机器人的多脏器分割方法，其中V-Net级联神经网络包括：使用第一V-Net神经网络对降采样的图像进行训练，得到的分割结果再次上采样到原始图像空间大小，并作为附加信息与原始图像作为第二V-Net神经网络的输入，进行基于图像块全分辨训练。

本发明的技术方案还包括一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项的方法。

本发明的有益效果为：实现了高效的多脏器分割能力，又具备分割结果二次修复编辑能力。

附图说明

下面结合附图和实施例对本发明进一步地说明；

图1所示为根据本发明实施方式的流程图；

图2所示为根据本发明实施方式的多脏器分割整体框架流程图；

图3所示为根据本发明实施方式的基于深度学习网络的预分割模块V-Net级联结构示意图；

图4所示为根据本发明实施方式的基于Grabcut的交互优化模块中用户前景/背景交互修饰界面；

图5所示为根据本发明实施方式的Grabcut交互掩模示意图；

图6所示为根据本发明实施方式的装置介质图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。

在本发明的描述中，对方法步骤的连续标号是为了方便审查和理解，结合本发明的整体技术方案以及各个步骤之间的逻辑关系，调整步骤之间的实施顺序并不会影响本发明技术方案所达到的技术效果。

本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

图1所示为根据本发明实施方式的流程图，包括：预分割及交互优化；其中预分割包括：通过V-Net级联神经网络对三维脏器图像进行基于图像块的全分辨训练；其中交互优化包括：根据预分割的训练结果，以及根据输入的边界框，对三维脏器图像的脏器目标和背景进行分离。

图2所示为根据本发明实施方式的多脏器分割整体框架流程图。其概括如下：

深度学习模型参考图3，基于深度学习的预分割包括：

(1)预处理：首先所有的数据将被裁剪到非零区域。在医学图像中，不同的成像设备或不同的采集协议导致数据集具有各向异性的体素间隔。为了使网络能够正确地学习空间语义，所有患者被重新采样以获得数据集体素间距的中值，其中三阶样条插值用于图像数据，最近邻插值用于相应的分割掩模。随后对训练数据集中的分割掩模内出现的强度值进行统一，并通过clip函数将强度值限制在整个数据集强度的[0.5,99.5]百分位数内，然后根据所有强度值的平均值和标准差进行归一化处理。

(2)数据增强：在训练过程中对数据进行以下增强技术:随机旋转、随机缩放、随机弹性变形、伽马校正增强和镜像。

(3)训练细节：采用dice损失函数和交叉熵损失函数作为最终的损失函数来训练模型。采用Adam优化器，以及初始学习率设置为3×10^(-4),并定义每训练250个图像块作为一轮，设置图像块大小为128×128×128，批大小为2。在训练过程中，对训练损失和验证损失分别设置一个指数移动平均值，当训练损失的指数移动平均值在过去的30轮里没有改善，学习率将降低5倍；当验证损失的指数移动平均值在过去的60轮里没有改善，且当前学习率小于10^(-6)，将提前终止训练。此外，为了提高网络训练的稳定性，要求在一批样本中，超过三分之一的样本至少包含一个随机选择的前景类数据。

(4)后处理：在训练数据上对所有ground truth(标注数据)分割标签进行连通度分析。如果一个类在所有情况下都位于单个联通区域中，那么这种行为就会被视为数据集的一般属性。因此，除了最大的联通区域外，这个类的其他联通区域都会被自动删除。

基于Grabcut的交互优化

Grabcut算法是一种基于最小分割实现的图像分割算法，它需要用户输入一个边界框作为分割目标位置，实现对目标与背景的分离/分割。对于Grabcut算法,它将图片像素分为4个成分：确定的背景BG＝0、确定的前景FG＝1、可能的背景PR_BG＝2、可能的前景PR_FG＝3。本方案中通过基于C++/VTK编写的交互界面对指定脏器进行前景背景标注，具体执行过程可分为一下步骤：

(1)交互过程：参考图4，用户可以对当前分割结果中的欠分割区域以及过分割区域分别进行前景标记和背景标记。首先将预分割结果设置为初始前景信息点FG＝1以及初始背景信息点BG＝0。当标记背景时，通过设置标记刷半径大小，将标记点周围的点设置为可能的背景PR_BG＝2，标记刷中心设为背景点BG＝0。相似地，当标记前景时，通过设置标记刷半径大小，将标记点周围的点设置为可能的前景PR_FG＝3，标记刷中心设为前景点FG＝1。

(2)算法执行：参考图5，获取深度学习方法的预分割结果，随后用户针对指定目标进行标记交互，算法将根据用户标记信息以及指定目标的预分割结果得到交互掩模，利用提取交互层的原始数据信息，根据输入的交互掩膜与交互层原始数据，采用Grabcut进行区域优化。由于医学图像数据是三维数据，所以该优化过程沿着指定轴向逐层进行优化。

图3所示为根据本发明实施方式的基于深度学习网络的预分割模块V-Net级联结构示意图，为了弥补基于3D图像块训练方式在大尺度脏器上的不足，本方案采用一种V-Net级联结构。其中一个V-Net针对降采样的图像进行训练，由第一个V-Net得到的分割结果再次上采样到原始图像空间大小，并作为附加信息与原始图像作为第二个V-Net的输入，进行基于图像块全分辨训练过程。

图6所示为根据本发明实施方式的装置介质图。装置包括存储器100及处理器200，其中处理器200存储有计算机程序，计算机程序用于执行：预分割及交互优化；其中预分割包括：通过V-Net级联神经网络对三维脏器图像进行基于图像块的全分辨训练；其中交互优化包括：根据预分割的训练结果，以及根据输入的边界框，对三维脏器图像的脏器目标和背景进行分离。其中，存储器100用于存储数据。

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。