使用深度学习引擎进行放射疗法治疗计划的方法和系统

摘要

提供了使用深度学习引擎进行放射疗法治疗计划的示例方法。一个示例方法可以包括：获取与患者相关联的第一图像数据(211)；通过使用第一处理路径(221)处理与第一分辨率水平相关联的第一图像数据来生成第一特征数据(241)；通过使用第二处理路径(222)处理与第二分辨率水平相关联的第二图像数据(212)来生成第二特征数据(242)；通过使用第三处理路径(223)处理与第三分辨率水平相关联的第三图像数据(213)来生成第三特征数据(243)。该示例方法还可以包括：生成与第二分辨率水平相关联的特征数据的第一组合集(252)，并且基于第一特征数据和第一组合集来生成与第一分辨率水平相关联的特征数据的第二组合集。此外，该示例方法可以包括生成与患者的放射疗法治疗相关联的输出数据(260)。

说明书

本申请的技术方案涉及美国专利申请16/145,606(代理人案卷号2018-028US01)和16/145,673(代理人案卷号2018-028US02)。这些美国专利申请(包括其任何附录或附件)通过引用整体并入本文。

背景技术

除非本文中另外指出，否则本部分中描述的方法不是本申请中的权利要求的现有技术，并且不能由于包括在本部分中而被承认是现有技术。

放射疗法是用于减少或消除患者不想要的肿瘤的治疗的重要部分。不幸的是，所施加的辐射不能固有地在不需要的肿瘤和诸如器官等的任何近端健康结构之间进行区分。这需要仔细给药以限制对肿瘤(即，目标)的辐射。理想地，目标是向肿瘤递送致死性或治愈性放射剂量，同时在近端健康结构中维持可接受的剂量水平。然而，为了实现该目标，常规的放射疗法治疗计划和/或自适应放射疗法治疗计划可能是时间和劳动密集型的。

发明内容

在一个方面，本发明提供了一种根据权利要求1所述的用于计算机系统执行放射疗法治疗计划的方法。在从属权利要求中限定可选特征。

在另一方面，本发明提供了一种根据权利要求8所述的非暂态计算机可读存储介质。在从属权利要求中限定可选特征。

在另一方面，本发明提供了一种根据权利要求15所述的计算机系统。在从属权利要求中限定可选特征。

根据本公开的第一方面，提供了用于使用深度学习引擎进行放射疗法治疗计划的示例方法和系统。将使用图1至图5讨论各种示例。深度学习引擎可以至少包括第一处理路径、第二处理路径和第三处理路径。一种示例方法可以包括：获取与患者相关联的第一图像数据；通过使用第一处理路径处理与第一分辨率水平相关联的第一图像数据来生成第一特征数据；通过使用第二处理路径处理与第二分辨率水平相关联的第二图像数据来生成第二特征数据；通过使用第三处理路径处理与第三分辨率水平相关联的第三图像数据来生成第三特征数据。该示例方法还可以包括：基于第二特征数据和第三特征数据来生成与第二分辨率水平相关联的特征数据的第一组合集；并且基于第一特征数据和第一组合集来生成与第一分辨率水平相关联的特征数据的第二组合集。此外，该示例方法可以包括生成与患者的放射疗法治疗相关联的输出数据。例如，输出数据可以包括如下中的至少一项：与患者相关联的结构数据、与患者相关联的剂量数据、和用于治疗递送系统的治疗递送数据。

根据本公开的第二方面，提供了用于使用深度学习引擎进行自适应放射疗法治疗计划的示例方法和系统。将使用图6和图7讨论各种示例。一个示例方法可以包括获取与第一成像模态相关联的治疗图像数据。治疗图像数据可以在患者的治疗阶段获取。而且，可以在治疗阶段之前获取与第二成像模态相关联的计划图像数据，以生成针对患者的治疗计划。该方法还可以包括：响应于确定需要更新治疗计划，对与第一成像模态相关联的治疗图像数据进行变换以生成与第二成像模态相关联的经变换的图像数据。该方法还可以包括：使用深度学习引擎来处理经变换的图像数据，以生成用于更新治疗计划的输出数据。例如，输出数据可以是如下中的至少一项：与患者相关联的结构数据、与患者相关联的剂量数据、和用于治疗递送系统的治疗递送数据。

根据本公开的第三方面，提供了用于使用深度学习引擎进行自适应放射疗法治疗计划的示例方法和系统。将使用图6和图8讨论各种示例。一个示例方法可以包括获取与第一成像模态相关联的治疗图像数据和与第二成像模态相关联的计划图像数据。计划图像数据可以在治疗阶段之前获取，以为生成针对患者的治疗计划。该方法还可以包括：响应于确定需要更新治疗计划，使用深度学习引擎处理治疗图像数据和计划图像数据，以生成用于更新治疗计划的输出数据。例如，输出数据可以是如下中的至少一项：与患者相关联的结构数据、与患者相关联的剂量数据、和用于治疗递送系统的治疗递送数据。

附图说明

图1是示出用于放射疗法治疗的示例过程流程的示意图；

图2是示出用于执行放射疗法治疗计划的、具有多个处理路径的示例深度学习引擎的示意图；

图3是用于计算机系统使用深度学习引擎来执行放射疗法治疗计划的示例过程的流程图；

图4是示出用于对图像数据执行自动分段以进行放射疗法治疗计划的示例深度学习引擎的示意图；

图5是示出用于执行剂量预测以进行放射疗法治疗计划的示例深度学习引擎的示意图；

图6是示出用于计算机系统使用深度学习引擎来执行自适应放射疗法治疗(ART)计划的示例处理流程的示意图；

图7是示出根据图6中的示例的、用于ART计划的第一示例方法的示意图；

图8是示出根据图6中的示例的、用于ART计划的第二示例方法的示意图；

图9是示出在图1至图8的示例中的、基于输出数据而被生成或改善的示例治疗计划的示意图；

图10是用于执行放射疗法治疗计划和/或自适应放射疗法治疗计划的示例计算机系统的示意图，

具体实施方式

在以下描述中阐述的技术细节使得本领域技术人员能够实现本公开的一个或多个实施例。

图1是示出用于放射疗法治疗的示例过程流程100的示意图。示例过程100可以包括由一个或多个框示出的一个或多个操作、功能或动作。基于期望实现，各种框可以组合为更少的框，划分为更多的框，和/或删除。在图1的示例中，放射疗法治疗通常包括各个阶段，诸如成像系统执行针对患者的图像数据获取(参见110)；放射疗法治疗计划系统(参见130)生成针对患者的合适的治疗计划(参见156)；以及治疗递送系统(参见160)根据治疗计划递送治疗。

更详细地，在图1中的110处，可以使用成像系统来执行图像数据获取，以捕获与患者(特别是患者的解剖结构)相关联的图像数据120。可以使用任何一个或多个合适的医学图像模态，诸如计算机断层摄影(CT)、锥束计算机断层摄影(CBCT)、正电子发射断层摄影(PET)、磁共振成像(MRI)、单光子发射计算机断层摄影(SPECT)、其任何组合等。例如，当使用CT或MRI时，图像数据120可以包括一系列二维(2D)图像或切片，每个图像或切片表示患者的解剖结构的横截面视图，或者可以包括患者的体积或三维(3D)图像，或者可以包括患者的2D或3D图像的时间序列(例如，二维(4D)CT或4D CBCT)。

在图1中的130处，可以在计划阶段执行放射疗法治疗计划，以基于图像数据120生成治疗计划156。可以执行任何合适数目的治疗计划任务或步骤，诸如分段、剂量预测、投影数据预测、治疗计划生成等。例如，可以执行分段以从图像数据120生成标识各种分段或结构的结构数据140。在实践中，可以从图像数据120重构患者的解剖结构的三维(3D)体积。将要经受辐射的3D体积称为治疗或辐射体积，其可以划分为多个较小体积像素(体素)142。每个体素142表示与治疗体积内的位置(i，j，k)相关联的3D元素。结构数据140可以包括与患者的解剖结构144、目标146和任何有风险的器官(OAR)148的轮廓、形状、大小和位置有关的任何合适的数据。

在另一示例中，可以执行剂量预测，以生成剂量数据150，该剂量数据150指定要递送给目标146的辐射剂量(在152处表示为“D

基于结构数据140和剂量数据150，可以生成治疗计划156，该治疗计划156包括针对一组光束取向或角度的2D注量图数据。每个注量图指定在特定光束取向和特定时间处从辐射源发射的辐射束的强度和形状(例如，由多叶准直仪(MLC)确定)。例如，在实践中，强度调制的放射疗法治疗(IMRT)或(一个或多个)任何其他治疗技术可以涉及以恒定机架和床角改变辐射束的形状和强度。备选地或附加地，治疗计划156可以包括机器控制点数据(例如，下颌和叶片的位置)、用于控制治疗递送系统的体积调制电弧治疗(VMAT)轨迹数据等。在实践中，框130可以基于由临床医生(例如，肿瘤科医生、剂量测定师、计划者等)规定的目标剂量来执行，诸如基于临床医生的经验、肿瘤的类型和程度、患者的几何形状和情况等。

在图1中的160处，在治疗阶段执行治疗递送，以根据治疗计划156向患者递送辐射。例如，放射疗法治疗递送系统160可以包括放射源166附接到的可旋转机架164。在治疗递送期间，机架164围绕支撑在结构172(例如，桌子)上的患者170旋转，以根据治疗计划156以各种光束取向发射辐射束168。控制器162可以用于检索治疗计划156，并且控制机架164、辐射源166和辐射束168根据治疗计划156递送放射疗法治疗。

应当理解，可以使用(一个或多个)任何合适的放射疗法治疗递送系统，诸如基于机械臂的系统、放射疗法类型系统、近距、实心球体、其任何组合等。另外，本公开的示例可以适用于粒子递送系统(例如，质子、碳离子等)。这样的系统可以采用然后由类似于MLC的设备成形的散射粒子束，或者可以采用能量、光斑大小和停留时间可调节的扫描束。

常规地，图1中的框130处的放射疗法治疗计划是时间和劳动密集型的。例如，它通常需要一组高技能和训练有素的肿瘤学家和剂量医生通过在图像数据120上绘制轮廓或分段来手动描绘感兴趣结构。这些结构由医生手动检查，可能需要调节或重新绘制。在很多情况下，关键器官的分段可能是放射疗法治疗计划中最耗时的部分。在结构商定之后，还有其他劳动密集型步骤来处理结构，以生成临床最优的治疗计划，以指定治疗递送数据(诸如光束取向和轨迹以及对应2D注量图)。这些步骤通常由于不同医师和/或临床中心之间在什么构成“良好”轮廓或分段方面缺乏共识而变得复杂。在实践中，不同临床专家绘制结构或分段的方式可能会有很大差异。这种差异可能导致目标体积和形状的不确定性、以及应当接受最小辐射剂量的OAR的精确接近度、大小和形状。即使对于特定临床专家，在不同日子绘制分段的方式也可能有所不同。

根据本公开的示例，人工智能(A1)技术可以被应用以缓解与放射疗法治疗计划相关联的各种挑战。特别地，(一个或多个)深度学习引擎可以用于使(一个或多个)放射疗法治疗方案计划步骤和/或(一个或多个)自适应放射疗法治疗方案计划步骤自动化。可以实现本公开的示例以提高放射疗法治疗计划的效率以及可能的治疗结果，诸如增加肿瘤控制概率和/或减少由于健康结构中的辐射过量而引起的健康并发症或死亡的可能性。例如，图像数据120的自动分段在加速工作流程和实现各种应用(诸如自动治疗计划和放射疗法治疗适应性)方面将具有极大的益处。

在整个本公开中，术语“深度学习”通常是指利用非线性数据处理的很多层或阶段进行特征学习以及模式分析和/或分类的一类方法。因此，术语“深度学习模型”可以指代非线性数据处理的层的层次，其包括输入层、输出层和在输入层与输出层之间的多个(即，两个或更多个)“隐藏”层。可以对这些层进行端到端训练(例如，从输入层到输出层)，以从输入中提取(一个或多个)特征并且对(一个或多个)特征进行分类以产生输出(例如，分类标签或类)。

相应地，术语“深度学习引擎”可以指代能够根据(一个或多个)任何深度学习模型执行算法的计算机系统的(一个或多个)任何合适的硬件和/或软件组件。根据期望实现，可以使用(一个或多个)任何合适的深度学习模型，诸如卷积神经网络、递归神经网络、深度置信网络或其任何组合等。在实践中，神经网络通常是使用经由连接(称为“突触”、“权重”等)而互连的处理元件(称为“神经元”、“节点”等)的网络来形成的。

应当将深度学习方法与已经应用于例如自动分段的机器学习方法进行对比。通常，这些方法涉及从图像中提取(手工设计的)特征向量，诸如针对每个体素等。然后，这些特征向量可以用作机器学习模型的输入，该机器学习模型对每个体素所属的类进行分类。然而，这样的机器学习方法通常没有利用完整的图像数据，并且可能需要附加约束。另一挑战是，这些方法依赖于手工设计的特征的高维度，以便准确预测每个体素的类标签。解决高维分类问题在计算上是昂贵的，并且需要大量存储器。一些方法使用较低维度特征(例如，使用降维技术)，但是它们可能降低预测准确度。

在下文中，下面将使用图1至图10讨论各种示例。特别地，将使用图1至图5讨论使用(一个或多个)深度学习引擎的放射疗法治疗计划。此外，将使用图6至图9讨论使用(一个或多个)深度学习引擎的自适应放射疗法治疗计划。本公开的示例可以使用(一个或多个)任何合适的计算机系统来实现，其示例在图10中示出。

根据本公开的第一方面，可以使用具有多个(K个)处理路径的深度学习引擎来以不同分辨率水平处理医学图像数据来改善放射疗法治疗计划。将使用图2和图3来说明一些示例。特别地，图2是示出具有用于放射疗法治疗计划的多个处理路径的示例深度学习引擎200的示意图。图3是用于计算机系统的、使用深度学习引擎200执行放射疗法治疗计划的示例过程300的流程图。示例过程300可以包括由一个或多个框(诸如310至370)示出的一个或多个操作、功能或动作。基于期望实现，各种框可以组合为更少的框，划分为更多的框，和/或删除。

在图2的示例中，多分辨率深度学习引擎200至少包括三个(K＝3)处理路径221-223，以便以不同分辨率水平(表示为R

在实践中，较大的接收场优于较小的接收场，以便于提取和分析图像数据211-213中的局部和全局特征数据，以产生更好质量的输出数据。通常，由于所需要的准确性和可靠性相对较高，深层神经网络可能难以调节以针对医学图像数据正常工作。通过将图像处理问题分成多个分辨率水平，本公开的示例可以以资源高效的方式来实现。例如，在处理资源有限的用户站点处，首选内存高效方法来提高效率。例如，在较低分辨率下，处理成本较低，因为与没有下采样的情况相比，在相同的成本下，处理路径可以处理更远的数据(例如，不同物理距离处的特征数据)。

还参考图3，在310处，获取与患者相关联的第一图像数据120/211。在此，术语“获取”通常可以是指计算机系统从任何合适的源(例如，另一计算机系统)、存储器或存储装置(例如，本地或远程)等访问或检索图像数据120/211。在实践中，第一图像数据211可以是使用任何一个或多个合适的成像模态而获取的2D或3D图像数据。

在图3中的320处，使用第一处理路径221来处理与第一分辨率水平(R

在图3中的350处，基于第二特征数据(F

取决于期望实现，深度学习引擎200可以被训练以执行：自动分段以生成输出数据＝结构数据(例如，图1中的140)，剂量预测以生成输出＝剂量数据(例如，图1中的150)，治疗递送数据估计以生成输出＝治疗递送数据，或其任何组合。例如，在自动分段的情况下，结构数据可以包括分段和标记图像，这些图像指定从图像数据120/211中可标识的(一个或多个)结构或(一个或多个)分段的轮廓、形状、大小和/或位置，诸如图1中的患者的解剖结构144、目标146和OAR 148。在剂量预测的情况下，剂量数据可以指定目标146和OAR 148的辐射剂量(另外参见图1中的152-154)。在治疗递送数据估计的情况下，“治疗递送数据”可以是结构投影数据(例如，光束轨迹和/或取向)、注量图数据等。

在图2的示例中，可以基于第一图像数据(I

在下文中，将使用图4描述与自动分段有关的示例，将使用图5描述与剂量预测有关的示例。尽管使用深度卷积神经网络作为示例，但是应当理解，根据本公开的示例，可以使用(一个或多个)任何备选和/或附加深度学习模型来实现深度学习引擎200/400/500。

图4是示出执行图像数据的自动分段以进行放射疗法治疗计划的示例深度学习引擎400的示意图。类似于图2中的示例，深度学习引擎400包括在训练阶段401被训练的K＝3个处理路径(参见421-423)。一旦被训练，深度学习引擎400可以被用于(例如，由临床医生)在推断阶段402对实际患者执行自动分段。

(a)训练数据

在训练阶段401，可以使用与自动分段有关的任何合适的训练数据411-412来训练深度学习引擎400。在实践中，训练数据411-412可以包括示例输入数据＝未分段图像数据411、以及示例输出数据＝结构数据412(也称为分段数据)。结构数据412可以标识患者解剖结构的(一个或多个)结构或(一个或多个)分段的任何合适的轮廓、形状、大小和/或位置，诸如(一个或多个)目标、(一个或多个)OAR等。图像数据411可以包括患者的解剖结构的2D或3D图像，并且使用任何一个或多个合适的成像模态进行捕获。取决于期望实现，结构数据412可以由训练有素的专业人员使用任何合适的方法手动生成并且临床验证。

训练阶段401的目的是通过将输入数据＝图像数据411映射到示例输出数据＝结构数据412来训练深度学习引擎400执行自动分段。训练阶段401可以涉及找到使训练结构数据412与由深度学习引擎400生成的估计的结构数据482之间的训练误差最小化的权重。在实践中，深度学习引擎200可以被训练以标识任何合适形状和大小的多个目标和OAR。

例如，关于前列腺癌，图像数据411可以包括患者的前列腺的图像数据。在这种情况下，结构数据412可以标识表示患者前的列腺的目标、以及表示近端健康结构(诸如直肠或膀胱)的OAR。关于肺癌治疗，图像数据411可以包括患者的肺的图像数据。在这种情况下，结构数据412可以标识表示癌性肺组织的目标、以及表示近端健康肺组织、食道、心脏等的OAR。关于脑癌，图像数据411可以包括患者的大脑的图像数据。在这种情况下，结构数据412可以标识表示脑肿瘤的目标、以及表示近端视神经、脑干等的OAR。

在实践中，训练数据411-412可以由用户通过观察和经验生成，以促进有监督的学习。例如，可以从为过去的患者开发的过去的治疗计划中提取训练数据411-412。可以使用任何合适的数据增强方法(例如，旋转、翻转、平移、缩放、噪声添加、修剪、其任何组合等)对训练数据411-412进行预处理，以产生具有经修改的属性的新的数据集以改善使用基本事实的模型概括。在实践中，将要受到辐射的患者的3D体积称为治疗体积，可以将治疗体积划分为多个较小体积像素(体素)。在这种情况下，结构数据412可以指定与3D体积中的每个体素相关联的类标签(例如，“目标”、“OAR”等)。取决于期望实现，结构数据412可以标识任何合适形状和大小的多个目标和OAR。

(b)处理路径和层

深度学习引擎400包括三个处理路径421-423(k＝1、2、3)，以便以不同分辨率水平(R

在图4的示例中，第一处理路径421的输入是图像数据411。第二处理路径422的输入是已经由下采样块431下采样(例如，以2倍的因子)的图像数据411。第三处理路径423的输入是已经由两个下采样块431-432下采样(例如，以4倍的总因子)的图像数据411。下采样块431-432具有匹配的上采样块441-443，上采样块441-443用于在来自相应处理路径421-423的特征数据(参见F

通过以多个分辨率水平处理图像数据411，处理路径421-423将不同视图提供给图像数据411以实现更大的接收场。在实践中，医学图像数据通常包括患者的解剖结构的局部和全局特征数据两者，其中术语“局部”和“全局”本质上是相对的。例如，局部特征数据可以提供患者的解剖结构的微观视图，诸如组织纹理、结构是否具有限制边界等。相反，全局特征数据可以提供患者的解剖结构的相对宏观视图，诸如解剖结构位于哪个区域(例如，骨盆、腹部、头部和颈部等)、取向(例如，向左、向右、正面、背面)等。

在图4的示例中，第一处理路径421可以以最高分辨率水平(R

例如，使用深度卷积神经网络，处理路径421-423均可以包括任何合适数目的卷积层(例如，424-426)，以从图像数据411中提取不同分辨率水平的特征数据(F

深度学习引擎400还包括附加卷积层或块450-470和混合块480(为简化起见，仅示出了一个)，以便以分阶段方式组合来自处理路径421-423的特征数据(F

然后，使用附加卷积块460-470来组合来自所有处理路径421-423的特征数据(F

然后使用混合块480处理使用卷积块460-470生成的第二组合集(C

可以在训练阶段401重复上述训练步骤，以使训练结构数据412和估计的结构数据482中的预期结果之间的误差最小化。取决于期望实现，深度学习引擎400可以使用(一个或多个)任何合适的卷积神经网络架构来实现，诸如U-net、LeNet、AlexNet、ResNet、V-net、DenseNet等。例如，U-net架构包括收缩路径(左侧)和扩展路径(右侧)。收缩路径包括卷积的重复应用，然后是经过校正的线性单位(ReLU)和(一个或多个)最大轮询操作。扩展路径中的每个步骤可以包括特征图的上采样，然后是卷积等。应当注意，处理路径421-423可以使用相同或不同的架构。

(c)推断阶段

一旦被训练，临床医生就可以在推断阶段402使用深度学习引擎400执行分段，以基于输入数据＝特定患者的图像数据210/491生成输出数据＝患者结构数据260/492。图像数据210/491可以由深度学习引擎400的处理路径421-423以相应分辨率水平处理以扩大接收场。使用图3解释的示例过程(参见框310-370)可以应用于执行自动分段，并且为了简洁起见，在此将不再重复。

剂量预测

图5是示出示例深度学习引擎500执行剂量预测以进行放射疗法治疗计划的示意图。类似于图4中的示例，深度学习引擎500包括在训练阶段501被训练的K＝3个处理路径(参见521-523)。一旦被训练，深度学习引擎500可以被使用(例如，由临床医生)以在推断阶段502对实际患者执行剂量预测。

(a)训练数据

在训练阶段501器件，可以使用与剂量预测有关的任何合适的训练数据511-512来训练深度学习引擎500。在实践中，训练数据511-512可以包括示例输入数据＝图像数据和结构数据511(即，分段图像数据)、以及示例输出数据＝剂量数据512。剂量数据512(例如，3D剂量数据)可以指定目标(表示为“D

例如，关于前列腺癌，剂量数据512可以指定表示患者前列腺的目标和表示近端健康结构(诸如直肠或膀胱)的OAR的剂量分布。关于肺癌治疗，剂量数据512可以指定表示癌性肺组织的目标、以及表示近端健康肺组织、食道、心脏等的OAR的剂量分布。关于脑癌，剂量数据512可以规定表示脑肿瘤的目标、以及表示近端视神经、脑干等的OAR的剂量分布。

训练阶段501的目的是通过将输入数据＝图像数据和对应结构数据511映射到示例输出数据＝剂量数据512来训练深度学习引擎500以执行剂量预测。训练阶段501可以涉及寻找使训练剂量数据512与由深度学习引擎500生成的估计的剂量数据582之间的训练误差最小化的权重(例如，内核参数)。可以使用(一个或多个)任何合适的约束，诸如将剂量预测仅限制在目标附近或某些剂量水平。

(b)处理路径和层

类似于图4中的示例，图5中的深度学习引擎500包括三个处理路径521-523(k＝1、2、3)，以便以不同分辨率水平(R

在图5的示例中，第一处理路径521的输入是图像数据511。第二处理路径522的输入是已经由下采样块531下采样(例如，以2倍的因子)的图像数据(I

深度学习引擎500还包括附加卷积层或块550-570和混合块580(为简化起见，仅示出了一个)，以便以分阶段方式组合来自处理路径521-523的特征数据(F

(c)推断阶段

一旦被训练，临床医生就可以在推断阶段502使用深度学习引擎500执行剂量预测，以基于输入数据＝特定患者的图像数据210/591生成输出数据＝剂量数据260/592。图像数据210/591可以由深度学习引擎500的处理路径521-523以相应分辨率水平处理以扩大接收场。使用图3解释的示例过程(参见框310-370)可以应用于执行剂量预测，并且为了简洁起见，在此将不再重复。

(d)变化

在实践中，可以训练深度学习引擎200/400/500处理与任何合适数目的分辨率水平有关的数据。在实践中，处理路径和对应的分辨率水平的数目可以取决于输入图像数据。例如，在某些时候，下采样可能不会显示出其他感兴趣特征，因为数据太粗糙了。医学图像数据的分辨率往往很高，并且三个或更多个分辨率水平可能适合于实现效率提升。

在K＝4的情况下，可以使用第四处理路径来处理与第四分辨率水平相关联的第四图像数据(I

除了图4中的自动分段和图5中的剂量预测，可以实现本公开的示例以执行治疗递送数据预测。在这种情况下，治疗递送数据(即，输出数据)可以包括结构投影数据、注量图数据等。例如，深度学习引擎200可以被训练以执行结构投影数据，诸如基于图像数据、结构数据、剂量数据或其任何组合。结构投影数据可以包括与用于治疗递送系统(参见图1中的160)的光束取向和机器轨迹有关的数据。在另一示例中，深度学习引擎200可以被训练以执行注量图估计，诸如用于一组光束取向/轨迹的2D注量图、机器控制点数据(例如，颚和叶位置、龙门和卧榻位置)等。将使用图9进一步解释注量图。

深度学习引擎200/400/500的输入数据和输出数据可以包括任何合适的附加和/或备选数据。例如，场几何数据可以是针对所有应用的输入或输出。其他示例包括监测单元(按机器计数的辐射量)、计划质量估计(可接受或不可接受)、每日剂量处方(输出)、场大小或其他机器参数、患者的卧榻位置参数或等中心线位置、治疗策略(是否使用运动控制机制、增强或不增强)、治疗或不治疗决定。

在放射疗法中，治疗目标是能够向目标递送高剂量(例如，杀死癌细胞)，同时保留健康组织(例如，以使对关键OAR的不利影响最小化)。因此，重要的是在放射疗法治疗的整个过程中向正确位置递送。但是，在递送时患者解剖结构的状况或情况可能与治疗计划中考虑的状况或情况有很大不同。例如，与计划图像数据(例如，CT图像)相比，关键器官的形状、大小和位置可能已经改变。差异可能是由多种因素引起的，诸如内部器官运动(例如，膀胱锉、肠蠕动)、患者的体重减轻、肿瘤缩小或扩张等。在某些情况下，基于计划图像数据而生成的现有治疗计划可能不再满足治疗目标，因此需要新的治疗计划。这就是所谓的ART。

例如，出于治疗计划的目的，通常在计划阶段(即，在治疗阶段之前)获取CT图像数据。可以基于CT图像数据的手动分段来生成治疗计划。在治疗阶段(例如，在治疗递送时或附近)，可以获取CBCT图像数据以监测患者状况的任何变化。临床医生可以将CBCT图像数据与CT图像数据进行比较，以评估治疗计划是否仍适用于产生精确的剂量递送。如果治疗计划不再满足治疗目标，则需要调节治疗计划。

传统上，ART通常涉及临床医生对新近获取的CBCT图像数据重复手动分段步骤，以提高治疗计划的质量。取决于情况和/或治疗区域，分段很容易成为ART中最昂贵的瓶颈之一，因为结构的数目及其形状的复杂性可能会有所不同。例如，轮廓绘制可能需要几分钟到几小时。在某些情况下，由于可能需要重新扫描以离线继续进行计划过程，因此可能无法及时为患者提供治疗。在新计划就绪之前，患者无法继续治疗，这具有延迟治疗的不良后果。

根据本公开的示例，可以使用深度学习引擎来改善ART计划。在下文中，将说明两个示例方法。当在治疗阶段获取的CBCT图像数据(“治疗图像数据”)与在治疗阶段之前获取的CT图像数据(“计划图像数据”)明显不同时，可以实现根据图6和图7的第一方法。否则，可以实现根据图6和图7的第二方法。

更详细地，图6是示出用于计算机系统的、使用深度学习引擎来执行自适应放射疗法治疗计划的示例处理流程600的示意图。示例过程600可以包括由一个或多个框示出的一个或多个操作、功能或动作。基于期望实现，各种框可以组合为更少的框，划分为更多的框，和/或删除。本公开的示例可以使用任何合适的计算机系统来实现，其示例将使用图10来讨论。

在图6中的610和620处，可以获取与第一成像模态相关联的治疗图像数据(例如，CBCT图像数据)和与第二成像模态相关联的计划图像数据(例如，CT图像数据)。这里，术语“获取”可以是指计算机系统从任何合适的源(例如，另一计算机系统、本地存储器/存储装置、远程存储器/存储装置等)访问或检索图像数据。术语“治疗图像数据”通常可以指代可以在治疗阶段601(例如，在预定治疗的当天或附近)获取以确定是否需要ART的任何合适的图像数据。术语“极化图像数据”通常可以指代可以在计划阶段602(即，在治疗阶段601之前)获取以为患者生成治疗计划(参见603)的任何合适的图像数据。

接下来，可以比较治疗图像数据610和计划图像数据620以确定是否需要更新基于计划图像数据而生成的治疗计划。如果是(即，需要更新)，则可以基于它们的差异是否超过重要性阈值来实现第一方法(参见640-660)或第二方法(参见670-690)。特别地，在图3中的630处，可以响应于确定治疗图像数据610与计划图像数据620之间的差异超过预定重要性阈值而实现第一方法。否则，在图6中的632处，可以响应于确定它们的差异未超过预定重要性阈值而实现第二方法。如果自计划阶段602以来患者的情况已经显著改变，则可以基于治疗图像数据610来实现第一方法。如果差异不太显著，则可以实现第二方法以利用治疗图像数据610和计划图像数据620两者中的信息。

在第一方法和第二方法之间的选择可以手动地(例如，由临床医生)执行或编程地(例如，由计算机系统)执行。“预定显著性阈值”可以与如下中的至少一项相关联(例如，基于其而设置，或者与其相关地设定)：需要剂量递送的目标的形状、大小或位置变化；以及目标附近的健康组织(例如，OAR)的形状、大小或位置变化。取决于相关临床专业知识，任何合适的质量度量数据可以用于评估治疗图像数据610与计划图像数据620之间的距离或误差映射，诸如目标大小、肿瘤位置的偏移(例如，3D映射中与目标相关联的体素的位置)、目标到OAR的距离(例如，到表面或质心的距离)、目标和OAR中的剂量值(如果在新情况下使用原始场设置)等。

应当理解，图6至图8中的示例适用于通过任何一个或多个合适的成像模态而获取的图像数据(即，不限于CT和CBCT图像数据)。例如，治疗图像数据610可以是CBCT图像数据的形式，而计划图像数据620可以是CT图像数据、超声图像数据、MRI图像数据、PET图像数据、SPECT或相机图像数据(例如，使用飞行时间相机捕获患者身体轮廓)等的形式。在实践中，在给定治疗递送机器的能力有限的情况下，通常只有有限的选项来获取治疗图像数据610。例如，与出于治疗计划目的而获取的CT图像数据相比，在治疗期间获取的CBCT图像数据具有相对劣化的图像质量。由CBCT扫描的患者解剖结构的面积通常小于CT的面积，因此某些结构在CBCT图像数据中可能不完全可见。

在治疗图像数据610＝CT图像数据(例如，与一个能量水平相关联)的情况下，计划图像数据620可以是与不同能量水平相关联的CT图像数据、超声图像数据、MRI图像数据、PET图像数据、SPECT图像数据或相机图像数据的形式。在治疗图像数据610＝MRI图像数据的情况下，计划图像数据620可以是CT图像数据、CBCT图像数据、超声图像数据、MRI图像数据、PET图像数据、SPECT图像数据或相机图像数据的形式。在治疗图像数据610＝超声图像数据的情况下，计划图像数据620可以是CT图像数据、CBCT图像数据、PET图像数据、MRI图像数据、SPECT图像数据或相机图像数据的形式。在治疗图像数据610＝PET图像数据的情况下，计划图像数据620可以是CT图像数据、CBCT图像数据、超声图像数据、MRI图像数据、SPECT图像数据或相机图像数据的形式。可以使用与任何一个或多个合适的成像模态相关联的备选和/或附加图像数据。

此外，应当理解，图6至图8的示例中的深度学习引擎650/680可以使用(一个或多个)任何合适的深度学习技术来实现。在下文中，图1至图5中的具有多个处理路径的深度学习架构将被用作示例。取决于期望实现，可以使用(一个或多个)任何备选和/或附加深度学习模型(即，单个或多个处理路径)。可以实现本公开的示例以提高ART的效率，这可以提高客户满意度，增加可以被治疗的患者的数目，并且维持针对患者的设置的计划质量水平。在下文中，CBCT图像数据将被用作示例“与第一成像模态相关联的治疗图像数据”，而CT图像将被用作示例“与第二成像模态相关联的治疗图像数据”。

(a)第一方法(差异>显著性阈值)

在图6的示例中，可以响应于如下来执行第一示例方法：确定需要更新基于计划图像数据620而生成的治疗计划，并且治疗图像数据610与计划图像数据620之间的差异超过预定重要性阈值。因为存在明显偏差，所以在ART期间不必依赖于计划图像数据620来避免对治疗递送的任何不利影响。

特别地，在图6中的640处，可以变换治疗图像数据610(例如，CBCT图像数据)以生成与第二成像模态相关联的经变换的图像数据(例如，合成CT图像数据)。在图6中的650处，可以使用深度学习引擎来处理经变换的图像数据640，以生成用于更新治疗计划603的任何合适的输出数据。输出数据可以是与患者相关联的患者结构数据(例如，标识一个或多个目标和/或OAR等)、与患者相关联的剂量数据(例如，一个或多个目标和/或OAR的剂量分布)、与治疗递送系统相关联的治疗递送数据(例如，光束取向和/或轨迹、机器控制点数据、注量图等)、或其任何组合。

根据图6中的框640-660的第一方法的示例实现将使用图7来说明，图7是示出根据图6中的示例的、用于ART计划的第一示例方法700的示意图。示例过程700可以包括由一个或多个框示出的一个或多个操作、功能或动作。基于期望实现，各种框可以组合为更少的框，划分为更多的框，和/或删除。示例过程700可以使用任何合适的计算机系统来实现，其示例将使用图10来讨论。

在训练阶段701，可以使用任何合适的训练数据(诸如训练CT图像数据(参见731))和对应输出数据来训练深度学习引擎650，以生成输出数据660。在自动分段的情况下，可以使用用于CT图像数据731的训练结构数据732。备选地(为简洁起见，在图7中未示出)，深度学习引擎650可以被训练以执行：生成结构数据732，剂量预测以生成剂量数据，治疗递送数据估计以生成治疗递送数据，或其任何组合。使用图2和图3中的示例，深度学习引擎650可以包括多个处理路径，以便以不同分辨率水平(R

在图7的示例中，可以使用深度学习引擎720来生成经变换的图像数据640，该深度学习引擎720被训练以将与一个成像模态(例如，CBGT)相关联的图像数据映射到另一成像模态(例如，CT)。例如，在图7中，可以训练深度学习引擎720以将CBCT图像数据映射到CT图像数据。在一个示例中，可以使用训练数据来训练深度学习引擎720，该训练数据包括CT图像数据和对应结构数据(参见711)以及CBCT图像数据和对应结构数据(参见712)。使用图1至图5讨论的示例在这里也适用，并且为简洁起见，将不再赘述。替代地，可以使用算法方法代替深度学习引擎720，诸如刚性或可变形的注册算法等。

在推断阶段702，可以使用已训练深度学习引擎720处理治疗计划数据610(例如，CBCT图像数据)，以生成经变换的图像数据640(例如，合成CT图像数据)。接下来，可以使用深度学习引擎650来处理经变换的图像数据640以生成输出数据660。例如，在图7中，可以训练深度学习引擎650以执行自动分段以生成标识与患者相关联的(一个或多个)目标和(一个或多个)OAR的输出＝结构数据。替代地，可以训练深度学习引擎650以执行剂量预测、投影数据估计等。然后可以使用输出数据660更新治疗计划603以反映患者情况的变化，从而提高治疗递送质量。然后可以基于图6中的改进的治疗计划604来递送治疗。

(b)第二方法(差异<＝显著性阈值)

再次参考图6，可以响应于确定需要更新基于计划图像数据620而生成的治疗计划并且治疗图像数据610与计划图像数据620之间的差异不超过预定重要性阈值来执行第二示例方法。由于差异不那么显著，因此ART受益于两组图像数据，即，治疗图像数据610和计划图像数据620。这是因为，例如，CT图像数据可能会包含其他数据，因为与CBCT图像数据相比，它不会遭受严重伪影的影响。

更详细地，在图6中的680和690处，可以使用深度学习引擎来处理治疗图像数据610和计划图像数据620，以生成用于更新治疗计划603的任何合适的输出数据。类似地，输出数据690可以包括与患者关联的患者结构数据(例如，标识一个或多个目标和OAR等)、与患者关联的剂量数据(例如，一个或多个目标和OAR的剂量分布)、与治疗递送系统相关联的治疗递送数据(例如，光束取向和/或轨迹、机器控制点数据、注量图数据等)、或其任何组合。

在使用深度学习引擎680进行处理之前，可以对治疗图像数据610进行变换以生成经变换的图像数据(参见670)，诸如通过执行图像注册以针对计划图像数据620注册治疗图像数据610等。可以使用任何合适的图像配准方法，诸如算法方法、机器学习方法、深度学习方法等。可以执行图像配准以获取治疗图像数据610与计划图像数据620之间的对应关系。

例如，在CBCT图像数据已经变形以匹配CT图像数据之后，可以将它们馈送到深度学习引擎680以生成输出数据690。在实践中，图像配准可以使用任何合适的方法来执行，诸如深度学习方法、算法等。一种用于图像配准的示例深度学习方法在由Xiao,Y.、Kwitt,R.、Styner,M.、Niethammer,M.撰写的并且发表在Neuroimage(2017年第158卷第378-396页)的题为“Quicksilver：Fast Predictive Image Registration-a Deep Learning Approach”(2017年)的论文中公开。可以实现这种方法以使用基于图像外观的变形模型的逐块预测来执行可变形图像配准。深度编码器解码器网络可以用作预测模型。

应当注意，第二方法中的经变换的图像数据670是基于治疗图像数据610和计划图像数据620两者(即，两个输入，诸如CT和CBCT图像数据)而生成的。这应当与第一方法对比，在第一方法中，基于一个输入＝治疗图像数据610(例如，当天的CBCT图像数据)来生成变换图像数据640。这两种方法都可以依赖于图像配准来进行变换。

根据图6中的框670-690的第二方法的示例实现将使用图8来说明，图8是示出根据图6中的示例的用于ART计划的第二示例方法800的示意图。示例过程800可以包括由一个或多个框示出的一个或多个操作、功能或动作。基于期望实现，各种框可以组合为更少的框，划分为更多的框，和/或删除。示例过程800可以使用任何合适的计算机系统来实现，其示例将使用图10来讨论。

在训练阶段801，可以使用任何合适的训练数据(诸如训练CT图像和结构数据811以及训练CBCT图像和结构数据812)来训练深度学习引擎680以生成输出数据690。目标是训练深度学习引擎680基于使用不同成像模态(诸如图8中的CT和CBCT)而获取的两组图像数据来生成输出数据(例如，在自动分段的情况下为结构数据)。

深度学习引擎680可以使用任何合适的深度学习模型来实现。使用图1至图5中的示例，深度学习引擎680可以包括多个处理路径，以便以不同分辨率水平(R

在推断阶段802，使用已训练深度学习引擎680处理两组图像数据，即，计划图像数据620和使用图像配准等而生成的经变换的图像数据670。在自动分段的情况下，输出数据690可以包括标识与患者相关联的(一个或多个)目标和(一个或多个)OAR的结构数据。替代地，可以训练深度学习引擎680以执行剂量预测、治疗递送数据估计等。然后，可以使用输出数据690来更新治疗计划603以反映患者情况的变化，从而改善治疗递送质量。然后可以基于图6中的改进的治疗计划604来递送治疗。

使用通过使用不同成像模态而获取的多组图像数据，可以产生比仅具有一组图像数据更好的输出数据(例如，更好质量的轮廓)。与第一方法相比，与一种成像技术相比，两种不同成像技术通常提供更多信息。例如，飞行时间相机系统提供有关来自大面积的患者表面的信息，但不提供来自患者内部的信息，而CBCT提供来自患者内部但在有限的视场范围内的信息，飞行时间相机系统捕获运动和CBCT。这两组图像数据可以通过深度神经网络技术进行解释，以便以一种一致的格式提供信息(例如，CT图像、CT图像和分段、分段、3D密度图、带有运动的3d密度图、带有运动的分段等)。

图9是基于图1至图8的示例中的输出数据而生成或改进的示例治疗计划156/900的示意图。可以使用包括辐射源910的任何合适的治疗递送系统来递送治疗计划156，以将辐射束920以各种光束角930投射到表示患者解剖结构的治疗体积960上。尽管为了简单而在图9中未示出，但是辐射源910可以包括用于加速辐射束920的线性加速器、以及用于修改或调节辐射束920的准直仪(例如，MLC)。在另一示例中，可以通过以具有各种能量和停留时间的特定模式(例如，在质子治疗中)在目标患者上扫描辐射束920来调节辐射束920。控制器(例如，计算机系统)可以用于根据治疗计划156来控制辐射源920的操作。

在治疗递送期间，辐射源910可以使用机架围绕患者旋转，或者可以使患者旋转(如在某些质子放射疗法溶液中)以相对于患者以各种光束取向或角度发射辐射束920。例如，可以使用被配置为执行治疗递送数据估计的深度学习引擎选择五个等距的光束角93QA-E(也标记为“A”、“B”、“C”、“D”和“E”)。在实践中，可以选择任何合适数目的机架和/或桌子或椅子角度930(例如，五个、七个等)。在每个光束角处，辐射束920与沿着从辐射源910延伸到治疗空间960的光束轴位于患者包膜外部的通量平面940(也称为相交平面)相关联。如图9所示，通量平面940通常距等中心点已知距离。

在放射疗法治疗计划期间，可以基于在图1至图5的示例中使用深度学习引擎200/400/500而生成的输出数据260/492/592来生成治疗计划156/900。在ART计划期间，可以基于在图6至图8的示例中使用深度学习引擎650/680而生成的输出数据660/690来改进治疗计划156/900。

以上示例可以通过硬件、软件或固件或其组合来实现。图10是用于放射疗法治疗计划和/或ART计划的示例计算机系统1000的示意图。在该示例中，计算机系统1005(也称为治疗计划系统)可以包括处理器1010、计算机可读存储介质1020、用于与放射疗法治疗递送系统160接口的接口1040、以及促进这些所示组件与其他组件之间的通信的总线1030。

处理器1010将执行本文中参考图1至图9描述的过程。计算机可读存储介质1020可以存储任何合适的信息1022，诸如与训练数据、深度学习引擎、图像数据、输出数据等有关的信息。计算机可读存储介质1020还可以存储计算机可读指令1024，该计算机可读指令1024响应于处理器1010的执行而引起处理器1010执行本文中描述的过程。治疗可以利用使用图1解释的治疗计划系统160根据治疗计划156来递送，为简洁起见，在此将不再重复其描述。

前述详细描述已经通过使用框图、流程图和/或示例阐述了设备和/或过程的各种实施例。只要这样的框图、流程图和/或示例包含一个或多个功能和/或操作，本领域技术人员将理解，这样的框图、流程图或示例中的每个功能和/或操作可以单独或集体地通过各种硬件、软件、固件或其任何组合来实现。在整个本公开中，术语“第一”、“第二”、“第三”等不表示任何重要顺序，而是用于将一个要素与另一要素区分开。

本领域技术人员将认识到，本文中公开的实施例的某些方面可以全部或部分地等效地在集成电路中实现，实现为在一个或多个计算机上运行的一个或多个计算机程序(例如，实现为在一个或多个计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实际上实现为其任何组合，并且本领域技术人员还将认识到，根据本公开内容，设计电路系统和/或编写用于软件和/或固件的代码将完全在本领域技术人员的技术能力之内。

尽管已经参考特定示例性实施例描述了本公开，但是将认识到，本公开不限于所描述的实施例，而是可以在所附权利要求的精神和范围内通过修改和变型来实践。因此，说明书和附图应当被认为是说明性的而不是限制性的。