利用深度神经网络的实时运动监测

摘要

系统和技术可以用于在放射疗法治疗期间利用深度学习网络来估计患者剖析结构的相对运动。例如，方法可以包括利用第一深度神经网络来将输入的实时局部患者测量与包括参考体积的患者模型相关联以输出患者状态。该方法可以包括利用第二深度神经网络来将患者状态和参考体积与患者状态与参考体积之间的相对运动信息相关联。可以实时地利用深度神经网络来估计对应于输入图像的相对运动。

说明书

优先权要求

本申请要求于2018年11月16日提交的美国专利申请序列号16/194,190的优先权权益，其全部内容通过引用并入本文。

技术领域

本公开内容的实施方式总体上涉及医学图像和人工智能处理技术。特别地，本公开内容涉及利用深度神经网络以进行实时运动监测。

背景技术

在放射疗法(radiotherapy)或放射外科(radiosurgery)中，通常基于患者的医学图像来执行治疗计划，并且治疗计划需要医学图像中的靶区和正常关键器官的描绘。当患者正在移动(例如，呼吸)时准确跟踪各种对象(例如，肿瘤、健康组织或者患者剖析结构的其他方面)是一项挑战。

当前的技术无法直接地实时测量变化中的患者状态。例如，一些技术使用2D成像例如2D kV投影或2D MRI切片，它们都不能完全跟踪各种对象。

其他技术可能依赖于直接或者通过跟踪衣物上或者固定到患者身上的盒子上的标记物来检测表面信息。这些技术假定表面信息与患者内部状态相关，这通常是不准确的。

其他技术还可能依赖于植入标记物(例如，磁跟踪标记物)或者使用不透射线标记物的X射线检测。这些技术是侵入性的，并且仅对应于患者体内的有限点。

可以使用回归模型或其他基于模型的技术来辅助运动监测。但是，这些技术可能是不准确的或者无法实时跟踪。

附图说明

在不一定按比例绘制的附图中，贯穿若干视图，相同的附图标记描述基本上相似的部件。具有不同字母后缀的相同附图标记表示基本上相似的部件的不同实例。附图通过示例的方式而非通过限制的方式大体上示出了本文献中讨论的各种实施方式。

图1示出了适于执行图像患者状态估计处理的示例性放射疗法系统。

图2示出了示例性的图像引导放射疗法装置。

图3示出了包括组合的放射疗法系统和成像系统例如核磁共振(MR)成像系统的示例性系统的局部剖视图。

图4示出了用于使用局部测量和初步患者模型来估计患者状态的示例性流程图。

图5示出了示例性深度神经网络架构概述框图。

图6A至图6B示出了示例性详细的深度神经网络架构框图。

图7A至图7B示出了示例性时空卷积图。

图8示出了用于深度神经网络的示例性训练流程图。

图9是用于估计放射疗法过程期间的相对运动的示例性操作的流程图。

具体实施方式

在下面的详细描述中，参照附图，附图形成详细描述的一部分并且通过可以实践本发明的说明性实施方式示出。在本文中也被称为“示例”的这些实施方式被足够详细地描述以使得本领域技术人员能够实践本发明，并且应当理解，在不脱离本发明的范围的情况下，可以将实施方式组合或者可以利用其他实施方式并且可以进行结构、逻辑和电气改变。因此，以下详细描述不是限制性的，并且本发明的范围由所附的权利要求及其等同内容限定。

图像引导放射疗法(IGRT)是一种在紧接在放射之前在治疗位置中使用患者的成像的技术。这使得能够更准确地靶向剖析结构，例如器官、肿瘤或处于危险中的器官。如果预计患者在治疗期间移动，例如由呼吸引起的运动(其使肺肿瘤产生准周期性运动)或者导致前列腺位置漂移的膀胱充盈，则可以在靶周围安置附加的余量以包含期望的患者运动。这些较大的余量以对于周围正常组织的高剂量为代价，这可能导致增加的副作用。

IGRT可以在放射之前使用计算机断层摄影(CT)成像、锥束CT(CBCT)、磁共振(MR)成像、正电子发射断层摄影(PET)成像等来获得患者的3D或4D图像。例如，启用CBCT的线性加速器(线性加速器)可以由以与放射束成90度角的方式固定至台架的kV源/检测器组成，或者MR线性加速器装置可以由直接与MR扫描仪集成的线性加速器组成。

在实际的放射治疗递送期间对运动进行定位(分次内运动)可以允许减少将另外被用于包含运动的附加的治疗余量，因此允许递送更高的剂量，减少副作用，或者两者兼而有之。很多IGRT成像技术通常不足够快以对分次内运动进行成像。例如，CBCT需要来自不同角度的多个kV图像以重建完整的3D患者图像，并且3D MR需要多个2D切片或者对完整的3Dk空间的填充，每个过程都可能花费几分钟来生成完整的3D图像。

在一些情况下，可以使用通常会在生成3D IGRT图像之前完全获取的实时或准实时数据(按它被收集时那样)来根据不完整但快速的输入信息流以更快的刷新率估计瞬时3D图像。例如，可以使用2D kV投影或2D MR切片来估计在治疗期间随着实际的患者运动而发展的完整的3D CBCT状或3D MR状图像。尽管快速，但这些2D图像本身仅提供了患者的特定视角，而不是完整的3D图片。

患者状态生成器可以接收作为输入的局部测量(例如，2D图像)，并且生成(例如，估计)作为输出的患者状态(例如，3D图像)。为了生成患者状态，生成器可以使用第一深度神经网络。可以例如通过第二深度神经网络对患者状态生成器的输出进行进一步处理以生成变形矢量场(DVF)输出。在示例中，用于输入至第一深度神经网络的局部测量可能来自单个模态例如X射线投影或MRI切片，或者来自多个模态例如与X射线投影同步的患者表面上的反射性表面标记物的位置。

可以在从例如kV成像器或MR成像器获取的图像(例如，2D图像)的实时流中接收局部测量。针对实时流，kV成像器可以产生立体2D图像(例如，正交且基本同时获取的两个X射线图像)。kV成像器可以固定在房间中，或者耦接至治疗装置(例如，附接至台架)。MR成像器可以产生2D MR切片，所述2D MR切片可以是正交的或平行的。可以根据所接收到的图像或图像对生成患者状态。例如，在任何给定的时刻，可以生成针对来自实时流的最后接收到的图像的患者状态。

在示例中，患者模型可以基于在预治疗阶段(在安置了患者之后并且在打开束之前)在给定片段中当前收集的数据，从另一片段收集的数据或在模拟/计划期间使用其他患者利用通用的患者剖析结构利用机械模型收集的数据或者可以有助于根据局部测量来限定患者状态的任何其他信息。在示例中，患者模型是4D数据集、所获取的预治疗，其表示在有限时间段(例如，一个代表性的呼吸周期)内患者状态的变化。可以在深度神经网络中使用患者模型来将输入的患者测量(例如，来自实时流的图像或图像对)与输出的患者状态相关联。

4D数据集中的患者模型可以包括随单个参数(例如，呼吸周期中的阶段)而变化的患者状态。患者模型可以用于建立在可以将每次呼吸视为或多或少相同的代表性呼吸周期内时变的患者状态。这通过允许从不同的呼吸周期获取大块的局部成像数据并将其分配给单个代表性呼吸周期来简化建模。然后可以针对每个相位“分箱(bin)”重建3D图像。

在示例中，患者状态可以例如被表示为3D图像或3D DVF加3D参考图像。这些可能是等同的，因为可以使用3D DVF和3D参考图像的元素来获取(例如，使用3D DVF使3D参考图像变形)3D图像。本文描述的系统和方法的输出可以包括3D DVF以用于根据输入的2D图像(例如，来自图像的实时流)使输入的4D患者状态模型变形，以获得当前患者状态的3D图像。

图1示出了适于利用深度神经网络以进行实时运动监测的示例性放射疗法系统。可以使用实时运动监测来确定患者状态以使得放射疗法系统能够基于捕获的医学成像数据的特定方面向患者提供放射疗法。放射疗法系统包括托管患者状态处理逻辑120的图像处理计算系统110。图像处理计算系统110可以连接至网络(未示出)，并且这样的网络可以连接至因特网。例如，网络可以将图像处理计算系统110与一个或更多个医疗信息源(例如，放射信息系统(RIS)、医疗记录系统(例如，电子医疗记录(EMR)/电子健康记录(EHR)系统)、肿瘤学信息系统(OIS))、一个或更多个图像数据源150、图像获取装置170和治疗装置180(例如，放射疗法装置)连接起来。作为示例，图像处理计算系统110可以被配置成：通过执行来自患者状态处理逻辑120的指令或数据来执行作为生成和定制要由治疗装置180使用的放射疗法治疗计划的操作的一部分的图像患者状态操作。

图像处理计算系统110可以包括处理电路112、存储器114、存储装置116以及诸如用户接口140、通信接口等的其他硬件和软件可操作特征。存储装置116可以存储诸如操作系统、放射疗法治疗计划(例如，原始治疗计划、经修改的治疗计划等)、软件程序(例如，放射疗法治疗计划软件以及诸如深度学习模型、机器学习模型和神经网络等的人工智能实现方式)的计算机可执行指令以及要由处理电路112执行的任何其他计算机可执行指令。

在示例中，处理电路112可以包括处理装置，例如，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等的一个或更多个通用处理装置。更特别地，处理电路112可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或实现指令集的组合的处理器。处理电路112也可以由诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等的一个或更多个专用处理装置来实现。如本领域技术人员将理解的，在一些示例中，处理电路112可以是专用处理器而不是通用处理器。处理电路112可以包括一个或更多个已知的处理装置，例如来自由Intel

存储器114可以包括只读存储器(ROM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、闪存、随机存取存储器(RAM)、动态随机存取存储器(DRAM)例如同步DRAM(SDRAM)、电可擦除可编程只读存储器(EEPROM)、静态存储器(例如，闪存、闪存盘、静态随机存取存储器)以及其他类型的随机存取存储器、高速缓冲存储器、寄存器、压缩式光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光存储装置、盒式磁带、其他磁存储装置或者可以被用来存储包括能够由处理电路112或任何其他类型的计算机装置访问的图像、数据或计算机可执行指令(例如，以任何格式存储)的信息的任何其他非暂态介质。例如，计算机程序指令可以由处理电路112访问，可以从ROM或任何其他合适的存储器位置被读取，并且可以被加载到RAM中以由处理电路112执行。

存储装置116可以构成包括机器可读介质的驱动单元，在该机器可读介质上存储有由本文中描述的方法或功能中的任何一个或更多个实施或利用的一个或更多个指令集和数据结构(例如，软件)(在各种示例中，包括患者状态处理逻辑120和用户接口140)。在图像处理计算系统110执行指令期间，指令还可以全部或至少部分地驻留在存储器114内和/或处理电路112内，其中存储器114和处理电路112也构成机器可读介质。

存储器装置114和存储装置116可以构成非暂态计算机可读介质。例如，存储器装置114或存储装置116可以在计算机可读介质上存储或加载用于一个或更多个软件应用的指令。利用存储器装置114或存储装置116存储或加载的软件应用可以包括例如用于通用计算机系统以及用于软件控制的装置的操作系统。图像处理计算系统110还可以操作包括用于实现患者状态处理逻辑120和用户接口140的软件代码的各种软件程序。此外，存储器装置114和存储装置116可以存储或加载能够由处理电路112执行的整个软件应用、软件应用的一部分或者与软件应用相关联的代码或数据。在另一示例中，存储器装置114或存储装置116可以存储、加载或操纵一个或更多个放射疗法治疗计划、成像数据、患者状态数据、字典条目、人工智能模型数据、标签和映射数据等。可以期望，不仅可以将软件程序存储在存储装置116和存储器114上，而且还可以将软件程序存储在可移除计算机介质例如硬盘驱动器、计算机磁盘、CD-ROM、DVD、HD、蓝光DVD、USB闪存驱动器、SD卡、记忆棒或任何其他合适的介质上；也可以通过网络传递或接收这样的软件程序。

尽管未描绘，但是图像处理计算系统110可以包括通信接口、网络接口卡和通信电路。示例通信接口可以包括例如网络适配器、线缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(例如，光纤、USB 3.0、雷电接口(thunderbolt)等)、无线网络适配器(例如，IEEE802.11/Wi-Fi适配器)、电信适配器(例如，与3G、4G/LTE和5G网络等进行通信)等。这样的通信接口可以包括一个或更多个数字和/或模拟通信装置，所述一个或更多个数字和/或模拟通信装置允许机器经由网络与其他机器和装置例如位于远处的部件进行通信。网络可以提供局域网(LAN)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务等)、客户端-服务器、广域网(WAN)等的功能。例如，网络可以是可以包括其他系统(包括与医学成像或放射疗法操作相关联的附加图像处理计算系统或基于图像的部件)的LAN或WAN。

在示例中，图像处理计算系统110可以从图像数据源150获得图像数据160，以托管在存储装置116和存储器114上。在示例中，在图像处理计算系统110上运行的软件程序可以例如通过产生诸如伪CT图像的合成图像来将一种格式(例如，MRI)的医学图像转换成另一种格式(例如，CT)。在另一示例中，软件程序可以将患者医学图像(例如，CT图像或MR图像)与该患者的放射疗法治疗的剂量分布(例如，也被表示为图像)配准或相关联，从而使得相应的图像体素和剂量体素适当地相关联。在又一示例中，软件程序可以代替患者图像的功能，例如强调图像信息的一些方面的图像的有符号距离功能或经处理的版本。这样的功能可能强调体素纹理的边缘或差异或者其他结构方面。在另一示例中，软件程序可以可视化、隐藏、强调或不强调医学图像内的剖析特征、患者测量、患者状态信息或者剂量或治疗信息的某些方面。存储装置116和存储器114可以存储和托管用于执行这些目的的数据，包括图像数据160、患者数据以及创建和实现放射疗法治疗计划和相关联的患者状态估计操作所需的其他数据。

处理电路112可以通信地耦接至存储器114和存储装置116，并且处理电路112可以被配置成执行存储在其上的来自存储器114或存储装置116的计算机可执行指令。处理电路112可以执行指令以使来自图像数据160的医学图像在存储器114中被接收或被获取并且使用患者状态处理逻辑120被处理。例如，图像处理计算系统110可以经由通信接口和网络从图像获取装置170或图像数据源150接收图像数据160以被存储或缓存在存储装置116中。处理电路112还可以经由通信接口将存储在存储器114或存储装置116中的医学图像发送或更新到另一数据库或数据存储(例如，医疗装置数据库)。在一些示例中，一个或更多个系统可以形成分布式计算/模拟环境，该分布式计算/模拟环境使用网络来协作地执行本文中描述的实施方式。另外，这样的网络可以连接至因特网，以与远程驻留在因特网上的服务器和客户端进行通信。

在另外的示例中，处理电路112可以利用软件程序(例如，治疗计划软件)以及图像数据160和其他患者数据来创建放射疗法治疗计划。在示例中，图像数据160可以包括诸如来自CT或MR的2D或3D图像。此外，处理电路112可以利用深度神经网络来生成估计的患者状态，例如可以利用第一深度神经网络来接收输入的局部测量和4D患者模型并且输出患者状态，并且可以利用第二深度神经网络来使用患者状态和参考图像(例如，从4D患者模型选择的图像或切片)以生成DVF以用于基于输入的局部测量来使4D患者模型变形。

此外，这种软件程序可以利用患者状态处理逻辑120使用本文中进一步讨论的技术来实现患者状态确定工作流130。然后，处理电路112随后可以经由通信接口和网络将可执行的放射疗法治疗计划发送至治疗装置180，在该治疗装置180中，放射疗法计划将被用于经由治疗装置利用放射对患者进行治疗，这与患者状态确定工作流130的结果一致。使用图像处理计算系统110可以产生软件程序和患者状态确定工作流130的其他输出和用途。

如本文中所讨论的(例如，参考本文中所讨论的患者状态确定)，处理电路112可以执行调用患者状态处理逻辑120以实现包括深度神经网络功能的软件程序。

在示例中，图像数据160可以包括一个或更多个MRI图像(例如，2D MRI、3D MRI、2D流式MRI、4D MRI、4D体积MRI、4D影像MRI等)、功能MRI图像(例如，fMRI、DCE-MRI、扩散MRI)、计算机断层扫描(CT)图像(例如，2D CT、锥形束CT、3D CT、4D CT)、超声图像(例如，2D超声、3D超声、4D超声)、正电子发射断层扫描(PET)图像、X射线图像、荧光镜图像、放射疗法射野图像(radiotherapy portal image)、单光子发射计算机断层扫描(SPECT)图像、计算机生成的合成图像(例如，伪CT图像)等。此外，图像数据160还可以包括医学图像处理数据例如训练图像、真实图像(ground truth image)、轮廓图像和剂量图像或者与医学图像处理数据例如训练图像、真实图像、轮廓图像和剂量图像相关联。在示例中，可以从图像获取装置170接收图像数据160，并且将该图像数据160存储在图像数据源150(例如，图片存档及通信系统(PACS)、供应商中立档案库(VNA)、医疗记录或信息系统、数据仓库等)中的一个或更多个中。因此，图像获取装置170可以包括MRI成像装置、CT成像装置、PET成像装置、超声成像装置、荧光镜装置、SPECT成像装置、集成的线性加速器和MRI成像装置或者用于获取患者的医学图像的其他医疗成像装置。图像数据160可以以图像获取装置170和图像处理计算系统110可以用来执行与公开的实施方式一致的操作的任何数据类型或任何类型的格式(例如，以医学数字成像和通信(DICOM)格式)被接收和被存储。

在示例中，图像获取装置170可以与治疗装置180集成为单个设备(例如，如下面图3中所示和所描述的与线性加速器组合的MRI装置，也称为“MR线性加速器”)。这样的MRI线性加速器可以被用来例如准确地确定患者体内的靶器官或靶肿瘤的位置，以根据放射疗法治疗计划将放射疗法准确地引导至预定靶。例如，放射疗法治疗计划可以提供关于要施加至每个患者的特定放射剂量的信息。放射疗法治疗计划还可以包括其他放射疗法信息，例如束角度、剂量-直方图-体积信息、在治疗期间要使用的放射束的数目、每束的剂量等。

图像处理计算系统110可以通过网络与外部数据库进行通信，以发送/接收与图像处理和放射疗法操作有关的多个各种类型的数据。例如，外部数据库可以包括机器数据，该机器数据是与治疗装置180、图像获取装置170或者与放射疗法或医疗过程有关的其他机器相关联的信息。机器数据信息可以包括放射束大小、弧放置、束开和关持续时间、机器参数、段、多叶准直器(MLC)配置、台架速度、MRI脉冲序列等。外部数据库可以是存储装置并且可以配备有适当的数据库管理软件程序。此外，这样的数据库或数据源可以包括以中央式或分布式方式定位的多个装置或系统。

图像处理计算系统110可以使用一个或更多个通信接口经由网络收集和获取数据并且与其他系统进行通信，所述一个或更多个通信接口可以通信地耦接至处理电路112和存储器114。例如，通信接口可以提供图像处理计算系统110与放射疗法系统部件之间的通信连接(例如，允许与外部装置交换数据)。例如，在一些示例中，通信接口可以具有适当的与输出装置142或输入装置144的接口电路以连接至用户接口140，用户接口140可以是用户可以通过其将信息输入至放射疗法系统中的硬件键盘、小键盘或触摸屏。

作为示例，输出装置142可以包括显示装置，该显示装置输出用户接口140的表示以及医学图像的一个或更多个方面、可视化或表示。输出装置142可以包括一个或更多个显示屏，该显示屏显示医学图像、界面信息、治疗计划参数(例如轮廓、剂量、束角、标签、地图等)、治疗计划、靶、对靶进行定位或跟踪靶、患者状态估计(例如，3D图像)或任何与用户相关的信息。连接至用户接口140的输入装置144可以是键盘、小键盘、触摸屏或者用户可以向放射疗法系统输入信息的任何类型的装置。替选地，输出装置142、输入装置144以及用户接口140的特征可以被集成到诸如智能电话或平板计算机(例如，Apple

此外，放射疗法系统的任何部件和所有部件都可以被实现为虚拟机(例如，经由VMWare、Hyper-V等虚拟化平台)。例如，虚拟机可以是用作硬件的软件。因此，虚拟机可以包括共同用作硬件的至少一个或更多个虚拟处理器、一个或更多个虚拟存储器以及一个或更多个虚拟通信接口。例如，图像处理计算系统110、图像数据源150或类似部件可以被实现为虚拟机或者被实现在基于云的虚拟化环境内。

患者状态处理逻辑120或其他软件程序可以使计算系统与图像数据源150进行通信，以将图像读取到存储器114和存储装置116中，或者将图像或相关联的数据从存储器114或存储装置116存储到图像数据源150以及将图像或相关联的数据从图像数据源150存储到存储器114或存储装置116。例如，图像数据源150可以被配置成存储和提供图像数据源150托管的、来自经由图像获取装置170从一个或更多个患者获得的图像数据160中的图像集的多个图像(例如，3D MRI、4D MRI、2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、来自MR扫描或CT扫描的原始数据、医学数字成像和通信(DICOM)元数据等)。图像数据源150或其他数据库还可以存储当执行进行患者状态估计操作的软件程序时或者当创建放射疗法治疗计划时要由患者状态处理逻辑120使用的数据。此外，各种数据库可以存储由初步运动模型(例如，字典)、对应关系运动模型或机器学习模型产生的数据，包括构成通过网络学习到的模型的网络参数和所得的预测数据。与作为治疗或诊断操作的一部分的执行图像患者状态估计有关，图像处理计算系统110因此可以从图像数据源150、图像获取装置170、治疗装置180(例如，MRI线性加速器)或其他信息系统获取和/或接收图像数据160(例如，2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、3D MRI图像、4D MRI图像等)。

图像获取装置170可以被配置成针对兴趣区域(例如，靶器官、靶肿瘤或二者)获取患者剖析结构的一个或更多个图像。每个图像——通常是2D图像或切片——可以包括一个或更多个参数(例如，2D切片厚度、取向和位置等)。在示例中，图像获取装置170可以获取任何取向的2D切片。例如，2D切片的取向可以包括矢状取向、冠状取向或轴向取向。处理电路112可以调整一个或更多个参数例如2D切片的厚度和/或取向，以包括靶器官和/或靶肿瘤。在示例中，可以根据诸如3D MRI体积的信息来确定2D切片。当患者正在接受放射疗法治疗时，例如当使用治疗装置180时，可以由图像获取装置170“实时”获取这样的2D切片(其中，“实时”意味着在10毫秒或更短的时间内获取数据)。在针对一些应用的另一示例中，实时可以包括(例如，最多)200毫秒或300毫秒内的时间范围。在示例中，实时可以包括足够快以通过本文中描述的技术解决临床问题的时间段。在该示例中，实时可能根据靶速度、放射疗法余量、时滞、治疗装置的响应时间等而不同。

图像处理计算系统110中的患者状态处理逻辑120被描绘为使用各种深度神经网络实现患者状态确定工作流130并且估计患者状态(例如，DVF)。在示例中，由患者状态处理逻辑120操作的患者状态确定工作流130利用第一深度神经网络132，该第一深度神经网络132基于局部测量(例如，实时2D图像)的输入和具有参考图像的4D患者模型被训练以输出患者状态。患者状态确定工作流130包括第二深度神经网络134，该第二深度神经网络134基于来自第一深度神经网络132的患者状态和参考图像的输入被训练以输出DVF。患者状态确定工作流130包括接收实时输入流136(例如，诸如来自CT或MR的2D局部测量)。来自实时输入流136的图像可以被馈送到经训练的第一深度神经网络132和第二深度神经网络134中以生成将图像与4D模型相关联的DVF。患者状态确定工作流130包括利用经训练的第一深度神经网络132和第二深度神经网络134以及来自实时输入流136的当前患者测量(例如，2D图像)来估计患者状态138，在示例中，患者状态138由DVF表示。

图2示出了示例性图像引导放射疗法装置202，其包括诸如X射线源或线性加速器的放射源、床216、成像检测器214和放射疗法输出部204。放射疗法装置202可以被配置成发射放射束208以向患者提供治疗。放射疗法输出部204可以包括一个或更多个衰减器或准直器，例如多叶准直器(MLC)。

作为示例，患者可以被定位在区域212中、由治疗床216支承，以根据放射疗法治疗计划(例如，由图1的放射疗法系统生成的治疗计划)接收放射疗法剂量。放射疗法输出部204可以被安装或附接至台架206或其他机械支承件。当床216插入到治疗区域中时，一个或更多个底盘马达(未示出)可以使台架206和放射疗法输出部204绕床216旋转。在示例中，当床216被插入到治疗区域中时，台架206可以绕床216连续地旋转。在另一示例中，当床216被插入到治疗区域中时，台架206可以旋转到预定位置。例如，台架206可以被配置成使疗法输出部204绕轴(“A”)旋转。床216和放射疗法输出部204二者都能够独立地移动到患者周围的其他位置，例如，能够沿着横向方向(“T”)移动、能够沿着侧向方向(“L”)移动，或者能够绕一个或更多个其他轴旋转例如绕横向轴(表示为“R”)旋转。通信地连接至一个或更多个致动器(未示出)的控制器可以控制床216的移动或旋转，以根据放射疗法治疗计划将患者适当地定位在放射束208中或放射束208外。由于床216和台架206二者能够在多个自由度上彼此独立地移动，这允许将患者定位成使得放射束208能够精确地以肿瘤为靶。

图2中示出的坐标系统(包括轴A、轴T和轴L)可以具有位于等中心210处的原点。等中心可以被限定为如下位置，在所述位置处，放射疗法束208的中心轴与坐标轴的原点相交，例如以将规定的放射剂量递送至患者上或患者体内的位置。替选地，等中心210可以限定为如下位置，在所述位置处，对于如由台架206定位的放射疗法输出部204围绕轴A的各种旋转位置，放射疗法束208的中心轴与患者相交。

台架206还可以具有附接的成像检测器214。成像检测器214优选地位于与放射源(输出部204)相对的位置，并且在示例中，成像检测器214可以位于疗法束208的场内。

优选地，成像检测器214可以与放射疗法输出部204相对地安装在台架206上，以便保持与疗法束208对准。随着台架206旋转，成像检测器214围绕旋转轴旋转。在示例中，成像检测器214可以是平板检测器(例如，直接检测器或闪烁体检测器)。以这种方式，成像检测器214可以被用来监测疗法束208，或者成像检测器214可以用于对患者的剖析结构进行成像，例如射野成像。放射疗法装置202的控制电路可以集成在放射疗法系统内或者远离放射疗法系统。

在说明性示例中，床216、疗法输出部204或台架206中的一个或更多个可以被自动定位，并且疗法输出部204可以根据用于特定治疗递送实例的指定剂量来建立治疗束208。可以根据放射疗法治疗计划例如使用台架206、床216或疗法输出部204的一个或更多个不同取向或位置来指定疗法递送序列。疗法递送可以顺序地发生，但是可以在患者上或在患者体内的期望的疗法位点中例如在等中心210处交叉。由此可以将放射疗法的规定的累积剂量递送到疗法位点，同时减少或避免对疗法位点附近的组织的损害。

因此，图2具体地示出了放射疗法装置202的示例，该放射疗法装置202能够操作成向患者提供放射疗法治疗，该放射疗法装置202具有放射疗法输出部可以围绕中心轴(例如，轴“A”)旋转的配置。可以使用其他放射疗法输出部配置。例如，可以将放射治疗输出部安装至具有多个自由度的机器人臂或操纵器。在另一示例中，疗法输出部可以是固定的，例如位于与患者侧向分开的区域中，并且可以使用支承患者的平台来将放射疗法等中心与患者体内的指定靶位点对准。在另一示例中，放射疗法装置可以是线性加速器和图像获取装置的组合。如本领域普通技术人员将认识到的，在一些示例中，图像获取装置可以是MRI、X射线、CT、CBCT、螺旋CT、PET、SPECT、光学层析成像、荧光成像、超声成像、MR线性加速器或放射疗法射野成像装置等。

图3描绘了示例性放射疗法系统300(例如，在本领域中称为MR线性加速器)，其可以包括将放射疗法装置202和成像系统(例如，与所公开的实施方式一致的核磁共振(MR)成像系统)相结合。如所示，系统300可以包括床310、图像获取装置320和放射递送装置330。系统300根据放射疗法治疗计划向患者递送放射疗法。在一些实施方式中，图像获取装置320可以对应于可以获取图像的图1中的图像获取装置170。

床310可以在治疗环节期间支承患者(未示出)。在一些实现方式中，床310可以沿水平平移轴(标记为“I”)移动，使得床310可以将躺在床310上的患者移入或移出系统300。床310还可以围绕横向于平移轴的中心竖直旋转轴进行旋转。为了允许这样的移动或旋转，床310可以具有使得床能够在各个方向上移动以及沿着各个轴旋转的马达(未示出)。控制器(未示出)可以控制这些移动或旋转以便根据治疗计划适当地定位患者。

在一些实施方式中，图像获取装置320可以包括用于在治疗环节之前、期间或之后获取患者的2D或3D MRI图像的MRI机器。图像获取装置320可以包括磁体321，以用于生成用于磁共振成像的主磁场。由磁体321的操作生成的磁场线可以基本上平行于中心平移轴I延伸。磁体321可以包括其轴线平行于平移轴I延伸的一个或更多个线圈。在一些实施方式中，磁体321中的一个或更多个线圈可以间隔开，使得磁体321的中心窗323没有线圈。在其他实施方式中，磁体321中的线圈可以足够薄或具有降低的密度，使得它们对由放射疗法装置330生成的波长的放射基本上是透射的。图像获取装置320还可以包括一个或更多个屏蔽线圈，所述一个或更多个屏蔽线圈可以在磁体321外部生成具有大致相等幅度和相反极性的磁场，以消除或减少磁体321外部的任何磁场。如下所述，放射疗法装置330的放射源331可以被定位在磁场被消除(至少至一阶)或者被减小的区域中。

图像获取装置320还可以包括两个梯度线圈325和326，所述两个梯度线圈325和326可以生成叠加在主磁场上的梯度磁场。线圈325和326可以在由此产生的磁场中生成梯度，该梯度允许对质子进行空间编码以使得可以确定质子的位置。梯度线圈325和326可以与磁体321一起围绕公共中心轴定位，并且可以沿着该中心轴移位。移位可以在线圈325与线圈326之间创建间隙或窗。在其中磁体321还包括线圈之间的中心窗323的实施方式中，两个窗可以彼此对准。

使用图像获取来跟踪肿瘤的运动。有时，可以使用内部替代物或外部替代物。但是，在放射疗法治疗期间，植入的种子可能从其初始位置移动或被移位。此外，使用替代物假设在肿瘤运动与外部替代物的位移之间存在相关性。然而，外部替代物与肿瘤运动之间可能存在相移，并且它们的位置可能随着时间的流逝经常失去相关性。众所周知，肿瘤与替代物之间可能存在超过9mm的不匹配。此外，在跟踪期间，肿瘤的形状的任何变形都是未知的。

磁共振成像(MRI)的优点在于，提供优越的软组织对比度以更详细地使肿瘤可视化。使用多个分次内MR图像使得能够确定肿瘤的形状和位置(例如，质心)两者。此外，MRI图像改善了例如由放射肿瘤学家即使使用自动轮廓软件(例如，

使用MR线性加速器系统的另一优点是可以连续开启治疗束并且由此执行对靶肿瘤的分次内跟踪。例如，光学跟踪装置或立体X射线荧光透视系统可以通过使用肿瘤替代物以30Hz检测肿瘤位置。利用MRI，成像获取速率更快(例如，3fps至6fps)。因此，可以确定靶的质心位置，人工智能(例如，神经网络)软件可以预测未来的靶位置。通过使用MR线性加速器进行分次内跟踪的另一优点是，通过能够预测未来的靶位置，多叶准直器(MLC)的叶片将能够与靶轮廓及其预测的未来位置保持一致。因此，利用MRI预测未来肿瘤位置的频率与跟踪期间的成像频率相同。通过使用详细的MRI成像能够清晰地跟踪靶肿瘤的运动使得能够向运动的靶递送高度保形的放射剂量。

在一些实施方式中，图像获取装置320可以是除MRI之外的成像装置，例如X射线、CT、CBCT、螺旋CT、PET、SPECT、光学断层扫描、荧光成像、超声成像或放射治疗射野成像装置等。如本领域普通技术人员将认识到的，图像获取装置320的以上描述涉及某些实施方式，而不旨在是限制性的。

放射疗法装置330可以包括放射源331例如X射线源或线性加速器，以及多叶准直器(MLC)333。放射疗法装置330可以安装在底盘335上。当床310被插入到治疗区域中时，一个或更多个底盘马达(未示出)可以使底盘335围绕床310旋转。在实施方式中，当床310被插入到治疗区域中时，底盘335能够围绕床310连续旋转。底盘335还可以具有附接的放射检测器(未示出)，其优选地放射源331相对地定位，并且其中，底盘335的旋转轴被定位在放射源331与该检测器之间。此外，装置330可以包括控制电路(未示出)，其用于控制例如床310、图像获取装置320以及放射疗法装置330中的一个或更多个。放射疗法装置330的控制电路可以被集成在系统300内或远离它。

在放射疗法治疗环节期间，患者可以被定位在床310上。然后，系统300可以将床310移动到由磁线圈321、325、326和底盘335限定的治疗区域中。然后，控制电路可以控制放射源331、MLC 333和一个或多个底盘马达来根据放射疗法治疗计划通过线圈325与线圈326之间的窗向患者递送放射。

图4示出了用于估计患者状态的示例性流程图。图4包括用于利用编码器-解码器卷积神经网络(CNN)或其他神经网络来估计患者状态的患者状态生成器408。患者状态生成器408利用患者的瞬时局部测量402和初步运动模型406来估计在框410处输出的患者状态。利用先前的测量404生成初步运动模型406，先前的测量404包括与先前的测量404相对应的先前的患者状态。

在实际的放射疗法应用中，局部测量(例如，2D图像或图像切片)提供关于患者状态(例如，3D图像)的不完整信息。例如，2D MRI切片是通过患者的3D表示的单个切面，并且X射线投影是通过沿着3D表示的射线线条的体素的集成。利用任一图像产生公正的信息(例如，患者剖析结构的2D图像而不是3D表示)。患者状态生成器408可以利用局部信息和根据过去的测量和/或离线(预治疗)获取生成的患者模型406来估计患者状态410。患者模型生成器408可以包括低维患者状态表示的创建。

4D图像可以包括代表性呼吸周期的一系列3D图像。例如，对于4D CBCT，获取多个x射线投影并将其分类到多个分箱中。可以例如通过在图像中直接检测每个投影中的光阑位置，或者使用与kV投影同时获取的单独的呼吸信号，并且根据信号的相位或幅度对投影进行分箱来进行分类。然后分别使用分配给该分箱的kV投影重建每个分箱以形成每个分箱的3D图像。可以使用类似的技术来生成4D MR图像。然后可以利用4D图像作为过渡步骤来重建模型。在一些情况下，重建4D图像的过渡步骤可能不是必需的，并且可以直接根据测量来创建低维状态表示。

基于DVF的运动模型(例如，作为患者状态410输出)提供了一种用于将参考患者状态(例如，如在3D参考图像上限定的治疗信息)变形为4D数据集中表示的代表性呼吸周期的其他阶段中的每一个中展现的特定剖析结构的机制。

本文所述的系统和方法包括用于将瞬时局部测量(例如，2D图像)映射到其潜在的完整3D患者状态(例如，输出估计值)的深度学习框架。在示例中，可以将该2D到3D问题重新表示为(2D+4D)到3D问题。

可以使用机器学习技术来学习瞬时局部测量(2D)与其潜在3D患者状态之间的2D到3D推论。在这样的示例中，可以使用4D数据集来生成训练对(2D测量、3D患者状态)。但是，这些技术可能受到未考虑的连续患者状态之间存在的时间关系的限制。其他限制可能包括需要针对每个个体患者重新训练患者状态生成器(例如，使用该患者自己的患者模型)。漫长的训练时间可能显著影响治疗工作流程，尤其是如果刚好在放射疗法之前获得4D患者模型。另一限制可能包括使用大量的4D患者模型离线训练模型，这将缺乏运动管理目的的足够的患者特定。

本文所述的系统和方法可以通过训练两个(或更多个)深度神经网络来学习在2D局部测量中找到的特征与在4D时空患者模型中找到的特征之间的依赖性来解决这些问题和限制。两个或更多个深度神经网络的输出可以包括针对未见的输入测量/模型对的潜在患者状态的估计。这些系统和技术可以包括利用数据的空间依赖性和时间依赖性两者的患者状态生成器。此外，可以利用多患者数据的大型数据库仅对患者状态生成器进行一次训练，由于馈送患者自己的模型作为网络的输入，因此同时保持患者特定。

在示例中，本文所述的系统和方法可以适合于跟踪肿瘤和其他周围器官，而不需要侵入性植入的标记物。

在示例中，本文所述的系统和方法可以不需要对4D患者模型进行计算上昂贵的可变形图像配准(DIR)。在该示例中，不存在预治疗延迟，并且因此对治疗工作流程没有影响。此外，本文所述的系统和方法不限于通过DIR方式产生的位移矢量场(DVF)的准确性。

本文所述的系统和方法可以是无模型的(除了数据驱动的输入的患者模型以外)，并且可以仅由训练数据来驱动。这样，与基于模型的方法(其可以包括强线性假设)相比，本文所述的系统和方法可以较少受低度拟合的影响。

使用大量患者模型来训练神经网络，并且可以将神经网络概括为在治疗期间可能发生的运动的变化或漂移。在示例中，与使用单个(时间受限)患者模型(一个平均呼吸周期)训练的模型相比，本文所述的系统和方法可以是更具概括性的。一旦被训练，该神经网络可以适应肿瘤大小的分次间变化和周围器官的运动的变化，而无需例如通过注入不同的(例如，更新的)输入患者模型的任何漫长的重新训练。

图5示出了示例性深度神经网络架构500概述框图。深度神经网络架构500包括两个部分。第一部分(在图5中被标记为“网络A”)可以用于在时间维度中以输入的2D局部测量506作为提示对输入的4D患者模型504进行插值，以产生原始的3D患者状态估计508。第二部分(在图5中被标记为“网络B”)计算相对运动，输出作为原始3D患者状态508与在其上限定了治疗计划(例如，关于处于危险中的器官、GTV等的更高级的信息)的参考体积512之间的3D位移矢量场(DVF)510。在示例中，参考体积512是4D患者模型504的一个相位(例如，在将4D患者模型504输入至网络A之前，选择一个相位作为参考体积512)。在其他示例中，参考体积512可以是单独获取的数据集。

在示例中，网络A用于基于输入的4D患者模型(获取的预治疗)和患者的当前实时2D图像测量506来生成原始3D患者状态508。网络B可以用于计算所生成的3D患者状态508与在其上限定了治疗计划的参考体积512之间的相对运动。可以根据输入图像506实时生成输出DVF 510。

下面关于图6A至图6B包括关于网络A的功能和输出的其他细节。

在示例中，网络B计算原始患者状态508(网络A的输出)与患者模型中在其上限定了更高级的临床治疗计划(例如，GTV、处于危险中的器官等的限定)的参考体积512(例如，患者呼气结束时的阶段)之间的相对运动。在示例中，可以使用3D扩展至2D过程流网(FlowNet)架构来估计经插值的3D患者状态508(来自网络A)与3D参考体积512之间的位移矢量场(DVF)510。该DVF 510可以用于使治疗计划适应于在其上制定了治疗计划的参考体积512与最新的患者状态508之间检测到的变化。在另一示例中，可以使用常规的可变形图像配准(DIR)技术。在示例中，深度神经网络架构是非迭代的，并且会更适合于实时运动监测。

代替单个深度神经网络，使用双网络架构500以改善最终输出。端到端网络可能是不可能的。替代地，通过使用两个网络，参考体积512可以用作对两个网络的输入，以创建包括2D测量506和4D患者模型504的逼真、真实的训练输入以输出DVF 510。患者模型插值(网络A)紧接着相对运动估计(网络B)可以比端到端网络更准确。此外，例如，在生成真实的训练样本方面，双网络架构500可以显著降低训练复杂度并增加可行性。

图6A至图6B示出了示例性详细的深度神经网络架构框图。图6A示出了来自图5所示的架构500的网络A的输入、卷积层和相关层。图6B示出了网络A的患者状态生成器(编码器-解码器)层。

网络A包括用于离散4D患者模型数据的时空插值器。网络A用于生成在局部测量(例如，2D图像)作为输入的情况下最能表示当前的患者状态的新的3D体积数据集。如先前在图5中所示，网络A的一个示例架构包括多个2D和3D卷积神经网络(CNN)。具体地，如图6A所示，使用独立的卷积处理流从2D测量数据(2D CNN处理流602)和4D患者模型(3D+时间CNN处理流604)提取低级特征。然后，相关层606将测量特征与模型特征(作为分别来自处理流602和604的输出)匹配。可以将相关层606的输出发送至图6B所示的患者状态生成器(具有用于编码器608和解码器610的层)层。

在图6A中，相关层包括在测量特征(流602的输出)与患者模型特征(流604的输出)之间执行乘法块比较的匹配处理。相关层除了将数据与其他数据(602输出和604输出)进行卷积之外与卷积层而不是过滤器相似。相关层将从2D图像提取的特征与从输入患者模型中的多个3D体积提取的特征相关联。

在示例中，可以将2D测量数据的每个块与患者模型的每个3D体积中的每个可能的块进行比较。在其他示例中，可以限定最大位移约束，例如依赖于器官的超参数或者另一限制约束。在示例中，超参数是确定网络结构或训练速率的变量。可以在训练之前设置超参数。可以使用约束来显著减小流602和604的输出之间的比较的维数，这导致在计算上更易于处理的确定，同时仍保持准确性。

在图6B中，编码器-解码器层608至610使用相关层606的输出来提取用于当前患者状态的高级抽象表示，然后将其解码为密集的每像素患者状态预测。

编码器-解码器模型可以包括诸如卷积神经网络(CNN)或者在另一示例中为递归神经网络(RNN)的神经网络。在图6B中示出了示例CNN，示出了编码器608，该编码器608用于将相关层输出编码为高级抽象表示，然后将该高级抽象表示发送至解码器610以产生密集的每像素的患者状态描述。网络A的输出可以包括解码器610的输出，该解码器610的输出可以包括对在时间离散4D患者模型(例如，输入至流604的患者模型)中找到的原始数据进行插值的原始3D患者状态(例如，灰度级体积)。

在示例中，通常可以对网络B进行训练以对图像对进行卷积。然后，可以使用领域特定数据的较小的数据库来对网络B进行微调。例如，可以使用局部统计形状和外观模型来生成逼真的、领域特定的真实变形。

可以使用用于CNN中的编码和解码的不同技术。例如，下面在图7A至图7B中描述了用于输入患者模型的时空卷积技术，包括零填充(7A)技术和圆形填充(7B)技术。为了说明的目的，仅示出了两个空间维度，但是可以根据类似的操作来执行三维操作。在示例中，可以在所有空间维度中使用如图7A所示的零填充。在另一示例中，可以在时间维度中使用圆形填充，例如，在假设患者运动是近似周期性的情况下。

图7A至图7B示出了示例性时空卷积图。

图7A示出了针对2D测量CNN的零填充方法。使用将卷积层与池化交错的多个隐藏层将CNN处理流应用于2D测量。卷积层提取图像的多个抽象空间特征，而池化在空间上缩小特征图。隐藏层的数目和特征空间的大小或每层处的卷积数目可以是在训练期间进行优化的超参数。

图7B示出了针对3D和时间患者模型CNN的圆形填充方法。在示例中，将相同的3DCNN处理流应用于4D患者模型中的每个体积。这些流可能不是独立的，并且它们可能与其相邻的处理流互连，以了解关于器官随时间流逝的空间变形的丰富时空特征。例如在4D患者模型中描述的运动是周期性的假设下使用圆形卷积方案。

图8示出了用于深度神经网络的示例性训练流程图800。图800包括用于网络A(例如，图5、图6A、图6B、图7A和图7B的网络A)的训练示例。该训练用于生成患者模型插值器以输出患者状态。可以利用在其上创建合成的测量样本和合成的输出的患者状态样本的4D患者模型的大型数据库来训练网络A。在示例中，可以获取每个患者的两个4D数据集。在这些示例的一些中，可以使用针对单个患者的两个或更多个4D数据集，在其他示例中，可以使用针对两个或更多个患者的一个或更多个4D数据集。如图8所示，来自第一4D数据集802的体积序列被用作输入患者模型。来自第二4D数据集804的体积可以被用作输出的患者状态(例如，其中来自第二4D数据集805的每个体积被顺序地用作输出的患者状态)。可以根据输出的患者状态来合成逼真的2D测量。在示例MRI情况下，可以通过提取数据的2D切片(例如，对多个切片求平均以最佳地匹配2D MRI获取的切片厚度)来合成2D测量。在示例CT情况下，可以例如使用Siddon-Jacobs射线跟踪算法来生成合成的2D X射线测量。

在示例中，从在同一患者身上获取的两个4D数据集创建训练样本。训练样本包括用作患者模型的第一4D数据集和用作得到的患者状态的第二4D数据集以及来自第二4D数据集的提取切片的输入图像。在示例中，输入图像可以是从体积合成创建并用作输入的2D测量切片。在示例中，可以置换两个4D数据集以生成更多的训练样本。在另一示例中，可以从许多患者例如利用来自每个患者的数据集对来生成样本。

图9示出了用于估计放射疗法过程期间的相对运动的示例性操作的流程图。

流程图900包括操作902，该操作902用于利用输入的实时局部患者测量和包括参考体积的患者模型来训练第一深度神经网络以输出患者状态。在示例中，参考体积可以包括通过从3D或4D MRI提取数据的2D切片而合成的MR图像。在另一示例中，参考体积可以包括通过从3D或4D CT例如通过利用射线跟踪算法生成2D X射线而合成的CT图像。在示例中，参考体积是4D患者模型的一个相位。在示例中，在患者的周期性运动中的呼气结束时提取参考体积。

操作902可以包括利用多患者数据的大型数据库，并且其中，输出的患者状态由于患者特定的输入的实时局部患者测量而是患者特定的。在示例中，操作902可以包括使用两个4D数据集。例如，可以从第一4D数据集中提取切片以用作输入图像。在该示例中，可以使用第二4D数据集作为患者模型。第一4D数据集可以用作输出的患者状态。在示例中，第一深度神经网络输出是对来自时间离散4D患者模型的原始数据进行插值的灰度级体积。

流程图900包括操作904，该操作904用于利用患者状态和参考体积来训练第二深度神经网络以输出患者状态与参考体积之间的相对运动信息。

流程图900包括用于从图像获取装置接收2D图像的实时流的操作906。

流程图900包括操作908，该操作908用于利用第一深度学习网络和第二深度学习网络来估计与2D图像的实时流的图像相对应的相对运动。相对运动可以包括从第一深度神经网络输出的患者状态与参考体积之间的3D位移矢量场(DVF)。在示例中，DVF用于使治疗计划适应于参考体积(例如，在其上制定治疗计划的参考体积)与患者状态之间检测到的变化。

流程图900包括用于输出相对运动的操作910。

第一深度神经网络可以包括用于输入图像的第一CNN、用于4D输入的第二CNN以及用于匹配从第一CNN和第二CNN输出的特征的相关层。当相对运动是周期性的时，第二CNN可以在时间维度上使用圆形卷积。在示例中，第一CNN可以使用零填充卷积。患者状态生成器可以包括编码器-解码器CNN模型，该编码器-解码器CNN模型用于将相关层的输出编码为高级表示并且产生密集的每像素的患者状态描述。在示例中，可以将图像的实时流的图像的每个块与患者模型的3D体积中的块进行比较。这些比较可能受到例如取决于图像内捕获的器官的最大位移约束(例如，超参数)的限制。

相对运动可以用于利用患者状态定位患者体内的放射疗法靶。

流程图900可以包括用于利用相对运动实时跟踪患者的放射疗法靶的操作。例如，可以使用来自图像的实时流的连续图像来输出相应的相对运动，其中，靶从一个患者状态被跟踪到下一个患者状态。

流程图900可以包括以下操作，其用于使用治疗装置(例如，独立的治疗装置、耦接至图像获取装置的装置(例如，MR线性加速器)等)根据相对运动来将放射疗法引导至靶。例如，可以对靶进行定位或跟踪，并且可以根据该定位或跟踪来应用放射疗法。在示例中，定位或跟踪信息可以例如利用存在于显示装置上的用户界面被显示在显示装置上。

补充说明

以上的具体描述包括对附图的参照，这些附图形成具体描述的一部分。附图通过说明的方式而不是通过限制的方式示出了可以实践本发明的具体实施方式。这些实施方式在本文中也被称为“示例”。这样的示例可以包括除了示出的或描述的元素之外的元素。然而，发明人还预期了其中仅提供了示出的或描述的那些元素的示例。此外，发明人还预期了使用关于特定示例(或者特定示例的一个或更多个方面)或关于在本文中示出或描述的其他示例(或者其他示例的一个或更多个方面)示出的或描述的那些元素(或者那些元素的一个或更多个方面)的任何结合或置换的示例。

本文献中提及的所有出版物、专利和专利文献通过引用整体并入本文，如同通过引用单独地并入一样。如果在本文献与通过引用并入的那些文献之间存在不一致用法，则并入的(一个或更多个)参考文献中的用法应当被视为对本文献的用法的补充；对于矛盾的不一致之处，请以本文献中的用法为准。

在本文献中，在介绍本发明的各个方面或其实施方式中的元素时，如在专利文献中常见的那样，使用术语“一”、“一个”、“该”和“所述”以包括元素中的一个或多于一个或更多个，独立于“至少一个”或者“一个或更多个”的任何其他实例或用法。在本文献中，术语“或”被用于表示非排他性，或者，使得除非另有说明，否则“A或B”包括“A但不是B”、“B但不是A”以及“A和B”。

在所附权利要求中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等同物。此外，在所附权利要求中，术语“包括(comprising)”、“包括(including)”和“具有”旨在是开放性的，以意指除了所列出的元素之外可能还存在其他元素，使得在权利要求中的这样的术语(例如，包括(comprising)、包括(including)、具有)之后的仍被认为落入该权利要求的范围内。此外，在所附权利要求中，术语“第一”、“第二”和“第三”等仅被用作标记，并不旨在对其对象施加数值要求。

本发明还涉及一种被适配、被配置或被操作成用于执行本文中的操作的计算系统。该系统可以是针对所需目的而专门重建的，或者该系统可以包括由存储在计算机中的计算机程序(例如，指令、代码等)选择性地启动或重新配置的通用计算机。除非另有说明，否则本文中示出和描述的本发明的实施方式中的操作的实施或执行的顺序不一定。也就是说，除非另有说明，否则可以以任何顺序执行操作，并且本发明的实施方式可以包括与本文中公开的这些操作相比附加或更少的操作。例如，预期到，在另外的操作之前、与另外的操作同时或在另外的操作之后运行或执行特定操作在本发明的方面的范围内。

鉴于以上内容，将看到，实现了本发明的若干目的并且获得了其他有利的结果。已经详细地描述了本发明的方面，将明显的是，在不偏离如所附权利要求书中限定的本发明的方面的范围的情况下，修改和变化是可行的。由于在不偏离本发明的方面的范围的情况下可以在上述构造、产品和方法中进行各种改变，所以上述说明书中包含的以及附图中示出的所有内容旨在应被理解为说明性的而非限制意义。

上面的描述旨在是说明性的，而不是限制性的。例如，以上描述的示例(或示例的一个或更多个方面)可以彼此结合使用。另外，在不脱离本发明的范围的情况下，可以做出许多修改以使特定情况或材料适应本发明的教导。尽管本文中描述的材料的尺寸、类型和示例参数、功能以及实现方式旨在限定本发明的参数，但是它们绝不是限制性的实施方式，而是示例性的实施方式。在回顾以上描述之后，许多其他实施方式对本领域技术人员而言将是明显的。因此，应当参考所附权利要求以及这样的权利要求所赋予的等同内容的全部范围来确定本发明的范围。

此外，在以上的具体实施方式中，可以将各种特征组合在一起以简化本公开内容。这不应当被解释成意为：对于任何权利要求而言，未要求保护的公开特征均是必要的。而是，发明主题可能在于少于特定公开的实施方式的所有特征。因此，所附权利要求书在此并入具体实施方式中，其中每项权利要求自身作为独立的实施方式存在。应当参照所附权利要求以及这样的权利要求所赋予的等同内容的全部范围来确定本发明的范围。

这些非限制性示例中的每一个可以独立存在，或者可以与其他示例中的一个或更多个以各种排列或组合进行组合。

示例1是一种方法，该方法包括：利用第一深度神经网络来训练患者状态生成器以将输入的实时局部患者测量与包括参考体积的患者模型相关联以输出患者状态；利用从第一深度神经网络输出的患者状态和参考体积作为对第二深度神经网络的输入来训练第二深度学习网络以输出患者状态与参考体积之间的相对运动信息；以及从图像获取装置接收图像的实时流；使用处理器利用第一深度学习网络和第二深度学习网络来估计与图像的实时流的图像相对应的相对运动。

在示例2中，示例1的主题包括：其中，利用多患者数据的大型数据库来训练第一深度神经网络，并且其中，输出的患者状态由于患者特定的输入的实时局部患者测量而是患者特定的。

在示例3中，示例1至2的主题包括：其中，参考体积是通过从MRI提取数据的2D切片而合成的MR图像。

在示例4中，示例1至3的主题包括：其中，参考体积是通过利用射线跟踪算法生成2D X射线而合成的CT图像。

在示例5中，示例1至4的主题包括：其中，训练第一深度神经网络包括：使用两个4D数据集，包括从第一4D数据集提取切片以用作输入图像，使用第二4D数据集作为患者模型，以及使用第一4D数据集作为输出的患者状态。

在示例6中，示例1至5的主题包括：其中，相对运动是从第一深度神经网络输出的患者状态与参考体积之间的3D位移矢量场(DVF)。

在示例7中，示例6的主题包括：其中，DVF用于使治疗计划适应于在在其上制定了治疗计划的参考体积与患者状态之间检测到的变化。

在示例8中，示例1至7的主题包括：其中，参考体积是4D患者模型的一个相位。

在示例9中，示例1至8的主题包括：其中，第一深度神经网络包括用于输入图像的第一CNN、用于4D输入的第二CNN以及用于匹配从第一CNN和第二CNN输出的特征的相关层。

在示例10中，示例9的主题包括：其中，当相对运动是周期性的时，第二CNN在时间维度上使用圆形卷积。

在示例11中，示例9至10的主题包括：其中，患者状态生成器包括编码器-解码器CNN模型，该编码器-解码器CNN模型用于将相关层的输出编码为高级表示并且产生密集的每像素的患者状态描述。

在示例12中，示例9至11的主题包括：其中，将图像的实时流的图像的每个块与患者模型的3D体积中的块进行比较，该比较受到取决于图像内捕获的器官的最大位移约束的限制。

在示例13中，示例1至12的主题包括：其中，第一深度神经网络的输出是对来自时间离散4D患者模型的原始数据进行插值的灰度级体积。

在示例14中，示例1至13的主题包括：其中，在患者的周期性运动中的呼气结束时提取参考体积。

示例15是一种方法，该方法包括：使用处理器利用输入的实时局部患者测量和包括参考体积的患者模型来训练第一深度神经网络以输出患者状态；利用患者状态和参考体积来训练第二个深度神经网络以输出患者状态与参考体积之间的相对运动信息；以及从图像获取装置接收图像的实时流；使用处理器利用所述第一深度学习网络和第二深度学习网络来估计与图像的实时流的图像相对应的相对运动；以及输出相对运动以显示在显示装置上。

在示例16中，示例15的主题包括：利用相对运动来跟踪放射疗法靶。

在示例17中，示例15至16的主题包括：利用相对运动在显示装置上显示放射疗法靶的位置。

示例18是一种非暂态机器可读介质，该非暂态机器可读介质包括指令，所述指令在由处理器执行时使处理器：利用输入的实时局部患者测量和包括参考体积的患者模型来训练第一深度神经网络以输出患者状态；利用患者状态和参考体积来训练第二深度神经网络以输出患者状态与参考体积之间的相对运动信息；以及从图像获取装置接收图像的实时流；利用第一深度学习网络和第二深度学习网络来估计与图像的实时流的图像相对应的相对运动；以及输出相对运动。

在示例19中，示例18的主题包括：其中，所述指令还使处理器利用相对运动来跟踪放射疗法靶。

在示例20中，示例18至19的主题包括：其中，所述指令还使处理器利用相对运动在显示装置上显示放射疗法靶的位置。

示例21是至少一个机器可读介质，所述至少一个机器可读介质包括指令，所述指令在由处理电路执行时使处理电路执行用于实现示例1至20中的任一项的操作。

示例22是一种设备，该设备包括用于实现示例1至20中任一项的装置。

示例23是用于实现示例1至20中任一项的系统。

示例24是用于实现示例1至20中任一项的方法。

本文中描述的方法示例可以至少部分地是机器或计算机实现的。一些示例可以包括编码有指令的计算机可读介质或机器可读介质，所述指令能够操作成配置电子装置以执行如在以上示例中描述的方法。这些方法的实现方式可以包括代码例如微代码、汇编语言代码、更高级语言代码等。此类代码可以包括用于执行各种方法的计算机可读指令。代码可以形成计算机程序产品的部分。此外，在示例中，例如在执行期间或在其他时间，代码可以被有形地存储在一个或更多个易失性、非暂态或非易失性有形计算机可读介质上。这些有形计算机可读介质的示例可以包括但不限于硬盘、可移除磁盘、可移除光盘(例如，致密盘和数字视频磁盘)、磁带盒、存储卡或存储棒、随机存取存储器(RAM)、只读存储器(ROM)等。