用于实时患者运动监测的机器学习方法

摘要

系统和技术可以用于在放射疗法治疗期间估计患者状态。例如，方法可以包括利用初步运动模型生成扩展的潜在患者测量和对应的潜在患者状态的字典。方法可以包括利用机器学习技术使用字典来训练将输入的患者测量与输出的患者状态相关联的对应关系运动模型。方法可以包括使用处理器利用对应关系运动模型来估计与输入图像相对应的患者状态。

说明书

优先权要求

本申请要求于2018年10月25日提交的美国专利申请序列第16/170，807号的优先权的权益，其全部内容通过引用并入本文。

技术领域

本公开内容的实施方式总体上涉及医学图像和人工智能处理技术。特别地，本公开内容涉及利用机器学习以进行实时患者状态估计。

背景技术

在放射疗法(radiotherapy)或放射外科(radiosurgery)中，通常基于患者的医学图像来执行治疗计划，并且治疗计划需要医学图像中的靶区和正常关键器官的描绘。当患者正在移动(例如，呼吸)时准确跟踪各种对象(例如，肿瘤、健康组织或者患者剖析结构的其他方面)是一项挑战。

当前的技术无法直接地实时测量变化中的患者状态。例如，一些技术使用2D成像例如2D kV投影或2D MRI切片，它们都不能完全跟踪各种对象。

其他技术可能依赖于直接或者通过跟踪衣物上或者固定到患者身上的盒子上的标记物来检测表面信息。这些技术假定表面信息与患者内部状态相关，这通常是不准确的。

其他技术还可能依赖于植入标记物(例如，磁跟踪标记物)或者使用不透射线标记物的X射线检测。这些技术是侵入性的，并且仅对应于患者体内的有限点。

附图说明

在不一定按比例绘制的附图中，贯穿若干视图，相同的附图标记描述基本上相似的部件。具有不同字母后缀的相同附图标记表示基本上相似的部件的不同实例。附图通过示例的方式而非通过限制的方式大体上示出了本文献中讨论的各种实施方式。

图1示出了适于执行图像患者状态估计处理的示例性放射疗法系统。

图2示出了示例性的图像引导放射疗法装置。

图3示出了包括组合的放射疗法系统和成像系统例如核磁共振(MR)成像系统的示例性系统的局部剖视图。

图4示出了用于使用局部测量和初步患者模型来估计患者状态的示例性流程图。

图5示出了示出患者状态字典生成技术的示例性流程图。

图6示出了在估计患者状态时供使用的示例性回归模型机器学习引擎。

图7示出了用于估计患者状态的示例性操作的流程图。

图8示出了用于执行放射疗法技术的示例性操作的流程图。

具体实施方式

在下面的详细描述中，参照附图，附图形成详细描述的一部分并且通过可以实践本发明的说明性实施方式示出。在本文中也被称为“示例”的这些实施方式被足够详细地描述以使得本领域技术人员能够实践本发明，并且应当理解，在不脱离本发明的范围的情况下，可以将实施方式组合或者可以利用其他实施方式并且可以进行结构、逻辑和电气改变。因此，以下详细描述不是限制性的，并且本发明的范围由所附的权利要求及其等同内容限定。

图像引导放射疗法(IGRT)是一种紧接在放射之前使用在治疗位置中患者的成像的技术。这使得能够更准确地靶向剖析结构，例如器官、肿瘤或处于危险中的器官。如果预计患者在治疗期间移动，例如由呼吸引起的运动(其使肺肿瘤产生准周期性运动)或者导致前列腺位置漂移的膀胱充盈，则可以在靶周围安置附加的余量以包含期望的患者运动。这些较大的余量以对于周围正常组织的高剂量为代价，这可能导致增加的副作用。

IGRT可以在放射之前使用计算机断层摄影(CT)成像、锥束CT(CBCT)、磁共振(MR)成像、正电子发射断层摄影(PET)成像等来获得患者的3D或4D图像。例如，启用CBCT的线性加速器(线性加速器)可以由以与放射束成90度角的方式固定至台架的kV源/检测器组成，或者MR线性加速器装置可以由直接与MR扫描仪集成的线性加速器组成。

在实际的放射治疗递送期间对运动进行定位(分次内运动)可以允许减少将另外被用于包含运动的附加的治疗余量，因此允许递送更高的剂量，减少副作用，或者两者兼而有之。很多IGRT成像技术通常不足够快以对分次内运动进行成像。例如，CBCT需要来自不同角度的多个kV图像以重建完整的3D患者图像，并且3D MR需要多个2D切片或者对完整的3Dk空间的填充，每个过程都可能花费几分钟来生成完整的3D图像。

在一些情况下，可以使用通常会在生成3D IGRT图像之前完全获取的实时或准实时数据(按它被收集时那样)来根据不完整但快速的传入信息流以更快的刷新率估计瞬时3D图像。例如，可以使用2D kV投影或2D MR切片来估计在治疗期间随着实际的患者运动而发展的完整的3D CBCT状或3D MR状图像。尽管快速，但这些2D图像本身仅提供了患者的特定视角，而不是完整的3D图片。

患者状态生成器可以接收作为输入的局部测量(例如，2D图像)，并且生成(例如，估计)作为输出的患者状态(例如，3D图像)。为了生成患者状态，生成器可以使用单个当前局部测量、未来(预测)或过去的局部测量或者多个局部测量(例如，最后10个测量)。这些局部测量可以来自单个模态例如X射线投影或MRI切片，或者来自多个模态例如与X射线投影同步的患者表面上的反射性表面标记物的位置。患者状态可以是3D图像，或者“多模式”的3D图像，例如，患者状态可以包括提供关于患者状态的不同信息的两个或更多个3D图像，例如用于增强组织对比度的“MR状”、用于高几何精度以及用于剂量计算的与密度有关的体素的“CT状”，或者用于提供关于患者的功能信息的“功能MR状”。患者状态还可以包括非成像信息。患者状态包括一个或更多个兴趣点(例如，靶位置)、轮廓、表面、变形矢量场或与优化患者治疗相关的任何信息。

可以在从例如kV成像器或MR成像器获取的实时图像流(例如，2D图像)中接收上述局部测量。kV成像器可以生成针对实时流的立体2D图像(例如，正交且基本同时获取的两个X射线图像)。kV成像器可以固定在房间中，或者耦接至治疗装置(例如，附接至台架)。MR成像器可以产生2D MR切片，所述2D MR切片可以是正交的或平行的。可以根据所接收到的图像或图像对生成患者状态。例如，在任何给定的时刻，可以生成针对来自实时流的最后接收到的图像的患者状态。

在示例中，患者模型可以基于在预治疗阶段(在安置了患者之后并且在打开束之前)在给定片段中当前收集的数据，从另一片段收集的数据或在模拟/计划期间使用其他患者利用通用的患者剖析结构利用机械模型收集的数据或者可以有助于根据局部测量来限定患者状态的任何其他信息收集的数据。在示例中，患者模型是4D数据集、所获取的预治疗，其表示在有限时间段(例如，一个代表性的呼吸周期)内患者状态的变化。可以(例如，利用机器学习技术)对患者模型进行训练，以例如使用将限定重建的患者测量与对应的患者状态的字典来将输入的患者测量(例如，来自实时流的图像或图像对)与输出的患者状态相关联。可以通过作为一个或更多个参数的函数的变形矢量场(DVF)使患者模型扭曲，以生成患者状态。

4D数据集中的患者模型可以包括随单个参数(例如，呼吸周期中的阶段)而变化的患者状态。患者模型可以用于建立在可以将每次呼吸视为或多或少相同的代表性呼吸周期内时变的患者状态。这通过允许从不同的呼吸周期获取大块的局部成像数据并将其分配给单个代表性呼吸周期来简化建模。然后可以针对每个相位“分箱(bin)”重建3D图像。

在示例中，患者状态可以例如被表示为3D图像或3D DVF加3D参考图像。这些可能是等同的，因为可以使用3D DVF和3D参考图像的元素来获取(例如，使用3D DVF使3D参考图像变形)3D图像。

图1示出了适于执行患者状态估计处理的示例性放射疗法系统。执行该患者状态估计处理以使得放射疗法系统能够基于捕获的医学成像数据的特定方面向患者提供放射疗法。放射疗法系统包括托管患者状态处理逻辑120的图像处理计算系统110。图像处理计算系统110可以连接至网络(未示出)，并且这样的网络可以连接至因特网。例如，网络可以将图像处理计算系统110与一个或更多个医疗信息源(例如，放射信息系统(RIS)、医疗记录系统(例如，电子医疗记录(EMR)/电子健康记录(EHR)系统)、肿瘤学信息系统(OIS))、一个或更多个图像数据源150、图像获取装置170和治疗装置180(例如，放射疗法装置)连接起来。作为示例，图像处理计算系统110可以被配置成：通过执行来自患者状态处理逻辑120的指令或数据来执行作为生成和定制要由治疗装置180使用的放射疗法治疗计划的操作的一部分的图像患者状态操作。

图像处理计算系统110可以包括处理电路系统112、存储器114、存储装置116以及诸如用户接口140、通信接口等的其他硬件和软件可操作的特征。存储装置116可以存储诸如操作系统、放射疗法治疗计划(例如，原始治疗计划、经修改的治疗计划等)、软件程序(例如，放射疗法治疗计划软件以及诸如深度学习模型、机器学习模型和神经网络等的人工智能实现方式)的计算机可执行指令以及要由处理电路112执行的任何其他计算机可执行指令。

在示例中，处理电路112可以包括处理装置，例如，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等的一个或更多个通用处理装置。更特别地，处理电路112可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或实现指令集的组合的处理器。处理电路112也可以由诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等的一个或更多个专用处理装置来实现。如本领域技术人员将理解的，在一些示例中，处理电路112可以是专用处理器而不是通用处理器。处理电路112可以包括一个或更多个已知的处理装置，例如来自由Intel

存储器114可以包括只读存储器(ROM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、闪存、随机存取存储器(RAM)、动态随机存取存储器(DRAM)例如同步DRAM(SDRAM)、电可擦除可编程只读存储器(EEPROM)、静态存储器(例如，闪存、闪存盘、静态随机存取存储器)以及其他类型的随机存取存储器、高速缓冲存储器、寄存器、压缩式光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光存储装置、盒式磁带、其他磁存储装置或者可以被用来存储包括能够由处理电路112或任何其他类型的计算机装置访问的图像、数据或计算机可执行指令(例如，以任何格式存储)的信息的任何其他非暂态介质。例如，计算机程序指令可以由处理电路112访问，可以从ROM或任何其他合适的存储器位置被读取，并且可以被加载到RAM中以由处理电路112执行。

存储装置116可以构成包括机器可读介质的驱动单元，在该机器可读介质上存储有由本文中描述的方法或功能中的任何一个或更多个实施或利用的一个或更多个指令集和数据结构(例如，软件)(在各种示例中，包括患者状态处理逻辑120和用户接口140)。在图像处理计算系统110执行指令期间，指令还可以全部或至少部分地驻留在存储器114内和/或处理电路112内，其中存储器114和处理电路112也构成机器可读介质。

存储器装置114和存储装置116可以构成非暂态计算机可读介质。例如，存储器装置114或存储装置116可以在计算机可读介质上存储或加载用于一个或更多个软件应用的指令。利用存储器装置114或存储装置116存储或加载的软件应用可以包括例如用于通用计算机系统以及用于软件控制的装置的操作系统。图像处理计算系统110还可以操作包括用于实现患者状态处理逻辑120和用户接口140的软件代码的各种软件程序。此外，存储器装置114和存储装置116可以存储或加载能够由处理电路112执行的整个软件应用、软件应用的一部分或者与软件应用相关联的代码或数据。在另一示例中，存储器装置114或存储装置116可以存储、加载或操纵一个或更多个放射疗法治疗计划、成像数据、患者状态数据、字典条目、人工智能模型数据、标签和映射数据等。可以期望，不仅可以将软件程序存储在存储装置116和存储器114上，而且还可以将软件程序存储在可移除计算机介质例如硬盘驱动器、计算机磁盘、CD-ROM、DVD、HD、蓝光DVD、USB闪存驱动器、SD卡、记忆棒或任何其他合适的介质上；也可以通过网络传递或接收这样的软件程序。

尽管未描绘，但是图像处理计算系统110可以包括通信接口、网络接口卡和通信电路。示例通信接口可以包括例如网络适配器、线缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(例如，光纤、USB 3.0、雷电接口(thunderbolt)等)、无线网络适配器(例如，IEEE802.11/Wi-Fi适配器)、电信适配器(例如，与3G、4G/LTE和5G网络等进行通信)等。这样的通信接口可以包括一个或更多个数字和/或模拟通信装置，所述一个或更多个数字和/或模拟通信装置允许机器经由网络与其他机器和装置例如位于远处的部件进行通信。网络可以提供局域网(LAN)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务等)、客户端-服务器、广域网(WAN)等的功能。例如，网络可以是可以包括其他系统(包括与医学成像或放射疗法操作相关联的附加图像处理计算系统或基于图像的部件)的LAN或WAN。

在示例中，图像处理计算系统110可以从图像数据源150获得图像数据160，以托管在存储装置116和存储器114上。在示例中，在图像处理计算系统110上运行的软件程序可以例如通过产生诸如伪CT图像的合成图像来将一种格式(例如，MRI)的医学图像转换成另一种格式(例如，CT)。在另一示例中，软件程序可以将患者医学图像(例如，CT图像或MR图像)与该患者的放射疗法治疗的剂量分布(例如，也被表示为图像)配准或相关联，从而使得相应的图像体素和剂量体素适当地相关联。在又一示例中，软件程序可以代替患者图像的功能，例如强调图像信息的一些方面的图像的有符号距离功能或经处理的版本。这样的功能可能强调体素纹理的边缘或差异或者其他结构方面。在另一示例中，软件程序可以可视化、隐藏、强调或不强调医学图像内的解剖特征、患者测量、患者状态信息或者剂量或治疗信息的某些方面。存储装置116和存储器114可以存储和托管用于执行这些目的的数据，包括图像数据160、患者数据以及创建和实现放射疗法治疗计划和相关联的患者状态估计操作所需的其他数据。

处理电路112可以通信地耦接至存储器114和存储装置116，并且处理电路112可以被配置成执行存储在其上的来自存储器114或存储装置116的计算机可执行指令。处理电路112可以执行指令以使来自图像数据160的医学图像在存储器114中被接收或被获取并且使用患者状态处理逻辑120被处理。例如，图像处理计算系统110可以经由通信接口和网络从图像获取装置170或图像数据源150接收图像数据160以被存储或缓存在存储装置116中。处理电路112还可以经由通信接口将存储在存储器114或存储装置116中的医学图像发送或更新到另一数据库或数据存储(例如，医疗设备数据库)。在一些示例中，一个或更多个系统可以形成分布式计算/模拟环境，该分布式计算/模拟环境使用网络来协作地执行本文中描述的实施方式。另外，这样的网络可以连接至因特网，以与远程驻留在因特网上的服务器和客户端进行通信。

在另外的示例中，处理电路112可以利用软件程序(例如，治疗计划软件)以及图像数据160和其他患者数据来创建放射疗法治疗计划。在示例中，图像数据160可以包括诸如来自CT或MR的2D或3D图像。此外，处理电路112可以利用软件程序来根据测量和对应的患者状态的字典例如利用对应关系运动模型和机器学习算法(例如，回归算法)生成估计的患者状态。

此外，这种软件程序可以利用患者状态处理逻辑120使用本文中进一步讨论的技术来实现患者状态估计工作流130。然而，处理电路112随后可以经由通信接口和网络将可执行的放射疗法治疗计划发送至治疗装置180，在该治疗装置180中，放射疗法计划将被用于经由治疗装置利用放射对患者进行治疗，这与患者状态估计工作流130的结果一致。使用图像处理计算系统110可以产生软件程序和患者状态估计工作流130的其他输出和用途。

如本文中所讨论的(例如，参考本文中所讨论的患者状态估计)，处理电路112可以执行调用患者状态处理逻辑120以实现包括生成初步运动模型、创建字典、使用机器学习来训练患者状态生成器、患者状态估计以及自动处理和人工智能的其他方面的功能的软件程序。例如，处理电路112可以执行使用机器学习训练的系统来估计患者状态的软件程序。

在示例中，图像数据160可以包括一个或更多个MRI图像(例如，2D MRI、3D MRI、2D流式MRI、4D MRI、4D体积MRI、4D影像MRI等)、功能MRI图像(例如，fMRI、DCE-MRI、扩散MRI)、计算机断层扫描(CT)图像(例如，2D CT、锥形束CT、3D CT、4D CT)、超声图像(例如，2D超声、3D超声、4D超声)、正电子发射断层扫描(PET)图像、X射线图像、荧光镜图像、放射疗法射野图像(radiotherapy portal image)、单光子发射计算机断层扫描(SPECT)图像、计算机生成的合成图像(例如，伪CT图像)等。此外，图像数据160还可以包括医学图像处理数据例如训练图像、真实图像(ground truth image)、轮廓图像和剂量图像或者与医学图像处理数据例如训练图像、真实图像、轮廓图像和剂量图像相关联。在示例中，可以从图像获取装置170接收图像数据160，并且将该图像数据160存储在图像数据源150(例如，图片存档及通信系统(PACS)、供应商中立档案库(VNA)、医疗记录或信息系统、数据仓库等)中的一个或更多个中。因此，图像获取装置170可以包括MRI成像装置、CT成像装置、PET成像装置、超声成像装置、荧光镜装置、SPECT成像装置、集成的线性加速器和MRI成像装置或者用于获取患者的医学图像的其他医疗成像装置。图像数据160可以以图像获取装置170和图像处理计算系统110可以用来执行与公开的实施方式一致的操作的任何数据类型或任何类型的格式(例如，以医学数字成像和通信(DICOM)格式)被接收和被存储。

在示例中，图像获取装置170可以与治疗装置180集成为单个设备(例如，如下面图3中所示和所描述的与线性加速器组合的MRI装置，也称为“MR线性加速器”)。这样的MRI线性加速器可以被用来例如准确地确定患者体内的靶器官或靶肿瘤的位置，以根据放射疗法治疗计划将放射疗法准确地引导至预定靶。例如，放射疗法治疗计划可以提供关于要施加至每个患者的特定放射剂量的信息。放射疗法治疗计划还可以包括其他放射疗法信息，例如束角度、剂量-直方图-体积信息、在治疗期间要使用的放射束的数目、每束的剂量等。

图像处理计算系统110可以通过网络与外部数据库进行通信，以发送/接收与图像处理和放射疗法操作有关的多个各种类型的数据。例如，外部数据库可以包括机器数据，该机器数据是与治疗装置180、图像获取装置170或者与放射疗法或医疗过程有关的其他机器相关联的信息。机器数据信息可以包括放射束大小、弧放置、束开和关持续时间、机器参数、段、多叶准直器(MLC)配置、台架速度、MRI脉冲序列等。外部数据库可以是存储装置并且可以配备有适当的数据库管理软件程序。此外，这样的数据库或数据源可以包括以中央式或分布式方式定位的多个装置或系统。

图像处理计算系统110可以使用一个或更多个通信接口经由网络收集和获取数据并且与其他系统进行通信，所述一个或更多个通信接口可以通信地耦接至处理电路112和存储器114。例如，通信接口可以提供图像处理计算系统110与放射疗法系统部件之间的通信连接(例如，允许与外部装置交换数据)。例如，在一些示例中，通信接口可以具有适当的与输出装置142或输入装置144的接口电路以连接至用户接口140，用户接口140可以是用户可以通过其将信息输入至放射疗法系统中的硬件键盘、小键盘或触摸屏。

作为示例，输出装置142可以包括显示装置，该显示装置输出用户接口140的表示以及医学图像的一个或更多个方面、可视化或表示。输出装置142可以包括一个或更多个显示屏，该显示屏显示医学图像、界面信息、治疗计划参数(例如轮廓、剂量、束角、标签、地图等)、治疗计划、靶、对靶进行定位或跟踪靶、患者状态估计(例如，3D图像)或任何与用户相关的信息。连接至用户接口140的输入装置144可以是键盘、小键盘、触摸屏或者用户可以向放射疗法系统输入信息的任何类型的装置。替选地，输出装置142、输入装置144以及用户接口140的特征可以被集成到诸如智能电话或平板计算机(例如，Apple

此外，放射疗法系统的任何部件和所有部件都可以被实现为虚拟机(例如，经由VMWare、Hyper-V等虚拟化平台)。例如，虚拟机可以是用作硬件的软件。因此，虚拟机可以包括共同用作硬件的至少一个或更多个虚拟处理器、一个或更多个虚拟存储器以及一个或更多个虚拟通信接口。例如，图像处理计算系统110、图像数据源150或类似部件可以被实现为虚拟机或者被实现在基于云的虚拟化环境内。

患者状态处理逻辑120或其他软件程序可以使计算系统与图像数据源150进行通信，以将图像读取到存储器114和存储装置116中，或者将图像或相关联的数据从存储器114或存储装置116存储到图像数据源150以及将图像或相关联的数据从图像数据源150存储到存储器114或存储装置116。例如，图像数据源150可以被配置成存储和提供图像数据源150托管的、来自经由图像获取装置170从一个或更多个患者获得的图像数据160中的图像集的多个图像(例如，3D MRI、4D MRI、2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、来自MR扫描或CT扫描的原始数据、医学数字成像和通信(DICOM)元数据等)。图像数据源150或其他数据库还可以存储当执行进行患者状态估计操作的软件程序时或者当创建放射疗法治疗计划时要由患者状态处理逻辑120使用的数据。此外各种数据库可以存储由初步运动模型(例如，字典)、对应关系运动模型或机器学习模型产生的数据，包括构成通过网络学习到的模型的网络参数和所得的预测数据。与作为治疗或诊断操作的一部分的执行图像患者状态估计有关，图像处理计算系统110因此可以从图像数据源150、图像获取装置170、治疗装置180(例如，MRI线性加速器)或其他信息系统获取和/或接收图像数据160(例如，2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、3D MRI图像、4D MRI图像等)。

图像获取装置170可以被配置成针对兴趣区域(例如，靶器官、靶肿瘤或二者)获取患者剖析结构的一个或更多个图像。每个图像——通常是2D图像或切片——可以包括一个或更多个参数(例如，2D切片厚度、取向和位置等)。在示例中，图像获取装置170可以获取任何取向的2D切片。例如，2D切片的取向可以包括矢状取向、冠状取向或轴向取向。处理电路112可以调整一个或更多个参数例如2D切片的厚度和/或取向，以包括靶器官和/或靶肿瘤。在示例中，可以根据诸如3D MRI体积的信息来确定2D切片。当患者正在接受放射疗法治疗时，例如当使用治疗装置180时，可以由图像获取装置170“实时”获取这样的2D切片(其中，“实时”意味着在10毫秒或更短的时间内获取数据)。在针对一些应用的另一示例中，实时可以包括(例如，最多)200毫秒或300毫秒内的时间范围。在示例中，实时可以包括足够快以通过本文中描述的技术解决临床问题的时间段。在该示例中，实时可能根据靶速度、放射疗法余量、时滞、治疗装置的响应时间等而不同。

图像处理计算系统110中的患者状态处理逻辑120被描绘为实现利用模型生成和估计处理操作的各个方面执行患者状态估计工作流130。在示例中，由患者状态处理逻辑120操作的患者状态估计工作流130生成并利用根据患者数据(例如，来自正在治疗的患者，来自多个先前的患者等)生成的初步运动模型132。初步运动模型132可以包括基于患者测量和对应的患者状态而生成的运动中(例如，正在呼吸)的患者的模型。患者状态估计工作流130包括通过使用初步运动模型来生成样本(潜在的)患者测量和对应的患者状态来创建字典134。患者状态估计工作流130包括利用机器学习136(例如，使用基于回归的机器学习技术)基于字典134来训练对应关系运动模型。患者状态估计工作流130包括使用对应关系运动模型和当前患者测量(例如，2D图像)来估计患者状态138。

可以在利用诸如治疗计划软件的软件程序(例如，由瑞典斯德哥尔摩的Elekta AB制造的

为了相对于OAR描绘靶器官或靶肿瘤，可以通过图像获取装置170非侵入式地获得正在进行放射疗法的患者的医学图像例如MRI图像、CT图像、PET图像、fMRI图像、X射线图像、超声图像、放射疗法射野图像、SPECT图像等以揭露身体部位的内部结构。基于来自医学图像的信息，可以获得有关剖析部位的3D结构。另外，在治疗计划过程期间，可以考虑许多参数以例如通过使用估计的患者状态来确定在患者正在移动(例如，呼吸)时的给定时间处OAR可能在哪里来实现靶肿瘤的有效治疗(例如，使得靶肿瘤接受用于有效疗法的足够的放射剂量)与OAR的低放射(例如，OAR接收尽可能低的放射剂量)之间的平衡。可以考虑的其他参数包括：靶器官和靶肿瘤的位置、OAR的位置以及靶相对于OAR的移动。例如，可以通过在MRI图像或CT图像的每个2D层或切片内描画靶的轮廓或描画OAR的轮廓并对每个2D层或切片中的轮廓进行组合来获得3D结构。所述轮廓可以手动生成(例如，由医师、剂量师或医护人员使用程序生成，所述程序例如为由瑞典斯德哥尔摩的Elekta AB制造的

在已经定位并描绘了靶肿瘤和OAR之后，剂量师、医师或医护人员可以确定要对靶肿瘤施加的放射剂量，以及邻近该肿瘤的OAR(例如，左右腮腺、视神经、眼睛、晶状体、内耳、脊髓、脑干等)可以接受的任何最大量的剂量。在针对每个剖析结构(例如，靶肿瘤、OAR)确定了放射剂量之后，可以执行被称为逆向计划的处理以确定将实现期望的放射剂量分布的一个或更多个治疗计划参数。治疗计划参数的示例包括体积描绘参数(例如，其限定靶体积、轮廓敏感结构等)、靶肿瘤和OAR周围的余量、束角度选择、准直器设置和束开启次数。在逆向计划处理期间，医师可以限定设置OAR可以接受多少放射的限度的剂量约束参数(例如，限定对肿瘤靶的全剂量和对任何OAR的零剂量；限定对靶肿瘤的95％的剂量；限定脊髓、脑干和视神经结构分别接受≤45Gy、≤55Gy和<54Gy)。逆向计划的结果可以构成可以被存储的放射疗法治疗计划。这些治疗参数中的一些可能相互关联。例如，调整一个参数(例如，针对不同目标的权重，例如增大对靶肿瘤的剂量)以试图改变治疗计划可能影响到至少一个其他参数，这进而可能使得发展出不同的治疗计划。因此，图像处理计算系统110可以生成具有这些参数的定制的放射疗法治疗计划，以便治疗装置180向患者提供适当的放射疗法治疗。

图2示出了示例性图像引导放射疗法装置202，其包括诸如X射线源或线性加速器的放射源、床216、成像检测器214和放射疗法输出部204。放射疗法装置202可以被配置成：发射放射束208以向患者提供治疗。放射疗法输出部204可以包括一个或更多个衰减器或准直器，例如多叶准直器(MLC)。

作为示例，患者可以被定位在区域212中、由治疗床216支承，以根据放射疗法治疗计划(例如，由图1的放射疗法系统生成的治疗计划)接收放射疗法剂量。放射疗法输出部204可以被安装或附接至台架206或其他机械支承件。当床216插入到治疗区域中时，一个或更多个底盘马达(未示出)可以使台架206和放射疗法输出部204绕床216旋转。在示例中，当床216被插入到治疗区域中时，台架206可以绕床216连续地旋转。在另一示例中，当床216被插入到治疗区域中时，台架206可以旋转到预定位置。例如，台架206可以被配置成使疗法输出部204绕轴(“A”)旋转。床216和放射疗法输出部204二者都能够独立地移动到患者周围的其他位置，例如，能够沿着横向方向(“T”)移动、能够沿着侧向方向(“L”)移动，或者能够绕一个或更多个其他轴旋转例如绕横向轴(表示为“R”)旋转。通信地连接至一个或更多个致动器(未示出)的控制器可以控制床216的移动或旋转，以根据放射疗法治疗计划将患者适当地定位在放射束208中或放射束208外。由于床216和台架206二者能够在多个自由度上彼此独立地移动，这允许将患者定位成使得放射束208能够精确地以肿瘤为靶。

图2中示出的坐标系统(包括轴A、轴T和轴L)可以具有位于等中心210处的原点。等中心可以被限定为如下位置，在所述位置处，放射疗法束208的中心轴与坐标轴的原点相交，例如以将规定的放射剂量递送至患者上或患者体内的位置。替选地，等中心210可以限定为如下位置，在所述位置处，对于如由台架206定位的放射疗法输出部204围绕轴A的各种旋转位置，放射疗法束208的中心轴与患者相交。

台架206还可以具有附接的成像检测器214。成像检测器214优选地位于与放射源(输出部204)相对的位置，并且在示例中，成像检测器214可以位于疗法束208的场内。

优选地，成像检测器214可以与放射疗法输出部204相对地安装在台架206上，以便保持与疗法束208对准(align)。随着台架206旋转，成像检测器214围绕旋转轴旋转。在示例中，成像检测器214可以是平板检测器(例如，直接检测器或闪烁体检测器)。以这种方式，成像检测器214可以被用来监测疗法束208，或者成像检测器214可以用于对患者的剖析结构进行成像，例如射野成像。放射疗法装置202的控制电路可以集成在放射疗法系统内或者远离放射疗法系统。

在说明性示例中，床216、疗法输出部204或台架206中的一个或更多个可以被自动定位，并且疗法输出部204可以根据用于特定治疗递送实例的指定剂量来建立治疗束208。可以根据放射疗法治疗计划例如使用台架206、床216或疗法输出部204的一个或更多个不同取向或位置来指定疗法递送序列。疗法递送可以顺序地发生，但是可以在患者上或在患者体内的期望的疗法位点中例如在等中心210处交叉。由此可以将放射疗法的规定的累积剂量递送到疗法位点，同时减少或避免对疗法位点附近的组织的损害。

因此，图2具体地示出了放射疗法装置202的示例，该放射疗法装置202能够操作成向患者提供放射疗法治疗，该放射疗法装置202具有放射疗法输出部可以围绕中心轴(例如，轴“A”)旋转的配置。可以使用其他放射疗法输出部配置。例如，可以将放射治疗输出部安装至具有多个自由度的机器人臂或操纵器。在另一示例中，疗法输出部可以是固定的，例如位于与患者侧向分开的区域中，并且可以使用支承患者的平台来将放射疗法等中心与患者体内的指定靶位点对准。在另一示例中，放射疗法装置可以是线性加速器和图像获取装置的组合。如本领域普通技术人员将认识到的，在一些示例中，图像获取装置可以是MRI、X射线、CT、CBCT、螺旋CT、PET、SPECT、光学层析成像、荧光成像、超声成像、MR线性加速器或放射疗法射野成像装置等。

图3描绘了示例性放射疗法系统300(例如，在本领域中称为MR线性加速器)，其可以包括将放射疗法装置202和成像系统(例如，与所公开的实施方式一致的核磁共振(MR)成像系统)相结合。如所示，系统300可以包括床310、图像获取装置320和放射递送装置330。系统300根据放射疗法治疗计划向患者递送放射疗法。在一些实施方式中，图像获取装置320可以对应于可以获取图像的图1中的图像获取装置170。

床310可以在治疗环节期间支承患者(未示出)。在一些实现方式中，床310可以沿水平平移轴(标记为“I”)移动，使得床310可以将躺在床310上的患者移入或移出系统300。床310还可以围绕横向于平移轴的中心竖直旋转轴进行旋转。为了允许这样的移动或旋转，床310可以具有使得床能够在各个方向上移动以及沿着各个轴旋转的马达(未示出)。控制器(未示出)可以控制这些移动或旋转以便根据治疗计划适当地定位患者。

在一些实施方式中，图像获取装置320可以包括用于在治疗环节之前、期间或之后获取患者的2D或3D MRI图像的MRI机器。图像获取装置320可以包括磁体321，以用于生成用于磁共振成像的主磁场。由磁体321的操作生成的磁场线可以基本上平行于中心平移轴I延伸。磁体321可以包括其轴线平行于平移轴I延伸的一个或更多个线圈。在一些实施方式中，磁体321中的一个或更多个线圈可以间隔开，使得磁体321的中心窗323没有线圈。在其他实施方式中，磁体321中的线圈可以足够薄或具有降低的密度，使得它们对由放射治疗装置330生成的波长的放射基本上是透射的。图像获取装置320还可以包括一个或更多个屏蔽线圈，所述一个或更多个屏蔽线圈可以在磁体321外部生成具有大致相等幅度和相反极性的磁场，以消除或减少磁体321外部的任何磁场。如下所述，放射治疗装置330的放射源331可以被定位在磁场被消除(至少至一阶)或者被减小的区域中。

图像获取装置320还可以包括两个梯度线圈325和326，所述两个梯度线圈325和326可以生成叠加在主磁场上的梯度磁场。线圈325和326可以在由此产生的磁场中生成梯度，该梯度允许对质子进行空间编码以使得可以确定质子的位置。梯度线圈325和326可以与磁体321一起围绕公共中心轴定位，并且可以沿着该中心轴移位。移位可以在线圈325与线圈326之间创建间隙或窗。在其中磁体321还包括线圈之间的中心窗323的实施方式中，两个窗可以彼此对准。

使用图像获取来跟踪肿瘤的运动。有时，可以使用内部替代物或外部替代物。但是，在放射疗法治疗期间，植入的种子可能从其初始位置移动或被移位。此外，使用替代物假设在肿瘤运动与外部替代物的位移之间存在相关性。然而，外部替代物与肿瘤运动之间可能存在相移，并且它们的位置可能随着时间的流逝经常失去相关性。众所周知，肿瘤与替代物之间可能存在超过9mm的不匹配。此外，在跟踪期间，肿瘤的形状的任何变形都是未知的。

磁共振成像(MRI)的优点在于，提供优越的软组织对比度以更详细地使肿瘤可视化。使用多个分次内MR图像使得能够确定肿瘤的形状和位置(例如，质心)两者。此外，MRI图像改善了例如由放射肿瘤学家即使使用自动轮廓软件(例如，

使用MR线性加速器系统的另一优点是可以连续开启治疗束并且由此执行对靶肿瘤的分次内跟踪。例如，光学跟踪装置或立体X射线荧光透视系统可以通过使用肿瘤替代物以30Hz检测肿瘤位置。利用MRI，成像获取速率更快(例如，3fps至6fps)。因此，可以确定靶的质心位置，人工智能(例如，神经网络)软件可以预测未来的靶位置。通过使用MR线性加速器进行分次内跟踪的另一优点是，通过能够预测未来的靶位置，多叶准直器(MLC)的叶片将能够与靶轮廓及其预测的未来位置保持一致。因此，利用MRI预测未来肿瘤位置的频率与跟踪期间的成像频率相同。通过使用详细的MRI成像能够清晰地跟踪靶肿瘤的运动使得能够向运动的靶递送高度保形的放射剂量。

在一些实施方式中，图像获取装置320可以是除MRI之外的成像装置，例如X射线、CT、CBCT、螺旋CT、PET、SPECT、光学断层扫描、荧光成像、超声成像或放射治疗射野成像装置等。如本领域普通技术人员将认识到的，图像获取装置320的以上描述涉及某些实施方式，而不旨在是限制性的。

放射疗法装置330可以包括放射源331例如X射线源或线性加速器，以及多叶准直器(MLC)333。放射疗法装置330可以安装在底盘335上。当床310被插入到治疗区域中时，一个或更多个底盘马达(未示出)可以使底盘335围绕床310旋转。在实施方式中，当床310被插入到治疗区域中时，底盘335能够围绕床310连续旋转。底盘335还可以具有附接的放射检测器(未示出)，其优选地与放射源331相对地定位，并且其中，底盘335的旋转轴被定位在放射源331与该检测器之间。此外，装置330可以包括控制电路(未示出)，其用于控制例如床310、图像获取装置320以及放射疗法装置330中的一个或更多个。放射疗法装置330的控制电路可以被集成在系统300内或远离它。

在放射疗法治疗环节期间，患者可以被定位在床310上。然后，系统300可以将床310移动到由磁线圈321、325、326和底盘335限定的治疗区域中。然后，控制电路可以控制放射源331、MLC 333和一个或多个底盘马达来根据放射疗法治疗计划通过线圈325与线圈326之间的窗向患者递送放射。

图4示出了用于估计患者状态的示例性流程图。图4包括用于利用对应关系运动模型来估计患者状态的患者状态生成器408。患者状态生成器408利用患者的瞬时局部测量402和初步运动模型406来估计在框410处输出的患者状态。利用先前的测量404生成初步运动模型406，先前的测量404包括与先前的测量404相对应的先前的患者状态。

在实际的放射疗法应用中，局部测量(例如，2D图像或图像切片)提供关于患者状态(例如，3D图像)的不完整信息。例如，2D MRI切片是通过患者的3D表示的单个切面，并且X射线投影是通过沿着3D表示的射线线条的体素的集成。利用任一图像产生公正的信息(例如，患者剖析结构的2D图像而不是3D表示)。患者状态生成器408可以利用局部信息和根据过去的测量和/或离线(预治疗)获取生成的患者模型406来估计患者状态410。

患者模型生成器408可以包括低维度患者状态表示的创建。在示例中，首先将先前的测量重建为4D图像。示例可以包括在用于生成治疗计划的计划阶段期间获取的4D CT；紧接在其中患者处于治疗位置的每次治疗环节之前在常规线性加速器上获取(例如，通过使kV成像器围绕患者旋转生成)的4D CBCT；在每次治疗环节之前在MR线性加速器等上获取的4D MR。

4D图像可以包括代表性呼吸周期的一系列3D图像。例如，对于4D CBCT，获取多个x射线投影并将其分类到多个分箱中。可以例如通过在图像中直接检测每个投影中的光阑位置，或者使用与kV投影同时获取的单独的呼吸信号，并且根据信号的相位或幅度对投影进行分箱来进行分类。然后分别使用分配给该分箱的kV投影重建每个分箱以形成每个分箱的3D图像。可以使用类似的技术来生成4D MR图像。然后可以使用4D图像作为过渡步骤来重建模型。

在示例中，选择4D图像的参考相位(例如，用于治疗计划的参考相位)，并且在每个相位的3D图像与参考相位的3D图像之间执行可变形图像配准(DIR)。参考相位可以包括高级治疗信息(例如，GTV、处于危险中的器官等)。DIR处理的输出可以包括将每个相位链接到参考相位的位移矢量场(DVF)。

这样的基于DVF的运动模型提供了一种用于将参考患者状态(例如，如3D参考图像上限定的治疗信息)变形为在4D数据集中表示的代表性呼吸周期的其他阶段中的每一个中显示的特定剖析结构的机制。

为了对初步运动模型406进行内插乃至外推以生成新的DVF，可以使用诸如主分量分析(PCA)、独立分量分析(ICA)、规范相关性分析(CCA)等的无监督的降维技术来识别呼吸运动的一个或更多个主要自由度。在示例中，2或3个自由度可能足以准确估计患者状态。在该示例中，可以忽略或丢弃其他自由度(例如，当他们提供几乎没有用的信息并且大部分是噪声时)。例如，DVF运动模型的PCA可以产生低维度的患者运动模型，该低维度的患者运动模型对应于平均DVF和2或3个DVF“本征模式”(例如，表示自由度的加权输入)。运动周期中任何时间点处的DVF可以表示为均值和本征模式的加权和。例如，均值DVF可以由DVF

在一些情况下，重建4D图像的过渡步骤可能不是必需的，并且可以直接根据测量来创建低维度状态表示。

在示例中，使用预治疗图像的优点在于，由于数据是在治疗紧之前获取的，因此该数据很可能很好地表示患者的呼吸自由度。在一些情况下，使用来自以前的4D图像可能是有好处的，例如，较高质量的图像可能是可行的，(例如，在治疗环节期间MRI不可用的情况下使用MRI，或者当在治疗之前仅CBCT可用时使用CT)，并且可能花费更多时间来生成和验证患者模型。在又一示例中，可以使用来自多个患者的数据来生成更鲁棒的模型例如以避免过度约束模型。

图5示出了示出患者状态字典生成技术的示例性流程图。生成与机器学习算法一起使用的字典以输出患者状态估计可以使用成对的潜在患者状态和测量。

用于生成字典的技术包括操作502，该操作502用于接收测量或一组测量以及对应的患者状态或对应的一组患者状态。例如，测量可以包括2D图像或其他的局部患者状态信息或数据。患者状态可以包括与测量相对应的患者的3D或4D表示。因此，字典可以包括用于训练或测试机器学习算法的标记数据。在示例中，接收到的测量可以包括用于基于CT的患者模型的数字重建射线(DRR)图像或者用于基于MRI的患者模型的2D MRI切片。

在示例中，生成字典可以包括不直接使用2D图像作为测量，而是对2D图像计算2DDVF。例如，2D DVF的PCA分析得出几个参数。在该示例中，输入是2D DVF参数的2D PCA。在另一示例中，将实时2D图与在同一环节期间获取的参考2D图像(例如，具有相同对比度)配准。这允许使用快速、高度可并行化、可变形的图像配准技术例如demon算法来生成2D DVF。demon算法可以适用于具有实时性能的GPU中的并行实现。在另一示例中，可以使用卷积神经网络(CNN)来实时估计两个图像之间的2D光流以生成2D DVF。

技术包括操作504，操作504用于生成一组扩展的潜在测量和对应的潜在患者状态。可以通过取初始实际测量(例如，在操作502中接收到的测量)和对应的实际患者状态并且增加噪声、干扰或以其他方式外推针对特定患者或者多个患者可能发生的其他测量-患者状态对来生成潜在测量和潜在患者状态。操作504允许根据甚至单个实际测量和患者状态对生成一组标记数据。

技术包括操作506，操作506用于将一组扩展的潜在测量和对应的潜在患者状态保存在字典中，以与机器学习技术一起使用。在示例中，也可以将接收到的测量或一组测量以及接收到的对应的患者状态或一组患者状态保存在字典中，以与机器学习技术一起使用。在示例中，测量(实际或潜在)可以用作用于机器学习技术的输入数据，其中，从机器学习技术输出对应的患者状态(实际或潜在)，并且对应关系用作数据的标记。

在操作504中，可以利用低维度患者状态表示(例如，使用PCA、ICA、CCA等)来生成扩展的潜在测量。低维度患者状态表示可以用于生成在治疗期间可能潜在出现的可能患者状态。例如，可以将系数(例如，如以上在图3的描述的DVF方程中所描述的a

在示例中，为了生成一组扩展的潜在测量和对应的潜在患者状态，可以将小的刚性变换应用于3D图像，以进行数据增强以用于潜在患者平移。在示例中，可以使用获取的3D图像、生物力学模型等从多个患者而不是正在治疗的特定患者生成潜在患者状态的字典。在另一示例中，出于实际考虑，利用特定患者可以用于限制所需的数据并确保数据与被治疗的患者有关。

使用PCA方法来生成扩展的潜在测量和潜在患者状态可以包括生成PCA系数。为了生成逼真的训练患者状态，可以根据正态分布随机地绘制系数，例如以平均轨迹为中心(例如，在接收到的患者状态的4D数据集内)，其中，标准分布等于每个系数的动态范围的百分比(例如，10％)。接下来，执行PCA到DVF重建。可以利用随机生成的PCA系数(例如，表示运动患者的自由度的2至3个系数)重建完整DVF。通过使用完整DVF使参考体积扭曲来将DVF转换为原始患者状态体积。根据原始患者状态体积创建局部测量。对于基于CT的运动模型，利用例如Siddon-Jacobs算法根据原始患者状态体积来计算2D数字重建的射线照片。对于基于MRI的运动模型，对3D体积进行重新采样以提取2D MRI切片。将小的刚性变换应用于3D体积以进行数据增强，以解决患者位置分次间微小差异。

同时，原始患者状态体积输出和局部测量一起被用作训练样本，以被保存到字典中(例如，输入是测量并且输出是患者状态)。可以针对大量的训练样本例如1000个样本或优化数目的训练样本重复该工作流。

对于每种生成的潜在患者状态，模拟一个或更多个潜在患者测量。这些是可能潜在地导致了对应的状态的测量。例如，对于由3D MRI图像表示的状态，可以提取期望在治疗期间使用的来自特定取向和位置(例如，矢状)的2D切片。对于3D CBCT图像，针对特定的台架角度，可以例如通过使用Siddon-Jacobs算法通过3D图像进行射线跟踪并沿着射线谱线整合体素来模拟kV x射线投影。可以考虑更复杂的算法，例如利用蒙特卡洛算法来模拟逼真的2D kV x射线图像可能产生的结果，包括诸如散射或光束硬化的效果。可以对成像特性(例如，切片或台架角度)进行随机采样，或者均匀采样，或者将其固定为已知值。在一些示例中，可以利用单独的AI算法(例如，生成对抗网络(GAN)来根据患者状态估计测量，尤其是当无法根据状态轻松地计算出患者测量时(例如，根据3D密度患者状态信息的2D MR切片测量)。在一些示例中，可以通过对潜在测量或患者状态执行无监督的降维(例如，PCA、ICA或CCA)来进一步减少字典的维度。在其他示例中，可以使用demon算法(利用与参考图像的图像配准)或CNN来生成用于潜在测量的DVF。

图6示出了在估计患者状态时供使用的示例性回归模型机器学习引擎600。机器学习引擎600利用训练引擎602和估计引擎604。训练引擎602将历史交易信息606(例如，患者测量和对应的患者状态)输入到特征确定引擎608中。历史动作信息606可以被标记为指示测量与患者状态之间的对应关系。

特征确定引擎608根据该历史信息606确定一个或更多个特征610。一般来说，特征610是一组信息输入并且包括确定为可预测特定结果的信息。在示例中，可以由隐藏层确定特征610。机器学习算法612基于特征610和标记产生对应关系运动模型620。

在估计引擎604中，可以将当前动作信息614(例如，当前患者测量)输入到特征确定引擎616中。特征确定引擎616可以确定当前信息614的特征以估计对应的患者状态。在一些示例中，特征确定引擎616和608是相同的引擎。特征确定引擎616产生特征向量618，该特征向量618被输入到模型620中以生成一个或更多个标准权重622。训练引擎602可以以离线方式操作以训练模型620。然而，估计引擎604可以被设计为以在线方式操作。应当注意的是，可以经由附加训练或用户反馈(例如，附加的、更改的或删除的测量或患者状态)来周期性地更新模型620。

可以从许多不同的潜在的有监督或无监督的机器学习算法中选择机器学习算法612。有监督的学习算法的示例包括人工神经网络、贝叶斯网络、基于实例的学习、支持向量机、决策树(例如，迭代二分法3、C4.5、分类和回归树(CART)、卡方自动交互检测器(CHAID)等)、随机森林、线性分类器、二次分类器、k最近邻、线性回归、逻辑回归和隐马尔可夫模型。无监督的学习算法的示例包括期望最大化算法、矢量量化和信息瓶颈方法。无监督的模型可以没有训练引擎602。

在示例中，使用回归模型，并且模型620是与特征610、618的向量中的每个特征的学习的重要性相对应的系数的向量。在框624中示出了回归模型，示出了示例线性回归。使用如本文所述生成的字典来训练机器学习算法612。关于患者测量如何对应于患者状态来训练机器学习算法612。在示例中，机器学习算法612实现回归问题(例如，线性、多项式、回归树、核密度估计、支持向量回归、随机森林实现等)。所得的训练参数将患者状态生成器限定为用于所选机器学习算法的对应关系运动模型。

在常规的线性加速器的情况下，由于可以将X射线获取取向限制在相对于治疗束的正交角度，因此可以针对每个可能的台架角度(例如，以一个角度增量)单独执行这样的训练。在MR线性加速器的情况下，可以给予医师在2D获取平面上对位置或取向的控制。利用2D平面的不同选择重复对训练数据的交叉验证可以揭示针对给定的患者/肿瘤部位哪些2D平面提供最佳的替代信息。

在一些情况下，可以使用患者测量来更新模型620。在一些情况下，可以执行计算以确定患者测量是否与模型620一致，如果不一致，则暂停治疗(例如，针对KDE算法，对方差使用阈值，或者确定在测量的邻域的字典中是否存在足够的数据)。当暂停治疗时，可以生成新的模型620，或者如果测量(例如，运动)是像差，则可以重新使用旧的模型620。

在一些应用中，可能不需要整个实时患者图像，而仅其特征可能是有用的。例如，靶质心可以用于对多叶准直器(MLC)进行几何校正或者使束接通或关闭。在这种情况下，可以使用将参考图像中的靶的中心与当前靶连接的单个DVF向量，而不是每次都计算整个3DDVF并使整个参考图像变形，从而使实时处理更加高效。

在成功地训练了患者状态生成器并且将患者模型620与患者对准之后，打开治疗束并且以给定的频率获取瞬时局部测量。对于每个接收到的测量，该处理可以包括对接收到的测量的2D图像进行归一化以与训练图像的对比度进行匹配。患者状态生成器可以使用经归一化的测量来推断模型系数，并且可以使用该模型来重建DVF。可以使用经重建的DVF将参考体积和治疗信息扭曲为可以输出或保存的当前患者状态。

在一些情况下，在治疗期间，模型可能无法与患者很好地对准。如果患者在4D图像与治疗之间移动，如果使用来自前一天的模型或者如果使用来自其他患者的数据，则可能发生这种情况。然后可以通过在患者处于治疗位置的情况下通过与新的患者测量刚性配准来将患者模型(预治疗计算)与实际患者位置对准。在此期间，获取CBCT或MRI，以实现粗略的模型到患者的对准。在CBCT或MRI获取后，可以应用利用多个样本图像(例如，X射线或2DMRI切片)进行的患者模型的精确对准以解决床移位。

合成生成的训练测量与实际2D成像获取的对比度差异可能阻碍生成器推断3D患者状态的能力。可以使用某些强度归一化过程来校正该问题。例如，可以使用局部或全局线性归一化方法。其他示例可以包括使用生成对抗网络(GAN)来映射真实图像与合成图像的强度。

图7示出了用于估计患者状态的示例性操作的流程图700。流程图700包括可选操作702，该可选操作702用于例如使用处理器来接收包括一组患者测量和对应的患者状态的患者数据。对应的患者状态可以包括3D或4D患者图像，例如3D CT、3D CBCT、3D MRI、3DPET、3D超声、4D CT、4D CBCT、4D MRI、4D PET或4D超声图像。患者测量可以包括2D MRI切片、MRI k空间数据、1D MRI导航器、2D MRI投影、x射线2D投影数据、PET数据、2D超声切片等。在一些情况下，可以将检测器布置为例如利用立体kV成像从多个视野同时获得患者测量或者从多个并存的模态(例如，kV成像与表面相机结合)获得患者测量。在一个示例中，可以从单个患者生成患者数据。在另一示例中，患者数据可以包括来自多个患者的数据。

流程图700包括操作704，该操作704用于例如基于该组患者测量和对应的患者状态来识别运动中的患者的初步运动模型。在示例中，可以基于在放射疗法治疗之前获取的4D数据集来生成初步运动模型。可以根据在治疗期间获取的4D MR或4D CBCT生成初步运动模型。可以计算该4D图像的相位中的每一个与参考相位之间的DVF。可以对这些DVF执行PCA分析。初步运动模型可以是由2至3个标量进行参数化的3D DVF加上参考3D图像。可以根据通过其可以计算出DVF的2至3个标量生成在治疗期间可能出现的潜在3D图像。该DVF可以用于使参考3D图像变形以计算新的3D图像。

流程图700包括操作706，该操作706用于利用运动模型来生成扩展的潜在患者测量和对应的潜在患者状态的字典。扩展的潜在患者测量可以包括3D或4D患者图像的变形。在示例中，变形包括利用可变形配准算法计算出的变形矢量场(DVF)。在示例中，扩展的潜在患者测量包括2D投影图像。可以利用以下中的一种或更多种方法生成扩展的潜在患者测量：从3D图像提取2D切片，通过3D图像进行射线跟踪以生成2D投影图像，利用蒙特卡洛技术来模拟与3D图像的X射线交互作用，利用折叠锥卷积技术，利用叠加和卷积技术，利用生成对抗网络，利用卷积神经网络，利用递归神经网络等。字典可以包括通过随机采样2至3个标量、根据标量生成3D DVF以及使参考图像变形而在治疗期间可能出现的可能的3D图像，从而得出对应的潜在患者状态。

可以通过对2D输入图像计算2D DVF来生成扩展的潜在患者测量。在示例中，可以通过执行2D输入图像的PCA分析来计算2D DVF。在另一示例中，可以通过将2D输入图像与参考2D图像(例如，在放射疗法治疗开始时或在放射疗法治疗开始紧之前拍摄)配准并且利用可变形图像配准技术来计算2D DVF。2D输入图像和参考2D图像可以具有相同的对比度以允许配准。可变形图像配准技术可以是快速、高度可并行化的技术例如demon算法(例如，在具有实时性能的GPU上并行实现)。在又一示例中，可以使用CNN来生成2D DVF，以估计2D输入图像与2D参考图像之间的2D光流。CNN可以实时运行。

可以将对应的潜在患者状态与会产生对应的患者状态的患者测量相关联。例如，在特定位置或角度通过3D图像提取2D切片，或者通过图像提取2D投影。在示例中，原始2D图像可以不用作测量。相反，可以将2D图像与对应图像格式化的参考3D图像之间的2D DVF与对所得2D DVF进行PCA分析一起使用。例如，测量可以是处理版本的测量，而不是直接测量的患者数据。测量可以是2D DVF的PCA分量，其可以包括扩展的潜在患者测量。成对的扩展的潜在患者测量(2D DVF的PCA)和对应的患者状态(3D DVF的PCA)可以形成字典。

流程图700包括操作708，该操作708用于利用机器学习技术使用字典来训练将输入的患者测量与输出的患者状态相关联的对应关系运动模型。对应关系运动模型可以包括作为一个或更多个参数的函数的变形矢量场(DVF)。在示例中，可以通过减小4D图像的两个或更多个相位与参考相位之间计算出的初步DVF的维度来确定一个或更多个参数。例如，减小维度可以包括使用主分量分析(PCA)、独立分量分析(ICA)或规范相关分析(CCA)。在示例中，可以利用随机森林回归、线性回归、多项式回归、回归树、核密度估计、支持向量回归算法、CNN、RNN等来生成对应关系运动模型。机器学习算法可以用于关联字典中成对的词目。算法可以与测量输入一起使用以提供患者状态。测量输入可以包括2D图像与参考图像的2DDVF的PCA分量，并且患者状态可以包括3D DVF。

在示例中，先前的操作发生在预治疗期间，而随后的操作发生在治疗期间。流程图700包括操作710，该操作710用于利用对应关系运动模型来估计与患者的患者测量相对应的患者状态。可以保存或输出患者状态。例如，可以将患者状态输出以显示在显示装置的用户界面上。在示例中，估计患者状态可以包括接收患者测量作为对对应关系运动模型的输入，该输入包括2D图像的实时流。2D图像的实时流可以包括立体kV图像(例如，在常规线性加速器的情况下来自围绕患者旋转的kV成像器)或成对的2D MR切片图像(例如，来自MR线性加速器)。在示例中，立体kV图像可以包括同时或基本同时(例如，在几毫秒或几百毫秒内)获取的正交或基本正交(例如，在10度内)的两个x射线图像。可以将kV成像器固定在房间中，或者可以将kV成像器固定至台架(例如，包括线性加速器)。一对2D MR切片图像可以彼此正交或彼此平行。在另一示例中，可以使用两个kV成像器，例如，其中每个与治疗束成45度(并且彼此成90度)。在该示例中，可以同时使用两个kV成像器，或者可以以交替方式使用两个kV成像器。

在示例中，可以从kV成像器或两个kV成像器获取图像以及同时获取内部超声数据。超声数据可以用于通过具有例如更少的剂量或脉冲来降低kV剂量，或者用于具有更低的kV成像帧频。可以将这些辅助数据直接包括在测量中以计算患者状态，或者可以生成kV与辅助数据流之间单独的对应关系模型，并且该单独的模型可以用于将辅助数据与患者状态相关联。例如，可以建立将kV PCA分量与从辅助测量流中提取的参数相关联的相关模型并对其进行连续更新，并且在获取辅助流数据时，可以利用该相关模型来确定kV PCA分量。

在治疗期间，可以接收2D图像。可以计算输入的2D图像与参考2D图像之间的2DDVF。可以对DVF执行PCA分析。结果是如本文中使用的实时“测量”。经训练的机器学习算法可以以测量作为输入，并且根据输入的测量计算3D DVF的PCA分量。PCA分量用于生成3DDVF，该3D DVF用于利用3D DVF使3D参考图像变形，以形成表示当前时间的患者的当前实时3D患者图像。患者状态可以是3D图像本身、参考图像加上3D DVF等(在示例中，一个可以根据另一个来计算)。

在示例中，操作可以包括输出患者状态，例如输出显示组织对比度的两个或更多个MR状3D图像，输出非成像信息，输出CT状3D图像等。

图8示出了用于执行放射疗法技术的示例性操作的流程图。

流程图800包括操作802，该操作802用于(例如，如以上关于操作706所述)利用运动模型来生成扩展的潜在患者测量和对应的潜在患者状态的字典。可以通过对2D输入图像计算2D DVF来生成扩展的潜在患者测量。在示例中，可以通过执行2D输入图像的PCA分析来计算2D DVF。在另一示例中，可以通过将2D输入图像与参考2D图像(例如，在放射疗法治理开始时或在放射疗法治疗开始紧之前拍摄)配准并且利用可变形图像配准技术来计算2DDVF。2D输入图像和参考2D图像可以具有相同的对比度以允许配准。可变形图像配准技术可以是快速、高度可并行化的技术例如demon算法(例如，在具有实时性能的GPU上并行实现)。在又一示例中，可以使用CNN来生成2D DVF，以估计2D输入图像与2D参考图像之间的2D光流。CNN可以实时运行。

在示例中，可以根据4D图像生成扩展的潜在患者测量，该4D图像包括4D CT、4DCBCT、4D MRI、4D PET、4D超声图像等。在示例中，扩展的潜在患者测量包括2D投影图像并且通过利用以下中的至少一种来生成：从3D图像提取2D切片，通过3D图像进行射线跟踪以生成2D投影图像，利用蒙特卡洛技术来模拟与3D图像的x射线交互作用，利用折叠锥卷积技术，利用叠加和卷积技术，利用生成对抗网络、卷积神经网络、递归神经网络等。

流程图800包括操作804，该操作804用于(例如，如以上关于操作708所述)利用机器学习技术使用字典来训练将输入的患者测量与输出的患者状态相关联的对应关系运动模型。对应关系运动模型可以包括作为一个或更多个参数的函数的变形矢量场(DVF)，通过减小4D图像的两个或更多个相位与参考相位之间计算出的初步DVF的维度来确定一个或更多个参数。可以使用随机森林回归、线性回归、多项式回归、回归树、核密度估计、支持向量回归算法、卷积神经网络、递归神经网络等来生成对应关系运动模型。

流程图800包括操作806，该操作806用于从图像获取装置(例如，kV x射线、MR装置、CT装置或其他图像获取装置)接收2D图像的实时流。2D图像的实时流可以包括立体kV图像(例如，在常规线性加速器的情况下来自围绕患者旋转的kV成像器)或成对的2D MR切片图像(例如，来自MR线性加速器)。在另一示例中，2D图像的实时流可以包括k空间数据、低分辨率3D MR图像、1D导航器或其他MR信息。

在示例中，立体kV图像可以包括同时或基本同时(例如，在几毫秒或几百毫秒内)获取的正交或基本正交(例如，在10度内)的两个x射线图像。可以将kV成像器固定在房间中，或者可以将kV成像器固定至台架(例如，包括线性加速器)。一对2D MR切片图像可以彼此正交或彼此平行。

流程图800包括操作808，该操作808用于利用对应关系运动模型来估计与2D图像的实时流的图像相对应的患者状态。例如，可以将患者状态输出为图像(例如，3D MR或CT)，输出为非图像信息，或者输出为图像和非图像信息两者。患者状态可以包括描述患者剖析结构(例如，感兴趣的肿瘤或器官)的信息(例如，图像或文本)，或者患者状态可以用于(例如，在肿瘤的一部分上)建立靶(例如，放射疗法靶)。

流程图800包括用于利用患者状态定位患者体内的放射疗法靶的操作810。

流程图800包括用于利用患者状态实时跟踪患者的放射疗法靶的操作812。例如，可以使用来自2D图像的实时流的连续图像来输出对应的患者状态，其中靶被从一个患者状态跟踪到下一个患者状态。

流程图800包括操作814，该操作814用于使用治疗装置(例如，独立的治疗装置、耦接至图像获取装置的装置(例如，MR线性加速器)等)根据患者状态将放射疗法引导至靶。例如，可以在操作810中定位靶或者在操作812中跟踪靶，并且可以根据位置或跟踪来应用放射疗法。在示例中，可以例如利用存在于显示装置上的用户接口将位置或跟踪信息显示在显示装置上。

补充说明

以上的具体描述包括对附图的参照，这些附图形成具体描述的一部分。附图通过说明的方式而不是通过限制的方式示出了可以实践本发明的具体实施方式。这些实施方式在本文中也被称为“示例”。这样的示例可以包括除了示出的或描述的元素之外的元素。然而，发明人还预期了其中仅提供了示出的或描述的那些元素的示例。此外，发明人还预期了使用关于特定示例(或者特定示例的一个或更多个方面)或关于在本文中示出或描述的其他示例(或者其他示例的一个或更多个方面)示出的或描述的那些元素(或者那些元素的一个或更多个方面)的任何结合或置换的示例。

本文献中提及的所有出版物、专利和专利文献通过引用整体并入本文，如同通过引用单独地并入一样。如果在本文献与通过引用并入的那些文献之间存在不一致用法，则并入的(一个或更多个)参考文献中的用法应当被视为对本文献的用法的补充；对于矛盾的不一致之处，请以本文献中的用法为准。

在本文献中，在介绍本发明的各个方面或其实施方式中的元素时，如在专利文献中常见的那样，使用术语“一”、“一个”、“该”和“所述”以包括元素中的一个或多于一个或更多个，独立于“至少一个”或者“一个或更多个”的任何其他实例或用法。在本文献中，术语“或”被用于表示非排他性，或者，使得除非另有说明，否则“A或B”包括“A但不是B”、“B但不是A”以及“A和B”。

在所附权利要求中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等同物。此外，在所附权利要求中，术语“包括(comprising)”、“包括(including)”和“具有”旨在是开放性的，以意指除了所列出的元素之外可能还存在其他元素，使得在权利要求中的这样的术语(例如，包括(comprising)、包括(including)、具有)之后的仍被认为落入该权利要求的范围内。此外，在所附权利要求中，术语“第一”、“第二”和“第三”等仅被用作标记，并不旨在对其对象施加数值要求。

本发明还涉及一种被适配、被配置或被操作成用于执行本文中的操作的计算系统。该系统可以是针对所需目的而专门重建的，或者该系统可以包括由存储在计算机中的计算机程序(例如，指令、代码等)选择性地启动或重新配置的通用计算机。除非另有说明，否则本文中示出和描述的本发明的实施方式中的操作的实施或执行的顺序不一定。也就是说，除非另有说明，否则可以以任何顺序执行操作，并且本发明的实施方式可以包括与本文中公开的这些操作相比附加或更少的操作。例如，预期到，在另外的操作之前、与另外的操作同时或在另外的操作之后运行或执行特定操作在本发明的方面的范围内。

鉴于以上内容，将看到，实现了本发明的若干目的并且获得了其他有利的结果。已经详细地描述了本发明的方面，将明显的是，在不偏离如所附权利要求书中限定的本发明的方面的范围的情况下，修改和变化是可行的。由于在不偏离本发明的方面的范围的情况下可以在上述构造、产品和方法中进行各种改变，所以上述说明书中包含的以及附图中示出的所有内容旨在应被理解为说明性的而非限制意义。

上面的描述旨在是说明性的，而不是限制性的。例如，以上描述的示例(或示例的一个或更多个方面)可以彼此结合使用。另外，在不脱离本发明的范围的情况下，可以做出许多修改以使特定情况或材料适应本发明的教导。尽管本文中描述的材料的尺寸、类型和示例参数、功能以及实现方式旨在限定本发明的参数，但是它们绝不是限制性的实施方式，而是示例性的实施方式。在回顾以上描述之后，许多其他实施方式对本领域技术人员而言将是明显的。因此，应当参考所附权利要求以及这样的权利要求所赋予的等同内容的全部范围来确定本发明的范围。

此外，在以上的具体实施方式中，可以将各种特征组合在一起以简化本公开内容。这不应当被解释成意为：对于任何权利要求而言，未要求保护的公开特征均是必要的。而是，发明主题可能在于少于特定公开的实施方式的所有特征。因此，所附权利要求书在此并入具体实施方式中，其中每项权利要求自身作为独立的实施方式存在。应当参照所附权利要求以及这样的权利要求所赋予的等同内容的全部范围来确定本发明的范围。

这些非限制性示例中的每一个可以独立存在，或者可以与其他示例中的一个或更多个以各种排列或组合进行组合。

示例1是一种用于在放射疗法治疗期间估计实时患者状态的方法，该方法包括：使用处理器接收包括一组重建的患者测量的患者数据；基于该组重建的患者测量识别运动中的患者的初步运动模型；利用初步运动模型生成扩展的潜在患者测量和对应的潜在患者状态的字典；利用机器学习技术使用字典来训练将输入的患者测量与输出的患者状态相关联的对应关系运动模型；以及使用处理器利用对应关系运动模型来估计与患者的患者测量相对应的患者状态。

在示例2中，示例1的主题包括：其中，对应的患者状态包括3D患者图像。

在示例3中，示例2的主题包括：其中，对应的潜在患者状态包括3D患者图像的变形。

在示例4中，示例3的主题包括：其中，变形包括利用可变形配准算法计算的变形矢量场(DVF)。

在示例5中，示例1至4的主题包括：其中，患者测量包括2D MRI切片、MRI k空间数据、1D MRI导航器、2D MRI投影、x射线2D投影数据、PET数据或2D超声切片。

在示例6中，示例1至5的主题包括：其中，患者数据包括4D图像。

在示例7中，示例6的主题包括：其中，4D图像是4D CT、4D CBCT、4D MRI、4D PET或4D超声图像。

在示例8中，示例1至7的主题包括：其中，对应关系运动模型包括作为一个或更多个参数的函数的变形矢量场(DVF)，所述一个或更多个参数通过减小在4D图像的两个或更多个相位与参考相位之间计算的初步DVF的维度来确定。

在示例9中，示例1至8的主题包括：其中，扩展的潜在患者测量包括2D投影图像并且通过利用以下中的至少一种生成：从3D图像提取2D切片，通过3D图像进行射线跟踪以生成2D投影图像，利用蒙特卡洛技术来模拟与3D图像的x射线交互作用，利用折叠锥卷积技术，利用叠加和卷积技术，利用生成对抗网络、卷积神经网络或递归神经网络。

在示例10中，示例1至9的主题包括：其中，利用随机森林回归、线性回归、多项式回归、回归树、核密度估计、支持向量回归算法、卷积神经网络或递归神经网络来生成对应关系运动模型。

在示例11中，示例1至10的主题包括：其中，估计与患者测量相对应的患者状态包括接收患者测量作为对对应关系运动模型的输入，该输入包括2D图像的实时流。

在示例12中，示例11的主题包括：其中，2D图像的实时流包括立体kV图像或成对的2D MR切片图像。

在示例13中，示例1至12的主题包括：将患者状态输出为显示组织对比度的两个或更多个MR状3D图像。

在示例14中，示例1至13的主题包括：其中，患者状态包括非成像信息。

在示例15中，示例1至14的主题包括：基于在放射疗法治疗之前获取的4D数据集生成初步运动模型。

在示例16中，示例1至15的主题包括：通过对2D输入图像计算2D变形矢量场(DVF)来生成重建的患者测量。

在示例17中，示例1至16的主题包括：其中，生成重建的患者测量包括执行2D输入图像的主分量分析(PCA)的分析。

在示例18中，示例1至17的主题包括：其中，生成重建的患者测量包括将2D输入图像与参考2D图像配准并且利用可变形图像配准技术来计算2D DVF。

在示例19中，示例1至18的主题包括：其中，生成重建的患者测量包括利用卷积神经网络(CNN)来估计2D输入图像与2D参考图像之间的2D光流以计算2D DVF。

示例20是一种用于在放射疗法治疗期间估计患者状态的系统，该系统包括：耦接到存储器的处理器，该存储器包括指令，所述指令在由处理器执行时使处理器执行以下操作：接收包括一组重建的患者测量的患者数据；基于该组重建的患者测量识别运动中的患者的初步运动模型；利用初步运动模型生成扩展的潜在患者测量和对应的潜在患者状态的字典；利用机器学习技术使用字典来训练将输入的患者测量与输出的患者状态相关联的对应关系运动模型；以及利用对应关系运动模型来估计与患者的患者测量相对应的患者状态。

示例21是一种用于使用磁共振线性加速器(MR线性加速器)在放射疗法治疗期间估计实时患者状态的方法，该方法包括：利用初步运动模型生成扩展的潜在患者测量和对应的潜在患者状态的字典；利用机器学习技术使用字典来训练将输入的患者测量与输出的患者状态相关联的对应关系运动模型；从图像获取装置接收2D MR图像的实时流；使用处理器利用对应关系运动模型来估计与2D MR图像的实时流的图像相对应的患者状态；以及使用耦接至图像获取装置的治疗装置根据患者状态将放射疗法引导至靶。

在示例22中，示例21的主题包括：其中，扩展的潜在患者测量包括3D患者图像的变形，并且其中，变形包括利用可变形配准算法计算的变形矢量场(DVF)。

在示例23中，示例21至22的主题包括：其中，扩展的潜在患者测量根据4D图像生成，4D图像包括4D CT、4D CBCT、4D MRI、4D PET或4D超声图像。

在示例24中，示例21至23的主题包括：其中，对应关系运动模型包括作为一个或更多个参数的函数的变形矢量场(DVF)，所述一个或更多个参数通过减小在4D图像的两个或更多个相位与参考相位之间计算的初步DVF的维度来确定。

在示例25中，示例21至24的主题包括：其中，扩展的潜在患者测量包括2D投影图像并且通过利用以下中的至少一种生成：从3D图像提取2D切片，通过3D图像进行射线跟踪以生成2D投影图像，利用蒙特卡洛技术来模拟与3D图像的x射线交互作用，利用折叠锥卷积技术，利用叠加和卷积技术，利用生成对抗网络、卷积神经网络或递归神经网络。

在示例26中，示例21至25的主题包括：其中，利用随机森林回归、线性回归、多项式回归、回归树、核密度估计、支持向量回归算法、卷积神经网络或递归神经网络来生成对应关系运动模型。

在示例27中，示例21至26的主题包括：将患者状态输出为显示组织对比度的两个或更多个MR状3D图像。

在示例28中，示例21至27的主题包括：通过对2D输入图像计算2D变形矢量场(DVF)来生成扩展的潜在患者测量。

在示例29中，示例21至28的主题包括：其中，生成扩展的潜在患者测量包括执行2D输入图像的主分量分析(PCA)的分析。

在示例30中，示例21至29的主题包括：其中，生成扩展的潜在患者测量包括将2D输入图像与参考2D图像配准并且利用可变形图像配准技术来计算2D DVF。

在示例31中，示例21至30的主题包括：其中，生成扩展的潜在患者测量包括利用卷积神经网络(CNN)来估计2D输入图像与2D参考图像之间的2D光流以计算2D DVF。

示例32是一种用于生成实时靶定位数据的方法，该方法包括：利用初步运动模型生成扩展的潜在患者测量和对应的潜在患者状态的字典；利用机器学习技术使用字典来训练将输入的患者测量与输出的患者状态相关联的对应关系运动模型；从图像获取装置接收2D图像的实时流；使用处理器利用对应关系运动模型来估计与2D图像的实时流的图像相对应的患者状态；利用患者状态定位患者体内的放射疗法靶；以及将放射疗法靶的位置输出在显示装置上。

在示例33中，示例32的主题包括：其中，2D图像的实时流包括立体kV图像或成对的2D MR切片图像。

在示例34中，示例32至33的主题包括：其中，扩展的潜在患者测量包括3D患者图像的变形，并且其中，变形包括利用可变形配准算法计算的变形矢量场(DVF)。

在示例35中，示例32至34的主题包括：其中，扩展的潜在患者测量根据4D图像生成，4D图像包括4D CT、4D CBCT、4D MRI、4D PET或4D超声图像。

在示例36中，示例32至35的主题包括：其中，对应关系运动模型包括作为一个或更多个参数的函数的变形矢量场(DVF)，所述一个或更多个参数通过减小在4D图像的两个或更多个相位与参考相位之间计算的初步DVF的维度来确定。

在示例37中，示例32至36的主题包括：其中，扩展的潜在患者测量包括2D投影图像并且通过利用以下中的至少一种来生成：从3D图像提取2D切片，通过3D图像进行射线跟踪以生成2D投影图像，利用蒙特卡洛技术来模拟与3D图像的x射线交互作用，利用折叠锥卷积技术，利用叠加和卷积技术，利用生成对抗网络、卷积神经网络或递归神经网络。

在示例38中，示例32至37的主题包括：其中，利用随机森林回归、线性回归、多项式回归、回归树、核密度估计、支持向量回归算法、卷积神经网络或递归神经网络来生成对应关系运动模型。

在示例39中，示例32至38的主题包括：将患者状态输出为显示组织对比度的两个或更多个MR状3D图像。

在示例40中，示例32至39的主题包括：通过对2D输入图像计算2D变形矢量场(DVF)来生成扩展的潜在患者测量。

在示例41中，示例32至40的主题包括：其中，生成扩展的潜在患者测量包括执行2D输入图像的主分量分析(PCA)的分析。

在示例42中，示例32至41的主题包括：其中，其中，生成扩展的潜在患者测量包括将2D输入图像与参考2D图像配准并且利用可变形图像配准技术来计算2D DVF。

在示例43中，示例32至42的主题包括：其中，生成扩展的潜在患者测量包括利用卷积神经网络(CNN)来估计2D输入图像与2D参考图像之间的2D光流以计算2D DVF。

示例44是一种用于靶的实时跟踪的方法，该方法包括：利用初步运动模型生成扩展的潜在患者测量和对应的潜在患者状态的字典；利用机器学习技术使用字典来训练将输入的患者测量与输出的患者状态相关联的对应关系运动模型；从图像获取装置接收2D图像的实时流；使用处理器利用对应关系运动模型来估计与2D图像的实时流中的图像相对应的患者状态；利用患者状态实时跟踪患者的放射疗法靶；以及输出用于放射疗法靶的跟踪信息以显示在显示装置上。

在示例45中，示例44的主题包括：其中，2D图像的实时流包括立体kV图像或成对的2D MR切片图像。

在示例46中，示例44至45的主题包括：其中，扩展的潜在患者测量值包括3D患者图像的变形，并且其中，变形包括利用可变形配准算法计算的变形矢量场(DVF)。

在示例47中，示例44至46的主题包括：其中，扩展的潜在患者测量根据4D图像生成，4D图像包括4D CT、4D CBCT、4D MRI、4D PET或4D超声图像。

在示例48中，示例44至47的主题包括：其中，对应关系运动模型包括作为一个或更多个参数的函数的变形矢量场(DVF)，所述一个或更多个参数通过减小在4D图像的两个或更多个相位与参考相位之间计算的初步DVF的维度来确定。

在示例49中，示例44至48的主题包括：其中，扩展的潜在患者测量包括2D投影图像并且通过利用以下中的至少一种生成：从3D图像提取2D切片，通过3D图像进行射线跟踪以生成2D投影图像，利用蒙特卡洛技术来模拟与3D图像的x射线交互作用，利用折叠锥卷积技术，利用叠加和卷积技术，利用生成对抗网络、卷积神经网络或递归神经网络。

在示例50中，示例44至49的主题包括：其中，利用随机森林回归、线性回归、多项式回归、回归树、核密度估计、支持向量回归算法、卷积神经网络或递归神经网络来生成对应关系运动模型。

在示例51中，示例44至50的主题包括：将患者状态输出为显示组织对比度的两个或更多个MR状3D图像。

在示例52中，示例44至51的主题包括：通过对2D输入图像计算2D变形矢量场(DVF)来生成扩展的潜在患者测量。

在示例53中，示例44至52的主题包括：其中，生成扩展的潜在患者测量包括执行2D输入图像的主分量分析(PCA)的分析。

在示例54中，示例44至53的主题包括：其中，生成扩展的潜在患者测量包括将2D输入图像与参考2D图像配准并且利用可变形图像配准技术来计算2D DVF。

在示例55中，示例44至54的主题包括：其中，生成扩展的潜在患者测量包括利用卷积神经网络(CNN)来估计2D输入图像与2D参考图像之间的2D光流以计算2D DVF。

示例56是至少一个机器可读介质，所述至少一个机器可读介质包括指令，所述指令在由处理电路执行时使处理电路执行用于实现示例1至55中任一项的操作。

示例57是一种设备，该设备包括用于实现示例1至55中任一项的装置。

示例58是用于实现示例1至55中任一项的系统。

示例59是用于实现示例1至55中任一项的方法。

本文中描述的方法示例可以至少部分地是机器或计算机实现的。一些示例可以包括编码有指令的计算机可读介质或机器可读介质，所述指令能够操作成配置电子装置以执行如在以上示例中描述的方法。这些方法的实现方式可以包括代码例如微代码、汇编语言代码、更高级语言代码等。此类代码可以包括用于执行各种方法的计算机可读指令。代码可以形成计算机程序产品的部分。此外，在示例中，例如在执行期间或在其他时间，代码可以被有形地存储在一个或更多个易失性、非暂态或非易失性有形计算机可读介质上。这些有形计算机可读介质的示例可以包括但不限于硬盘、可移除磁盘、可移除光盘(例如，致密盘和数字视频磁盘)、磁带盒、存储卡或存储棒、随机存取存储器(RAM)、只读存储器(ROM)等。