根据医学数据对预测性数字孪生体模型的数据驱动的估计

摘要

使用患者、患者器官或患者器官系统的数字孪生体模型以用于临床决策支持，可以从该模型中导出生物标志物。个体化过程还包括预测性考虑（16），以改进数字孪生体导出的生物标志物的灵敏度和特异性。特别地，在训练期间，要针对其使用个体化模型的预测性生物标志物被考虑在内（16），然后在应用中计及该生物标志物。针对特定患者的模型的拟合（15）计及（16）预测或模型使用，从而导致估计出（14）针对最终用途更优化的生物标志物，而不是仅仅拟合到患者的当前基线。

说明书

相关申请

本专利文档要求于2018年8月22日提交的序列号为62/721,076的美国临时专利申请的35U.S.C.§119（e）下的申请日的权益，该美国临时专利申请在此通过引用而并入。

背景技术

本实施例涉及器官功能的特定于患者的计算模型，也叫做数字孪生体（twin）。数字孪生体模型被用来计算先进的多模态测试或得分，以用于临床决策支持，如非侵入性生理测量（例如，血流储备分数（FFR）、组织硬度或应力）、疾病进展和预后的标志物、或疗法后果（therapy outcome）预测。例如，已经开发了个体化（individualize）的心脏模型来计算用于经皮冠状动脉介入、心脏再同步化疗法后果预测或用于ICD植入的生物标志物。已经创建了肝、肺、其他器官或生理系统的数字孪生体。

估计特定于患者的计算模型相当于实行多模态数据同化（也称为反向建模（inverse modeling）），从而最终在模型与所测量的患者数据之间产生良好的拟合。例如，在心脏建模中，患者的医学图像、12导联ECG和压力数据被用来估计针对心脏形状和基质、心肌电导率、硬度和应力、和/或多尺度计算模型的其他参数的值。已经开发了基于深度学习或深度强化学习的人工智能方法，以用于增加来自有噪声的数据的模型参数的精度和鲁棒性。在模型个体化期间，仅基线处的临床数据已经被用来估计模型的参数。

这种个体化模型然后被用来实行“假设分析（what-if）”实验（例如，应用虚拟起搏）以及估计对心脏功能或其他生物标志物的影响。可以对所估计的参数的不确定性进行估计，以将拟合的计算模型与置信度得分相关联，并且指导模型预测的解释。将模型拟合到患者基线数据仅提供了当时的器官或器官系统的数字孪生体，但是可能不是稍后时间处（诸如，在由于疗法或疾病进展、由于建模假设、数据质量、完整性或其他限制因素所致的任何改变之后）的器官或器官系统的良好预测因子。特别地，假设该模型的预测能力唯一地存在于该模型的本构方程（其是根据实验来设计的或者从数据中学习到的）中。在模型个体化期间，任何预测性方面都被忽略，从而在预测来自特定于患者的模型的后果时产生次优结果。

发明内容

提供了计算机可读介质上的系统、方法和指令，以用于估计患者、患者器官或患者器官系统的个体化数字孪生体模型，从该模型中可以导出生物标志物以用于临床决策支持。个体化过程还包括预测性考虑，以改进数字孪生体导出的生物标志物的灵敏度和特异性。特别地，在训练期间，要针对其使用个体化模型的预测性生物标志物被考虑在内。针对特定患者的模型的拟合计及了预测或模型使用，从而导致估计出针对最终用途更优化的生物标志物，而不是仅仅拟合到患者的当前基线。

在第一方面，提供了一种用于在医学系统中进行数字孪生体建模的方法。获取来自患者的测量结果。通过测量结果的输入，根据针对患者而被个体化的器官功能模型来确定生物标志物（诸如，临床后果）的估计。器官功能模型是基于针对临床后果的优化而构建的。显示临床后果的估计的图像。可以导出用以支持临床决策支持的一个或若干个定量或定性的生物标志物。

在一个实施例中，针对患者获取医学图像数据和非医学图像数据。

针对基于生物标志物的个体化的一个实施例确定器官功能模型的参数值。利用参数值、使用器官功能模型来确定该估计。器官功能模型基于针对生物标志物的优化，该优化通过在训练阶段期间、基于临床后果预测准确度从多个模型的集合（例如，整个或子组件模型）中选择器官功能模型（例如，选择所有模型或该模型的子组件）来进行。替代地，器官功能模型基于针对生物标志物的优化，该优化通过将测量结果与参数值进行相关的机器学习模型来进行。机器学习模型是利用损失函数来训练的，该损失函数包括针对训练量度与模型输出的差异的第一项、以及针对从训练生物标志物到模型生物标志物的差异的第二项。以这种方式，临床数据与模型参数之间的映射将要预测的生物标志物考虑在内，因此将潜在参数值的流形（manifold）减小到与用户相关的空间。可以使用各种机器学习模型，诸如神经网络，例如编码器、解码器、以及接收编码器与解码器之间的瓶颈特征值的估计网络。

针对基于生物标志物的个体化的另一个实施例根据去往机器学习模型的测量结果的输入来确定生物标志物（例如，临床后果）的估计，机器学习模型输出该估计。机器学习模型是基于针对生物标志物的优化来训练的。例如，机器学习模型是利用损失函数来训练的，该损失函数具有针对机器学习模型的模型输出与本构模型之间的距离的第一项、以及针对生物标志物之间的距离的第二项。作为另一个示例，机器学习模型被训练为正向（forward）模型。可能已经基于来自生成性计算模型的输出对该正向模型进行了预训练。

在第二方面，提供了一种用于进行数字孪生体建模的医学系统。医学成像器被配置成扫描患者。图像处理器被配置成利用患者的生理系统的数字孪生体模型来预测生物标志物。基于生物标志物预测和来自扫描和/或其他数据源的数据来针对患者对数字孪生体模型进行个体化。显示器被配置成显示临床后果。

在一个实施例中，通过在训练期间从一组模型中进行选择、基于生物标志物预测来对数字孪生体模型进行个体化，其中该选择基于使用扫描数据和生物标志物的多个样本进行的比较。在另一个实施例中，在具有或不具有其他临床数据的情况下，响应于来自扫描的数据的输入，通过由机器学习模型输出数字孪生体模型的参数值、基于生物标志物预测来对数字孪生体模型进行个体化。机器学习模型是使用损失函数来训练的，该损失函数包括所预测的生物标志物中的距离。在又一个实施例中，数字孪生体模型直接返回新的生物标志物，该数字孪生体模型是使用扫描数据和后果的样本来训练的机器学习模型。例如，机器学习模型是利用损失函数来训练的，该损失函数具有基于距本构模型的距离的第一项、以及基于所预测的生物标志物中的距离的第二项。作为另一个示例，根据样本和疗法参数将机器学习模型训练为正向模型。

在第三方面，提供了一种用于在医学系统中对患者进行器官建模的方法。根据患者的测量结果对患者的器官进行建模。在对患者的器官进行建模时计及对疗法的响应、疾病进展和/或预后。使用该建模来生成患者后果的估计。

在一个实施例中，为了计及该响应，从多个模型中选择第一模型。该选择基于在这些模型使用测试数据来预测对疗法的响应、疾病进展和/或预后时的准确度的比较。在另一个实施例中，为了计及该响应，由机器学习模型来估计在建模时使用的模型的参数值。机器学习模型是利用损失函数来训练的，该损失函数包括针对对疗法的响应、疾病进展和/或预后的损失项。在又一个实施例中，为了计及该响应，利用机器学习模型来生成该估计。机器学习模型是利用包括患者后果的训练数据来训练的。

上面描述的任何一个或多个方面或概念可以单独或组合地使用。针对一个实施例所描述的方面或概念可以用于其他实施例或方面中。针对方法或系统所描述的方面或概念可以用于其他的系统、方法或非暂时性计算机可读存储介质中。

从要结合附图来阅读的优选实施例的以下详细描述中，这些和其他的方面、特征和优点将变得明显。本发明由以下权利要求限定，并且本部分中的任何内容都不应当被视为对这些权利要求的限制。下面结合优选实施例讨论了本发明的进一步的方面和优点，并且可以在稍后独立地或组合地要求保护这些方面和优点。

附图说明

组件和附图不一定按比例绘制，取而代之将重点置于说明实施例的原理。此外，在附图中，相同的附图标记遍及不同的视图标明对应的部分。

图1是用于基于临床后果来对数字孪生体模型进行个体化的方法的一个实施例的流程图；

图2图示了使用后果来进行特定于患者的建模的数据的进展；

图3示出了用于估计个体化的模型的参数值的示例网络；

图4示出了用于估计个体化的模型的参数值的另一个示例网络；以及

图5是用于使用后果、利用特定于患者的拟合来进行器官建模的医学系统的一个实施例的框图。

具体实施方式

患者的器官、器官系统或身体的数字孪生体准备提供新的临床生物标志物来支持临床决策。生物标志物是某种疾病状态的存在或严重性的非测量指标，诸如特定疾病状态或某种其他生理状态的指标。生物标志物可以是临床后果，其示例在本文中被使用。生物标志物可以是风险得分、疾病进展水平或状态、或操作的估计（例如，血流储备分数）。用于非侵入性地估计生理参数、实行“假设分析”场景、以及计算生物标志物的新值的能力将是下一代临床决策支持系统的一部分。

现有数字孪生体方法的主要限制是：假设该系统的预测能力唯一地存在于描述数字孪生体模型的本构方程中，即，存在于其复制生物生理现象的能力中。要预测的临床生物标志物（如针对新的风险得分或疗法后果）尚未明确地用于构建这些模型。临床后果（例如，疾病进展或疗法后果）、风险得分（例如，发展成疾病或无响应的风险）或非侵入性生理参数（例如，组织硬度或流动压力）没有在创建个体化模型时被使用。在模型设计期间，任何预测性方面都被忽略，而仅基线处的临床数据被用来估计模型的参数，从而产生次优结果。

使用数据驱动的技术根据医学数据来估计预测性数字孪生体模型，该技术在建模过程期间考虑了感兴趣的临床生物标志物。通过将计算建模和人工智能（神经网络）进行组合，提供了器官和器官系统的生成性和预测性计算模型，这些模型通过将后果数据考虑在内来优化其准确度和预测能力。包含基线数据和感兴趣的临床生物标志物（例如，后果数据）的训练数据集被用来优化数字孪生体估计过程。在一个方法中，选择和/或调整来自可用模型集合当中的最佳模型，使得基线和临床生物标志物在训练集合中被最佳地捕获。针对应用，使用所选的模型。在另一个方法中，提供了（1）基线和临床生物标志物与（2）数字孪生体模型参数之间的映射，使得基线处和临床生物标志物的模型拟合优度是最优的。对反问题（inverse problem）进行学习，使得所估计的参数位于最佳地预测出感兴趣的临床生物标志物的流形中。在又一个方法中，直接从基线和要预测的临床生物标志物中学习新的计算模型，使得基线处和临床生物标志物的模型拟合优度是最优的。在进一步的方法中，输入数据被压缩和/或集成到特定于任务的指纹中，该指纹概括了该输入数据，同时展现出后果预测能力。

数字孪生体模型是器官、器官系统、人类身体、或患者的另一个生理系统的模型。数字孪生体模型是被个人化的计算模型，使得其像虚拟孪生体系统一样捕获患者的生理学（physiology）。该模型可以是多尺度的、多物理的、或者是从大型数据库中学习的，从而反映生理系统的各种特性，诸如弹性、热传导、电学、结构和/或操作。替代地，该模型表示一个特性。

数字孪生体模型在针对来自患者的测量结果进行个人化之后被用来预测临床后果，计算新的生物标志物以支持临床决策。该模型可以提供所建模的系统的性能的测量结果，诸如血流储备分数。该性能可以被用来指示后果，诸如将血流储备分数映射成被应用于患者的系统的疗法是否成功。可以导出针对疾病进展和/或疾病或事件风险的临床生物标志物的新值（例如，在给定数量的年之后的存活或复发）。

在下面的示例中，在不损失一般性的情况下使用了心脏用例。其他系统也将起作用，如例如肝、肺、肌肉骨骼、癌症等。对于心脏用例，数字孪生体模型表示心脏或心脏系统的其他部分的一个或多个特性。例如，虚拟心脏模型被用来计算心律失常的生物标志物（诸如，后果）。作为另一个示例，使用用于预测血流储备分数的心脏虚拟血管造影模型。在其他实施例中，该建模是其他器官的建模，诸如肝或肺的虚拟模型。对任何生理系统的建模进行优化，以针对特定患者在灵敏度、特异性或其他相关度量方面提供最佳的临床生物标志物。在下面的示例中，临床后果被用作生物标志物，但是也可以使用其他生物标志物。

图1是用于医学系统中的个体化数字孪生体建模的方法的一个实施例的流程图。该模型包括作为临床生物标志物考虑的后果。换句话说，该数字孪生体建模中计及了个人化模型对预测性临床生物标志物（诸如，后果）准确地进行建模的能力。

针对给定患者的建模（即，在应用期间）包括：通过在训练期间使用针对其他患者的生物标志物进行的生物标志物考虑。该训练计及了生物标志物，以提供能够更好地预测生物标志物的模型和/或拟合。该模型或拟合被应用于给定患者，因此计及了患者内的生物标志物的未知值。

以所示的次序（例如，从上到下或按数字）来实行图1的方法，但是也可以使用其他次序。例如，动作15和16被同时地实行，或者作为将该模型拟合到患者的数据的一部分。

可以提供附加的、不同的或更少的动作。例如，不实行动作10或11之一。作为另一个示例，实行用于拟合的动作。

该方法由一个或若干个医学扫描仪、一个或若干个非成像扫描仪（例如，实验室诊断、ECG、可佩戴设备等）、工作站、服务器（预置的或在云中的）或计算机来实行。扫描仪或存储器被用来获取患者的数据。图像处理器（诸如，扫描仪的图像处理器或分离的计算机（预置的或在云中的））使用数字孪生体模型来确定感兴趣的临床生物标志物的估计。图像处理器使用显示屏或打印机。医师可以使用输出信息来针对患者做出临床决策（例如，治疗/不治疗、实行这种或那种干预等）。

在一个实施例中，健康患者佩戴可佩戴传感器，诸如脉搏和压力传感器。建模可以基于该基线传感器数据，以用于向患者提供所估计的生物标志物。在替代的实施例中，针对非健康患者实行建模，以向患者和/或医师提供所预测的生物标志物。

在动作10中，图像处理器获取患者的一个或多个医学扫描。来自患者的扫描的扫描数据是从医学扫描仪获取的，该医学扫描仪诸如计算机断层摄影（CT）扫描仪。计算机断层摄影扫描仪使用安装到患者相对侧上的台架的检测器和x射线源、利用x射线对患者进行扫描。代替于CT扫描仪或除CT扫描仪之外，还可以使用磁共振（MR）、正电子发射断层摄影、单光子发射计算机断层摄影和/或超声波扫描仪。在替代的实施例中，从存储器中获取或者通过计算机网络传输来自患者的先前扫描的扫描数据。

输入是一个或若干个医学图像，诸如扫描数据。扫描数据表示患者的面积或体积。例如，扫描数据表示患者的体积中的位置或体素的三维分布。位置的分布可以在笛卡尔坐标系或均匀网格中。替代地，使用非均匀网格、极坐标系或圆柱坐标系、或任何其他坐标系。为了表示体积，针对表示该体积的每个体素来提供基于标量或矢量的值。

可以在将扫描数据用于将该模型拟合到患者之前对扫描数据进行预处理。预处理可以包括分割、过滤、归一化、缩放、或另一种图像处理。例如，包括带有或不带有非肿瘤组织的肿瘤的一个或多个肿瘤体积（例如，总肿瘤体积）或区域被分割。该分割可以通过手动描轮廓（delineation）来进行或者由图像处理器自动进行。要输入的扫描数据仅表示所分割的区域，或者针对所分割的区域和整个扫描体积提供分离的输入。经过或未经过预处理的扫描数据（例如，图像数据）被用来估计数字孪生体模型，从该数字孪生体模型中，导出临床生物标志物（例如，以便预测后果）。

代替于扫描数据或除扫描数据之外，还可以输入非图像数据。在动作11中，图像处理器获取非图像数据。非图像数据来自传感器、计算机化的患者医学记录、手动输入、病理学数据库、实验室数据库、可佩戴设备和/或其他来源。非图像数据表示患者的一个或多个属性，诸如家族史、服用的药物、温度、体重指数、压力、脉搏和/或其他信息。例如，从存储器、变换、数据挖掘和/或手动输入中获取患者的基因组、临床、测量、分子和/或家族史数据。在另一个示例中，获取所提议的疗法设置，诸如包括疗法事件序列的疗法过程、用于每个事件的功率（power）、每个事件的持续时间、要使用的设备、植入过程、植入位置和/或应用区域。

在心脏系统或心脏建模中，非图像数据可以包括心脏心电图（ECG）数据、血压、来自实验室测试的血液特性、可佩戴设备信号、家族史、遗传信息和/或其他信息。图像数据可以是超声波、x射线、MR、CT、和/或表示心脏或血管中的组织、血液、造影剂和/或功能的空间分布的其他扫描数据。

在动作14中，图像处理器使用数字孪生体（例如，器官功能模型）来确定感兴趣的临床生物标志物（诸如，临床后果）的估计。例如，如拟合到患者的多尺度模型（诸如，心脏模型，包括解剖学、血流动力学、生物力学和电生理学）被用来估计临床生物标志物（诸如，后果）以用于决策支持。

图2示出了在用以确定临床生物标志物的数字孪生体建模中所使用的信息的模型。针对给定患者的测量结果Z 20被用来对模型M 21进行拟合。该拟合求解出模型M 21的一个或多个参数θ的值，使得输出值Y 22与测量结果Z 20相匹配。一旦针对患者进行了个人化，模型21以及参数θ的对应值就被用来计算新的临床生物标志物，例如通过确定所建模的器官或另一个生理系统在改变之后的运行。模型M 21的一个或多个特性被更改以反映该改变，诸如更改模型参数θ的一个或多个值。模型M 21直接估计后果O 24（例如，输出Y 22表示后果O 24）。替代地，模型21针对由于该改变所致的器官操作而输出一个或多个值Y 22，这些输出然后被用来确定后果24。替代地，参数θ本身可以被认为是临床生物标志物。

图像处理器针对患者生成临床生物标志物，诸如对来自疗法的后果或疾病进展的预测。例如，预测复发的风险或对设备疗法的响应。在其他实施例中，该模型被用来估计疾病的预后或其他未来操作或事件作为临床后果。

在心脏电生理学的示例中，该模型输出除了其他参数之外的QRS持续时间、QT持续时间和电轴（electrical axis）。通过更改该模型的参数（诸如，局部传导速度）或通过添加虚拟刺激，可以估计疗法的效果。由更改所导致的QRS持续时间、QT持续时间和电轴指示了来自该疗法的后果。可以从该模型在更改之后的输出中导出其他后果（诸如，不规则心跳的二元停止（binary ceasing））或风险得分（诸如，对治疗的长期响应的概率）。

可以使用任何不同类型的模型。例如，使用计算模型或者由方程或关系所表示的模型。可以使用本构模型。可以使用机器学习模型。例如，在给定测量结果作为输入的情况下，训练神经网络以生成模型输出。

该模型可以包括任何数量的尺度或细节。例如，可以使用基础本构定律的任何水平的细节，例如使用或多或少的复杂细胞模型。可以使用解剖学模型的任何水平的细节，例如添加或移除正在愈合的组织和/或详细传导路径。可以使用不同的本构定律，使得不同的函数以不同方式或在不同程度上捕获基线和后果。例如，可以使用不同的心脏电生理学方程，该方程要么是从湿实验室实验中导出的、要么是从数据中直接学习到的。

为了估计针对给定患者的临床生物标志物，在动作15中，图像处理器将该模型拟合到患者。对器官或另一个生理系统的数字孪生体模型被创建。针对患者的测量结果（诸如，图像和非图像数据）被用来求解出该模型的参数值。找到该模型的如下参数值：该参数值导致了与测量结果或从测量结果中导出的值最紧密地匹配的模型输出。该个人化模型然后被用来生成临床生物标志物的估计，例如与患者生理学有关的参数（例如，压力）或与特定于该患者的疗法后果相关联的风险得分。

对患者的器官或其他系统进行建模。根据患者的测量结果，针对患者对该模型进行个体化或个人化。设

传统上，模型个体化估计

在动作16中，图像处理器对动作15中的建模进行个体化，以在对患者的器官进行建模时计及对疗法的响应、疾病进展和/或预后。在测试时，即对于对新患者的应用而言，临床生物标志物（诸如，后果）是未知的，所以不能够用于对该模型进行拟合。当创建该模型、或估计参数与测量结果之间的映射时、或在训练时通过学习该模型来使用来自其他患者的已知生物标志物信息。该训练计及了后果，使得所得的模型信息计及了测试时的生物标志物。

例如，对器官功能的多尺度模型进行优化以在个人化之后更好地捕获临床生物标志物（诸如，后果）。在建模中，使用该个人化模型要用于针对其来进行预测的时间或改变之后的后果。该后果可以是在更改该模型之后的该模型的输出，或者是从该模型的输出中确定的估计。以如下方式来对该模型进行个人化：该方式计及了拟合模型在改变或更改之后预测后果方面的性能。以计及了临床后果的方式来确定器官功能的多尺度模型的参数值，并且动作14中的估计使用器官功能的如下多尺度模型：该多尺度模型具有使用后果来确定的参数值。

设

可以以各种方式在该模型的个体化和/或该模型本身中计及临床生物标志物（诸如，后果）。在计及临床生物标志物或该模型的其他预测能力的第一方式中，使用模型选择。器官功能模型（例如，多尺度模型）基于针对临床后果的优化，该优化通过从多个模型的集合中选择器官功能模型来进行。该选择基于训练集合中的临床后果预测准确度。

任何数量的模型可以是可用的。一旦拟合到患者，就可以针对预测后果的能力来测试不同的模型。还可以利用附加特征来扩展模型，以改进预测准确度。基于在多个模型使用测试数据来预测对疗法的响应、疾病进展、预后、和/或另一个临床后果时的准确度的比较，从该多个模型中选择一个模型。所选模型是针对预测或后果而优化的模型，并且被用来拟合到患者以用于确定临床后果的估计。在这种方法中，模型

为了在后果示例中进行选择，提供了包括针对一个或多个改变的后果以及测量结果的一个或多个样本。不同的模型被用来对每个样本进行建模并且预测后果。将所预测或估计的后果与所提供的后果进行比较。可以以各种方式来测量准确度，诸如跨样本的平均差异或差异的加权总和。

在一个实施例中，从一个起始模型来形成不同的模型。在给定包括基线（例如，测量结果）和后果数据的完整数据集的情况下，逐步地适配该模型，以使得整个流水线“

对该模型的不同更改可以被用来找到导致最佳性能的模型。模式适配包括但不限于：（1）基础本构定律的细节水平中的改变，例如使用或多或少的复杂细胞模型；（2）改变解剖学模型的细节水平，例如添加或移除正在愈合的组织或详细传导路径；（3）适配本构定律，以使得它们更好地捕获基线和后果，如例如修改心脏电生理学方程以更好地考虑非自然起搏的影响；和/或（4）在拟合之前对该模型的另一次修改。模型选择是在训练和验证数据集上完成的。对模型性能的最终评估可以在独立的测试数据集上实现。

在其他实施例中，在数据库中提供不同的模型。如拟合到每个样本的模型的预测准确度被部分地用来选择将用于患者或应用的模型。通过使用该所选模型，动作14中的估计和动作15中的建模计及了动作16中的后果。

在计及临床生物标志物、后果、或该模型的其他预测能力的第二方式中，机器学习模型被用来生成数字孪生体模型的参数值。机器学习模型实行拟合。器官功能模型基于针对临床后果的优化，该优化通过将患者的测量结果与模型的参数值进行相关的机器学习模型来进行。机器学习模型提供了计及感兴趣的临床生物标志物的值。例如，机器学习模型是利用损失函数来训练的，该损失函数包括针对训练量度与模型输出的差异的第一项、以及针对从训练后果到基于模型的后果的差异的第二项。

针对后果预测提供了多任务反向建模。参数的流形可以产生类似的观察结果（例如，射血分数、每搏输出量（stroke volume））。那么问题是：哪个参数集合既提供了基线处的保真度又提供了预测准确度。机器学习可以被用来在学习过程期间学习具有集成后果数据的反向映射函数。该机器学习包括：用于估计该模型的参数值的一个任务（即，个人化）和针对由于改变所致的在预测后果方面的准确度的另一个任务。这些任务被反映在机器学习的损失函数中。

目标是找到模型参数

可以使用各种方法来估计函数

损失函数是

在该第一实施例中，输入参数Z

图4示出了用以近似出函数

编码器42和解码器48被训练成用于一个任务，诸如以生成表示输入数据20或输入数据20中所示信息的输出49。估计网络46被训练成用于另一个任务，诸如以从瓶颈44处的特征值来生成器官模型的参数值。与直接使用离散值相比，图4的实施例利用了其他图像和/或信号特征来估计模型参数。多任务架构还确保了该网络通过使用具有多个项的损失函数来学习与模型预测相关的编码，该多个项包括计及了后果预测的项。

其他网络架构可以被用来将机器学习模型训练成：生成用于对数字孪生体模型进行个人化的参数的值，同时计及最优后果预测。通过使用针对后果的损失或任务，机器学习模型被训练成输出如下值：该值导致了比在仅使用基于基线的损失（即，不计及后果）的情况下更准确的后果预测。

为了训练机器学习网络，定义了机器学习网络布置。该定义是通过对学习的配置或编程而进行的。层或单元的数量、学习的类型、层的次序、连接、以及网络的其他特性由程序员或用户控制。在其他实施例中，该架构的一个或多个方面（例如，节点的数量、层或单元的数量、或连接）由机器在学习期间来定义和选择。

机器（例如，处理器、计算机、工作站或服务器）对所定义的网络（例如，所定义的多任务生成器）进行机器训练。该网络被训练成生成一个或多个任务（诸如，多个任务）的输出。生成器和任何判别器是通过机器学习来训练的。基于该架构，生成器被训练成生成输出。

训练数据包括：输入数据20（例如，图像和/或非图像数据）和基本事实（例如，该模型的参数值、后果、和/或其他任务的数据）的许多样本（例如，数百或数千个）。该网络被训练成基于输入样本的所指派的基本事实来进行输出。

为了训练这些网络中的任一个，可以使用各种优化器，诸如Adadelta、SGD、RMSprop或Adam。网络的权重是随机初始化的，但是可以使用另一种初始化。实行端到端训练，但是可以设置一个或多个特征。针对一个任务的网络最初可以被单独地训练，并且然后用于进一步训练该针对一个任务的网络和针对另一个任务的另外的网络。可以针对每个任务提供分离的损失。可以使用联合训练。可以实行任何多任务训练。不使用批标准化、丢弃和/或数据扩充，但是可以使用它们（例如，使用批标准化和丢弃）。在优化期间，不同的区分特征被学习。提供了后果的指示以及提供了用以对该模型进行个人化的参数的值的指示的特征被学习。

优化器使误差、差异或损失（诸如，均方误差（MSE）、胡贝尔（Huber）损失、L1损失或L2损失）最小化。可以针对每个任务使用相同或不同的损失。在一个实施例中，机器训练使用来自不同任务的损失的组合。

一旦被训练，机器学习模型就响应于测量结果（例如，患者的图像和/或非图像数据）的输入来输出模型参数（即，

在计及临床后果或该模型的其他预测性生物标志物的第三方式中，机器学习模型被用作数字孪生体（例如，器官的多尺度模型）。机器学习模型实现了数字孪生体的正向建模。为了在计及后果的同时进行个人化，使用后果来训练机器学习模型。该机器学习模型被训练成：根据测量结果的输入来确定临床后果的估计或模型输出。机器学习模型是先前基于针对临床后果的优化而训练的。机器学习模型是一种数据驱动的计算模型，该模型有利于后果预测准确度。机器学习模型被直接训练为预测性正向模型

可以使用各种方法来直接学习在临床生物标志物方面尽可能准确的正向模型。在一种方法中，使用数据驱动的本构建模。机器学习模型是利用损失函数来训练的，该损失函数具有针对本构模型与机器学习模型的模型输出之间的距离的第一项、以及针对后果之间的距离的第二项。与感兴趣的生理系统相关联的本构模型（例如，动作电位模型或兴奋-收缩模型）可以被注入到数字孪生体计算框架（例如，有限元或格子玻尔兹曼解算器）中，以用于通过机器训练进行多尺度集成。若干个本构模型可以产生相同的可观察的器官功能，但是针对特定的临床问题，一些模型可以提供比其他模型更准确的预测。后果数据被用来训练对于感兴趣的预测任务而言最优的本构模型。

在训练中，使用被验证且接受的本构模型

通过将预测任务添加到损失函数来学习模型

在另一个方法中，直接学习正向模型。可以学习完整的正向模型

训练这种神经网络的一个挑战是需要包括疾病和/或疗法可变性的大量数据。为了应对该挑战，器官功能的生成性计算模型可以被用来对各种疾病和/或疗法场景进行仿真，并且因此生成数百万个合成数据作为训练数据。该合成数据被用来对该网络进行预训练。经预训练的机器学习模型然后在来自实际患者的样本或训练数据上被进一步训练。为了使该方法的功效最大化，可以在如下网络上进行预训练：该网络是遵循模型选择或模型参数估计方法针对预测任务而首先被优化的。

在使用如所训练的任一个正向模型的一个示例中，对于心脏再同步疗法而言，具有后果的注释数据的大型数据库被用来训练机器学习模型，该机器学习模型在给定基线成像参数（例如，来自MR或超声波，如血流动力学参数、疤痕负担、ECG等）和疗法选项（例如，设备参数和/或导联位置（lead position））的情况下预测感兴趣的后果度量（例如，急性QRS缩短或最大dp/dt、长期血流动力学改变，如收缩末期容积或射血分数中的改变等）。该方法可以应用于其他应用，例如心脏猝死、斑块破裂、中风等的风险。

在动作18中，图像处理器使得显示生物标志物的估计的图像，诸如临床后果或从其中导出的值。该估计可以是来自该模型的输出，诸如改变之后的QRS持续时间、QT持续时间和/或电轴。可以从该模型的输出中导出该估计，诸如从肿瘤大小、壁厚或弹性的输出中导出的存活、事件风险和/或疾病风险。

在一个实施例中，后果是疗法失败或成功的可能性。成功可以基于肿瘤在大小上没有增加或者肿瘤已经消失。成功可以是疗法之后的给定时间处的量度。后果可能是针对复发。可以使用在给定所建模的器官中的改变的情况下疗法或临床后果的任何量度。

通过预测后果或其他生物标志物，医师可以确定给定的疗法是否可以适合于给定的患者、是否需要治疗、和/或在为患者做出决策时使用疾病进展或是预后信息。该预测可以针对多于一种类型的疗法的后果，使得医师可以选择更有可能成功的疗法。

在一个实施例中，后果被预测为存活。该预测可能具有连续变量（诸如，作为时间函数的存活概率），而不是二元预测。存活可以是事件发生时间（例如，28个月）。该事件发生时间可以是治疗与复发之间的时间、和/或直到死亡的时间。

在其他实施例中，输出疾病进展、阶段、操作的估计或其他生物标志物。该图像包括从该建模中预测的一个或多个生物标志物的信息。

该图像包括指示所估计的临床后果的字母数字文本或曲线图。可以包括其他信息，诸如医学图像（例如，CT、MR或超声波）。所估计的临床后果可以是在医学成像中表示解剖结构和/或功能的空间分布的图像上的注释。所估计的临床后果可以代替地在图表中示出作为医学记录的一部分，或者在放射学或其他报告中示出。

图5示出了用于个体化的数字孪生体建模的医学成像系统。对生理系统（例如，器官或器官系统）进行建模。将该模型拟合到患者。该拟合包括考虑或计及响应于该模型中的改变来预测一个或多个生物标志物的能力，诸如用以对疗法、疾病进展和/或时间流逝进行仿真。该系统实现了图1的方法或不同的方法。

该医学成像系统包括显示器50、存储器54和图像处理器52。显示器50、图像处理器52和存储器54可以是医学成像器56、计算机、服务器、工作站、或用于对来自患者扫描的医学图像进行图像处理的其他系统的一部分。例如，建模和/或预测由服务器或其他基于云的计算机来实行。没有医学成像器56的工作站或计算机可以被用作医学成像系统。

可以提供附加的、不同的或更少的组件。例如，包括计算机网络，以用于基于本地捕获的扫描数据进行远程预测。作为另一个示例，提供了用户输入设备（例如，键盘、按钮、滑块、拨盘、轨迹球、鼠标或其他设备）以用于用户交互。在又一个示例中，提供了远程数据库，诸如用于存储实验室结果、计算机化的患者医学记录或其他图像或非图像数据。在其他示例中，提供了测量设备，诸如压力监测器、ECG、脉搏监测器和/或氧含量监测器。

医学成像器56是计算机断层摄影、磁共振、超声波、x射线、荧光透视、血管造影、正电子发射断层摄影、单光子发射计算机断层摄影扫描仪、和/或另一种模态扫描仪。例如，医学成像器56是计算机断层摄影系统，其具有连接到病床相对侧上的可移动台架的检测器和x射线源。

医学成像器56通过设置而被配置成扫描患者。医学成像器56被设置成针对给定临床问题实行扫描，诸如肺或心脏扫描。该扫描产生了扫描或图像数据，该扫描或图像数据可以被处理以在显示器50上生成患者内部的图像。该扫描或图像数据可以表示患者内的体积中的位置（例如，体素）的三维分布、患者内的面积中的位置的二维分布、或沿着患者内的线的位置的一维分布。

医学成像器56提供图像数据。可以使用医学成像器56的多个不同模态，诸如针对相同患者提供图像数据的多个集合。非图像数据可以在存储器54中提供、通过在计算机网络上从数据库传输来提供、通过输入设备上的用户输入和/或与测量设备的连接来提供。

图像处理器52是控制处理器、通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、人工智能处理器或加速器、数字电路、模拟电路、其组合、或者其他现在已知或以后开发的用于处理医学图像和/或非图像数据的设备。图像处理器52是单个设备、多个设备、或网络。对于多于一个设备，可以使用并行或顺序的处理划分。构成图像处理器52的不同设备可以实行不同的功能。在一个实施例中，图像处理器52是医学诊断成像系统（诸如，医学成像器56）的控制处理器或其他处理器。图像处理器52根据所存储的指令、硬件和/或固件进行操作，以实行本文中描述的各种动作。

图像处理器52被配置成利用患者的生理系统的数字孪生体模型来预测临床后果或其他生物标志物。例如，根据心脏的数字孪生体模型来预测来自疗法的后果。使用成像和/或非成像数据将该模型拟合到患者或针对患者对该模型进行个人化。一旦拟合，就更改该模型以对疗法的应用或时间流逝进行仿真。然后，如所更改的拟合模型被用来预测疗法的后果，诸如预测血流（flow）（例如，血流储备分数）和/或预测血流中的改变所导致的存活。替代地，对拟合和更改进行组合，使得该模型基于测量结果和更改参数的输入来进行输出。

为了在预测后果或其他生物标志物时更好地操作，基于生物标志物预测和来自扫描的数据，针对患者来对数字孪生体模型进行个体化。在对该模型进行拟合中，包括生物标志物预测性能。通过使用已知生物标志物进行训练来包括生物标志物预测，使得利用未知生物标志物值的当前应用中的生物标志物预测更好地操作。

在一个实施例中，通过从一组模型中选择模型、基于生物标志物预测来对数字孪生体模型进行个体化，其中该选择基于使用扫描数据和生物标志物的多个样本进行的比较。模型输入、模型输出、以及具有或不具有进展或疗法参数的生物标志物的各种样本被用来测试不同的模型，以标识在生物标志物预测中表现最佳或表现充分的模型。通过对所选模型进行拟合，针对后果预测优化了利用生物标志物的未知值的针对当前患者的个体化。

在另一个实施例中，响应于来自扫描的数据的输入，通过由机器学习模型输出数字孪生体模型的参数值、基于生物标志物预测来对数字孪生体模型进行个体化。为了计及生物标志物，使用包括所预测的生物标志物中的距离的损失函数训练了机器学习模型。训练数据包括生物标志物，该生物标志物可以被用于训练中的基于生物标志物的损失。所得的机器学习模型提供了针对数字孪生体模型的模型参数的值，该值既拟合到患者，又针对当前应用中的生物标志物预测进行了优化。

在又一个实施例中，通过由数字孪生体模型输出临床生物标志物、基于生物标志物预测来对数字孪生体模型进行个体化，其中数字孪生体模型是使用扫描数据和生物标志物的值的样本来训练的机器学习模型。不是将机器学习模型训练成输出模型参数的值以用于部分地基于生物标志物来拟合到患者，而是将机器学习模型训练成数字孪生体模型或者替换数字孪生体模型。在一个实施例中，机器学习模型是利用损失函数来训练的，该损失函数具有基于距本构模型的距离的第一项、以及基于所预测的生物标志物中的距离的第二项。本构模型被用作起点，从而允许机器学习中的训练基于与本构模型的差异来提供类似本构模型的输出。输出回归或分类被更改以包括使用后果损失的生物标志物的考虑。在另一个实施例中，机器学习模型被训练为来自样本和疗法参数的正向模型。要针对其来预测生物标志物的更改的任何参数化被用作输入。该机器训练基于图像数据、非图像数据以及改变的输入（例如，疗法参数的值）来学习进行输出。生物标志物可以被用于训练中的损失。

图像处理器52应用个体化的模型。由于所仿真的更改或时间流逝所致的任何所得输出被用作临床生物标志物的估计或用于导出临床生物标志物的估计。

图像处理器52被配置成生成图像。生成示出了所预测的生物标志物的图像。生物标志物可以与患者内部的图像（诸如，计算机断层摄影图像）一起显示。显示所预测的生物标志物以用于决策支持。

显示器50是CRT、LCD、投影仪、等离子体、打印机、平板设备、智能电话、或其他现在已知或以后开发的用于显示输出的显示设备，该输出诸如具有临床生物标志物的预测的图像。

扫描数据、训练数据、网络定义、特征、机器学习网络、非图像数据、生物标志物和/或其他信息被存储在非暂时性计算机可读存储器中，诸如存储器54。存储器54是外部存储设备、RAM、ROM、数据库和/或本地存储器（例如，固态驱动器或硬盘驱动器）。相同或不同的非暂时性计算机可读介质可以被用于指令和其他数据。存储器54可以使用数据库管理系统（DBMS）来实现，并且驻留在诸如硬盘、RAM或可移除介质之类的存储器上。替代地，存储器54在处理器52的内部（例如，高速缓存）。

用于实现本文中讨论的训练或应用过程、方法和/或技术的指令被提供在非暂时性计算机可读存储介质或存储器上，诸如高速缓存、缓冲器、RAM、可移除介质、硬盘驱动器或其他计算机可读存储介质（例如，存储器54）。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或存储在其上的一个或多个指令集，执行在附图中图示或在本文中描述的功能、动作或任务。这些功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合地操作的软件、硬件、集成电路、固件、微代码等等来实行。

在一个实施例中，指令被存储在可移除介质设备上，以供本地或远程系统读取。在其他实施例中，指令被存储在远程位置中，以用于通过计算机网络来传输。还是在其他实施例中，指令被存储在给定的计算机、CPU、GPU或系统中。因为附图中描绘的一些组成系统组件和方法步骤可以用软件来实现，所以系统组件（或过程步骤）之间的实际连接可以取决于用来对本实施例进行编程的方式而不同。

本文中描述的各种改进可以一起使用或分离地使用。尽管本文中已经参考附图描述了本发明的说明性实施例，但是应当理解的是，本发明不限于这些精确的实施例，并且在不脱离本发明的范围或精神的情况下，本领域技术人员可以在其中进行各种其他改变和修改。