用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络

摘要

本文详细描述了用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络的系统和方法。特定于结构的生成对抗网络(SSGAN)用于合成未使用现有技术GAN产生的逼真的和保留结构的图像，并且同时结合约束以产生合成图像。肿瘤和危及器官(OAR)分割的深度监督、多模态、多分辨率残余网络(DeepMMRRN)可用于肿瘤和OAR分割。DeepMMRRN可以组合多种模态用于肿瘤和OAR分割。通过同时使用多个尺度和分辨率的特征以及通过深度监督的特征选择来最大化网络容量，可以实现准确的分割。DeepMMRRN放射组学可用于预测和纵向监测对免疫疗法的应答。自动分割可与放射组学分析结合用于预测治疗开始前的应答。整个肿瘤负荷的量化可用于自动应答评估。

说明书

本申请根据PCT第8条要求于2018年7月30日提交的题为“用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络(MULTI-MODAL,MULTI-RESOLUTION DEEP LEARNING NEURAL NETWORKS FOR SEGMENTATION,OUTCOMES PREDICTION AND LONGITUDINAL RESPONSE MONITORING TO IMMUNOTHERAPY ANDRADIOTHERAPY)”的美国临时申请第62/712,175号的优先权，其全部内容通过引用并入本文。

技术领域

本公开总体上涉及用于图像分割的系统和方法。

背景技术

对于一些图像分类应用，如与军事或医学领域有关的那些，图像的准确且可靠的分割可能是非常重要的，并且通常可以由受过专门训练的人员来执行。难以以自动方式精确且可靠地分割图像内的各种对象。

发明内容

在一个方面，本文公开的方法、系统和设备涉及用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络。总之，特定于结构的生成对抗网络(SSGAN)用于合成未使用现有技术GAN产生的逼真的和保留结构的图像，并且同时结合对多个结构、形状、位置和外观的约束以产生合成图像。肿瘤和危及器官(OAR)分割的深度监督、多模态、多分辨率残余网络(DeepMMRRN)可用于肿瘤和OAR分割。DeepMMRRN可以组合多种模态(例如，常规剂量CT&MRI、低剂量或锥形束CBCT&MRI)用于肿瘤和OAR分割。通过同时使用多个尺度和分辨率的特征以及通过深度监督的特征选择来最大化网络容量，可以实现准确的分割。DeepMMRRN放射组学可用于预测和纵向监测对免疫/放射疗法的应答。自动分割可与放射组学分析结合用于预测治疗开始前的应答。整个肿瘤负荷的量化可用于自动应答评估。

在另一方面，本公开涉及肿瘤和危及器官的多模态、多分辨率深度学习分割。可以为处于放射治疗的辐射风险的肿瘤和正常器官开发和实施多模态(集成CT和MR)神经网络。网络体系结构可以同时组合来自多个图像分辨率和级别的特征，即用于肿瘤和OAR分割的低级别(边缘和局部纹理)、中级别(结构内和结构之间的局部外观)和高级别(结构之间的远程空间依赖性)。深度监控损失可以自动选择不同级别和分辨率的相关特征用于各个结构分割。对于特定结构，可以从来自不同网络层的多个模态执行基于深度监督的动态特征融合。深度监控可以添加注意机制来动态地加权像素级和信道级的深度监控损失。该机制可以进一步加快训练收敛并防止过度拟合。

在另一方面，本公开涉及通过从CT生成保留结构的合成MRI从小数据集进行机器学习自动分割。可以开发和实施多模态(集成CT和MR)生成对抗性神经网络用于合成MRI和CT生成。网络体系结构可以结合特定于结构的损耗集成位置、形状、外观和纹理，以从低对比度模态(即CT)合成具有更好的软组织对比度(MR)的模态，反之亦然。来自多个结构的损失可以被集成以同时学习将图像从一个模态精确地变换到另一个模态。学习模型可以产生合成MRI或CT图像，这些图像可用于：(a)创建大标记数据集，用于以不同模态训练机器学习方法用于无监督学习；(b)将大量的合成数据与极少量的标记数据以不同模态组合用于半监督学习；以及(c)使用多模态数据集进行组合分割用于分割。

在另一方面，本公开涉及用于预测治疗结果和纵向治疗监测的基于深度学习的分割。深度学习可用于自动分割240名患者进行纵向随访(治疗开始后9周)。在用PD-1检查点阻断开始治疗后，随访可在27周至117周的范围内进行。在每次扫描中，每个患者可能具有范围从1到20个单个病变的肿瘤。对基线时最大的肿瘤进行分割，并对前65例接受单免疫疗法治疗的患者进行放射组学分析。免疫疗法可包括派姆单抗、度伐利尤单抗、纳武利尤单抗和阿特朱单抗等。

在其它方面，本公开涉及使用多分辨率残余神经网络分割生物医学图像的系统和方法。具有一个或多个处理器的计算装置可以识别从断层摄影生物医学成像扫描得到的初始断层摄影生物医学图像。初始断层摄影生物医学图像可以具有第一图像分辨率。计算装置可以是用于生物医学图像到初始断层摄影生物医学图像的分割模型。分割模型可以包括多个残余层。分割模型可以包括第一残余层，以使用初始断层摄影生物医学图像和来自后续残余层的特征映射来维持第一残余流。第一残余流可以携载第一多个特征映射。第一多个特征映射各自可以具有第一图像分辨率。分割模型可以包括第二残余层，以使用第一残余流的第一多个特征映射的子集和来自连续残余层的特征映射来维持第二残余流。第二残余流可以携载待馈送到第一残余流中的第二多个特征映射。第二多个特征映射各自可以具有低于第一图像分辨率的第二图像分辨率。分割模型可以包括第三残余层，以使用来自第一残余流或第二残余流中的至少一个的特征映射的子集来维持第三残余流。第三残余流可以携载待馈送到第一残余流和第二残余流中的至少一个中的第三多个特征映射。第三多个特征映射各自可以具有低于第一图像分辨率和第二图像分辨率的第三图像分辨率。

在一些实施例中，计算装置可以识别标记的断层摄影生物医学图像用于训练分割模型。在一些实施例中，计算装置可以确定标记的断层摄影生物医学图像与分割的断层摄影生物医学图像之间的损失度量。损失度量可以指示标记的断层摄影生物医学图像与分割的断层摄影生物医学图像之间的至少一个差异。在一些实施例中，计算装置可以基于损失度量来修改分割模型的至少一个参数。

在一些实施例中，计算装置可以识别第一模态的初始断层摄影生物医学图像。在一些实施例中，计算装置可以使用输入的训练数据来训练分割模型。训练数据可以包括第一模态和不同于第一模态的第二模态的多个断层摄影生物医学图像。

在一些实施例中，计算装置可以针对从样本断层摄影生物医学图像得到的每个残余层识别多个样本特征映射，用于训练分割模型。在一些实施例中，计算装置可以针对分割模型的每个残余层确定对应的多个特征映射与对应的多个样本特征映射之间的损失度量。在一些实施例中，计算装置可以基于残余层的损失度量针对分割模型的每个残余层修改残余层的至少一个参数。

在一些实施例中，分割模型可以是池化算子，以根据池化运算从多个残余层中的一个针对多个残余层中的另一个选择特征映射的子集。在一些实施例中，第一残余层可以包括一组残余单元、一组聚合器算子和卷积算子，以处理由第一残余流携载的第一多个特征映射和第二多个特征映射或第三多个特征映射中的至少一个。在一些实施例中，第二残余层可以包括一组残余连接单元和一组聚合器算子，以处理由第二残余流携载的第二多个特征映射、来自第一残余流的第一多个特征映射和来自第三残余流的第三多个特征映射。

在一些实施例中，第三残余层可以包括一组残余连接单元和一组聚合器算子，以处理由第三残余流携载的第三多个特征映射和来自第一残余流的第一多个特征映射和来自第二残余流的第二多个特征映射中的至少一个。在一些实施例中，第三残余层的每一层残余连接单元可各自具有等于或大于第二残余层的每个残余连接单元的第二数量的第一数量的第三残余层的残余连接单元。

在一些实施例中，第二残余层可以包括一组残余连接单元、一组聚合器算子和至少一个跳过聚合器单元，以处理由第二残余流携载的第二多个特征映射。该至少一个跳过聚合器单元可以组合由该组的第一残余连接单元和由该组残余连接单元的第二残余连接单元输出的特征映射。

在一些实施例中，计算装置可以通过组合来自不同图像分辨率的多个残余层的输出来生成分割的断层摄影生物医学图像。在一些实施例中，计算装置可以使用分割的断层摄影生物医学图像来确定从中采集初始分割的断层摄影生物医学的对象的健康度量。

在其它方面，本公开涉及用于基于跨域适应来训练用于分割生物医学图像的模型的系统和方法。具有一个或多个处理器的计算装置可以识别第一模态的第一断层摄影生物医学图像和第二模态的第二断层摄影生物医学图像。第二断层摄影生物医学图像可以独立于第一断层摄影生物医学图像。计算装置可以将第一合成模型应用于第一模态的第一断层摄影生物医学图像，以将第一断层摄影生物医学图像从第一模态转换为第二模态。计算装置可以将第二合成模型应用于第二模态的第二断层摄影生物医学图像，以将第二断层摄影生物医学图像从第二模态转换为第一模态。计算装置可以从合成模型确定第一模态的第一断层摄影生物医学图像、第二模态的第一断层摄影生物医学图像、第一模态的第二断层摄影生物医学图像、第一模态的第二断层摄影生物医学图像之间的合成损失。合成损失可以指示第一模态与第二模态之间的转换的至少一个差异。计算装置可以将用于生成分割的断层摄影生物医学图像的第一分割模型应用于第二模态的第一断层摄影生物医学图像。计算装置可以将用于生成分割的断层摄影生物医学图像的第二分割模型应用于第一模态的第二断层摄影生物医学图像。计算装置可以通过从应用第一分割模型到应用第二分割模型来确定指示第一分割模型的层与第二分割模型的网络之间的至少一个差异的对象注意力损失。计算装置可以基于合成损失和对象注意力损失来修改第一合成模型、第二合成模型、第一分割模型和第二分割模型中的至少一个。

在一些实施例中，计算装置可以将第一合成模型应用于第一断层摄影生物医学图像。第一合成模型可以包括第一生成器单元和第一鉴别器单元。第一生成器单元可以将第一断层摄影生物医学图像从第一模态转换为第二模态。第一鉴别器单元可以用于确定第一合成模型的合成损失。在一些实施例中，计算装置可以将第二合成模型应用于第二断层摄影生物医学图像。第二合成模型可以包括第二生成器单元和第二鉴别器单元。第二生成器单元可以将第二断层摄影生物医学图像从第二模态转换为第一模态。第二鉴别器单元可以用于确定第二合成模型的合成损失。

在一些实施例中，计算装置可以从合成模型确定合成损失，该合成损失包括第一模态的第一断层摄影生物医学图像、第二模态的第一断层摄影生物医学图像、第一模态的第二断层摄影生物医学图像，第一模态的第二断层摄影生物医学图像中的对抗性损失和循环一致性损失中的至少一个。在一些实施例中，计算装置可以确定包括特征损失、结构纹理损失、结构形状损失和位置损失中的至少一个的对象注意力损失。

在一些实施例中，计算装置可以通过识别来自第一分割模型的层的第一子集和来自第二分割模型的层的第二子集来确定对象注意力损失。在一些实施例中，计算装置可以通过将第一分割模型的层的第一子集与第二分割模型的层的对应的第二子集进行比较来确定对象注意力损失。

在一些实施例中，计算装置可以基于由第二分割模型从第一断层摄影生物医学图像生成的第一分割的断层摄影生物医学图像和对应于第一断层摄影生物医学图像的第一注释图像来确定第一分割损失。在一些实施例中，计算装置可以基于由第一分割模型从第二断层摄影生物医学图像生成的第二分割的断层摄影生物医学图像和对应于第二断层摄影生物医学图像的第二注释图像来确定第二分割损失。在一些实施例中，计算装置可以基于第一分割损失和第二分割损失来修改第一分割模型和第二分割模型中的至少一个。

在一些实施例中，计算装置可以基于合成损失和对象注意力损失的加权组合来修改第一合成模型、第二合成模型、第一分割模型和第二分割模型中的至少一个。在一些实施例中，计算装置可以基于第一模态和第二模态识别要应用于第一断层摄影生物医学图像的第一合成模型。在一些实施例中，计算装置可以基于第一模态和第二模态识别要应用于第二断层摄影生物医学图像的第二合成模型。

在一些实施例中，计算装置可以识别第一模态或第二模态中的一个的第三断层摄影生物医学图像。第三断层摄影生物医学图像可以独立于第一断层摄影生物医学图像和第二断层摄影生物医学图像。在一些实施例中，计算装置可将用于第一模态的第一分割模型或用于第二模态的第二分割模型中的一个应用于第三断层摄影生物医学图像以生成分割的断层摄影生物医学图像。在一些实施例中，计算装置可以使用分割的断层摄影生物医学图像来确定从中采集初始分割的断层摄影生物医学的对象的健康度量。

附图说明

通过结合附图参考以下描述，本公开的前述和其它目的、方面、特征和优点将变得更加明显和更好地理解，其中：

图1A是示出Unet、全分辨率残余神经网络(FRRN)、增量多分辨率残余网络(MRRN)和密集MRRN的示意性结构的框图；

图1B是示出增量MRRN和密集MRRN中的每个组件的配置的框图；

图1C是示出增量MRRN的框图；

图1D是示出密集MRRN的框图；

图1E是示出用于深度多模态分辨率残余网络(MMRRN)的网络体系架构的框图；

图1F是示出用于联合CT-MRI分割的网络体系结构的框图；

图1G是示出对单个模态使用密集残余连接的体系结构的框图；

图1H是使用多分辨率神经网络分割生物医学图像的实例系统的框图；

图1I是用于分割生物医学图像的系统的实例残余单元块的框图；

图1J是用于分割生物医学图像的系统的实例残余单元的框图；

图1K是用于分割生物医学图像的系统的实例残余连接单元块的框图；

图1L是用于分割生物医学图像的系统的实例残余连接单元的框图；

图1M是用于分割生物医学图像的系统的分割模型的实例体系结构的框图；

图1N是用于分割生物医学图像的系统的分割的实例体系结构的框图；

图1O和1P是使用多分辨率残余神经网络分割生物医学图像的实例方法的流程图；

图2A是示出所分析的网络的训练和验证误差随训练时间的变化的曲线图；

图2B是示出具有变化的FRRN检测阈值的肿瘤检测率的曲线图；

图3A是示出来自三个数据集的不同方法的实例分割结果的屏幕截图，其中蓝色轮廓对应于专家描绘，红色轮廓对应于算法生成的分割；

图3B是示出用于肿瘤分割和从CT图像合成MRI的实例分割结果的屏幕截图；

图3C是示出用于从CT图像合成MRI的实例分割结果的屏幕截图；

图3D是示出使用MRRN通过深度学习对肺肿瘤进行自动体积分割的结果的屏幕截图；

图4A是示出对于DSC和HD95度量，使用(a)TCIA，(b)MSKCC和(c)具有不同肿瘤尺寸的LIDC的分析方法的分割准确度的曲线图。VS：非常小的肿瘤；S：小肿瘤；M：中等大小肿瘤；L：大肿瘤；VL：非常大的肿瘤；

图4B是示出根据肿瘤位置使用(a)TCIA，(b)MSKCC和(c)LIDC的不同方法的DSC和HD95度量的分割准确度的曲线图；

图4C是示出与四个放射科医师相比不同方法的分割结果的屏幕截图；

图5A是示出增量MRRN与四个放射科医师比较的分割结果的屏幕截图；

图5B是关于所测量时间的肿瘤应答的屏幕截图。红色实线和红色虚线分别示出了通过增量MRRN计算并由专家描绘的获得性耐药(AR)肿瘤体积变化。蓝色实线和蓝色虚线分别示出了通过增量MRRN计算并由专家描绘的持久性耐药(DR)肿瘤体积变化。(b)和(c)分别示出了测量点处的分割性能：基线，(a)中的AR和DR的#1和#2。蓝色轮廓示出了专家的描绘，红色轮廓示出了分割结果；

图5C是示出随着层深度增加的加权稀疏性的曲线图；

图6A是描绘使用(c)cycle-GAN和(d)所提出的方法从代表性(a)CT图像合成的MRI的屏幕截图。(a)的对应MRI扫描如(b)所示。如图所示，与(c)相比，所提出的方法(d)使用肿瘤感知损失有助于在合成MRI中完全保留肿瘤；

图6B是示出用于肿瘤感知的无监督跨域适应(CT到MRI)的系统架构的框图，随后是(ii)使用用合成和有限数量的原始MRI训练的Unet的半监督肿瘤分割；

图6C-I各自是示出用于通过保存来自CT的合成MRI生成的结构从小数据集进行机器学习自动分割的系统架构的框图；

图7A是示出使用不同深度学习方法从CT合成的MRI的屏幕截图。红色轮廓指示在NSCLC数据集中手动描绘的肿瘤区域，数据集为(a)CT图像；(b)cycle-GAN；(c)掩蔽的cycle-GAN；(d)所提出的；

图7B是示出来自不同方法的验证和测试集的代表性实例的分割结果的屏幕截图。红色轮廓代表专家描绘，黄色轮廓代表分割结果。(a)用仅1周MRI进行分割；(b)使用cycle-GAN合成的MRI进行分割；(c)使用掩蔽的cycle-GAN合成的MRI进行分割；(d)肿瘤感知的无监督学习；(e)肿瘤感知的半监督学习；

图7C是示出三个测试患者的纵向跟踪结果的曲线图。红色轮廓代表专家描绘，黄色轮廓代表分割结果；

图8A是示出CT图像纹理与应答之间的关系的曲线图。肿瘤体积的减小、首次治疗后更高的熵和熵的增加与DCB相关联。P值在调整用于多重比较之前示出。

图8B是示出使用由(a，c)中值熵和(b，d)中值Δ体积二分的患者组预测OS(a，b)和PFS(c，d)的卡普兰-梅尔分析曲线的曲线图。根据首次治疗CT扫描计算熵。

图8C是示出从用纹理、体积、肿瘤-PD-L1表达训练的分类器计算的受试者工作曲线(ROC)的曲线图，用于预测持久临床应答(a)和用定量肿瘤-PD-L1分类器组合纹理测量(首次治疗和Δ)的分类器的特征重要性排序(b)

图8D是示出与获得性耐药相关联的熵的增加的曲线图。(a，c)高基线熵预测的持久性应答(b)与出现获得性耐药的患者相比，持久应答者和无应答者对治疗的Δ熵显著降低，(d)在多次治疗中CT扫描计算的累积Δ熵示出在治疗早期出现获得性耐药的患者与持续持久性应答的患者之间存在显著差异

图9是示出使用(c)CycleGAN(d)UNIT和82(e)所提出的方法从代表性(a)CT图像合成的伪MR图像的一组屏幕截图。(A)的对应T2w MRI扫描如(b)所示。

图10A是示出用于分割的两步法的框图：(a)伪MR合成，(b)使用具有T2w MR的伪MR的MR分割训练。用于训练(a)和(b)中的网络的损失的视觉描述，即，(c)GAN或对抗性损失，(d)循环或循环一致性损失，(e)使用结构和形状损失强制的肿瘤注意力损失，以及(f)使用戴斯重叠系数计算的分割损失；

图10B是示出生成器、鉴别器和肿瘤注意网络的实例结构的框图。卷积的内核大小、特征数量表示为C和N。例如，C3N512表示内核大小为3×3且特征大小为512的卷积。

图10C是用于基于跨域适应来分割生物医学图像的训练模型的实例系统的框图；

图10D是用于基于跨域适应来分割生物医学图像的训练模型的实例方法的流程图；

图11是由(A)残余FCN，(B)密集FCN和(c)UNET组成的分割结构的实例示意图的框图。卷积内核大小和特征数量表示为C和N。

图12A是示出使用所分析的方法的CT到伪MRI变换的一组屏幕截图。(a)原始CT；使用(b)CycleGAN产生的伪MR图像；(c)掩蔽的CycleGAN(d)UNIT和(e)本公开的方法。

图12B是示出肿瘤区域中每种方法的横坐标(x轴)示出归一化MRI强度，纵坐标(y轴)示出在该强度下累积像素数的频率的曲线图。还示出了来自确诊患者的肿瘤区域内的T2wMR强度分布，以供比较。

图13是示出来自使用不同数据扩充方法的五个不同患者的代表性实例的分割的一组屏幕截图。(a)RF+fCRF分割；(b)仅用少量T2W MRI进行分割；结合专家分割的T2w MRI与使用(c)CycleGAN生成的伪MRI进行训练；(d)掩蔽的CycleGAN；(e)UNIT；(g)本公开的方法。(f)示出了仅使用提出的方法产生的伪MRI进行训练的分割结果。红色轮廓对应于专家的描绘，而黄色轮廓对应于算法生成的分割；

图14是图表和一组屏幕截图。使用所提出的方法从三例患者计算纵向肿瘤体积。(a)通过提出的描绘与专家的描绘计算的体积生长速度(b)患者7和患者8的分割结果。红色轮廓对应于专家的描绘，而黄色轮廓对应于算法生成的分割

图15A是示出包含与服务器装置通信的客户端装置的网络环境的实施例的框图；

图15B是示出包含与云服务提供商通信的客户端装置的云计算环境的框图；

图15C和15D是示出结合本文描述的方法和系统有用的计算装置的实施例的框图。

具体实施方式

为了阅读以下各种实施例的描述，以下对说明书的各部分及其相应内容的描述可能是有用的：

部分A描述了用于肿瘤和危及器官的多模态、多分辨率深度学习分割的系统和方法的实施例；

部分B描述了用于通过从计算机断层摄影(CT)生成保留结构的合成磁共振成像(MRI)来自动分割小数据集的系统和方法的实施例；

部分C描述了用于基于深度学习的分割能够预测治疗结果和纵向治疗监测的系统和方法的实施例；

部分D描述了用于从小数据集进行鲁棒肺分割的交叉模态先验增强深度学习的系统和方法的实施例；以及

部分E描述了可用于实践本文所述实施例的网络环境和计算环境。

肺肿瘤体积分割和来自计算机断层摄影(CT)图像的肿瘤体积变化的精确纵向跟踪对于监测肿瘤对治疗的应答是必要的。因此，开发了称为增量MRRN和密集MRRN的两种多分辨率残余连接网络(MRRN)公式。网络通过残余连接同时组合多个图像分辨率和特征级别的特征以检测和分割肺肿瘤。该方法对来自三个数据集的总共1210个非小细胞(NSCLC)肺肿瘤和结节进行了评价，该三个数据集由来自开放源癌症成像档案(TCIA)的377个肿瘤、来自内部机构MSKCC数据集的接受抗PD-1检查点免疫疗法治疗的304个晚期NSCLC和来自肺部图像数据库联盟(LIDC)的529个肺结节组成。该算法使用来自TCIA数据集的377个肿瘤进行训练，在MSKCC上进行验证，并在LIDC数据集上进行测试。通过计算戴斯相似系数(DSC)、豪斯多夫距离、灵敏度和精度度量来评价与专家描绘相比的分割准确度。与其它方法相比，最佳执行增量MRRN方法产生最高DSC，对TCIA为0.74±0.13，对MSKCC为0.75±0.12，对LIDC数据集为0.68±0.23。与专家分割相比，使用增量MRRN方法计算的肿瘤体积变化估计值无显著差异。总之，已开发了多尺度CNN方法并将其应用于肺肿瘤的体积分割，这使得能够准确、自动识别和连续测量肺中的肿瘤体积。

引言

肺癌是全世界最常见的癌症死亡原因。在接受全身治疗的肺癌患者中，治疗的相对益处通常通过测量肿瘤病变的大小变化来确定，通常使用一维测量，如RECIST v1.1。自动肿瘤分割的应用非常广泛，包括测量治疗应答、计划放射治疗，以及便于提取高通量放射组学的鲁棒特征。

肿瘤体积的手动描绘是极其费力的，并且先前的研究已经表明半自动计算机生成的分割比手动描绘更具可重复性，特别是对于放射组学分析。应用于肺癌的代表性半自动肿瘤分割方法包括单击整体方法和标记控制分水岭方法。然而，当应用于肺结节分割时，此类方法会产生不同的结果。使其分割适应于用户输入的交互式方法受到评价者间可变性的影响。

可再现的分割对于纵向监测肿瘤对治疗的应答是必要的。即使在逐个肿瘤的基础上学习也可以导致对于多种癌症更可再现的肿瘤分割。基于全自动卷积神经网络(CNN)的方法(如AlexNet，VGG，GoogleNet)已经在各种计算机视觉和医学图像分析任务(例如，UNET，Vnet)中显示出显著的成功。残余网络(ResNet)实现了与网络深度无关的快速和稳定的训练，并且在训练和推理时由于通过迭代特征细化的学习而对层去除具有鲁棒性。

然而，在ResNet中单独使用的残余连接不能消除由连续池化运算导致的不良定位和模糊的问题，这对于分割是不期望的。因此，全分辨率残余神经网络(FRRN)通过将全图像分辨率的特征传递到每一层来扩展ResNet。通过将特征与较低分辨率特征连接在一起，当使用街道图像时，FRRN与六个不同的CNN相比表现出更好的分割性能。本公开通过残余地组合以多个图像分辨率计算的特征来扩展并改进FRRN，由此，通过以多个图像分辨率和特征级别同时组合特征映射来计算密集特征表示。此类密集特征表示增加了网络容量，并且最终使得网络能够比现有方法更好地恢复输入图像的空间分辨率。

该贡献包括两个不同的多分辨率残余网络(MRRN)，称为递增和密集MRRN。通过池化(对于密集MRRN)产生每个残余流中的特征映射输入，然后与残余连接卷积(对于递增MRRN)。另外，当每个残余流中的特征映射与后续层组合时，对其进行细化。

示意图

图1A示出了在该工作中使用的各种网络的示意图，即UNET、FRRN以及所提出的增量和密集MRRN方法。UNET(a)使用顺序长跳过连接来将编码路径中以不同特征分辨率计算的特征与解码路径中的特征连接起来。长跳过连接将特征映射组合限制为以相同图像分辨率产生的特征映射组合，并导致图像中丰富特征表示的利用不足。ResNet和高速公路网络通过将来自先前层的输出通过元素方式求和连接到当前层的输入来减少特征利用不足，从而实现了具有直接较高分辨率的局部特征组合。FRRN(b)通过维护以全图像分辨率计算的特征映射来扩展ResNet，该特征映射除了与具有直接较高分辨率的特征的残余级联外还与较低分辨率的特征映射组合。

两个多分辨率残余网络(MRRN)可以用于使用增量MRRN(c)和密集MRRN(d)来提取密集特征表示，增量MRRN(c)和密集MRRN(d)以变化的图像分辨率传递不同级别的特征映射。表I示出了多个网络之间的比较

如图1B所示的网络中使用的各种组件可以包括：

·残余流携载以图像分辨率计算的特征映射，并将残余输入提供给残余连接单元(RCU)。例如，图1A中水平黑色箭头所示的零残余流以全图像分辨率(R)携载特征映射。在MRRN中使用的第N残余流(N>0)由N个池化运算生成，并以R/2N分辨率携载特征映射。

·CNN块包括3x3卷积，批量归一化(BN)和ReLU激活并用于特征提取。

·残余单元或RU是卷积层，其中残余连接(如FRRN)被放置在网络的开头和结尾。

·残余连接单元(RCU)是网络的工作平台，其中通过使用CNN块的卷积序列来计算特征映射。

·残余连接单元块(RCUB)包括顺序连接的RCU。

残余连接单元(RCU)构成用于每层的滤波器。RCU的结构如图1B的(a)所示。RCU具有两个输入，即残余流特征映射和常规CNN特征映射，以及两个输出，即常规和残余特征映射。残余流输入包括来自先前较高分辨率残余流之一的特征映射。残余特征映射输入通过池化进行下采样，然后与从前一层计算的常规CNN特征映射连接。RCU由一个或多个CNN块组成(图1B)。CNN块输出所处理的常规特征映射，其作为输入被传递到随后的RCU块或下一个CNN层。通过对常规输出进行上采样的1×1卷积来计算残余输出，并将其传递回对应的残余输入流。总之，RCU将来自残余流的特征映射与特定分辨率的特征映射进行残余连接，并联合地学习不同残余流之间的特征，以细化以较低分辨率计算的特征。

RCU块(RCUB)由顺序连接的RCU组成。基于它们的输入和在这些块中使用的RCU的数量，可以区分两个不同的RCU块，即增量RCU块和密集RCU块。

增量RCUB由串行连接的RCU组成。每个RCU从最近的较低流开始直到第0流连续地细化特征分辨率增加的特征映射。图1B示出了第二残余流处的增量RCU块的实例。点实线箭头(参见图例)是表示残余流与当前层之间的双向连接的抽象。RCU块仅被放置在可以具有来自至少一个残余流的输入的流中。因此，第0残余流不包含RCU块。在第一残余流如FRRN中使用RCU×3。使用N(N>1)个池化运算产生的残余流在其RCU块中包含(N+1)个RCU。RCU块中的第一RCU残余地连接到第0流以使用全分辨率信息。随后的RCU从紧接在前的残余流开始依次连接到空间分辨率增加的残余流。

与增量RCUB不同，每个密集的RCUB仅对来自直接较高空间分辨率特征映射的残余信息进行集成。残余流中的附加RCU块进一步细化在该流处计算的特征映射，从而导致密集残余特征映射。每个RCUB具有2个RCU，以利用当前分辨率的特征映射来细化来自先前残余流的特征。

增量MRRN由多个增量RCUB和残余特征流组成(图1C)。除了第0和最后一个流之外的所有残余流的两端包含两个RCUB以对信息进行编码和解码。第0残余流不包含任何RCUB，而最后一个流包含一个RCUB。来自多个分辨率的特征集成消除了在如Unet的传统编码器-解码器中使用的RCUB之后的附加反池化需要。在给定层n处具有多个残余特征流k(＝0，1，N)，在n之前的增量MRRN被定义为：

其中，N是在n处的残余特征流的总数；

通过取关于层n处的权重W

如图所示，梯度

密集MRRN使用以图像分辨率计算的下采样特征映射作为所有流(图1D)中的第一RCUB的输入，以产生密集残余流。类似于增量MRRN，第0残余流不包含RCUB。所有其它残余流具有与置于末端RCUB之间的后续残余流的数目对应的一样多的中间RCUB。特征映射计算如下：

其中，

其中，

在具有12GB存储器处理器的Nvidia GTX 1080Ti上使用Tensorflow库对网络进行训练。使用具有32个特征的3x3内核大小来产生第0残余流之后的特征。特征的数量以2

其中，p

通过使用连接分量提取组合来自单个2D切片的分割获得最终体积分割。未对分割进行额外的后处理。

实验设置

使用三个数据集进行分析，即在MAASTRO诊所扫描的377例NSCLC的开源癌症成像档案(TCIA)数据集、使用派姆单抗接受PD-1抑制剂免疫疗法的50例NSCLC患者的304个肿瘤的内部机构(MSKCC)数据集和由来自七个不同机构的1018例患者的2669个结节组成的肺部图像数据库联盟(LIDC)数据集。

TCIA和MSKCC中的肿瘤证实为晚期恶性肿瘤，而LIDC中的肿瘤为具有不同恶性程度的肺结节(>3mm，并由至少1名放射科医师证实)。MSKCC数据集还包括在治疗之前和治疗期间每9周直到治疗开始后最多17周成像的纵向CT扫描。训练集(TCIA)和验证集(MSKCC)由对比增强CT扫描组成，而LIDC的测试集包括常规剂量和低剂量CT图像。必要时由放射科医师验证和编辑TCIA的肿瘤轮廓。MSKCC数据集中的所有基本事实肿瘤轮廓均由一名具有多年胸部CT图像检查经验的胸部放射科医生确认。LIDC数据集由四名放射科医师手动描绘，他们还将恶性肿瘤评分为1-5分，其中1为低恶性肿瘤，5为高恶性肿瘤。在2669例中，有928例经所有四名放射科医生证实和描绘，直径至少为3毫米。分析了928例中平均恶性肿瘤评分为>3的529个结节。这导致从所有三个数据集中总共分析了1210个肿瘤。

数据集之间肿瘤大小和分布存在广泛差异。TCIA数据集中的肿瘤大小范围为1.88cc至1033cc，MSKCC为2.96cc至413.8cc，LIDC为0.031cc至19.18cc(均根据放射科医师描绘计算)。按大小离散的肿瘤大小分布如表I所示。最后，TCIA和MSKCC数据集中的主要病变位于纵膈或附着于胸壁，而LIDC中的肿瘤最常见于肺实质(表II)。

表I

三个不同数据集中的肿瘤大小

(TCIA，MSKCC和LIDC)

表II

三个不同数据集中的肿瘤位置

(TCIA，MSKCC和LIDC)

TCIA数据集被用作训练队列，因为它具有最大的肿瘤并且包含许多难以检测的肿瘤，如附着于纵膈和胸壁的肿瘤。MSKCC数据集被用作选择最佳模型的验证集。LIDC数据集被用作独立的测试集。另外，对TCIA数据集进行了K＝5倍交叉验证，保留部分数据以评估和报告未用于训练的数据的准确度。

使用大小为160x160的块或以肿瘤为中心的关注区域(ROI)进行训练。将所有ROI的大小调整为160×160，从而产生总数为57793个训练图像样本，随后进行如前所述的数据增强。

由于没有任何完全连接的层，因此可以对训练中使用的160x160以外的大小的图像进行评估。MSKCC和LIDC数据集分别由256x256和160x160个图像组成。然后通过连接分量提取将来自单个切片的检测堆叠成完全体积分割。

具有完全连接的条件随机场(RF+fCRF)的随机森林：使用完全连接的条件随机场(CRF)方法实现随机森林(RF)分类器用于肺肿瘤分割。在带宽(γ＝0.1，0.2，0.3，0.4)下在角度(θ＝0，π/4，π/2，3π/4)处使用最大CT强度、最小CT强度、平均最小CT强度、平均梯度、标准偏差梯度、熵和Gabor边缘特征。使用50棵树和最大深度30以(k＝5)倍交叉验证对RF分类器进行训练。通过完全连接的CRF细化逐体素RF分类。

Unet是用于医学图像分割的常用神经网络，并且已经应用于包括肝脏和乳房的各种医学图像分割任务。完全连接的层没有如所提出的那样被使用，以使得网络能够应用于分割不同大小的图像。

使用组合了编码器和解码器结构的SegNet。编码器网络由作为VGG16网络中的前13个卷积层的13个卷积层和对应数量的解码器层组成。

FRRN可以被认为是所提出的方法的特殊情况，其中FRRN仅使用第0残余流(携载全分辨率特征)。

使用戴斯重叠系数(DSC)、灵敏度、精度和豪斯多夫距离对分割准确度进行定量分析。DSC计算分割结果与基本事实的重叠，定义为：

其中，TP是真阳性数，FP是假阳性数，FN是假阴性数。灵敏度和精度度量计算如下：

豪斯多夫距离被定义为：

其中，P和T是基本事实和分割体积，p和t分别是P和T上的点。S

通过使用DSC度量确定的分割重叠阈值τ评估所分析方法的肿瘤检测率。当分割与基本事实之间的重叠至少为τ时，认为检测到肿瘤，计算如下：

其中，TP是真阳性，N是基本事实肿瘤像素的总数。则肿瘤检测率为

其中，D

从基线开始和在用免疫疗法治疗期间(每9周)对MSKCC数据集中的36例患者进行多次成像(≥3)。此分析仅使用了性能最好的分割方法。相对于基线体积(v0)的相对体积计算如下：

其中，v

使用相对于FRRN、增量MRRN和密集MRRN的层深度的权重稀疏性对来自残余特征流的特征的影响进行评估。选择这三种方法，因为它们是使用残余流的唯一方法。权重稀疏性定义如下：

其中，N

图1E示出了处于放射治疗的辐射风险下的肿瘤和正常器官的多模态(集成CT和MR)神经网络。网络体系结构同时组合来自多个图像分辨率和级别的特征，即用于肿瘤和OAR分割的低级别(边缘和局部纹理)、中级别(结构内和结构之间的局部外观)和高级别(结构之间的远程空间依赖性)。深度监控损失自动选择不同级别和分辨率的相关特征用于各个结构分割。对于特定结构，可以从来自不同网络层的多个模态执行基于深度监督的动态特征融合。深度监督添加了注意机制，以动态地加权像素级和信道级的深度监督损失。该机制可以进一步加快训练收敛并防止过度拟合。

图1F示出了联合CT-MRI分割方法，其组合了从各种特征级别和分辨率自动提取的特征。深度学习方法学习用于计算特征的滤波器组以及对于每个问题来自两种模态的信息应该如何在不同的特征级别自动组合。换句话说，对于不同的结构学习来自两种模态的适当特征和特征组合。与通过特定地捆绑特征块(在计算机视觉应用中)在所有可能的层执行测试特征融合的方法不同，该方法动态地配置和学习如何融合来自CT和MRI的特征。这是实现通过深度监督促进的动态配置特征融合的第一种方法。深度监督将辅助损失传递给网络中的各个特征层，并使学习规则化，这有助于该方法从较少数量的实例中最大化学习能力。图1G示出了对单个模态使用密集残余连接的体系结构。

图1H示出了使用多分辨率残余神经网络(MRRN)分割生物医学图像的系统100的框图。总而言之，系统100可以包括图像分割系统102、至少一个成像装置104和至少一个显示器106。图像分割系统102可以与成像装置104和显示器106通信地联接。图像分割系统102可以包括模型应用器108、模型训练器110、分割模型112和训练数据集114等。分割层112可以维持或以其它方式包括一组残余层116A-N(本文中通常称为残余层116)。以上列出的系统100中的每个组件可以使用硬件(例如，与存储器联接的一个或多个处理器)或硬件和软件的组合来实现，如在部分E中详述的。系统100中的每个组件可实现或执行部分A中详述的功能，如结合图1A-G和部分C所述的那些功能。

成像装置104可以对对象执行生物医学成像扫描以采集或生成至少一个断层摄影生物医学图像118A(以下通常称为原始图像118)。成像装置104可以处于生物医学成像的任何形式。成像装置104可以包括PET计算机断层摄影(CT)扫描仪、X射线CT扫描仪、SPECTCT扫描仪、MRI扫描仪、超声扫描仪和光声扫描仪等。为了扫描，成像装置104可以指向对象(例如，人或动物)的外表面上的指定区域。当扫描对象时，成像装置104可以生成对应于原始图像118的投影数据集。投影数据集可以对应于穿过预先指定区域的对象的横截面或体积。投影数据集可以是对象的二维或三维可视化表示，包括对象的内部解剖和生理结构。

投影数据集可以包括一个或多个数据计数。投影数据集可以包括根据任何数据结构的一个或多个数据计数，如阵列、二叉树、矩阵、链表、堆、散列表、堆栈或队列等。每个数据计数可以对应于被扫描的横截面的坐标或对象的体积。当扫描对象的横截面时，投影数据集可以是二维的，并且数据计数的坐标也可以是二维的。当扫描对象的体积时，投影数据集可以是三维的，并且用于数据计数的坐标也可以是三维的。投影数据集中的数据计数的数量可以取决于由成像装置104执行的生物医学成像扫描的采样率。

原始图像118可以具有或可以具有设定的图像分辨率(本文中有时称为全图像分辨率或原始图像分辨率)。原始图像118的图像分辨率可以由成像装置104设置或定义。当扫描对应于由成像装置104采集的对象的横截面时，图像分辨率可以是二维的(例如，N×M)。当扫描对应于由成像装置104采集的对象的体积时，图像分辨率可以是三维的(例如，N×M×O)。原始图像118的图像分辨率可以以每个维度多个像素来测量。图像分辨率还可以以原始图像118的每个维度的数据计数的数量来测量。

显示器106可以呈现或渲染由图像分割系统102输出的图像(例如，分割的断层摄影生物医学图像118'B)。在一些实施例中，显示器106可以呈现或渲染由图像分割系统102的CED模型212生成的重构图像。显示器106可以包括任何监视器，如液晶显示器(LCD)、有机发光二极管(OLED)监视器和阴极射线管(CRT)等。显示器106可以与图像分割系统102通信地联接，并且可以渲染和输出来自图像分割系统102的图像。

模型应用器108可以接收、获取或以其它方式识别至少一个原始图像118用于分割。模型应用器108可以具有运行时间模式和训练模式。在运行时间模式中，模型应用器108可以识别由成像装置104采集的原始图像118。在训练模式中，模型应用器108可以从训练数据集114中进行识别。所检索的训练数据集114可以包括样本原始断层摄影生物医学图像118B(在本文通常也称为原始图像118)。训练数据集114的样本原始图像118可以具有与来自成像装置104的原始图像118相同的分辨率。

在一些实施例中，模型应用器108可以改变、更改或以其它方式修改原始图像118的图像分辨率。模型应用器108可以测量或识别从成像装置104或从训练数据集114采集的原始图像118的初始图像分辨率。模型应用器108可以将初始图像分辨率与允许的图像分辨率进行比较以输入到分割模型112。允许的图像分辨率可以定义作为分割模型112的输入兼容的图像分辨率。基于该比较，模型应用器108可以调整原始图像118的大小以匹配分割模式112的允许的图像分辨率。当确定初始图像分辨率大于允许的图像分辨率时，模型应用器108可以降低原始图像118的图像分辨率以匹配允许的图像分辨率(例如，使用下采样)。相反，当确定初始图像分辨率小于允许的图像分辨率时，模型应用器108可以增加原始图像118的图像分辨率以匹配允许的分辨率(例如，使用上采样)。

结合地，模型应用器108(或模型训练器110或两者)可以建立和维护分割模型112和分割模型112的一个或多个残余层116。分割模型112可以具有原始图像118作为输入。分割模型112可以具有分割的断层摄影生物医学图像118'A(以下通常称为分割图像118)作为输出。本文结合图1A-G和1I-N进一步提供分割模型112的功能和结构的细节。

图1I示出了至少一个残余层116中的分割模型112的残余单元(RU)块120的框图。RU块120可以包括在至少第一残余层116A中。RU块120可以具有至少一个输入和至少一个输出。输入可以包括原始图像118或通过处理原始图像118生成的一组特征映射。输出可以包括由RU块120处理的一组特征映射。RU块120可以具有一组RU 122A-N(以下通常称为RU122)。该组RU 122可以以串联(例如，如图所示)或并联配置或以任何组合来布置。在串联配置中，一个RU 122的输入可以包括前一个RU 122的输出(例如，如图所示)。在并行配置中，一个RU 122的输入可以包括整个RU块120的输入。RU块120可以具有一个或多个RU 122。例如，RU块120可以具有三到五个RU 120。

图1J示出了分割模型112中的残余单元(RU)块120的残余单元(RU)122的框图。RU块120中的每个RU 122可以具有一组变换层124A–N(以下通常称为变换层124)和至少一个跳过聚合器算子126。该变换层组124可以包括一个或多个参数(例如，权重)以修改或以其它方式处理输入到RU 122中的特征映射组以产生或生成特征输出组。该变换层组124可以串联布置，其中一个变换层124的输出作为输入馈送到后续变换层124。每个变换层124可以具有非线性输入-输出特性。在一些实施例中，该变换层组124可以是卷积神经网络(CNN)，包括卷积层、归一化层和激活层(例如，整流线性单元(ReLU))。跳过聚合器算子126可以组合来自该变换层组124的特征映射的输出组和特征映射的原始输入组，以生成用于RU 122的特征映射的输出组。该组合可以包括加法、级联或加权求和等。在一些实施例中，跳过聚合器126可以将来自该变换层组124的输出与RU 122的输入级联起来以生成特征映射的输出组。

图1K示出了至少一个残余层116中的分割模型112的残余连接单元(RCU)块128的框图。RCU块128可以包括在第二残余层116B和连续残余层116C-N中。RCU块128可以具有一组RCU 130A-N(以下通常称为RCU 130)。输入可以包括通过处理来自与RCU块128相同的残余层116的原始图像118而生成的一组特征映射以及来自先前残余层116之一的特征映射。例如，第三残余层116C上的RCU块128的输入可以包括来自第一残余层116A或第二残余层116B的特征映射。输出可以包括该特征映射组，其各自由RCU 130中的一个处理和输出，以被前馈到相同的残余层116和特征映射到先前残余层116中的一个。例如，第二残余层116C上的RCU块128的输出可以包括在相同的第二残余层116B上前馈的特征映射以及要馈送到第一残余层116A中的特征映射。由RCU块128输出的一组特征映射的数量可以至少是RCU块128中的RCU 130的数量。该组RU 132可以以串联(例如，如图所示)或并联配置或以任何组合来布置。在串联配置中，一个RCU 130的输入可以包括先前RCU 130的输出(例如，如图所示)。在并联配置中，一个RCU 130的输入可以包括整个RCU块128的输入。RCU块128可以具有一个或多个RCU 130。例如，RCU块128可以具有三到五个RU 130。

图1L示出了残余连接单元块128的残余连接单元(RCU)130的框图。RCU块128的每个RCU 130可以包括一个或多个输入和一个或多个输出。RCU 130的输入之一可以包括来自先前残余层116之一的特征映射。RCU 130的另一输入可以包括来自与RCU 130相同的残余层116的特征映射。相反，RCU 130的输出之一可以包括沿着与RCU 130相同的残余层116前馈的特征映射。RCU 130的另一输出可以包括待馈送到先前残余层116中的一个的特征映射。输出的先前残余层116可以与RCU 130的输入的先前残余层116相同。在同一RCU块128内，RCU 130的输入可以来自不同的残余层116，并且RCU 130的输出可以到不同的残余层116。例如，第三残余层116C中的RCU块128的第一RCU 130A可以具有来自第二残余层116B的输入和到第二残余层116B的输出。在同一RCU块128中，第二RCU 130B可以具有来自第一残余层116A的输入(没有任何直接来自第二残余层116B的输入)和到第一残余层116A的输出(没有直接到第二残余层116B的输出)。

每个RCU 130可以包括至少一个下采样器132、至少一个输入聚合算子134、一组变换层136A–N(以下通常称为变换层136)、至少一个维度缩减单元138(本文中也称为投影单元)，以及至少一个上采样器140。在一些实施例中，RCU 130可以没有下采样器132、输入聚合算子134，或维度缩减单元138，或其任何组合。

下采样器132可以接收来自先前残余层116中的一个的输入。如上所述，输入可以包括由分割模型112中的先前残余层116中的一个处理的特征映射。下采样器132可以将从先前残余层112接收的特征映射的图像分辨率降低到适合该组变换层136的图像分辨率。在一些实施方案中，下采样器132可以应用池化运算以降低所接收的特征映射的图像分辨率。池化运算可以包括，例如，最大池化以选择特征映射中的每个集块内的最高值，或者平均池化以确定特征映射中的集块内的平均值。在一些实施例中，下采样器132可以对特征映射应用下采样操作。为了下采样，下采样器132可以将滤波器(例如，低频带频率滤波器)应用于特征映射，并选择在处理的特征映射中的预设坐标处的值。

输入聚合算子134可以接收来自与RCU 130相同的残余层116的输入和由下采样器132处理的特征映射。来自相同残余层116的输入可以包括(例如)特征映射。相同残余层116的特征映射可以是已经适合RCU 130中的变换层组136的图像分辨率。当接收到两个输入时，输入聚合算子134可以组合来自下采样器134的特征映射和来自相同残余层116的特征映射以生成输入到该变换层组136中的特征映射。特征映射的组合可以包括级联、加权求和以及加法等。

RCU 130中的该变换层组136可以处理从输入聚合算子134或直接从与RCU 130相同的残余层116接收的特征映射。每个变换层136可以包括一个或多个参数(例如，权重)以修改或以其它方式处理特征映射的输入组以产生或生成特征输出组。该变换层组136可以串联布置，其中一个变换层136的输出作为输入馈送到后续变换层136。每个变换层136可以具有非线性输入-输出特性。在一些实施例中，该变换层组136可以是卷积神经网络(CNN)，包括卷积层、归一化层和激活层(例如，整流线性单元(ReLU))。可以将由变换层136处理的该特征映射组提供给维度缩减单元138和与RCU 130相同的残余层116，以由残余层116进行附加处理。

维度缩减单元(DRU)138可以接收由该变换层组136处理的特征映射组。由变换层136处理的特征映射组可以具有与先前残余层116处理不兼容的大小或尺寸。例如，该特征映射组的深度可以超过先前残余层1116的兼容数量。在接收时，DRU 138可以将维度缩减算子应用于来自该变换层组136的特征映射组。维度缩减算子可以包括1×1卷积单元、3×3卷积单元、线性维度缩减和非线性维度缩减等。由DRU 138应用维度缩减算子可以降低特征映射的大小或缩减维度。在应用时，可以将DRU 138的输出馈送到上采样器140中。

上采样器140可以将从该变换层组136接收的特征映射的图像分辨率增加到适合先前残余层116的图像分辨率。先前残余层116可以是从其取下采样器132的输入的相同残余层116。在一些实施方案中，上采样器140可以应用上采样操作以增加所接收的特征映射的图像分辨率。上采样操作可以包括例如扩展和内插滤波器等。在执行上采样操作时，上采样器140可以将空(或默认)值插入到特征映射中，以将每个特征映射的图像分辨率扩展到与先前残余层116的处理兼容的图像分辨率。插入值或空值可以分离预先存在的值。上采样器140可以将滤波器(例如，低通频率滤波器或另一平滑操作)应用于扩展的特征映射。在该应用下，由上采样器140处理的特征映射可以具有与要从RCU 130接收输出的先前残余层116之一相同的图像分辨率。由上采样器140处理的特征映射可以被馈送到先前残余层116中用于附加处理。

图1M示出了系统100的分割模型112的增量多分辨率残余网络(MRRN)体系架构的框图。分割模型112的实例具有所示的三个残余层116A-C，但分割模型112可以具有更多的残余层116。如残余层116、RU块、RCU块130等各种组件可以以由分割模型112的增量MRRN体系架构所定义的方式(例如，如图1M等所示)彼此连接。

分割模型112可以具有跨越在残余层116之间或之中的一个或多个池化单元142A-N(以下通常称为池化单元142)以连接残余层116。每个池化单元142可以从一个残余层116检索、接收或以其它方式识别特征映射以降低图像分辨率以供后续残余层116处理。池化单元142可以将池化运算应用于从残余层116识别的特征映射。池化运算可以包括，例如，最大池化以选择特征映射中的每个集块内的最高值，或者平均池化以确定特征映射中的集块内的平均值。由池化单元142处理的特征映射的图像分辨率可以小于从残余层116识别的原始特征映射的图像分辨率。池化单元142可以将特征映射的图像分辨率降低到与相同残余层116的每个RCU 130中的下采样器132相同。例如，由池化单元142输出到第二残余层116B上的特征映射的图像分辨率可以与RCU 130中也在第二残余层116B中的下采样器132相同。

分割模型112的每个残余层116可以包括至少一个残余流144A-N(以下通常称为残余流144)。使用残余流144，对应的残余层116可以维护并处理一组特征映射146A–N(以下通常称为特征映射146)。残余层116的残余流144可以将特征映射146从残余层116的一个组件(例如，RU块120或RCU块130和其它)携载到残余层116的下一组件(例如，后续RC块120或RCU块130)。根据跨越每个RCU 130中的残余层116与下采样器132之间的池化单元142的处理，特征映射146的图像分辨率可以随着连续的残余层116而降低。例如，第一残余层116A的第一残余流144A中的特征映射146A的图像分辨率可以比第二残余层116B的第二残余流144B中的特征映射146A大四倍。

分割模型121的每个残余层116还可以包括沿着残余流144或在残余流144内的一个或多个聚合单元148。聚合器单元148可以接收来自相同残余层116的残余流144的输入(例如，特征映射组148)和来自另一残余层116的特征映射组148。在接收到这两个输入时，聚合器单元148可以组合相同残余层116的残余流中的特征映射146和来自另一残余层116的特征映射146。聚合器单元148的组合可以生成特征映射146，以沿着残余流144进行进一步处理。聚合单元148对特征映射146的组合可以包括级联、加权求和以及加法等。

分割模型112的每个残余层116可以具有一个或多个RU块120或一个或多个RCU块128等。在分割模型112的残余层116中，包括组件的类型(例如，RU块120或RCU块130)和组件的数量(例如，RU块120、RCU块128的数量，RU块120中的RU 122的数量，以及RCU块130中的RCU 130的数量)。在一些实施例中，第一残余层116A可以具有一组RU块120。例如，如图所示，第一残余层116A可以具有如图所示的第一RU块120A和第二RU块120B。每个RU块120A可以具有三个RU 122。在一些实施例中，第二残余层116B及其后(例如，残余层116C-N)可以具有一组RCU块128。RCU块128的数量可以取决于残余层116，并且一个残余层116中的RCU块128的数量可以比先前残余层116中的RCU块128的数量少一个。例如，如果第二残余层116B中的RCU块128的数量为两个，则第三残余层116C中的RCU块128的数量可为一个。每个RCU块128中的RCU 130的数量可以取决于RCU块128在分割模型112内的残余层116。

分割模型112中的至少一个残余层116(例如，如图所示的第一残余层116)可以具有用于残余层116的输出的至少一个维度缩减单元(DRU)150。DRU 150可以接收由残余层116的残余流144中的一组组件(例如，RU块120或RCU块128)处理的特征映射组150。在接收时，DRU 150可以将降维算子应用于来自残余层116的最后一个组件的特征映射组。维度缩减算子可以包括1×1卷积单元、3×3卷积单元、线性维度缩减和非线性维度缩减等。由DRU150应用维度缩减算子可以降低特征映射的大小或缩减维度。在一些实施例中，DRU 150的输出可用于生成分割图像118'。

不同残余层116的RU块120、RCU块128和残余流144可以跨越不同残余层116彼此布置或连接。在用于分割模型112的增量MRRN体系结构中，一个残余层116的RCU块128可以从一个或多个先前残余层116接收、获取或以其它方式具有输入。后续残余层116的RCU块128可以具有来自所有先前残余层116的特征映射作为输入。例如，如图所示，第二残余层116B的RCU块128可以采用特征映射组146A作为来自第一残余层116A的第一残余流144A的输入。此外，第三残余层116C的RCU块128可以从第一残余流144A获取特征映射组146A并从第二残余流144B获取特征映射组146B。

相反，在增量MRRN体系结构中，一个残余层116的RCU块128可以产生、提供或馈送输出到一个或多个先前残余层116。后续残余层116的RCU块128可以将特征映射的输出组馈送到所有先前残余层116。例如，如图所示，第二残余层116B的RCU块128可将该特征映射组作为输出馈送到第一残余层116A的第一残余流144A。另外，第三残余层116C的RCU块128可将特征映射的输出组馈送到第一残余流144A并且将特征映射的输出组馈送到第二残余流144B。

在用于分割模型112的增量MRRN体系结构中，每个池化单元142可以以散布的配置布置在残余层116之间。每个池化单元142可以布置在分割模型112中的每个残余层116中的至少一个组件(例如，RU块120或RCU块128)之后。每个池化单元142可以连接一个残余层116的至少一个组件(例如，RU块120或RCU块128)的输出以馈送到另一残余层116的至少一个组件(例如，RCU块128)的输入。例如，如图所示，第二残余层116B的第一RCU块128B-1的输出可以经由池化单元142B馈送到第三残余层116C的RCU块128C。以此方式，可对来自一个残余层116的特征映射146至少处理一次。

图1N示出了系统100的分割模型112的密集多分辨率残余网络(MRRN)体系结构的框图。分割模型112的实例具有所示的三个残余层116A-C，但分割模型112可具有更多残余层。密集MRRN体系结构的分割模型112可以包括与结合图1M所讨论的增量MRRN体系结构的分割模型112相同或相似的组件。例如，具有密集MRRN体系结构的分割模型112的第一残余层116A可以具有与具有增量MRRN体系结构的分割模型112的第一残余层116A相同的组件。

分割模型112的密集MRRN体系架构中的组件的布置可以不同于分割模型112的增量MRRN体系架构中的组件的布置。每个池化单元142可以以分层或线性配置布置在第一残余层116A之外。在此配置下，所有池化单元142可以从先前残余层116接收特征映射146，而无需任何RCU块128的任何处理。在一些实施例中，第一池化单元142A可以接收由第一残余层116的第一RU块120A处理的特征映射146。此外，每个池化单元142可以将处理的特征映射146输出到下一残余层146，以作为输入提供给残余层146中的第一组件。例如，如图所示，第一池化单元142A可以被布置为将第一RU块120A的输出特征映射146A与第二残余层116B中的第一RCU块120B-1的输入连接。此外，第二池化单元142B可以被布置为将由第一池化单元142A处理的输出特征映射146B与第三残余层116C的第一RCU块128C-1的输入连接。

此外，与用于分割模型112的增量MRRN体系架构中的布局相比，用于分割模型112的密集MRRN体系架构中的组件可以在组件之间的连接布局方面不同。在第一残余层116A之外，连续残余层116的RCU块128可以接收、获取或以其它方式具有来自先前残余层116中的一个的残余流144的输入。后续残余层116的RCU块128可以具有来自先前残余层116中的一个的特征映射作为输入。例如，如图所示，第三残余层116C的RCU块128C-1和128C-2可以从第二残余层116B的第二残余流144B中获取特征映射组148B。连续残余层116的RCU块128可以缺少来自其它先前残余层116的残余流144的输入。在所示的实例中，第三残余层116C的RCU块128C-1和128C-2可以缺少来自第一残余层116A的第一残余流144A的任何直接输入连接。

相反，在用于分割模型112的密集MRRN体系结构中，一个残余层116的RCU块128可以产生、提供或馈送输出到先前残余层116中的一个。后续残余层116的RCU块128可以将特征映射的输出组馈送到先前残余层116中的一个。例如，如图所示，第三残余层116C的RCU块128C-1和128C-2可以将特征映射组146C作为输出馈送到第二残余层116B的第二残余流144B。连续残余层116的RCU块128可以缺少输出以馈送到其它先前残余层116的残余流144。在所示的实例中，第三残余层116C的RCU块128C-1和128C-2可以缺少到第一残余层116A的第一残余流144A的任何直接输出连接。

除了连接的布置和布局的差异之外，密集MRRN体系架构的分割模型112还可以包括跳过聚合器算子152。残余层116中的至少一个可以包括沿着残余流144的至少一个跳过聚合器算子152。跳过聚合器152可以布置在至少一对RCU块128之间，并且可以布置为与中间RCU块128平行。跳过聚合器152可以从先前RCU块128(例如，第一RCU块128B-1)接收特征映射组146作为输入，并从中间RCU块128(例如，第二RCU块128B-2)接收特征映射组146作为输入。跳过聚合器算子126可以组合来自RCU块128(例如，RCU块128B-1和128B-2)的特征映射的输入组以生成残余流144中的后续RCU块128(例如，RCU块128B-3)的特征映射的输出组。该组合可以包括加法、级联或加权求和等。

通常参考图1H–N，通过识别原始图像118，模型应用器108可以将分割模型112应用于原始图像118以产生或生成分割图像118'。用于应用于原始图像118的分割模型112可以包括整体MRRN体系架构或密集MRRN体系架构。模型应用器108可以将原始图像118作为输入馈送或提供到分割模型112中。在一些实施例中，模型应用器108可以将原始图像118作为输入馈送到分割模型112的一个或多个残余层116(例如，第一残余层116A)中。在应用原始映射118时，模型应用器108可以同时或并发地执行分割映射112中的每个残余层116以及其中的各个组件的功能。

通过应用分割模型112，模型应用器108可以从分割模型112的输出采集或检索分割图像118'。与原始图像118相比，可以修改分割图像118'以更清楚地指示对象(例如，肿瘤生长)。在一些实施例中，模型应用器108可以使用第一残余层116A的输出(例如，来自DRU150的特征映射146)来生成分割图像118'。在一些实施例中，在生成分割图像118'时，模型应用器108可以在显示器106上呈现或显示分割图像118'。

在一些实施例中，模型应用器108可以从来自分割模型112的多个残余层116的输出生成分割图像118'。在使用来自多个残余层116的特征映射146时，模型应用器108可以将特征映射146组合为一组集合分割。在一些实施例中，模型应用器108可以从多个残余层116为特征映射146中的每个值生成置信度得分。基于特征映射146中的值的置信度得分，模型应用器108可以使用该值来组合以形成分割图像118'。当置信度得分大于或等于阈值时，模型应用器108可以选择包括在分割图像118'的生成中。当置信度得分小于阈值时，模型应用器108可以从分割图像118'的生成中丢弃该值。

在一些实施例中，模型应用器108可以使用所生成的分割图像118'来确定从中采集原始图像118的对象的健康度量。健康度量可以包括本文结合部分C详细描述的那些。健康度量可用于预测对免疫疗法的应答或耐药性的早期发展。健康度量的确定可以基于从分割图像118'识别的对象。可以使用如特征检测等的计算机视觉技术来识别对象。

模型训练器110可以使用训练数据集114对分割模型112进行训练。模型训练器110可以从样本图像118B中识别使用分割模型118A生成的分割图像118'A。模型训练器110还可以识别样本图像118B的样本分割图像118'B。通过识别图像，模型训练器110可以将所生成的分割图像118'A与样本分割图像118'B进行比较。基于该比较，模型训练器110可以计算或以其它方式确定所生成的分割图像118'A与样本分割图像118'B之间的至少一个损失度量。损失度量可以指示两个图像118'A与118'B之间的至少一个差异。可以使用本文详述的任何公式来计算损失度量。在一些实施例中，模型训练器110可以通过将来自多次迭代的损失度量之间的差值与阈值容限进行比较来确定分割模型112是否已经转变。当该差值大于阈值容限时，模型训练器110可以终止分割模型112的训练。另一方面，当差值小于阈值容限时，模型训练器110可以继续训练。

基于损失度量，模型训练器110可以修改分割模型112的一个或多个参数。在一些实施例中，模型训练器110可以修改分割模型112中的各个组件(例如，RU块120中的RU 122和RCU块128中的RCU 130)。各个组件的修改可以根据深度监督技术(例如，本文结合图1E所述的)。用于修改一个或多个参数的损失度量可以特定于在分割模型112内的每个组件处所预期的样本特征映射。在一些实施例中，训练数据集114可以包括不同模态(例如，CT和MRI)的断层摄影生物医学图像。使用利用来自不同模态的图像为每个组件计算的损失度量，模型训练器110可以修改分割模型112的各个组件。

图1O示出了使用多分辨率残余神经网络(MRRN)分割生物医学图像的方法160的流程图。方法160的功能可以使用本节中所述的体系架构(例如，本文中结合图1A-G详述的体系架构以及结合图1H-N详述的系统100)或者下文结合图15A-D所述的计算系统1500来实现或执行。计算装置可以识别生物医学图像(162)。计算装置可以应用分割模型(164)。计算装置可以生成分割的生物医学图像(166)。

图IP示出了用于分割生物医学图像的训练模型的方法170的流程图。方法160的功能可以使用本节中所述的体系架构(例如，结合图1H-N详述的系统100)或者下文结合图15A-D所述的计算系统1500来实现或执行。计算装置可以识别生物医学图像(172)。计算装置可以应用分割模型(174)。计算装置可以生成分割的生物医学图像(176)。计算装置可以确定损失(178)。计算装置可以更新分割模型(178)。在(174)处执行的功能性可类似于方法160中的(162)，除了这些功能性可以关于采样的生物医学图像。

图2A示出了使用各种网络的训练(TCIA)和验证(MSKCC)数据的误差变化。如图所示，增量和密集MRRN两者导致验证数据集的DSC损失的最大降低。另一方面，Unet和SegNet是实现最大验证误差的方法之一，尽管与其它网络相比最早实现了最低训练误差。这些结果表明，与所提出的MRRN方法相比，相同的两种方法可能过度拟合。星形(如图2A所示)对应于训练期间获得的最低验证误差。保留不同方法的验证误差最低的模型用于新数据集的测试。

图2B示出了当使用FRRN方法对性能进行基准测试时，通过以0.1的增量改变范围从τ＝0.1到0.9的分割重叠阈值而计算的检测率和灵敏度。平均DSC增加，并且标准偏差随着被认为检测到的肿瘤的阈值增加而降低。相应地，检测到的肿瘤的数量或检测率降低。检测阈值不影响假阳性率，而仅影响检测到的肿瘤数量或真阳性率。阈值选择为0.5。表III示出了使用0.5的检测阈值分析的数据集和方法的检测率。如图所示，增量MRRN实现了最高检测率，而密集MRRN的性能优于先前提出的方法。

表III

重叠阈值为0.5时的检测率

三个不同的数据集中

(TCIA，MSKCC和LIDC))

从通过至少一种方法检测的肿瘤计算分割准确度以评估各种方法的临床可用性。这导致对于TCIA、MSKCC和LIDC检测到354、299和455个肿瘤以进行分割分析。

图3A示出了对于图3A(i，iii)中附着于纵膈的肿瘤、图3A(ii，iv，v)中附着于胸壁的肿瘤以及图3A(vi)中包围在肺实质内的肿瘤，使用TCIA、MSKCC和LIDC数据集的各种方法的分割性能。蓝色轮廓对应于专家的描绘，而红色轮廓对应于算法分割结果。基于非CNN的RF+CRF方法在所有分析的性能度量的所有三个数据集中产生最不准确的分割(见图3A，表IV)。如图3A所示，与所提出的方法相比，Unet和SegNet产生更差的分割，包括欠分割和过分割。FRRN均优于Unet和SegNet，但仍产生过分割，如图3A(ii，iii)中的情况所示。另一方面，增量MRRN和密集MRRN在所呈现的情况下产生接近于专家分割。

图3B示出了使用来自三个数据集的CT图像的MRI合成分割的1210个NSCLC肿瘤，与肿瘤大小、位置和恶性无关，其中总体戴斯重叠分割准确度为0.75±0.12。图3C示出了通过用具有无关CT扫描(n＝377)的非常有限数量的MRI(n＝6)训练来从CT图像合成MRI。图3D示出了使用多分辨率残余网络通过深度学习对肺肿瘤的自动体积分割。

表IV示出了所有分析方法和使用多个度量的数据集的整体分割性能。还示出了将所提出的MRRN方法与其它方法进行比较的显著测试结果。对于所有分析数据集，增量和密集MRRN的DSC均显著高于RF+CRF和Unet，并且与使用内部和外部验证数据集的SegNet，DSC显著更高。此外，与所有数据集中的所有比较方法相比，增量和密集MRRN均实现了显著更低的豪斯多夫距离(HD95)。使用增量或密集MRRN的灵敏度和精确度度量比对比方法略有改善。

表IV

使用多个度量的分析方法的分割准确度、戴斯评分系数(DSC)、豪斯多夫距离(95％)(HD95)、灵敏度和精确度，以平均值和标准差(SD)表示。增量(incre)、密集MRRN与Unet、Segnet与FRRN之间的显著差异示出为ns(p≥0.05)、Δ(p<0.05)、□(p<0.01)和*(p<0.001)。性能最佳方法用粗体字体表示。使用读取器1描绘来评估LDC数据集。

如图4C所示，所有方法产生了独立于放射科医师的一致分割。使用四名放射科医师的各种性能度量作为参考的分割一致性为：DSC 0.76±0.12和HD95:1.75±1.37mm。图5A示出了由增量MRRN从8个随机选择的病例中产生的实例分割以及放射科医师的分割。(b)和(d)中的两例缺失放射科医师R2的描绘。

在分析中使用了最佳分割方法，即增量MRRN，其导致高度相似的体积变化(增量MRRN为0.13±0.12和专家为0.09±0.08)(图5B)。专家与算法分割之间的肿瘤体积变化趋势无显著差异(p＝0.7)。增量MRRN与专家描绘之间的平均趋势差异为0.05±0.05。

图5B(a)示出了两例患者，一例对治疗具有获得性耐药(不再对免疫疗法有应答)，其以红色示出，另一例具有持久性应答(示出长期获益于治疗)，其以蓝色示出。实线对应于增量MRRN分割，而虚线对应于专家描绘。尽管算法和专家分割并不完全一致(例如，算法导致过度分割，因为肿瘤难以在具有获得性耐药的患者中在稍后的时间点与相邻纵隔胸膜区分开)，但体积变化的趋势一致。对于相同的两例患者，在图5B(b)中对于获得性耐药和在图5B(c)中对于从基线和间隔9周的第一次和第二次治疗中扫描计算的分割的持久性应答将图像和分割可视化。

使用T＝0.01的权重稀疏性阈值，增量MRRN在图5C中示出了随着网络深度增加而不断减小的特征稀疏性。另一方面，FRRN没有示出所有层在网络深度上或多或少具有相似稀疏性的这种趋势。

讨论

开发、实施和测试了以不同分辨率同时组合特征以分割肺肿瘤的两种不同的多分辨率残余深度神经网络。在对来自多个机构的三个不同数据集(由一个内部数据集和两个外部数据集组成)的最大数量的肺肿瘤进行分割时对该方法进行了评价。与通常用于医学图像分析和分割的一些现有的深度神经网络公式相比，该方法示出显著更好的性能。用基于浅层学习的RF+CRF方法对基于CNN的方法的性能进行基准测试。这些结果证实了先前的研究，这些研究表明深度CNN方法的性能优于浅层学习方法。这些方法还实现了与肿瘤大小和位置无关的最佳分割性能。此外，性能最佳的网络，即增量MRRN在纵向跟踪晚期癌症患者并接受免疫疗法后的肿瘤体积方面示出与专家描绘的良好一致性。值得注意的是，接受免疫疗法治疗的肿瘤在CT图像上会发生体积和外观的变化。该方法表明检测和跟踪此类肿瘤是可行的。这是第一项研究，其采用基于深度学习的自动分割来分析接受免疫疗法治疗的不断变化的肿瘤。

结果证实了先前的观点，即组合来自所有级别的特征对于分割是有用的。具体地，该方法明显优于如Unet的传统方法，其在图像和特征逐层传递时递增地连接不同分辨率的特征。采用多分辨率特征的早期工作包括超列方法、RefineNet和FRRN。该方法改进了FRRN方法，并且在某种程度上类似于RefineNet方法，其中通过如增量MRRN中的平滑增量更新来合并来自多个分辨率的特征。然而，增量和密集MRRN都增加了能够从所有分辨率传递特征的连接。该方法不会像在超列方法中那样增加更多的计算工作量，并且可以应用于从合理大小的图像生成分割；超列方法仅限于50x50图像。在整个分析中使用160x160图像。然而，甚至可以使用更大尺寸的图像。

尽管这些方法与现有方法相比表现出改进的性能，但是仍然存在改进的空间，包括难以检测的肿瘤，如附着于纵膈的那些肿瘤。另一限制是使用切片式分割而不是3D卷积，并采用基于ROI的训练框架，其中，从同一图像生成包含不同程度肿瘤的多个ROI以增加训练规模。然而，这是首次研究之一，其使用多机构数据集开发并测试了大量肺癌的深度学习网络，并应用了纵向分割和跟踪肿瘤的方法，肿瘤的大小和外观由于用免疫疗法治疗而改变。总之，提出了一种用于生成肺肿瘤自动分割的基于多分辨率残余网络的深度卷积神经网络方法。

结论

本文提出了通过添加多个不同分辨率的残余流从CT图像中分割肺肿瘤的两个神经网络。结果清楚地表明了跨多个数据集的分割准确度的改进。该方法适用于纵向跟踪接受免疫疗法治疗后的癌症的肿瘤体积，这改变了CT上肿瘤的大小和外观。考虑到肺肿瘤的成功，该方法也有望用于其它部位。两种所提出的MRRN均优于现有方法。

提出了一种基于对抗性域适应的深度学习方法，用于从T2加权MRI进行自动肿瘤分割。该方法由两个步骤组成：(i)肿瘤感知的无监督跨域适应(CT到MRI)，随后(ii)使用经过合成和有限数量的原始MRI训练的Unet进行半监督肿瘤分割。本公开提出了一种用于无监督跨域适应的新的靶向特异性损失，称为肿瘤感知损失，其有助于在从CT图像产生的合成MRI上保留肿瘤。相比之下，在没有肿瘤感知损失的情况下训练的最先进的对抗性网络产生了具有不良保留或缺失肿瘤的MRI。所有网络均使用从肿瘤影像档案中获得的377例非小细胞肺癌患者的标记CT图像和6例治疗前和36例治疗中扫描患者的完全不相关队列的未标记T2w MRI进行训练。接下来，将6个标记的治疗前MRI扫描与合成的MRI结合以通过半监督学习提高肿瘤分割的准确度。使用戴斯评分系数(DSC)计算的cycle-GAN的半监督训练产生的分割准确度为0.66。仅用合成MRI训练的方法产生0.74的准确度，而在半监督环境中训练的相同方法在测试中产生0.80的最佳准确度。结果表明，通过利用大的CT数据集，肿瘤感知的对抗域适应有助于从有限的MRI数据中实现合理准确的癌症分割。

引言

MRI引导的放射疗法是一种新兴技术，与传统基于CT的放射疗法相比，由于与MRI图像相比，MR的软组织对比度更好，因此可以提高治疗准确度。MRI上的实时准确肿瘤分割可有助于向肿瘤递送高剂量，同时减少正常组织的剂量。然而，由于MRI引导的放射疗法未用于标准护理，只有非常少的MRI可用于训练。因此，从大CT数据集中进行对抗性域适应，以在MRI上进行肿瘤分割。

尽管深度神经网络在从大量(标记的)数据中学习方面表现出色，但是当应用于新的数据集或域时，其准确度降低。源域与目标域分布之间的差异称为域移位。通常使用的微调方法在目标域中需要非常大的标记数据。作为替代，域适应方法试图通过特征共享或通过学习从源域重构目标来最小化域移位。本质上，域适应方法学习边缘分布以将源域转换到目标域。

域移位的问题在医学图像中更加严重，其中成像模态不同地(例如，CT与MRI)捕获基础解剖结构的物理特性。例如，尽管骨骼在CT上表现为高密度而在MRI上表现为深色，但是肿瘤在CT上表现为具有与正常软组织相似的对比度，但是在MRI上具有明显的外观(如图6A的(a)和(b)所示)。因此，仅仅学习域的边缘分布可能是不够的。高度不同模态的跨域适应已经应用在医学图像分析中，用于使用成对图像和不成对图像的图像合成，以及用于分割。然而，所有上述方法仅旨在合成与边缘匹配但不与如肿瘤的特定于结构的条件分布匹配的图像。使用标准的生成对抗性网络方法来匹配整体分布导致称为模式崩溃或模式限制合成的问题，其中合成图像不捕获目标成像模态的多模态强度统计。因此，使用此类合成图像的分割和分类将导致较低的准确度。

因此，引入新的靶向特异性损失，称为肿瘤感知损失，用于无监督跨域适应，其有助于在从CT图像产生的合成MRI上保留肿瘤(如图6A的(d)所示)，其不能仅用循环损失捕获(如图6A的(c)所示)。

方法

我们的目的是通过从CT到MRI的域适应解决从MR图像中学习分割肿瘤的问题，其中在源域中存在对合理大小的标记数据的访问(X

第一步是学习从CT图像合成MRI的映射G

其中，x

循环一致性和对抗性损失仅限制模型学习匹配边缘分布但不匹配属于如肿瘤的单个结构的条件分布的全局映射。因此，使用这些损失训练的模型不需要保存肿瘤，这可能导致合成MRI中肿瘤的恶化或完全损失(如图6A的(c)所示)。因此，引入了肿瘤感知损失，这迫使网络保留肿瘤。具体地，肿瘤感知损失由肿瘤损失和特征损失组成。通过使用用于CT(U

另一方面，肿瘤特征损失L

其中，φ

L

其中，λ

将第一步的合成MRI与具有标签(图6B中的

图6C示出了用于通过从CT生成保留结构的合成MRI从小数据集进行机器学习自动分割的体系架构。来自不同模态的MRI和CT图像合成通过双生成对抗性网络进行联合学习。该方法包括许多不同的损失，特别是GAN损失(或对抗性损失)、循环一致性损失(或循环损失)、特征损失、结构纹理损失以及结构形状和位置损失。对T2w MRI进行了测试，但相同技术适用于对比MRI，如T1pre或T1pos对比MRI和其它解剖MRI序列。GAN损失：该损失迫使网络通过最小化合成与真实MRI或合成与真实CT之间的差异来产生尽可能真实的合成图像。注意，合成MRI由CT产生，合成CT由MR图像产生。循环损失：该损失迫使两个生成器网络产生真实的合成图像，但放松了来自同一患者的两种模态的图像或使其解剖结构对准的约束。

简而言之，来自一个网络的合成CT(或MRI)被用作第二生成器的输入，以产生与原始MRI(或原始CT)进行比较的合成MRI(或CT)。这迫使两个网络能够再现原始输入图像。引入的特征损失迫使真实CT和合成MRI(从真实CT合成)对特定结构(如肿瘤或任何正常结构)产生相同的特征激活。这意味着负责产生分割的特征在合成和真实目标模态(例如MRI)之间匹配，从而反过来强制了结构保存约束。图中所示的附加深度网络(如Unet)的最后两个解码层绑定在处理真实CT和合成MRI的附加网络之间，以迫使这些网络捕获结构的高级特征。绑定或匹配来自其它层的特征使得能够对激活实施不同类型的约束。引入的结构形状和位置损失迫使附加网络使用真实CT和合成MRI(由真实CT产生)通过比较结构之间的重叠对结构进行相同的分割，以保持图像中的结构的形状和位置。引入的结构纹理损失迫使网络在真实和合成的MRI中保持纹理外观。与循环一致性损失一起计算，该损失试图最小化纹理特征中的差异，如在具有坏死成分的肿瘤的情况下，以保持相同的外观。

如图6D-6I所示，系统的第一部分涉及两个GAN，其中一个将CT转移到MRI，而另一个将MRI转移到CT。例如，生成器从CT转移到MRI，输入是CT图像，输出是转移的MRI图像。生成器MRI与CT相同。在这个阶段，两个生成器是独立的。循环损失将它们连接在一起。第三种损失是肿瘤感知损失。使用生成损失和循环损失将使肿瘤消失。由于肿瘤与CT中的心脏或其它健康组织具有相同的强度。当在转移的MRI中将那些强度变为黑色时，肿瘤消失。因此，对CT到MRI生成器施加了约束。提出了肿瘤感知损失，包括肿瘤损失和特征损失。一旦CT图像中给出了CT肿瘤标记，肿瘤损失有助于保持肿瘤位置。如图所示，在CT中有肿瘤的位置生成肿瘤。损失的第二部分是特征损失，在MRI肿瘤约束网络及其相应CT网络中保持相同的区别性特征分布。

实验和结果

测试了将肿瘤感知损失添加到循环损失的影响(所提出的与cycle-GAN对比，与掩蔽的cycle-GAN)。通过结合有限数量的真实MRI，使用半监督学习来训练使用上述网络合成的图像以进行分割。对抗性合成将肿瘤标记作为附加信道与原始图像组合为掩蔽的cycle-GAN。评价了将有限数量的原始MRI添加到合成MRI中对分割准确度的影响(使用半监督训练的肿瘤感知与使用无监督训练的肿瘤感知)。通过仅使用治疗前(或一周)MRI训练网络，对最低可实现分割准确度进行基准测试。

使用对比度增强的CT图像来训练图像合成网络，其中专家描绘了可从肿瘤影像档案(TCIA)获得的377例非小细胞肺癌(NSCLC)患者的肿瘤，以及在每周接受放射治疗前和治疗期间在诊所进行T2w MRI扫描(n＝7)的6例患者的不相关队列。掩蔽的循环-GAN使用肿瘤标记和图像作为附加信道，甚至用于图像合成训练。提取包围肿瘤的图像区域并重新缩放至256×256，以产生32000个CT图像切片和9696个T2w MR图像切片。治疗前MRI的仅1536个MR图像用于所有网络的半监督分割训练。对来自相同6例患者的后续治疗中MRI(n＝36)进行了分割验证。使用28个MRI进行测试，包括3例患者的纵向扫描(7，7，6)和8例未用于训练的患者的治疗前扫描。通过使用戴斯评分系数(DSC)和豪斯多夫距离95％(HD95)与专家描绘进行比较来评价肿瘤分割准确度。

图7A示出了仅使用cycle-GAN(图7A的(b))、掩蔽的cycle-GAN(图7A的(c))和使用该方法(图7A的(d))产生的合成MRI的代表性定性结果。如图所示，该方法最佳地保留了CT与MRI之间的解剖细节。使用从用于训练的合成和原始MRI之间的肿瘤区域计算的Kullback-Leibler(KL)散度的定量评价证实，与使用cycle-GAN(1.69)和掩蔽的cycle-GAN(0.32)获得的肿瘤分布相比，该方法产生0.069的最低KL散度的肿瘤分布的最佳匹配。

图7B和7C分别示出了使用各种方法(黄色轮廓)从测试和验证集生成的三个代表性病例的分割，以及专家描绘(红色轮廓)。如表1所示，该方法优于循环GAN，与没有(无监督)或具有(半监督)标记的目标数据的训练无关。半监督分割优于测试和验证数据集中的所有方法。

表1：分割准确度

讨论

在该工作中，引入了新的靶向特异性损失，即肿瘤感知损失，用于使用无监督跨域适应从未配对的CT数据集合成MR图像。肿瘤感知损失迫使网络保留在仅使用循环损失时通常损失的肿瘤，并导致准确的肿瘤分割。尽管应用于肺肿瘤，但该方法可适用于其它结构和器官。仅用合成MRI训练的该方法的分割准确度超过以半监督方式训练的其它方法。添加一小组标记的目标域数据进一步提高了准确度。由于与测试集(平均68.2cc)相比，验证中的肿瘤体积(平均37.66cc)显著较小(p＝0.0004)，因此验证组产生的DSC准确度低于测试组，但无显著差异(p＝0.1)。这些结果表明，与基本cycle-GAN相比，掩蔽的cycle-GAN产生较低的测试性能，这可能是由于来自高度不平衡的CT和MR数据集的较差建模。作为限制，该方法仅迫使合成的MRI保留肿瘤，而不迫使肿瘤内的MR强度分布。此建模将需要学习在本工作范围之外的各个扫描制造商/磁体强度和线圈位置的映射。另外，与所选方法无关的合成图像不产生从CT到MRI的一对一像素映射。还存在通过探索更先进的分割模型(例如边界感知完全卷积网络(FCN))来提高分割精度的空间。

结论

在本公开中，引入了使用未配对CT和MR图像的肿瘤感知的对抗性域适应方法，用于从MRI生成分割。该方法保留了合成MRI上的肿瘤，并且与现有技术的对抗性跨域适应相比生成了最佳的分割性能。结果表明了使用CT合成的MRI进行训练的MRI进行肺肿瘤分割的可行性。

尽管在多种癌症中采用检查点阻断免疫疗法，但只有少数患者获益于该疗法。从基线和早期治疗中计算机断层扫描图像提取的熵放射组学特征被识别为免疫疗法应答和获得性耐药发展的早期预测因子。分析了59例患者。使用从48例患者的基线和治疗中扫描提取的纹理测量值训练弹性净回归分类器以预测持久性临床获益(DCB)。与预测DCB最相关的特征用于预测22例患者(11例未用于预测DCB)亚组中的获得性耐药，患者长期获益于免疫疗法(持续时间>1年)。熵强调图像异质性，被识别是预测DCB的最相关特征。首次治疗扫描时的高熵值与DCB(P＝0.020)和调整治疗线、年龄、性别、吸烟状态和肿瘤部位后的总体存活率显着相关联(危害比0.99，95％CI 0.98—1.00，P＝0.016)。作为将纹理与PD-L1表达和体积整合的完整模型，结合纹理的弹性净回归实现了最高且可比的嵌套留一法交叉验证准确度(AUROC 0.82[95％CI 0.68-0.92])。低基线熵(P＝0.020)和治疗早期熵增加(P＝0.030)与获得性耐药的后期发展相关联。这些结果表明熵可能与免疫疗法应答相关联，但是需要对更大的队列进行分析以优化放射组学特征，以预测和监测免疫疗法应答。

引言

肺癌是全世界癌症死亡的主要原因。具有程序性细胞死亡-1(PD-1)检查点阻断的免疫疗法已证明对于肺癌和许多其它癌症患者具有令人印象深刻的存活优势。抗程序性细胞死亡-1(PD-1)抑制剂(如派姆单抗)现已在美国获准用于治疗患有PD-L1表达的NSCLC、黑素瘤、头颈癌和错配修复缺陷型肿瘤等的患者。

尽管免疫疗法在肺癌中取得了成功，但只有少数患者获益于免疫疗法。多项研究表明，PD-L1表达与富集应答相关联。其它生物标记(如总非同义突变负荷)与应答相关联。然而，这些测定具有不完全的预测，需要侵入性活组织检查，侵入性活组织检查仅代表时间上的瞬间且受采样中的异质性影响。关键的下一步是标识生物标记，该生物标记在治疗早期精确预测结果并区分应答者和非应答者，以便能够以更高的精确度应用免疫疗法。

放射组学是对标准护理医学图像进行高级图像分析的新方法，其已被应用于多种癌症以识别肿瘤侵略性的非侵入性预测因子、识别具有不同肿瘤生物学的子区域，并预测多种癌症治疗的结果。具体地，放射组学分析通过描述边缘、肿瘤形状和肿瘤纹理的特征量化个体肿瘤内放射照相信号强度的空间变化。

假设通过放射组学捕获的肿瘤内更高的成像异质性可用于预测或监测免疫疗法应答。特别地，检验了采用基于计算机断层扫描(CT)图像的纹理特征用于预测和监测接受抗PD-1单一疗法(派姆单抗)治疗的肺癌患者的应答的可行性。该研究与平行研究互补，该平行研究采用来自基线CT图像的放射组学分析来预测当接受检查点阻断免疫疗法治疗时可能发展为过度进行性疾病的肺癌患者。

为了避免与有限数据集的过度拟合，将放射组学测量限于与异质性相关的一组四个纹理特征。此外，使用与派姆单抗应答相关联的最相关纹理，研究了与持续>1年的持续持久性获益患者相比，相同纹理特征是否区分最终对治疗发展为晚期获得性耐药的患者。

结果

评价了50例接受派姆单抗治疗的NSCLC患者(组I)，以确定与主要结局相关联的纹理特征，即持久性临床获益。50例患者中有48例(96％)的肿瘤可以通过治疗前和治疗中扫描检查其纹理特征，如表1所示。两例患者在治疗后没有可测量的肿瘤，因此从研究中排除。患者的中值随访时间为7.67mos(IQR 2.14-16.64)。量化的PD-L1表达可用于48例患者中的46例(96％)，并且如预期的，当被认为是分类的(阳性对阴性)和当被认为是连续变量时，与改善的PFS和OS相关联，如图8B所示。48例患者中有22例(46％)具有持久性临床获益，54％无持久性临床获益(NDB)。

表1.临床特点

*所有的患者都长期获益于免疫疗法，未接受派姆单抗治疗，并且仅用于测试使用识别为与对派姆单抗的应答相关联的最相关纹理区分具有持久性持续获益的患者与具有获得性耐药的患者的可行性。

如表1和图8A所示，没有基于基线CT图像的纹理与DCB显著相关联。除了基线熵的连续测量(图8A)之外，没有纹理特征与总体或无进展存活相关联(表2)。仅使用基线纹理训练的弹性净回归模型用嵌套留一法交叉验证预测了DCB，受试者工作曲线下面积(AUROC)为0.53(95％CI 0.36-0.70)，与随机分类器(AUROC＝0.5)无显著差异。将定量肿瘤-PD-L1表达包括在模型中增加了留一法分类器准确度至AUROC为0.68(95％CI0.52-0.82)。

检查DCB和来自首次治疗扫描的放射纹理之间的关联，以及与图8A所示的在第一次扫描和基线之间计算的Δ纹理的关联。如表1所示，在第一次扫描的所有基于CT图像的纹理特征中，只有较高的熵与DCB显著相关联(DCB中值129与NDB中值98，P＝0.028)。如图8A所示，在进行多次比较调整之前，DCB与NDB相比，首次治疗的较高均质性和增加的熵(Δ熵)仅存在显著差异。此外，正如预期的，肿瘤体积减少(阳性Δ体积)也与DCB显著相关联(DCB中值7.3cc，IQR 3.3cc至31.4cc，NDB中值-10.6cc，IQR-29.9cc至2.9cc，P＝0.002)。

调整年龄、性别、治疗线、吸烟状况和肿瘤部位后，首次治疗扫描的熵与OS相关联(危害比为0.99，95％CI 0.98至1.00，P＝0.016)，而Δ肿瘤体积与OS无关(危害比为1.00，95％CI 0.38至3.30，P＝0.15)，如表2所示。当与熵小于或等于中值的肿瘤相比时，使用中值熵进行二分，具有大于中值熵的肿瘤具有改善的OS，如图8B所示。

表2.用于区分确诊DCB患者与NDB患者的分类准确度。通过比较各个方法的ROC，在仅纹理和所有其它方法之间进行显著性测试。

鉴于先前建立的PD-L1表达与免疫疗法益处之间的关联，使用定量PD-L1表达来检验训练的分类器预测免疫疗法应答的可行性。仅使用定量肿瘤PD-L1表达进行的逻辑回归具有适度的准确度，如表3所示，可能是由于在模型中使用了单一预测因子。另一方面，使用来自首次治疗的纹理测量和测量从基线到首次治疗的纹理变化的Δ纹理计算的分类器实现了AUROC＝0.82，95％CI(0.68–0.92)，TPR＝0.79，TNR＝0.68的最佳准确度。将纹理与定量肿瘤PD-L1表达结合的模型产生稍低的准确度，AUROC＝0.80，95％CI(0.65—0.92)，TPR＝0.75，TNR＝0.63。如图8C所示，对于预测DCB，纹理测量的等级高于定量PD-L1表达。相比之下，仅使用体积和定量肿瘤PD-L1表达的模型实现了AUROC＝0.79，95％CI(0.66—0.91)，TPR＝0.79，TNR＝0.55的较低准确度。如表3所示，使用PD-L1表达、体积和纹理的组合模型产生与仅纹理模型相当的准确度，AUROC＝0.82，95％CI(0.68—0.94)，TPR＝0.83，TNR＝0.74。纹理(首次治疗和Δ测量)与组合模型(P＝1.0)之间的准确度无显著差异。尽管首次治疗后的较大体积显示与阳性PD-L1表达显着相关，如图8C所示，但是在进行多次比较调整后，熵和体积均与定性PD-L1表达无关。另外，首次治疗后的对比纹理和体积(和体积减少)分别显示出与定量肿瘤PD-L1表达的轻微正相关性和负相关性，如表3所示。

表3.使用熵和Δ体积的连续测量来预测PFS和OS的调整后的Cox分析。根据年龄、性别、治疗方式、吸烟状况和肿瘤部位调整CT纹理和体积测量。

接下来，通过将接受派姆单抗治疗的第一组患者的11例患者与如表1所示的全部显示长期获益于免疫疗法的第二组11例患者(组2)组合，检查22例患者的探索性分析，以查看熵的连续变化是否可能与最终发展获得性耐药(AR)而不是持续持久性应答(DR)的那些患者相关联。在22例患者中，11例最终发展为获得性耐药，而11例患者的持久性应答保持无进展。在该组长期应答者中，高基线熵与DR(p＝0.02)显著相关，如图8D的(a)所示。在该组中，AR患者而非DR患者在每次治疗扫描(第一次、第二次和第三次，参见图4)上显示增加的熵(参见图8D)。此外，在第一次(p＝0.03)和第二次(p＝0.02)治疗扫描后，AR患者的累积Δ熵显著更高。DR患者的熵降低趋势并不稳定，在第三次治疗CT扫描后出现逆转，如图8D的(b)所示。

讨论

预测对免疫疗法的应答或检测对免疫疗法的耐药性的早期发展的非侵入性方法可以在很大程度上为临床管理提供信息，避免徒劳的治疗，并着眼于可能的应答者。随着免疫疗法的改变，成像生物标志物可能在应答的定量监测中起关键作用。已经表明，与单独使用基于大小的测量相比，用放射组学特征捕获的疾病异质性的量化对于预测治疗应答更有用。在本研究中，检查了使用从CT图像中提取的基于放射组学纹理的特征预测免疫疗法结果的可行性。在候选测量中，发现基线和首次治疗时计算的较高熵值是派姆单抗获益的独立预测因子。而且，已经表明，单独的纹理测量可用于构建预测模型，其在准确度上与整合纹理与定量肿瘤PD-L1表达和体积的组合模型相当。最后，在具有长期应答的患者中，基线熵和从基线、首次和第二次随访CT扫描计算的熵变化似乎将那些发展为获得性耐药的患者与持久性持续应答区分开。

重要的是要注意，基线纹理中没有一个预测持久性临床获益，尽管首次治疗后的高基线和熵的增加确实预测了OS。提取许多纹理可能有助于确定免疫疗法的基线预测因子，正如发现所暗示的那样，在应答者中，与最终获得晚期耐药性的患者相比，超过一年的持久应答与更高的基线熵相关联。然而，为了避免该初始数据集中的过度拟合，集中于有限的一组纹理特征。

如先前结果所示，在放化疗后检查了Δ纹理的效用以预测结果，包括存活率。总体上，在基线时发现较高的熵，并且在首次治疗后立即接受PD-(L)1单药治疗的患者预后较好。尽管发展为获得性耐药的患者也与治疗后增加的熵显著相关，但重要的是注意到这些组患者最初对治疗有应答(或表现出DCB)并具有长期应答(PFS持续>1年)，这与不从免疫疗法(或NDB)获益的患者不同。这一结果不同于既往放化疗研究的结果，既往放化疗研究显示高治疗前或治疗后熵增加与较差预后相关。已经检查了从基线CT扫描计算的放射组学测量值与免疫疗法结果(包括黑素瘤和肺癌中的存活率)之间的关系。可能特别令人感兴趣的是，与具有持续的持久性获益的那些相比，即使是在治疗的早期，熵增加可能与晚期获得性耐药相关。结合组织病理学或免疫标记物进行更大队列研究对于理解总体肿瘤异质性和潜在肿瘤生物学之间的关联是必要的。

CT图像采集以及从高斯边缘的拉普拉斯算子计算纹理熵的区域都与熵相关。建议最小面积200像素用于熵计算以及调整肿瘤部位和采集方案。从体积而不是从单个切片的关注区域计算所有纹理特征，因此所有纹理测量值是从合理数量的像素提取的。虽然本研究中的纹理参数计算方法不同，即，使用灰度共生矩阵而不是使用高斯边缘的拉普拉斯算子。

在纹理特征与肿瘤PD-L1表达之间无明显相关性。有趣的是，纹理与体积和肿瘤PD-L1表达的组合产生了与仅使用纹理构建的模型相似的准确度，该模型用于检测对派姆单抗具有持久性临床应答的患者。这可能是由于数据集的大小有限。仅定量PD-L1表达的分类器模型的适度准确度可以是使用单个特征的结果，而所有其它分类器模型集成多个特征将导致更好的准确度。

最后，与组合来自所有转移性肿瘤部位的信息相反，用于分析的最大肿瘤用于预测治疗应答。尽管研究在这些免疫治疗过程中所有转移性肿瘤部位之间的异质性在免疫治疗过程中如何演变并最终影响对免疫疗法的应答是令人感兴趣的，但由于大多数患者具有至多两个肿瘤部位的事实，因此未采用这种方法。

该研究受限于用于识别与免疫疗法结果相关的相关纹理测量的48例患者的适度样本量。为了保持研究人群的均质性，仅使用接受PD-(L)1单一疗法治疗的患者。该数据限制有几个结果：未使用大规模放射组学分析，仅关注预选的放射组学特征。此外，数据集太小，无法分成训练加验证集，尽管通过对所有预测度量采用嵌套留一法交叉验证部分地改善了这种限制。第二组未用于主要分析的队列被纳入研究获得性耐药和持久性应答患者之间的差异。显然，需要更大的多机构研究来构建基于最佳放射组学的免疫疗法应答的预测因子，以及建立最佳的随访时间来计算Δ纹理测量值变化以监测和预测长期治疗应答，包括获得性耐药。关于免疫疗法治疗(包括免疫疗法和放射疗法)的新兴组合的放射组学特征的演变研究是另一个需要研究的领域。尽管存在这些限制，但这是研究放射组学纹理和作为治疗和由于免疫疗法的应答而导致的那些测量值变化之间的关联的第一批报告。

材料和方法

一项检查与预后相关联的放射组学特征的主要分析重点是对在MSKCC接受派姆单抗的50例晚期NSCLC患者(最终可评价48例)进行队列研究，这是先前报告的第1阶段研究(KEYNOTE-001)(I组)的一部分。根据方案，患者每两周或三周接受2或10mg/kg的派姆单抗治疗，每9周进行一次对比增强的CT扫描。所有患者每9周采集一次治疗前和治疗中CT扫描。接受PD-(L)1治疗的NSCLC长期获益的第二队列患者(定义为>1年无进展存活率)用于检查与对派姆单抗的应答相关的最相关纹理特征是否也能够区分最终发展为获得性耐药(AR)(通过RECIST定义的进展)的患者与持续长期获益或持久性应答(DR)的患者。该队列(II组)包括来自I组的11例患者和另外11例在MSKCC接受抗PD-(L)1单一疗法(纳武利尤单抗n＝8，度伐单抗n＝3，阿特朱单抗n＝1)治疗的患者。值得注意的是，II组中未接受派姆单抗治疗的患者没有用于识别相关放射组学纹理特征以预测免疫疗法结果的主要功效。

在基线和此后每9周进行CT扫描，并使用RECIST v1.1评价客观应答。出于本分析的目的，主要疗效结果为持久性临床获益(DCB，定义为持续>6个月的部分或稳定应答；与无持久性获益(NDB))。还检查了总体存活率(OS)和无进展存活率(PFS)。OS被定义为从诊断到死亡或删失的时间，PFS被定义为从最初接受派姆单抗治疗到进展或删失日期的时间。

作为临床试验的一部分(克隆22C3，默克公司(Merck))，进行PD-L1并对表达进行集中评分。表达被定义为具有当前膜性PD-L1表达的肿瘤细胞的百分比。PD-L1阳性被定义为>/＝1％表达；PD-L1阴性被定义为<1％表达。仅对I组患者进行PD-L1表达测试，并且50例患者中有46例可进行定量PD-L1表达。

使用GE“LightSpeed”CT扫描仪(GE医疗系统

在具有多于一个靶病变的患者中，自动选择在基线CT扫描上具有最大体积的分割肿瘤用于分析，并且识别在治疗扫描的对应肿瘤。在基线处的最大肿瘤在首次治疗后消失的病例中，该方法选择在基线处的下一个最大肿瘤，其在随后的治疗扫描中进行了随访测量。肿瘤体积构成使用生长切割分割算法提取的基于CT的大小测量值。

通过首先将CT图像缩放到0-256，从肿瘤体积中提取出体素相关的Haralick纹理，即能量、熵、对比度和均质性，然后使用在C++中实现的内部软件使用具有32个直方图仓和围绕每个体素的5x5x1半径的Insight工具包(ITK)的包装器来实现纹理提取。每个肿瘤的纹理计算为该肿瘤内体素相关纹理值的平均值。使用最大的基线肿瘤从治疗前和治疗时的CT扫描计算纹理特征。对于最大肿瘤在治疗后消失的患者，使用下一个最大的基线肿瘤进行分析。所采用的纹理特征(其公式已给出)捕获肿瘤外观的不同方面，如下所示：

·能量捕获肿瘤内信号强度分布的均匀性。因此，具有均匀外观的肿瘤将具有高能量值。

·熵通过表征单个肿瘤内信号强度分布的可变性来强调肿瘤内像素强度的不均匀外观或差异。因此，具有高度可变信号强度分布的肿瘤将具有高熵值。

·对比度通过强调相邻像素之间的大强度差异来测量局部像素之间的强度分布的可变性。例如，具有许多边缘的肿瘤将具有较高的对比度值。

·均质性通过强调局部强度相似性来测量相邻像素之间强度分布的相似性程度，并且与对比度相反。例如，在图像中各处具有相同强度的肿瘤或在那些区域内具有均匀强度的不同子区域的肿瘤将具有更高的均质性。

除了对这些纹理进行单个时间点评估之外，通过对从基线和首次治疗扫描计算的纹理特征进行求差来计算纹理变化，从而产生Δ纹理特征：

最后，对于持续获益>1年的患者，计算累积Δ纹理以检查获得性耐药与持续持久性应答的差异：

其中，T是对Δ纹理变化进行求和的时间点，其范围可以从首次治疗CT扫描测量到最后一次可用CT扫描测量。如公式所示，累积Δ纹理捕获从首次治疗扫描的变化开始到T次扫描的纹理的归一化变化，并且首次治疗之后的累积Δ熵与等式(1)中的Δ熵测量相同。

所有统计分析均在R(v.3.3.1)中进行。如上所述，使用版本4.2的ITK工具箱计算纹理。使用中值和四分位差(IQR)的标准描述性统计来总结患者特点和纹理特征。在对肿瘤部位、年龄、性别、治疗方法和吸烟状况进行调整后，采用Cox回归评估OS和PFS与纹理测量之间的关联。计算置信区间(CI)在95％时的危害比。计算Schoenfeld残余以测试比例假设。卡普兰-梅尔分析曲线用于使用纹理特征的二分法值估计OS和PFS。使用单个纹理的中值将患者分为两组。用于分析的文库包括R中的survminer、survcomp、pROC、ggplot、gpubr和插入符号软件包。

弹性净回归建模用于根据预测DCB的重要性对纹理(首次治疗或Δ)和PD-L1进行排序。为了避免过度拟合和减少偏差，进行嵌套留一法交叉验证以优化超参数，即用于弹性净回归的正则化参数(λ)。在给定数据集大小的情况下，仅选择最相关的纹理用于评估与结果(包括存活率(PFS和OS))的关联并预测长期应答(获得性耐药与持久性应答)。单独使用纹理、纹理和定量PD-L1表达的组合以及纹理、体积和定量PD-L1表达的组合来计算单独的模型。在图8A中给出了该方法的图形概述。

结论

评价了基于CT的纹理测量是否可用于预测NSCLC患者单免疫疗法的结果。结果表明，非侵入性测量的纹理特征可能与免疫疗法的结果相关，并且还可以提供对应答者中晚期获得性耐药的早期预测。优化放射学特征以预测和监测免疫疗法应答将需要大得多的多机构队列。

准确的肿瘤分割是基于磁共振(MR)的放射疗法的要求。缺少大的专家注释的MR数据集使得训练深度学习模型变得困难。因此，开发了一种交叉模态(MR-CT)深度学习分割方法，其使用通过变换专家分割的CT图像而产生的伪MR图像来增强训练数据。

分析了28例非小细胞肺癌患者的81次T2加权MRI扫描(9例为治疗前及每周MRI检查，其余为治疗前MRI检查)。在编码CT到类似于T2w MRI的伪MR图像的变换之前，交叉模态被学习为生成对抗性深度学习模型。该模型增强了来自6个专家分割的T2w MR患者扫描的训练数据，其具有从癌症成像档案获得的377个来自非小细胞肺癌CT患者扫描的伪MRI。该方法针对使用随机森林、标准数据增强和三种现有技术的基于对抗性学习的交叉模态数据(伪MR)增强方法的浅层学习进行了基准测试。使用戴斯相似性系数(DSC)、豪斯多夫距离度量和体积比计算分割准确度。

所提出的方法在Kullback-Leibler散度为0.69测量的伪和T2w MR图像之间的强度分布中产生最低的统计可变性。该方法在使用U-Net结构的测试数据集上产生具有(0.75±0.12)的DSC的最高分割准确度和(9.36mm±6.00mm)的最低豪斯多夫距离。该方法产生了与专家高度相似的肿瘤生长估计(P＝0.37)。

开发了一种新的深度学习MR分割，其通过使用在模态转换中明确并入肿瘤知识的模型来利用学习的交叉模态信息以增强分割训练，从而克服从小数据集中学习鲁棒模型的局限性。结果表明了该方法的可行性和相对于现有技术方法的对应改进

引言

在几个部分中递送的高剂量放射疗法现在成为肺肿瘤的护理标准。准确靶向肿瘤的能力将使得临床医生能够在使递送至正常结构的剂量最小化的同时使递送至肿瘤的剂量递增。在使用计算机断层扫描(CT)作为治疗计划模态实现高准确度的精确放射治疗中，肿瘤描绘仍然是最薄弱的环节。磁共振(MR)图像的良好软组织对比度有助于肿瘤和相邻正常组织的更佳可视化，尤其是对于位于纵膈附近的那些癌症。此类改进的可视化使MR成为一种有吸引力的放射治疗形式。因此，磁共振成像(MRI)上的快速且准确的肿瘤分割可有助于递送高剂量辐射，同时减少正常组织的治疗并发症

基于深度卷积网络的学习方法是最著名的分割技术，并且已有望在放射肿瘤学中的图像分析应用中实现人类专家级的性能。然而，此类方法需要大量的数据来训练由大量参数组成的模型。由于MRI不是用于胸部成像的护理标准，因此难以获得具有专家描绘的足够的MR图像集来训练深度学习方法。由于(i)缺少足够数量的训练数据，因为MRI不是肺部成像的护理标准和(ii)缺少训练所需的足够数量的专家描绘的轮廓，因此难以通过大量MRI进行深度学习以分割肺肿瘤。

这项工作的目标是计算鲁棒的深度学习模型，用于分割来自MRI的肿瘤，尽管缺少足够大的专家分割的MRI(N>100例)进行训练。这项工作通过开发和测试一种新的用于数据增强的交叉模态深度域适应方法来解决从小专家分割MR数据集学习的挑战。该方法采用将CT变换编码为类似MRI(称为伪MR)的图像的交叉模态适应模型来增强对具有很少专家分割的T2w MR数据集的深度学习分割网络的训练。该交叉模态适应模型被学习为深度生成对抗性网络(GAN)，并将专家分割的CT变换为具有专家分割的伪MR图像。通过模拟统计强度变化，伪MR图像类似于真实MR。为了克服现有方法不能准确地对包括肿瘤在内的非典型结构的解剖特征进行建模的问题，引入了使GAN模型正规化并产生具有良好保存的肿瘤结构的伪MR的肿瘤注意损失。

图9示出了使用称为无监督图像到图像转换(UNIT)的最近交叉模态适应方法、CycleGAN和所提出的方法从CT图像生成的实例伪MR图像。还示出了一周内采集的CT图像的对应T2w MRI以用于比较

在本节中描述的方法包括：(a)将所提出的方法应用于两个附加的分割网络、残余完全卷积网络(残余-FCN)和密集完全卷积网络(密集-FCN)，(b)与称为无监督图像到图像转换(UNIT)的最近图像转换方法进行比较，(c)对在治疗期间每周进行连续成像的患者子集进行纵向肿瘤应答监测的评估，以及最后，(d)针对MRI上具有基于完全连接随机场的肿瘤分割的浅层随机森林分类器的基准测试实验，用于评估从小数据集学习时的性能。

材料与材料

患者和图像特征

对参与一项前瞻性IRB批准研究的28例非小细胞肺癌(NSCLC)患者在常规60Gy分次外束放射治疗之前和每周用3T Philips Ingenia扫描仪(荷兰贝斯特的医疗系统)扫描的81个T2加权(T2W)MRI进行分析。28例患者中有九例在治疗期间每周接受一次MRI扫描，最多七次MRI扫描。肿瘤大小范围为0.28cc至264.37cc，平均为50.87±55.89cc。使用16元件相控阵列前线圈和44元件后线圈以及以下扫描参数采集呼吸触发的二维(WD)轴向T2W涡轮自旋回波序列MRI：TR/TE＝3000-6000/120ms，切片厚度＝2.5mm，面内分辨率为1.1×0.97mm2，翻转角＝90°，切片数量＝43，信号平均数＝2，以及视场＝300×222×150mm3。放射肿瘤学家描绘的肿瘤轮廓作为基本事实。此外，来自癌症成像档案(TCIA)的377例NSCLC患者的不相关队列的具有专家描绘轮廓的CT图像用于训练。

方法概述

这项工作中使用的符号如表1所示：

采用一种两步法，如图10A所示，包括：(a)步骤1：CT到伪MR专家分割数据集变换，以及(b)步骤2：结合专家分割T2W MRI和步骤1产生的伪MRI的MR分割。使用具有不相关的T2w MR图像而无需任何专家注释的专家分割CT，通过交叉模态域适应(图10A(a))来完成来自CT的伪MR图像合成。通过使用两个同时训练的GAN(将CT转换成MR，以及将MR转换成CT)来约束伪MR的生成。步骤2中的MR分割网络使用转换后的伪MRI和少量真实T2w MRI进行训练。图10A(c)-(e)示出了用于伪MR合成的损失，而图10A(f)对应于分割损失。

交叉模态增强的深度学习分割：

图像预处理：在使用深层网络进行分析之前，对所有T2W MR图像进行标准化，以消除患者相关的信号强度变化。将CT HU和MRI强度值分别裁剪为(-1000，500)和(0，667)，以迫使网络对涵盖胸部解剖结构的强度范围进行建模。将所得裁剪后的图像归一化到范围[-1，1]以确保采用双曲正切函数的深度网络中的数值稳定性。

步骤1：用于图像转换学习和伪MR生成的无监督交叉模态先验(MR-CT)：

该方法的第一步是在以无监督的方式从CT扫描产生伪MR之前学习交叉模态。此处，无监督是指从不相关的一组患者中采集的CT和MR扫描中学习，其中无法获得来自两种模态的对应图像。交叉模态先验被学习为生成对抗性网络(GAN)模型，其使用未标记的MRI和专家分割的CT扫描提取MR和CT中组织的解剖特征的模型。

同时训练两个GAN网络以分别从CT和MRI生成伪MRI和伪CT。每个GAN由生成器和鉴别器组成，它们以最小最大方式一起工作，由此生成器学习以产生混淆鉴别器分类的图像。鉴别器训练以正确地区分真实和合成图像。该损失被称为对抗性损失L

循环损失L

其中，x′

生成器结构

DCGAN采用了生成器体系架构，其已经被证明导致GAN的稳定和更快的训练，并且避免了模式崩溃的问题。具体地，生成器由两个跨距-2卷积、9个残余块和具有半跨距的两个分数跨距卷积组成。如DCGAN中所做的，使用整流线性单元(ReLU)来稳定生成器网络训练。同样在CycleGAN之后，在除了最后一层之外的所有层中使用实例归一化，最后一层具有用于图像生成的双曲正切激活。实例归一化用于产生稳定的训练性能和较快的收敛，如CycleGAN方法所示。结构的细节如图10B所示。

鉴别器结构

使用pix2pix方法中所提出的70×70patchGAN实现鉴别器。PatchGAN的优点在于可以分析多个重叠的70×70图像补丁来计算合成误差，而不是使用单个图像。这又通过允许回传比当通过对整个图像进行平均计算时可能的误差更大的误差来提高训练性能。使用泄漏ReLU代替DCGAN中提出的ReLU，并在除第一层和最后一层之外的所有层中进行批量归一化以稳定鉴别器网络训练。结构的细节如图10B所示。

肿瘤注意力损失和网络

对抗性和循环一致性损失使得网络能够仅学习全局特征的变换，因此在从CT到伪MR图像的变换时具有大量患者间变化(如肿瘤)的结构损失。通过引入特定于结构的肿瘤注意力损失L

使用由具有跳过连接的4个卷积层和4个反卷积层组成的一对2D U-Net来实现肿瘤注意力损失。在每次卷积之后添加批量归一化以加速收敛。使用伪MR和对应的真实CT图像对两个U-Net进行训练以产生粗略的肿瘤分割。来自两个网络的特征在最后两层中对准(或匹配)(由图10B(C)中的虚线红色箭头指示)。选择来自最后两层的特征，因为它们包含与肿瘤分割相关的最多信息，使得对肿瘤最具预测性的那些特征将在这些层中被激活。特征对准用于迫使网络产生高度相似的分割。因此，该损失被称为形状损失(图10B(C))。然后，当肿瘤在伪MR中的位置和形状不同于原始CT图像时，特征对准引起交叉模态网络的间接损失。该网络结构和特征对准的细节在图10B(c)中示出。

肿瘤注意力损失由肿瘤形状损失

其中，C、W和H是特征信道、特征的宽度和高度。

总损失计算如下：

其中，λ

步骤2：MRI肿瘤分割

从步骤1产生的伪MRI数据集与少数可用的专家分割的T2W MRI扫描(N＝6)组合以对MRI肿瘤分割网络进行训练。对数据增加策略进行评价，用于训练三个不同分割网络(残余-FCN、密集-FCN和U-Net)，以评估所提出的数据增强方法是否改进跨多个网络的性能(图11)。网络描述如下。

残余-FCN

残余-FCN的实现与原始实现的不同之处在于使用ResNet-50作为骨干结构而不是FCN-8s结构来进行更快的训练。网络结构的示意图如图11(a)所示。输入图像首先由7×7卷积滤波器处理，然后由3×3卷积滤波器处理。通过最大池化进行二次采样来减少所得到的特征数量。这些特征然后由具有残余块的conv2_3、conv3_4、conv4_6和conv5_3卷积层处理。来自第二(conv3_4)、第三(conv4_6)和第四(conv5_3)块的特征由8、16和32的比例事实进行上采样，类似于FCN-8的实现。那些特征被求和并传递到使用S形激活的最终输出层。所有卷积层之后都进行批量归一化。该网络具有23.5M个参数。

致密-FCN

密集-FCN由密集块(DB)组成，密集块依次连接从先前层计算的特征映射，从而增加特征映射的大小。密集块通过该块内的先前层特征映射的迭代级联来产生，其中层由图11(b)所示的批量归一化、ReLU和3×3卷积运算组成。此种连接还使得网络能够实现隐式密集监视，以更好地训练分析所需的特征。向下过渡(TD)和向上过渡(TU)分别用于特征大小的下采样和上采样，其中TD由批量归一化、ReLU、1×1卷积、2×2最大池化组成，而TU由3×3转置卷积组成。使用密集103层结构，其使用具有4、5、7、10和12层的密集块用于特征级联，5TD用于特征下采样，5TU用于特征上采样，如图11(b)所示，并产生9.3M个参数。大小为256的最后一层特征通过卷积1×1然后S形函数转变为大小为1。

U-Net

U-Net由一系列卷积块组成，每个块由卷积、批量归一化和ReLU激活组成。实现跳过连接以连接高级和低级特征。最大池化层和上池化层用于下采样和上采样特征分辨率大小。如图11(c)所示，在所实现的U-Net结构中使用四个最大池化和4个上池化，从而产生17.2M个参数。U-Net的最后一层包含64个信道，并通过1×1的卷积内核大小转变为1个信道以进行预测。

实施方案和训练

使用从包围肿瘤的图像区域计算的大小为256×256像素的2D图像块来训练所有网络。交叉模态合成网络，包括CycleGAN、掩蔽CycleGAN、UNIT网络和肿瘤感知CycleGAN(所提出的方法)均使用377例患者的32000个CT图像块(扫描)和6例患者的42个纵向扫描的9696个未标记的T2W MR图像块进行训练，这些图像块通过标准数据增强技术(包括旋转、拉伸)并使用包含肿瘤和正常结构的不同关注区域获得。使用从6例连续患者的治疗前MRI获得的1536个MR图像和从CT图像获得的32000个合成MR图像进行分割训练。最佳分割模型选自验证集，该验证集由未用于模型训练的36周MRI扫描的图像切片组成。对从未用于训练或验证的22例患者获得的共39次MRI扫描进行额外测试。其中三例患者进行了纵向MRI扫描(7，7，6)。表II包含训练和测试中使用的分析扫描数量、患者和ROI(256×256)的详细信息。

批量大小为1、学习率为0.0001的Adam优化器用于训练所有方法的模态转换。学习率在前50个时期内保持恒定，然后在接下来的50个训练时期内线性衰减到零。生成器和鉴别器在每次迭代期间会像在CycleGAN中一样进行更新。

除了如上所述的网络结构实现之外，如在CycleGAN方法中所提出的那样稳定GAN训练。首先，使用最小二乘损失代替通常使用的负对数似然度。接下来，如在CycleGAN中那样，通过使用生成图像的历史(N＝50)更新鉴别器来减少模型振荡。所有比较的转换网络使用这些相同的实现优化，并且用相同数量的训练时期和训练条件(包括用于公平比较的数据集)进行训练。

表II：MRI肺图像转换和肿瘤分割训练的数据

对于分割训练，U-Net以批量大小为10进行训练，残余-FCN以批量大小为10进行训练，密集-FCN以批量大小为6和初始学习率为0.0001进行训练。采用最大时段数为100的提前停止以防止过度拟合。将戴斯损失用于分割损失，这表明可以减少数据不平衡的影响的能力。所有网络都是在11GB存储器的Nvidia GTX 1080Ti上训练的。在训练期间使用ADAM算法，并使用预设参数λ

基准测试分割性能

当从小数据集学习时，方法的性能相对于用于分割的具有完全连接的随机域的随机森林进行基准测试，当用使用包括(a)CycleGAN，(b)掩蔽CycleGAN和(c)无监督图像到图像转换网络(UNIT)方法的三种不同交叉模态合成网络产生的伪MRI增强时，对分割网络(U-Net、残余-FCN、密集-FCN)训练进行评价。

随机森林分类器基线：对MRI肺肿瘤分割采用完全连接条件随机场方法进行随机森林(RF)分割。基于已经表明对应用于脑肿瘤分割的MRI分割有用的特征来选择特征集。这些特征包括平均强度、局部最大MRI强度、局部最小MRI强度、局部平均最小MRI强度、平均梯度、标准梯度、熵、局部块大小(5×5，11×11，17×17，23×23)的背景敏感性特征。还使用了在角度(θ＝0，π/4，π/2，3π/4)和带宽(γ＝0.1，0.2，0.3，0.4)处计算的Gabor边缘特征，以进一步提高准确度。使用50棵树和50的最大深度训练RF分类器。然后通过完全连接条件随机域进一步细化逐体素RF分类。

CycleGAN：CycleGAN的实现由如前所述的标准CycleGAN方法组成，形成无监督的图像转换。

掩蔽的CycleGAN：掩蔽的CycleGAN与CycleGAN之间的主要差异在于，其使用CT和MRI模态的专家分割作为额外的输入信道，以专门针对包含肿瘤的区域进行训练。该方法需要从两种成像模态中进行专家分割的数据集进行图像转换。

UNIT：类似于CycleGAN和所提出的方法，UNIT执行无监督图像转换，其中不需要对两种模态进行对应的源和目标图像或专家分割。该方法的主要区别在于其编码器结构在使用具有循环一致性损失的变分自动编码器(VAE)的生成器中。编码器将模态变换建模为潜在代码，然后该代码用于通过生成器生成图像。默认实现如UNIT所述使用，其中用于CT到MRI转换和MRI到CT转换网络的编码器的最后一层和生成器的第一层是共享的。鉴别器使用原始实现中使用的六个卷积层。

评价度量

使用Kullback-Leibler散度(K-L散度)评价伪MRI与T2w MRI的相似性，其量化强度分布的平均统计差异。通过比较所有生成的伪MR图像的强度直方图和从训练T2w MR图像计算的强度直方图，使用肿瘤区域内的强度值计算K-L散度。KL散度测量量化关注结构(即肿瘤)内伪MR和真实MR图像之间的整体强度变化的相似性。K-L散度由等式7计算：

其中，P

使用DSC和豪斯多夫距离计算分割准确度。DSC在算法和专家分割之间计算为：

其中，TP是真阳性数，FP是假阳性数，FN是假阴性数。

豪斯多夫距离被定义为：

其中，P和T是专家和分割体积，p和t分别是P和T上的点。S

最后，对于具有纵向随访的那些患者，使用Theil-Sen估计器计算肿瘤生长趋势，其测量从连续时间点计算的斜率(或肿瘤生长)的中值为

其中，v

图10C是用于基于跨域适应来分割生物医学图像的训练模型的系统1000的框图。总而言之，系统1000可以包括图像分割系统1002、至少一个成像装置1004和至少一个显示器1006。图像分割系统1002可以与成像装置1004和显示器1006通信地联接。图像分割系统1002可以包括模型应用器1008、模型训练器1010、一组合成模型1012A-N(以下通常称为合成模型1012)、一组分割模型1014A-N(以下通常称为分割模型1014)以及训练数据集1016等。每个合成模型1012可以用于生物医学成像的不同模态(例如，CT、MRI或用于MRI的各种序列)。每个合成模型1012可以具有至少一个生成器网络1020和至少一个鉴别器单元1022。每个分割模型1014可以用于生物医学成像的不同模态。训练数据集1016可以包括一组样本断层摄影生物医学图像1018A–N(以下通常称为样本图像1018)。以上列出的系统1000中的每个组件可以使用硬件(例如，与存储器联接的一个或多个处理器)或硬件和软件的组合来实现，如在部分E中详述的。系统1000中的每个组件可以实现或执行在部分B(例如，结合图6B-I所述的那些)、C和D(例如，结合图10A和10B所述的那些)中详述的功能。

成像装置1004可以对对象执行生物医学成像扫描以采集或生成至少一个断层摄影生物医学图像。断层摄影生物医学图像可以用作训练数据集1016的样本断层摄影生物医学图像。成像装置1004可以处于生物医学成像的任何形式。成像装置1004可以包括PET计算机断层摄影(CT)扫描仪、X射线CT扫描仪、SPECTCT扫描仪、MRI扫描仪、超声扫描仪和光声扫描仪等。为了扫描，成像装置1004可以指向对象(例如，人或动物)的外表面上的指定区域。当扫描对象时，成像装置1004可以生成对应于断层摄影生物医学图像的投影数据集。投影数据集可以对应于穿过预先指定区域的对象的横截面或体积。投影数据集可以是对象的二维或三维可视化表示，包括对象的内部解剖和生理结构。

投影数据集可以包括一个或多个数据计数。投影数据集可以包括根据任何数据结构的一个或多个数据计数，如阵列、二叉树、矩阵、链表、堆、散列表、堆栈或队列等。每个数据计数可以对应于被扫描的横截面的坐标或对象的体积。当扫描对象的横截面时，投影数据集可以是二维的，并且数据计数的坐标也可以是二维的。当扫描对象的体积时，投影数据集可以是三维的，并且用于数据计数的坐标也可以是三维的。投影数据集中的数据计数的数量可以取决于由成像装置1004执行的生物医学成像扫描的采样率。

显示器1006可以呈现或渲染由图像分割系统1002输出的图像(例如，从成像装置1004识别的断层摄影生物医学图像的分割版本)。在一些实施例中，显示器1006可以呈现或渲染由图像分割系统1002的CED模型212生成的重构图像。显示器1006可以包括任何监视器，如液晶显示器(LCD)、有机发光二极管(OLED)监视器和阴极射线管(CRT)等。显示器1006可以与图像分割系统1002通信地联接，并且可以渲染和输出来自图像分割系统1002的图像。

模型应用器1008(或模型训练器1010)可以建立和维护一组合成模型1012，包括每个合成模型1012中的生成器单元1020和合成单元1022。此外，模型应用器1008(或模型训练器1010)可以建立和维护该组分割模型1014。合成模型1012和分割模型1014可以是本文结合图6B-6I、10A和10B详述的模型的实例。下文进一步提供功能性和结构的细节。

每个合成模型1012可以将断层摄影生物医学图像从初始成像模态(例如，CT、MRI或任何MRI序列)变换、转换或以其它方式转变成目标成像模态(例如，CT、MRI或任何MRI序列)。每个合成模型1012可以被配置为或专用于将图像从一种成像模态转变为另一种成像模态。例如，第一合成模型1012A可以将图像从MRI转变为CT，而第二合成模型1012B可以将图像从CT转变为MRI。合成模型1012可以是将图像从一种模态转变为另一种模态的任何模型，如生成对抗性网络(GAN)(例如，如上所述的体系结构)。提供给合成模型1012的断层摄影生物医学图像可以从不同的对象采集，因此可以彼此独立或缺乏对应关系。此外，一种成像模态的一个合成模型1012的合成输出可用于训练另一种成像模态的另一合成模型1012。以这种方式，合成模型1012可以生成附加的断层摄影生物医学图像，用于训练其自身和分割模型1014。

合成模型1012可以检索、接收或以其它方式识别一个成像模态的断层摄影生物医学图像作为输入。合成模型1012可以将图像应用于生成器单元1020和鉴别器单元1022，以生成另一种成像模态的另一断层摄影生物医学图像作为输出。在合成模型1012中，生成器单元1020和鉴别器单元1022可以串联布置。合成模型1012的输入可以连接到生成器单元1020的输入。生成器单元1020的输出可以连接到鉴别器单元1022的输入。鉴别器模型1022的输出可以连接到合成模型1012的输出。

合成模型1012的生成器单元1020可以包括一组变换层，以使用另一成像模态的断层摄影生物医学图像来生成一个成像模态的断层摄影生物医学图像。在一些实施例中，生成器单元1020可以根据任意数量的生成网络，如反卷积神经网络、高斯网络、自动编码器、玻尔兹曼机和隐马尔可夫模型等。生成器单元1020中的一组变换层可以包括一个或多个参数(例如，权重)，以修改或以其它方式处理输入到生成器单元1020中的一组特征映射，从而产生或生成用于生成不同模态的图像的特征映射输出组。生成器单元1020中的一组变换层可以串联布置，其中一个变换层的输出作为输入馈送到后续变换层。每个变换层可以具有非线性输入-输出特征。在一些实施例中，生成器单元1020中的至少一些变换层可以是反卷积神经网络，并且可以包括单元中的上采样器、反卷积层、归一化层和激活层(例如，整流线性单元(ReLU))。在一些实施例中，生成器单元1020中的至少一些变换层可以是卷积神经网络，并且可以包括单元中的卷积层、归一化层和激活层(例如，整流线性单元(ReLU))。在一些实施例中，生成器单元1020还可以包括与变换层的子集平行的至少一个残余块。残余块可以将来自一个变换层的输出与来自先前变换层的输出组合(例如，级联或加权求和)。连续变换层的子集可以被分组为生成器单元1020内的网络。

合成模型1012的鉴别器单元1022可以包括一组变换层，以通过确定损失或误差度量来评价由生成器单元1020生成的断层摄影生物医学图像。在一些实施例中，鉴别单元1022可以根据任意数量的鉴别网络，如卷积神经网络、线性回归模型、逻辑回归模型和随机森林等。鉴别器单元1022中的一组变换层可以包括一个或多个参数(例如，权重)以修改或以其它方式处理一组特征映射以评价生成器单元1020。鉴别器单元1022中的变换层组可以串联布置，其中一个变换层的输出作为输入馈送到后续变换层。每个变换层可以具有非线性输入-输出特征。在一些实施例中，鉴别器单元1022中的变换层可以是卷积神经网络，并且可以包括单元中的卷积层、归一化层和激活层(例如，整流线性单元(ReLU))。连续变换层的子集可以被分组为鉴别器单元1022内的网络。

每个分割模型1014可以从提供给分割模型1014的原始断层摄影生物医学图像生成分割的断层摄影生物医学图像。分割模型1014可以检索、接收或识别由合成模型1012中的一个生成的断层摄影生物医学图像。在一些实施例中，分割模型1014可以是生成分割的断层摄影生物医学图像的任何模型，如U-Net(例如，如在本文的部分B和D中详细描述的)、卷积神经网络(CNN)、脉冲耦合神经网络(PCNN)、长期短存储器(LSTM)和自组织特征映射(SOFM)等。分割模型1014可以包括一组变换层，以使用由合成模型1012生成的图像来生成分割的断层摄影生物医学图像。分割模型1014中的一组变换层可以包括一个或多个参数(例如，权重)以修改或以其它方式处理用于生成分割图像的一组特征映射。分割模型1014中的一组变换层可以串联布置，其中一个变换层的输出作为输入馈送到后续变换层。每个变换层可以具有非线性输入-输出特征。在一些实施例中，分割模型1014中的变换层可以包括卷积层、归一化层和激活层(例如，整流线性单元(ReLU)和S形函数)。连续变换层的子集可以被分组为分割模型1014内的网络。

通过模型1012和1014的建立，模型应用器1008可以检索、接收或以其它方式识别样本图像1018以训练合成模型1012和分割模型1014。训练数据集1016的样本图像1018可以是断层摄影生物医学图像并且可以是不同的生物医学成像模态。例如，第一样本图像1018A可以是第一成像模态，第二样本图像1018B可以是不同于第一成像模态的第二成像模态。成像模态可以包括例如CT、MRI、PET、X射线CT、PET-CT和PET-MRI等。在一些实施例中，对于相同类型的成像，可以将使用不同参数的图像视为不同模态。例如，使用自旋回波、梯度回波、反转、加权和不同序列的MRI可以被视为是彼此不同的模态。另外，样本图像1018可以彼此独立。例如，可以经由一个或多个成像装置1004从不同对象采集样本图像1018。在一些实施例中，样本图像1018可以具有彼此不同的坐标和对准。

模型应用器1008可以将合成模型1012应用于样本图像1018。可以应用至少两个样本图像1018来训练合成模型1012。在一些实施例中，模型应用器1008可以识别每个样本图像1018的成像模态。在一些实施例中，模型应用器1008可以为每个合成模型1012识别要转变到的初始成像模态和目标成像模态。模型应用器1008可以将合成模型1012的成像模态与样本图像1018的成像模态进行比较。基于该比较，模型应用器1008可以识别具有与样本图像1018的成像模态相同的初始成像模态和与另一样本图像1018的成像模态相同的目标成像模态的合成模型1012。通过该标识，模型应用器1008可以将样本图像1018提供或馈送到对应的合成模型1012中。

在应用合成模型1012时，模型应用器1008可以同时或并发地执行合成模型1012的生成器单元1020和鉴别器单元1022的功能。模型应用器1008可以检索、接收或识别来自合成模型1012的输出。输出可以是与输入样本图像1018的初始成像模态不同的成像模态的合成断层摄影生物医学图像。例如，模型应用器1008可以从第一合成模型1012A检索从第一成像模态转变为第二成像模态的第一样本图像1018A。相反，模型应用器1008可以从第二合成模型1012B检索从第二成像模态转变为第一成像模态的第二样本图像1018B。

使用来自合成模型1012的输出，模型训练器1010可以为每个合成模型1012确定一个或多个合成损失。在一些实施例中，模型训练器1010可以确定来自每个合成模型1012中的鉴别器单元1022的一个或多个合成损失。合成损失可以指示从一个成像模态转换为另一成像模态的图像1018之间的至少一个差异。通常，合成损失可以标识在从一个成像模态到另一成像模态的转换中关注结构(例如，图像1018内的对象)的生成中的不准确性。合成损失可以包括对抗性损失、循环损失、结构损失、纹理损失、形状损失，如本文结合图6B-6I、10A和10B等详细描述的。在一些实施例中，合成损失可以指示转换中的纹理特征的损失。文本损失可以指示指示由于转换而在图像1018中对象(例如，关注区域，如肿瘤或病变)的图像纹理和内部结构的差异。在一些实施例中，合成损失可以指示来自转换的形状损失。形状损失可以指示对象(例如，关注区域，如肿瘤或病变)的形状和执行从一种成像模态到另一种成像模态的变换的全局特征的差异。

为了确定合成损失，模型训练器1010可以在原始样本图像1018和来自合成模型1012的转变的输出图像1018之间进行比较。例如，模型训练器1010可以将由第一合成模型1012A从第一成像模态转变到第二成像模态的第一样本图像1018A与原始第二样本图像1018B进行比较，以计算第一合成模型1012A的合成损失。此外，模型训练器1010可以将由第二合成模型1012B从第二成像模态转换为第一成像模态的第二样本图像1018B与原始第一样本图像1018A进行比较，以计算第二合成模型1012B的合成损失。

结合所计算的合成模型1012的合成损失的计算，模型应用器1010可以将分割模型1014应用于来自合成模型1012的所得图像1018。可以应用来自合成模型1012的至少两个所得样本图像1018来训练分割模型1014。在一些实施例中，模型应用器1008可以识别每个所得样本图像1018的成像模态。在一些实施例中，模型应用器1008可以识别每个分割模型1014的成像模态。模型应用器1008可以将分割模型1014的成像模态与所得样本图像1018的成像模态进行比较。基于该比较，模型应用器1008可以识别具有与从合成模型1012之一输出的样本图像1018的成像模态相同的初始成像模态的分割模型1014。

通过该识别，模型应用器1008可以将所得图像1018提供或馈送到对应的分割模型1014中。例如，来自第一合成模型1012A的第一所得图像1018A可以是第二成像模态，而来自第二合成模型1012B的第二所得图像1018B可以是第一成像模态。此外，第一分割模型1014A可以用于第一成像模态，而第二分割模型1014B可以用于第二成像模态。在该实例中，基于该标识，模型应用器1008可以将第一分割模型1014A应用于第一成像模态的第二所得图像1018B。此外，模型应用器1008可以将第二分割模型1014B应用于第二成像模态的第一所得图像1018A。在应用分割模型1014时，模型应用器1008可以同时或并发地执行分割模型1014的变换层。模型应用器1008可以检索、接收或识别来自分割模型1014的输出。输出可以是来自样本图像1018之一的分割的断层摄影生物医学图像。

使用来自分割模型1014的输出，模型训练器1010可以计算或确定对象注意力损失。通常，对象注意力损失可以指示图像1018中和分割模型1014中的变换层中的对象的特征对准的差异。在一些实施例中，由模型训练器1010确定的对象注意力损失可以包括对象形状损失和对象位置损失，如本文结合图6B-6I、10A和10B等详细描述的。在一些实施例中，对象注意力损失可以指示分割模型1014之间的各个变换层的差异。

为了确定对象注意力损失，模型训练器1010可以从每个分割模型1014中识别一个或多个变换层。可以预定义将由模型训练器1010识别的一个或多个变换层。例如，模型训练器1010可以识别每个分割模型1014中的倒数第二个网络中的最后一个变换层。在一些实施例中，模型训练器1010可以为不同类型的对象注意力损失(例如，对象形状丢失和对象位置丢失)识别不同的变换层。通过识别一个或多个变换层，模型训练器1010可以在不同成像模态的分割模型1014上的对应变换层之间进行比较。基于该比较，模型训练器1010可以计算每个分割模型1014的对象注意力损失。在一些实施例中，对象注意力损失的计算可以根据曼哈顿距离、欧几里得距离或任何其它p范数等。

在一些实施例中，模型训练器1010可以确定来自分割模型1014的所得图像1018与来自训练数据集1016的注释图像之间的分割损失。注释图像可以对应于由合成模型1012和分割模型1014用来生成所得图像1018的原始样本图像1018。分割损失可以指示所得图像1018与对应的注释图像之间的一个或多个差异。在一些实施例中，模型训练器1010可以使用任何定义的函数来计算分割损失，如曼哈顿距离、欧几里德距离或任何其它p范数等。

基于所确定的损失，模型训练器1010可以改变、更改或以其它方式修改合成模型组1012和分割模型组1014中的一个或多个参数。在一些实施例中，模型训练器1010可以将所确定的损失的反向传播应用于合成模型1012和分割模型1014以更新参数，如本文所讨论的。在一些实施例中，模型训练器1010可以使用合成损失和对象注意力损失来修改对应的合成模型1012的参数。在一些实施例中，模型训练器1010可以使用合成损失、对象注意力损失、分割损失来修改对应的分割模型1014的参数。合成模型1012和分割模型1014的训练可以继续直到模型1012和1014中的参数收敛(例如，容限小于收敛阈值)。以这种方式，可以在没有监督的情况下执行合成模型1012和分割模型1014的训练，从而消除了生物医学图像的专家注释实例的参与。因此，系统1000可以将新的成像模态缩放到可能没有大量专家注释的训练数据集的治疗和其它应用。

通过模型1012和1014的训练，模型应用器1008可以检索、接收或以其它方式识别从成像装置1004采集的用于运行时间操作的断层摄影生物医学图像。所采集的图像可以是成像装置1004的图像模态。模型应用器1008可以将所采集的图像应用于用于成像模态的分割模型1014。在一些实施例中，模型应用器1008可以识别所采集的图像的成像模态。使用所识别的模态，模型应用器1008可以找到对应于所采集图像的图像模态的分割模型1014。在识别之后，模型应用器1008可以将分割模型1014应用于所采集的图像以生成分割图像。在一些实施例中，模型应用器1008可以在显示装置1006上呈现或展示从分割模型1014生成的分割图像。

在一些实施例中，模型应用器1008可以使用所生成的分割图像来确定经由成像装置从中采集原始图像的对象的健康度量。健康度量可以包括本文结合部分C和D详细描述的那些。健康度量可用于预测对免疫疗法的应答或耐药性的早期发展。健康度量的确定可以基于从分割图像中识别的对象。可以使用如特征检测等的计算机视觉技术来识别对象。

图10D是用于基于跨域适应来分割生物医学图像的训练模型的实例方法1050的流程图。方法1050的功能可以使用在本节中描述的体系架构(例如，本文结合图6B-I和10A-C描述的体系架构)或下文结合图15A-D描述的计算系统1500来实现或执行。计算装置可以识别不同模态的生物医学图像(1052)。计算装置可以应用合成模型(1054)。计算装置可以生成合成图像(1056)。计算装置可以确定来自合成的损失(1058)。计算装置可以应用分割模型(1060)。计算装置可以生成分割图像(1062)。计算装置可以确定对象注意力损失(1064)。计算装置可以使用所确定的损失来修改模型(1066)。

结果

CT中所提出的肿瘤注意力损失对MRI变换的影响

图12A和12B示出了对于三个代表性实例使用所提出的模式、CycleGAN、掩蔽的CycleGAN和UNIT产生的MRI。CT上的专家分割肿瘤轮廓示出在伪MRI上的对应位置。如图所示，该方法在伪MR图像上产生了最佳的肿瘤保存。

如图所示，所提出的方法最接近地将MR单一强度的分布近似为T2w MRI。算法生成的肿瘤分布是在由CT产生的377个伪MRI的肿瘤内计算的，而T2w MR分布是从用于验证的专家分割的T2w MR的肿瘤区域获得的(N＝36)。在定量评价中证实了这一点，其中与具有1000仓的CycleGAN(1.69)、掩蔽的CycleGAN(0.32)和UNIT(0.28)相比，本方法在伪MRI与T2wMRI之间产生0.069的最低KL散度，以获得足够大的强度离散分布，如图12B所示。

使用变换MRI的数据增强对训练基于U-Net的MRI肿瘤分割的影响

图13示出了使用随机森林分类器(RF+FCRF)(图13a)和仅用少量T2w MRI训练的U-Net(图13b)，以及对应于半监督训练并通过使用cycle-GAN(图13c)、掩蔽的CycleGAN(图13d)、UNIT(图13e)和所提出的方法(图13g)产生的交叉模态增强产生的U-Net训练的T2wMRI和增强数据或伪MRI来计算的五个随机选择的患者的分割结果。图13f示出了仅使用所提出的方法产生的伪MRI的训练结果，以便在仅使用增强的伪MR数据时评估该方法的性能。该模式设置对应于无监督域适应。如图所示，所提出的方法生成的轮廓的半监督和无监督模式都非常接近专家分割(图13g、图13f)。与CycleGAN和掩蔽的CycleGAN方法相比，UNIT方法也导致性能改善，但不如本方法准确。这些方法(包括RF+CRF方法)使用DSC和豪斯多夫距离的总体分割准确度如表III所示。如图所示，本方法在没有用于训练或模型选择的测试集上产生了最高的DSC和最低的豪斯多夫距离。

网络体系结构对肿瘤分割准确度的影响

在两个附加的分割网络(残余-FCN和密集-FCN)上评价分割准确度，以评估使用所提出的方法进行数据增强是否可以提高那些网络中的分割准确度。表IV总结了使用不同数据增强策略时实现的分割准确度。还示出了不使用T2w MR而仅使用由所提出的肿瘤感知增强产生的伪MR图像训练的网络的性能。如(表III，IV)所示，所提出的肿瘤感知数据增强在两个网络中产生最准确的分割，包括当在测试集中使用无监督训练模式(仅使用伪MR训练)时。在测试集中的所有三个网络中，UNIT的准确度始终高于掩蔽的cycle GAN。

表III.使用U-Net针对不同数据增强策略计算的分割准确度。使用戴斯相似性系数(DSC)、第95百分位豪斯多夫距离(HD95)和体积比(VR)度量来示出分割准确度。

表IV残余-FCN(RFCN)和密集-FCN(DFCN)的分割准确度比较。使用戴斯相似性系数(DSC)、第95百分位豪斯多夫距离(HD95)和体积比(VR)度量来示出分割准确度。

使用算法和专家产生的纵向分割的比较

评估这些方法的能力以纵向分割和测量肿瘤对放射疗法的应答。图14示出了使用所提出的方法计算的肿瘤生长的估计，该方法用于训练来自每周进行MR扫描但未用于训练的三例患者的U-Net。该方法产生了与专家高度相似的肿瘤生长估计，如算法与专家分割之间计算的肿瘤生长差异所示(仅一周：0.067±0.012；CycleGAN：0.038±0.028；掩蔽的Cycle-GAN：0.042±0.041；UNIT：0.034±0.031；所提出的：0.020±0.011)

讨论

开发了一种利用有限的专家分割训练集来增强用于从MRI分割肺肿瘤的深度神经网络的训练的新方法。本方法使用关注结构，即肿瘤来将CT约束为MR转换，使得生成的伪MR保留肿瘤的位置和形状。全局分布匹配方法(如CycleGAN)无法准确地对频率较低的结构(如肿瘤)的变换进行建模并导致变换的伪MRI中肿瘤的损失。本方法也由于最近的使用变分自动编码器的UNIT方法，该变分自动编码器专门学习控制模态之间的变换的参数函数(通常是高斯函数)。结果表明，使用本方法获得的数据增强提高了分割准确度，并且不管所选择的分割体系结构(U-Net、残余-FCN和密集-FCN)如何，产生了比较方法中最准确的分割。

而且，当利用标准数据增强进行训练时，以及当仅使用由本方法产生的伪MR数据时，本方法的性能相对于基于浅学习的随机森林分类器进行基准测试。发现与所有其它深度学习方法相比，随机森林分类器由于大量假阳性而产生低得多的准确度，证实了深度学习方法确实能够学习基础数据的更准确表示并导致更好的分类/分割的先前结果。

所提出的方法提高了其它域适应方法的分割性能，尽管仅使用很少的MRI数据集进行训练。事实上，发现添加任何交叉模态增强都优于标准增强策略。这是因为本方法类似于利用来自其它成像模态的标记信息来提高目标成像模态的性能。解决方案包括使用在与跨模态模型中相同模态但不同任务上预训练的网络或训练跨模态模型以合成类似于目标分布的图像，如本公开所做的。然而，为了使此类工作起作用，近似模型要紧密地匹配目标分布。如结果所示，使用本方法产生的伪MRI导致与通过K-L散度测量的T2-w MRI肿瘤分布最接近的匹配。因此，这提高了性能，因为来自不相关但相对较大的专家分割CT模态(N＝377例)的信息可更好地用于提高性能，尽管具有较小的MRI训练集。结果进一步强调这一点，即与包括用于训练的一些T2w MRI的其它交叉模态增强方法相比，仅使用由本方法产生的伪MRI进行训练的分割网络产生更准确的分割(在测试时)。

先前的工作已经使用循环损失来学习变换模态之前的交叉模态，其中网络通过最小化原始模态和通过循环合成(例如，CT到伪MR，以及伪MR到伪CT)产生的变换模态(例如，CT与伪CT)之间的全局统计强度差来学习变换。尽管循环损失消除了使用从同一患者采集的完全对准的CT和MRI进行训练的需要，但它不能对非典型结构(包括肿瘤)的解剖学特征进行建模。实际上，已经证明基于cycle-GAN的方法将图像甚至从一个MR变换到不同MR序列的能力受到限制。该方法通过结合特定于结构的损失克服了现有方法的局限性，这些特定于结构的损失约束了交叉模态变换以保留非典型结构，包括肿瘤。然而，值得注意的是，所有这些方法都产生伪MR表示，其不产生合成MR图像建模相同的组织特定强度的原始MRI。这是有意的，因为目标是简单地创建类似MRI的图像表示，并对全局和局部(关注结构)统计变化进行建模，这将使得算法能够检测和分割肿瘤。当从训练中排除任何T2w MRI时，特别是在测试集上，伪MR图像不同于T2w MRI的事实由较低的准确度证明。然而，值得注意的是，与其它方法相比，由该方法产生的伪MR图像仍然导致更准确的分割。

与31.49±42.67cc的验证集相比，测试70.86±59.80cc的肿瘤体积较大，因此推测测试集中的DSC准确度较高。已知较大的肿瘤可导致较高的DSC准确度并且可导致准确度的更乐观的偏差。由于验证集使用了接受治疗前(较大肿瘤)和治疗期间(每周治疗期间采集)MRI的患者(N＝6)，出现了肿瘤体积差异的原因，其中肿瘤随着其对治疗的应答而缩小。另一方面，总共进行了36次扫描，测试集仅使用了3例接受治疗前和治疗期间MRI的患者(N＝20)，其余(N＝19)均由治疗前MRI组成。该设置的原因主要是因为仅在完成训练模型以对新样本进行盲态评价后，才纳入附加的治疗前MRI进行测试。

与大多数采用转移学习来微调在其它任务(如自然图像)上学习的特征的现有技术不同，使用交叉模态先验来选择数据增强方法。其原因是即使当使用稀疏数据集从零开始训练时，在完全不相关的数据集上训练的网络上的转移学习性能也容易被超越。这是因为更深的层的特征对于先前训练的任务可能过于特定，并且不容易转移到新的任务。该方法通过用来自不同模态的相关数据集增强训练来克服从小数据集学习的问题。

该项工作具有一些局限性。首先，该方法受到测试数据集的数量的限制，特别是对于由于缺乏患者的额外招募的纵向分析。其次，由于缺乏对应的CT和MRI患者，因此无法评价伪MR图像和T2w MR图像的患者水平对应性。然而，该项工作的重点并不在于合成与真实MRI相同的MR图像，而在于使用生成对抗性网络从MR合成CT。相反，目标是通过利用模拟真实MR图像的强度变化的数据集来增强深度学习的学习能力，尽管训练集有限。通过明确地对关注结构(即肿瘤)的外观进行建模，以通过仅访问少量专家分割的MRI数据集从MRI生成肺肿瘤的全自动和纵向分割，本方法对现有的基于GAN的数据增强方法进行了改进。

结论

开发了一种使用交叉模态先验的新的深度学习方法，以从小的专家标记的MR数据集训练用于MR肺肿瘤分割的鲁棒模型。该方法通过跨模态先验模型利用专家分割的CT数据集中的信息，克服了从小数据集中学习鲁棒模型的局限性。该方法在分割准确度方面优于现有技术方法，并证明了从MRI自动分割肺肿瘤的初步可行性。

本文结合部分A-D描述的方法和系统来描述操作环境的各方面以及相关联的系统组件(例如，硬件元件)可能是有帮助的。参考图15A，示出了网络环境的实施例。简而言之，网络环境包括经由一个或多个网络1504与一个或多个服务器1506a-1506n(通常也称为服务器1506、节点1506或远程机器1506)通信的一个或多个客户端1502a-102n(通常也称为本地机器1502、客户端1502、客户端节点1502、客户端机器1502、客户端计算机1502、客户端装置1502、端点1502或端点节点1502)。在一些实施例中，客户端1502具有充当寻求对由服务器提供的资源的访问的客户端节点和为其它客户端1502a-1502n提供对托管资源的访问的服务器的能力。

尽管图15A示出了客户端1502与服务器1506之间的网络1504，但客户端1502和服务器1506可以在同一网络1504上。在一些实施例中，在客户端1502与服务器1506之间存在多个网络1504。在这些实施例之一中，网络1504'(未示出)可以是私有网络，而网络1504可以是公共网络。在这些实施例的另一个中，网络1504可以是私有网络，而网络1504'可以是公共网络。在这些实施例的另一个中，网络1504和1504'可以都是私有网络。

网络1504可以通过有线或无线链路连接。有线链路可以包括数字用户线(DSL)、同轴电缆线或光纤线。无线链路可以包括蓝牙、Wi-Fi、全球微波接入互操作性(WiMAX)、红外信道或卫星频带。无线链路还可以包括用于在移动装置之间通信的任何蜂窝网络标准，包括符合1G、2G、3G或4G的标准。网络标准可以通过满足如国际电信联盟所维护的规范之类的一个或多个规范来作为一代或多代移动电信标准。例如，3G标准可以对应于国际移动电信-2000(IMT-2000)规范，而4G标准可以对应于国际移动电信高级(IMT-Advanced)规范。蜂窝网络标准的实例包括AMPS、GSM、GPRS、UMTS、LTE、高级LTE、移动WiMAX和高级WiMAX。蜂窝网络标准可以使用各种信道接入方法，例如FDMA、TDMA、CDMA或SDMA。在一些实施例中，可以通过不同的链路和标准传输不同类型的数据。在其它实施例中，可以通过不同的链路和标准传输相同类型的数据。

网络1504可以是任何类型和/或形式的网络。网络1504的地理范围可以广泛地变化，并且网络1504可以是体域网(BAN)、个人局域网(PAN)、局域网(LAN)(例如内联网)、城域网(MAN)、广域网(WAN)或因特网。网络1504的拓扑可以是任何形式，并且可以包括例如以下任何一种：点对点、总线、星形、环形、网状或树状。网络1504可以是虚拟的并且位于其它网络1504'的一层或多层之上的覆盖网络。网络1504可以是本领域普通技术人员已知的能够支持本文描述的操作的任何此类网络拓扑。网络1504可以利用不同的技术和协议层或协议栈，包括例如以太网协议、互联网协议组(TCP/IP)、ATM(异步传输模式)技术、SONET(同步光网络)协议或SDH(同步数字体系)协议。TCP/IP互联网协议组可以包括应用层、传输层、互联网层(包括例如，IPv6)或链路层。网络1504可以是广播网络、电信网络、数据通信网络或计算机网络的类型。

在一些实施例中，系统可以包括多个逻辑分组的服务器1506。在这些实施例之一中，服务器的逻辑组可以被称为服务器场1538(未示出)或机器场1538。在这些实施例的另一个中，服务器1506可以是地理上分散的。在其它实施例中，机器场1538可以作为单个实体来管理。在其它实施例中，机器场1538包括多个机器场1538。每个机器场1538内的服务器1506可以是异构的——服务器1506或机器1506中的一个或多个可以根据一种类型的操作系统平台(例如，由华盛顿雷德蒙德的微软公司(Microsoft Corp.)制造的WINDOWS NT)进行操作，而一个或多个其它服务器1506可根据另一类型的操作系统平台(例如，Unix、Linux或Mac OS X)进行操作。

在一个实施例中，机器场1538中的服务器1506可以与相关联的存储系统一起存储在高密度机架系统中，并且位于企业数据中心。在该实施例中，通过在本地化高性能网络上定位服务器1506和高性能存储系统，以这种方式级联服务器1506可以提高系统可管理性、数据安全性、系统的物理安全性和系统性能。集中服务器1506和存储系统并将它们与高级系统管理工具联接允许更有效地使用服务器资源。

每个机器场1538的服务器1506不需要物理上接近同一机器场1538中的另一服务器1506。因此，逻辑上分组为机器场1538的服务器组1506可以使用广域网(WAN)连接或城域网(MAN)连接来互连。例如，机器场1538可以包括物理上位于不同大陆或大陆、国家、州、城市、校园或房间中的不同区域的服务器1506。如果使用局域网(LAN)连接或某种形式的直接连接来连接服务器1506，则可以提高机器场1538中的服务器1506之间的数据传输速度。另外，异构机器场1538可以包括根据操作系统的类型进行操作的一个或多个服务器1506，而一个或多个其它服务器1506执行一种或多种类型的管理程序而不是操作系统。在这些实施例中，管理程序可用于仿真虚拟硬件、分区物理硬件、虚拟化物理硬件，以及执行提供对计算环境的访问的虚拟机，从而允许多个操作系统在主计算机上并发地运行。本机管理程序可以直接在主机上运行。虚拟机管理程序可以包括加利福尼亚州帕洛阿尔托的威睿公司(VMWare,Inc.)生产的VMware ESX/Six；Xen管理程序，由思杰系统有限公司(CitrixSystems,Inc.)监督开发的开源产品；由微软(Microsoft)或其它公司提供的HYPER-V管理程序。托管的管理程序可以在第二软件级别上的操作系统内运行。托管管理程序的实例可以包括VMware Workstation和VIRTUALBOX。

机器场1538的管理可以是分散的。例如，一个或多个服务器1506可以包含支持机器场1538的一个或多个管理服务的组件、子系统和模块。在这些实施例之一中，一个或多个服务器1506提供用于管理动态数据的功能，包括用于处理故障转移、数据复制和提高机器场1538的鲁棒性的技术。每个服务器1506可以与持久性存储器通信，并且在一些实施例中，与动态存储器通信。

服务器1506可以是文件服务器、应用服务器、web服务器、代理服务器、设备、网络设备、网关、网关服务器、虚拟化服务器、部署服务器、SSL VPN服务器或防火墙。在一个实施例中，服务器1506可以被称为远程机器或节点。在另一个实施例中，多个节点可以在任何两个通信服务器之间的路径中。

参考图15B，示出了云计算环境。云计算环境可以向客户端1502提供由网络环境提供的一个或多个资源。云计算环境可以包括通过一个或多个网络1504与云1508通信的一个或多个客户端1502a-102n。客户端1502可以包括例如厚客户端、瘦客户端和零客户端。即使当与云1508或服务器1506断开连接时，厚客户端也可提供至少一些功能。瘦客户端或零客户端可以依赖于到云1508或服务器1506的连接以提供功能。零客户端可以依赖于云1508或其它网络1504或服务器1506以检索客户端装置的操作系统数据。云1508可以包括后端平台，例如，服务器1506、存储器、服务器场或数据中心。

云1508可以是公共的、私有的或混合的。公共云可以包括由客户端1502的第三方或客户端的所有者维护的公共服务器1506。服务器1506可以位于远程地理位置的场外，如上文或其它方式所公开的。公共云可以通过公共网络连接到服务器1506。私有云可以包括由客户端1502或客户端的所有者物理维护的私有服务器1506。私有云可以通过私有网络1504连接到服务器1506。混合云1508可以包括私有和公共网络1504以及服务器1506。

云1508还可以包括基于云的递送，例如软件即服务(SaaS)1510、平台即服务(PaaS)1512和基础设施即服务(IaaS)1514。IaaS可以指用户租用在指定时间段期间所需的基础设施资源的使用。IaaS提供商可以提供来自大池的存储、联网、服务器或虚拟化资源，从而允许用户通过按需访问更多资源来快速扩展。IaaS的实例包括由华盛顿西雅图的亚马逊公司(Amazon.com，Inc.)提供的亚马逊网络服务、由德克萨斯州圣安东尼奥的RackspaceUS，Inc.提供的RACKSPACE CLOUD、由加利福尼亚州山景城的谷歌公司(Google Inc.)提供的谷歌计算引擎，或由加利福尼亚州圣巴巴拉的RightScale，Inc.提供的RIGHTSCALE。PaaS提供商可以提供由IaaS提供的功能，包括例如，存储、联网、服务器或虚拟化，以及附加资源，例如操作系统、中间件或运行时资源。PaaS的实例包括由华盛顿州雷蒙德的微软公司(Microsoft Corporation)提供的微软云操作系统、由谷歌公司提供的谷歌应用程序引擎，以及由加利福尼亚州旧金山的Heroku Inc.提供的HEROKU。SaaS提供商可以提供PaaS提供的资源，包括存储、联网、服务器、虚拟化、操作系统、中间件或运行时资源。在一些实施例中，SaaS提供商可以提供包括例如数据和应用资源的附加资源。SaaS的实例包括由谷歌公司提供的谷歌企业应用套件、由加利福尼亚州旧金山市的赛富时公司(Salesforce.comInc.)提供的SALESFORCE，或由微软公司提供的OFFICE 365。SaaS的实例还可以包括数据存储提供商，例如由加利福尼亚州旧金山的多宝箱公司(Dropbox,Inc.)提供的DROPBOX、由微软公司提供的微软空间同步服务、由谷歌公司提供的谷歌云端硬盘，或由加利福尼亚州库比蒂诺的苹果公司(Apple Inc.)提供的苹果云。

客户端1502可以使用一个或多个IaaS标准来访问IaaS资源，包括例如亚马逊弹性计算云(EC2)、开放云计算接口(OCCI)、云基础设施管理接口(CIMI)或OpenStack标准。一些IaaS标准可以允许客户端通过HTTP访问资源，并且可以使用表述性状态转移(REST)协议或简单对象访问协议(SOAP)。客户端1502可以使用不同的PaaS接口来访问PaaS资源。一些PaaS接口使用HTTP包、标准JavaAPI、JavaMailAPI、Java数据对象(JDO)、Java PersistenceAPI(JPA)、Python API、用于不同编程语言的web集成API(包括例如用于Ruby的机架、用于Python的WSGI或用于Perl的PSGI)，或可在REST、HTTP、XML或其它协议上构建的其它API。客户端1502可通过使用由web浏览器(例如，谷歌浏览器、微软IE浏览器，或由加利福尼亚州山景城的Mozilla基金会提供的火狐浏览器)提供的基于web的用户界面来访问SaaS资源。客户端1502还可以通过智能手机或平板应用程序(包括例如Salesforce Sales Cloud或谷歌驱动应用程序)来访问SaaS资源。客户端1502还可以通过包括例如用于DROPBOX的Windows文件系统的客户端操作系统来访问SaaS资源。

在一些实施例中，可以认证对IaaS、PaaS或SaaS资源的访问。例如，服务器或认证服务器可以经由安全证书、HTTPS或API密钥来认证用户。API密钥可以包括各种加密标准，例如高级加密标准(AES)。数据资源可以通过传输层安全(TLS)或安全套接字层(SSL)发送。

客户端1502和服务器1506可被部署为和/或在任何类型和形式的计算装置上执行，例如，能够在任何类型和形式的网络上通信并执行本文所述操作的计算机、网络装置或设备。图15C和15D示出了可用于实践客户端1502或服务器1506的实施例的计算装置1500的框图。如图15C和15D所示，每个计算装置1500包括中央处理单元1521和主存储器单元1522。如图15C所示，计算装置1500可以包括存储装置1528、安装装置1516、网络接口1518、I/O控制器1523、显示装置1524a-1524n、键盘1526和定点装置1527(例如鼠标)。存储装置1528可以包括但不限于操作系统、软件和图像分类系统1520的软件。如图15D所示，每个计算装置1500还可以包括附加的任选元件，例如，存储器端口1503、桥接器1540、一个或多个输入/输出装置1530a-1530n(通常使用附图标记1530表示)，以及与中央处理单元1521通信的高速缓冲存储器1540。

中央处理单元1521是响应并处理从主存储器单元1522获取的指令的任何逻辑电路。在许多实施例中，中央处理单元1521由微处理器单元提供，例如：由加利福尼亚州山景城的英特尔公司(Intel Corporation)制造的那些；由伊利诺斯州绍姆堡的摩托罗拉公司(Motorola Corporation)制造的那些；由加利福尼亚州圣克拉拉的辉达(Nvidia)制造的ARM处理器和TEGRA片上系统(SoC)；POWER7处理器，由纽约州白原市的国际商业机器公司(International Business Machines)制造的那些；或由加利福尼亚州森尼维耳市的超微半导体(Advanced Micro Devices)制造的那些。计算装置1500可以基于这些处理器中的任何一个，或能够如本文所描述操作的任何其它处理器。中央处理单元1521可以利用指令级并行性、线程级并行性、不同级别的高速缓存和多核处理器。多核处理器可以包括单个计算组件上的两个或更多个处理单元。多核处理器的实例包括AMD PHENOM IIX2、INTEL COREi5和INTEL CORE i7。

主存储器单元1522可以包括一个或多个能够存储数据并允许微处理器1521直接访问任何存储位置的存储器芯片。主存储器单元1522可以是易失性的并且比存储1528存储器快。主存储器单元1522可以是动态随机存取存储器(DRAM)或任何变体，包括静态随机存取存储器(SRAM)、突发SRAM或同步突发SRAM(BSRAM)、快速页面模式DRAM(FPM DRAM)、增强型DRAM(EDRAM)、扩展数据输出RAM(EDO RAM)、扩展数据输出DRAM(EDO DRAM)、突发扩展数据输出DRAM(BEDO DRAM)、单数据速率同步DRAM(SDR SDRAM)、双倍数据速率SDRAM(DDRSDRAM)、直接存储器总线DRAM(DRDRAM)或极限数据速率DRAM(XDR DRAM)。在一些实施例中，主存储器1522或存储1528可以是非易失性的；例如，非易失性读存取存储器(NVRAM)、闪存非易失性静态RAM(nvSRAM)、铁电RAM(FeRAM)、磁阻RAM(MRAM)、相变存储器(PRAM)、导电桥接RAM(CBRAM)、硅-氧化物-氮化物-氧化物-硅(SONOS)、电阻RAM(RRAM)、Racetrack、纳米RAM(NRAM)或Millipede存储器。主存储器1522可基于上述存储器芯片中的任一个，或能够如本文所描述操作的任何其它可用存储器芯片。在图15C所示的实施例中，处理器1521经由系统总线1550(下文更详细地描述)与主存储器1522通信。图15D示出了计算装置1500的实施例，其中处理器经由存储器端口1503直接与主存储器1522通信。例如，在图15D中，主存储器1522可以是DRDRAM。

图15D示出了一个实施例，其中主处理器1521经由辅助总线(有时称为后端总线)直接与高速缓冲存储器1540通信。在其它实施例中，主处理器1521使用系统总线1550与高速缓冲存储器1540通信。高速缓冲存储器1540通常具有比主存储器1522更快的应答时间，并且通常由SRAM、BSRAM或EDRAM提供。在图15D所示的实施例中，处理器1521经由本地系统总线1550与各种I/O装置1530通信。各种总线可用于将中央处理单元1521连接到任何I/O装置1530，包括PCI总线、PCI-X总线或PCI-Express总线或NuBus。对于I/O装置是视频显示器1524的实施例，处理器1521可以使用高级图形端口(AGP)来与显示器1524或用于显示器1524的I/O控制器1523通信。图15D示出了计算机1500的实施例，其中主处理器1521经由超传输、RAPIDIO或INFINIBAND通信技术直接与I/O装置1530b或其它处理器1521'通信。图15D还示出了本地总线和直接通信混合的实施例：处理器1521使用本地互连总线与I/O装置1530a通信，同时直接与I/O装置1530b通信。

在计算装置1500中可以存在各种各样的I/O装置1530a-1530n。输入装置可以包括键盘、鼠标、触控板、跟踪球、触摸板、触摸鼠标、多点触摸触控板和触摸鼠标、麦克风、多阵列麦克风、绘图板、照相机、单镜头反光照相机(SLR)、数字SLR(DSLR)、CMOS传感器、加速计、红外光传感器、压力传感器、磁力计传感器、角速度传感器、深度传感器、接近度传感器、环境光传感器、陀螺仪传感器或其它传感器。输出装置可以包括视频显示器、图形显示器、扬声器、耳机、喷墨打印机、激光打印机和3D打印机。

装置1530a-1530n可以包括多个输入或输出装置的组合，包括例如微软KINECT、用于WII的任天堂Wiimote、任天堂WII U GAMEPAD或苹果IPHONE。一些装置1530a-1530n通过组合一些输入和输出来允许手势识别输入。一些装置1530a-1530n提供面部识别，其可用作包括认证和其它命令的不同目的的输入。一些装置1530a-1530n提供语音识别和输入，包括例如微软KINECT、苹果为IPHONE开发的SIRI、谷歌即时资讯或谷歌语音搜索。

附加装置1530a-1530n具有输入和输出能力，包括例如触觉反馈装置、触摸屏显示器或多点触摸显示器。触摸屏、多点触摸显示器、触摸板、触摸鼠标或其它触摸感测装置可以使用不同技术来感测触摸，包括(例如)电容性、表面电容性、投影电容性触摸(PCT)、单元内电容性、电阻性、红外线、波导、色散信号触摸(DST)、单元内光学、表面声波(SAW)、弯曲波触摸(BWT)或基于力的感测技术。一些多点触摸装置可以允许与表面的两个或更多个接触点，从而允许高级功能，包括例如收缩、展开、旋转、滚动或其它手势。一些触摸屏装置，包括例如微软PIXEL SENSE或多点触控协作墙，可以具有较大的表面，如在桌面上或在墙上，并且还可以与其它电子装置交互。一些I/O装置1530a-1530n、显示装置1524a-1524n或装置组可以是增强现实装置。I/O装置可以由如图15C所示的I/O控制器1523控制。I/O控制器可以控制一个或多个I/O装置，例如，键盘1526和定点装置1527，例如鼠标或光学笔。此外，I/O装置还可以为计算装置1500提供存储和/或安装介质1516。在其它实施例中，计算装置1500可以提供USB连接(未示出)以接收手持USB存储装置。在其它实施例中，I/O装置1530可以是系统总线1550与外部通信总线(例如，USB总线、SCSI总线、FireWire总线、以太网总线、千兆位以太网总线、光纤信道总线或雷电接口总线)之间的桥。

在一些实施例中，显示装置1524a-1524n可以连接到I/O控制器1523。显示装置可以包括例如液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、蓝相LCD、电子纸(e-ink)显示器、柔性显示器、发光二极管显示器(LED)、数字光处理(DLP)显示器、硅基液晶(LCOS)显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、液晶激光显示器、时分复用光闸(TMOS)显示器或3D显示器。3D显示器的实例可以使用例如立体镜、偏振滤光器、主动快门或自动立体镜。显示装置1524a-1524n也可以是头戴式显示器(HMD)。在一些实施例中，显示装置1524a-1524n或对应的I/O控制器1523可以通过OPENGL或DIRECTXAPI或其它图形库来控制或具有对OPENGL或DIRECTXAPI或其它图形库的硬件支持。

在一些实施例中，计算装置1500可以包括或连接到多个显示装置1524a-1524n，每个显示装置可以是相同或不同的类型和/或形式。这样，I/O装置1530a-1530n和/或I/O控制器1523中的任何一个可以包括任何类型和/或形式的适当硬件、软件或硬件和软件的组合，以支持、启用或提供计算装置1500对多个显示装置1524a-1524n的连接和使用。例如，计算装置1500可以包括任何类型和/或形式的视频适配器、视频卡、驱动器和/或库，以接口、通信、连接或以其它方式使用显示装置1524a-1524n。在一个实施例中，视频适配器可以包括与多个显示装置1524a-1524n接口的多个连接器。在其它实施例中，计算装置1500可以包括多个视频适配器，每个视频适配器连接到一个或多个显示装置1524a-1524n。在一些实施例中，计算装置1500的操作系统的任何部分可以被配置为使用多个显示器1524a-1524n。在其它实施例中，显示装置1524a-1524n中的一个或多个可以由经由网络1504连接到计算装置1500的一个或多个其它计算装置1500a或1500b提供。在一些实施例中，软件可以被设计和构造为使用另一计算机的显示装置作为计算装置1500的第二显示装置1524a。例如，在一个实施例中，苹果iPad可以连接到计算装置1500，并且使用装置1500的显示器作为可以用作扩展桌面的附加显示屏。本领域普通技术人员将认识和理解计算装置1500可被配置为具有多个显示装置1524a-1524n的各种方式和实施例。

再次参考图15C，计算装置1500可以包含存储装置1528(例如，一个或多个硬盘驱动器或独立磁盘的冗余阵列)，用于存储操作系统或其它相关软件，以及用于存储应用软件程序，如与图像分类系统软件1520相关的任何程序。存储装置1528的实例包括(例如)硬盘驱动器(HDD)；光学驱动器，包括CD驱动器、DVD驱动器或蓝光驱动器；固态驱动器(SSD)；USB闪存驱动器；或适于存储数据的任何其它装置。一些存储装置可以包括多个易失性和非易失性存储器，包括例如将硬盘与固态高速缓存结合的固态混合驱动器。某些存储装置1528可以是非易失性的、可变的或只读的。一些存储装置1528可以是内部的并且经由总线1550连接到计算装置1500。一些存储装置1528可以是外部的并且经由提供外部总线的I/O装置1530连接到计算装置1500。一些存储装置1528可以经由网络接口1518通过网络1504(包括例如苹果公司的用于笔记本电脑的远程磁盘)连接到计算装置1500。一些客户端装置1500可以不需要非易失性存储装置1528，并且可以是瘦客户端或零客户端1502。一些存储装置1528也可以用作安装装置1516，并且可以适合于安装软件和程序。另外，操作系统和软件可以从可引导介质运行，例如，可引导CD，例如，KNOPPIX，其作为可从knoppix.net的GNU/Linux发行获得的GNU/Linux的可引导CD。

客户端装置1500还可以安装来自应用程序分发平台的软件或应用程序。应用程序分发平台的实例包括由苹果公司提供的iOS应用程序商店、由苹果公司提供的苹果应程序用商店、由谷歌公司提供的用于安卓操作系统的谷歌应用商店、由谷歌公司提供的用于谷歌操作系统的Chrome Webstore，以及由亚马逊公司提供的用于安卓操作系统和金读之光的亚马逊应用程序商店。应用程序分发平台可便于在客户端装置1502上安装软件。应用程序分发平台可以包括服务器1506或云1508上的应用储存库，客户端1502a-102n可以通过网络1504访问该储存库。应用程序分发平台可以包括由各种开发商开发和提供的应用程序。客户端装置1502的用户可以经由应用程序分发平台选择、购买和/或下载应用程序。

此外，计算装置1500可以包括网络接口1518以通过各种连接来接口到网络1504，各种连接包括但不限于标准电话线LAN或WAN链路(例如，802.11、T1、T3、千兆比特以太网、无限带宽)、宽带连接(例如，ISDN、帧中继、ATM、千兆比特以太网、SONET上的以太网、ADSL、VDSL、BPON、GPON、包括FiOS的光纤)、无线连接，或以上中的任一个或全部的某种组合。可以使用各种通信协议(例如，TCP/IP、以太网、ARCNET、SONET、SDH、光纤分布式数据接口(FDDI)、IEEE 802.11a/b/g/n/ac CDMA、GSM、WiMax和直接异步连接)来建立连接。在一个实施例中，计算装置1500经由任何类型和/或形式的网关或隧道协议(例如安全套接字层(SSL)或安全传输层协议(TLS)，或由佛罗里达劳德代尔堡的思杰系统有限公司制造的思杰网关协议)与其它计算装置1500'通信。网络接口1518可以包含内置网络适配器、网络接口卡、PCMCIA网卡、EXPRESSCARD网卡、卡总线网络适配器、无线网络适配器、USB网络适配器、调制解调器或适于将计算装置1500接口到能够通信并执行本文所述操作的任何类型的网络的任何其它设备。

如图15B和15C所示类型的计算装置1500可以在操作系统的控制下操作，该操作系统控制任务的调度和对系统资源的访问。计算装置1500可以运行任何操作系统，如微软视窗软件操作系统的任何版本、Unix和Linux操作系统的不同版本、用于Macintosh计算机的MAC操作系统的任何版本、任何嵌入式操作系统、任何实时操作系统、任何开源操作系统、任何专有操作系统、用于移动计算装置的任何操作系统，或能够在计算装置上运行并执行本文所述操作的任何其它操作系统。典型的操作系统包括但不限于：WINDOWS 2000、WINDOWSServer 2012、WINDOWS CE、WINDOWS Phone、WINDOWS XP、WINDOWS VISTA和WINDOWS 7、WINDOWS RT和WINDOWS 8，所有这些都由华盛顿州雷蒙德市的微软公司制造；Mac操作系统和iOS，由加利福尼亚州库比蒂诺的苹果公司制造；以及Linux，一种免费提供的操作系统，例如Linux Mint distribution(“distro”)或由英国伦敦的Canonical Ltd.发行的Ubuntu；或Unix或其它类似Unix的衍生操作系统；以及由加利福尼亚山景城的谷歌设计的安卓操作系统等。一些操作系统，包括例如谷歌的谷歌操作系统，可用于零客户端或瘦客户端，包括例如CHROMEBOOKS。

计算机系统1500可以是任何工作站、电话、台式计算机、膝上型或笔记本计算机、上网本、超极笔记本、平板电脑、服务器、手持计算机、移动电话、智能手机或其它便携式电信装置、媒体播放装置、游戏系统、移动计算装置，或能够通信的任何其它类型和/或形式的计算、电信或媒体装置。计算机系统1500具有足够的处理器功率和存储器容量来执行本文描述的操作。在一些实施例中，计算装置1500可以具有与该装置一致的不同处理器、操作系统和输入装置。三星GALAXY智能手机例如在谷歌公司开发的安卓操作系统的控制下操作。Galaxy智能手机经由触摸界面接收输入。

在一些实施例中，计算装置1500是游戏系统。例如，计算机系统1500可以包含由日本东京的索尼公司(Sony Corporation)制造的PLAYSTATION 3或PERSONAL PLAYSTATIONPORTABLE(PSP)或PLAYSTATION VITA装置、由日本京都的任天堂有限公司(Nintendo Co.,Ltd.)制造的NINTENDO DS、NINTENDO 3DS、NINTENDO WII或NINTENDO WII U装置、由华盛顿州雷蒙德市的微软公司制造的XBOX 360装置。

在一些实施例中，计算装置1500是如由加利福尼亚州库比蒂诺的苹果电脑公司(Apple Computer)制造的Apple IPOD、IPOD Touch和IPOD NANO系列装置的数字音频播放器。一些数字音频播放器可以具有其它功能，包括例如游戏系统或由应用程序从数字应用程序分发平台可用的任何功能。例如，IPOD Touch可以访问苹果应用程序商店。在一些实施例中，计算装置1500是支持文件格式的便携式媒体播放器或数字音频播放器，该文件格式包括但不限于MP3、WAV、M4A/AAC、WMA保护AAC、AIFF、可听音频书、苹果无损音频文件格式以及.mov、m4v和.mp4 MPEG-4(H.264/MPEG-4AVC)视频文件格式。

在一些实施例中，计算装置1500是平板电脑，例如苹果公司的IPAD系列装置；三星的Galaxy TAB系列装置；或华盛顿西雅图的亚马逊公司的金读之光。在其它实施例中，计算装置1500是电子书阅读器，例如亚马逊网站的KINDLE系列装置，或纽约市巴诺公司(Barnes&Noble,Inc.)的NOOK系列装置。

在一些实施例中，通信装置1502包括装置的组合，例如与数字音频播放器或便携式媒体播放器组合的智能手机。例如，这些实施例中的一个是智能手术，例如，由苹果公司制造的IPHONE系列智能手机；由三星公司制造的三星GALAXY系列智能手机；或摩托罗拉DROID系列智能手机。在又一实施例中，通信装置1502是配备有网络浏览器和麦克风和扬声器系统(例如电话耳机)的膝上型或台式计算机。在这些实施例中，通信装置1502是启用网络的并且可以接收和发起电话呼叫。在一些实施例中，膝上型或台式计算机还配备有启用视频聊天和视频呼叫的网络摄像头或其它视频捕获装置。

在一些实施例中，通常作为网络管理的一部分，监视网络1504中的一个或多个机器1502、1506的状态。在这些实施例之一中，机器的状态可以包括负载信息(例如，机器上进程的数量，CPU和存储器利用率)、端口信息(例如，可用通信端口的数量和端口地址)或会话状态(例如，进程的持续时间和类型，以及进程是活动的还是空闲的)的标识。在这些实施例的另一个中，该信息可以由多个度量来标识，并且该多个度量可以至少部分地应用于负载分配、网络流量管理和网络故障恢复中的决定以及本文所述的本解决方案的操作的任何方面。上述操作环境和组件的各方面将在本文所公开的系统和方法的上下文中变得显而易见。

应当理解，上述系统可以提供这些组件中的任何组件或每个组件中的多个组件，并且这些组件可以设置在独立机器上，或者在一些实施例中，设置在分布式系统中的多个机器上。上述系统和方法可以实现为使用编程和/或工程技术来产生软件、固件、硬件或其任何组合的方法、设备或制品。另外，可以将上述系统和方法提供为在一个或多个制品上或其中体现的一个或多个计算机可读程序。本文所使用的术语“制品”旨在涵盖可从一个或多个计算机可读装置、固件、可编程逻辑、存储器装置(例如，EEPROM、ROM、PROM、RAM、SRAM等)、硬件(例如，集成电路芯片、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)、电子装置、计算机可读非易失性存储单元(例如，CD-ROM、软盘、硬盘驱动器等)访问并嵌入其中的代码或逻辑。可以经由网络传输线、无线传输介质、通过空间传播的信号、无线电波、红外信号等从提供对计算机可读程序的访问的文件服务器访问该制品。该制品可以是闪存卡或磁带。该制品包括硬件逻辑以及嵌入在由处理器执行的计算机可读介质中的软件或可编程代码。通常，计算机可读程序可以以任何编程语言(如LISP、PERL、C、C++、C#、PROLOG)或以任何字节码语言(如JAVA)来实现。软件程序可以作为目标代码存储在一个或多个制品上或其中。

虽然已经描述了方法和系统的各种实施例，但是这些实施例是示范性的并且决不限制所描述的方法或系统的范围。相关领域的技术人员可以对所述方法和系统的形式和细节进行改变，而不脱离所述方法和系统的最宽范围。因此，本文描述的方法和系统的范围不应受到任何示范性实施例的限制，而应根据所附权利要求书及其等效物来限定。