用于使用深层神经网络一致地呈现医学图像的系统和方法

摘要

本发明题为用于使用深层神经网络一致地呈现医学图像的系统和方法。本公开提供了用于使用深度神经网络来智能地选择医学图像的显示设置的系统和方法，该显示设置包括窗口宽度(WW)和窗口中心(WC)。本公开能够允许基于深度神经网络对医学图像的外观分类来自动选择医学图像的显示设置。在一个实施方案中，本公开提供了一种方法，该方法包括：接收医学图像，使用受过训练的深度神经网络将医学图像映射到外观分类矩阵的外观分类单元，基于外观分类和目标外观分类来选择医学图像的第一WW和第一WC，基于用户偏好来调整第一WW和第一WC以产生第二WW和第二WC，以及经由显示设备显示具有第二WW和第二WC的医学图像。

说明书

技术领域

本文所公开的主题的实施方案涉及医学成像，并且更具体地涉及用于使用深度神经网络确定医学图像的显示设置的系统和方法。

背景技术

医学成像设备通常用于获得患者的内部生理信息。例如，医学成像设备可用于获得患者的骨骼结构、脑部、心脏、肺部和各种其他解剖区域的图像。医学成像设备可包括磁共振成像(MRI)系统、计算机断层摄影术(CT)系统、正电子发射断层摄影术(PET)系统、PET/MR系统、X射线系统、超声系统、C型臂系统和各种其他成像模态。

临床医生可基于由医学成像设备在医学图像中捕获的生理信息来评估患者的状况。临床医生对医学图像的准确而一致的评估部分地依赖于医学图像的一致的显示外观。显示外观(在本文中也被称为呈现)是医学图像的显示设置的函数，诸如窗口宽度(WW)和窗口中心(WC)，它们分别与所显示的医学图像的对比度和亮度相关。令放射科专家备受困扰的一个问题是在来自不同患者、来自在不同时间采集的同一患者或来自使用不同成像设备采集的同一患者的医学图像中缺乏显示外观一致性。医学图像的不一致呈现使图像查看工作流程复杂化，因为临床医生可能需要手动调整医学图像的显示设置以实现期望的外观。

在可用于自动设定显示设置的图像处理算法中，呈现中不一致的很大一部分来自对图像的柱状图分析，因为金属对象、边缘检测失败、原始辐射掩模失败、视场变化以及不正确的检查选择，可使柱状图分析产生偏差，并且导致产生具有与用户的期望外观显著不同的显示外观的医学图像并且可基于噪声或其他伪影的存在而在图像与图像之间变化的显示设置。此外，柱状图分析不结合医学图像的像素强度数据的上下文信息，例如，关于医学图像的哪些像素对应于解剖区域，哪些像素对应于背景、噪声或伪像，柱状图分析是盲目的，因此柱状图分析无法基于感兴趣的解剖区域的显示外观来选择性地调整显示设置。

因此，通常期望探索用于智能地选择医学图像的显示设置以产生具有一致的显示外观的医学图像的技术。

发明内容

本公开使得能够使用深度神经网络更一致地呈现医学图像。在第一实施方案中，本公开提供了一种方法，该方法包括：接收医学图像，使用受过训练的深度神经网络将医学图像映射到外观分类矩阵的外观分类单元，基于外观分类和目标外观分类来选择医学图像的第一WW和第一WC，基于用户偏好来调整第一WW和第一WC以产生第二WW和第二WC，以及经由显示设备显示具有第二WW和第二WC的医学图像。通过使用受过训练的深度神经网络将医学图像映射到外观分类矩阵的外观分类单元，可对医学图像的外观进行更整体的评估。所述评估包括所获知的从医学图像的特征到一个或多个预先确定的类别(外观分类单元)的映射，可以更紧密地匹配人对医学图像呈现显示外观的评估。此外，与仅基于像素强度柱状图评估医学图像相反，受过训练的深度神经网络可通过基于所存在的特征的空间配置和类型对医学图像进行分类来结合医学图像数据的上下文信息。

与常规柱状图分析相比，所获知的映射还可以对噪声和/或图像伪影基本上不太敏感，因为受过训练的深度神经网络可在包括噪声或图像伪影的医学图像的区域与包括感兴趣的解剖区域的医学图像的区域之间进行区分。因此，由深度神经网络输出的外观分类单元可更多地基于感兴趣的解剖区域的外观特性，并且较少基于背景/噪声/伪影的外观特性。

此外，外观分类矩阵的外观分类单元可包括外观分类单元与目标外观分类之间的WW差值的指示，以及外观分类单元与目标外观分类单元之间的WC差值的指示，因此使得能够基于所述WW差值和所述WC差值来选择第一WW和第一WC，其中以第一WW和第一WC显示的医学图像的外观可与目标外观分类匹配。

在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。

附图说明

通过阅读以下详细描述并且参考附图，可以更好地理解本公开的各个方面，其中：

图1示出了医学成像系统的示例性实施方案的框图；

图2示出了用于使用受过训练的深度神经网络来确定一个或多个医学图像的显示设置的示例性方法的流程图；

图3示出了用于生成训练数据对的示例性方法的流程图，该训练数据对用于训练深度神经网络以将医学图像映射到外观分类矩阵的一个或多个外观分类单元；

图4示出了用于训练深度神经网络以使用多个训练数据对将医学图像映射到外观分类矩阵的一个或多个外观分类单元的示例性方法的流程图；

图5示出了根据本公开的示例性实施方案生成的多个训练图像的示例；

图6示出了具有使用常规方法选择的显示设置的多个医学图像与具有使用本发明的方法选择的显示设置的相同的多个医学图像之间的比较；

图7示出了具有根据常规方法选择的显示设置的医学图像与具有使用本发明的方法选择的显示设置的相同医学图像之间的比较；

图8示出了迭代地选择医学图像的显示设置以与目标外观分类匹配的示例；并且

图9示出了图形用户界面的示例，用户可以通过该图形用户界面来调整医学图像的显示设置。

附图示出了所描述的用于使用深度神经网络一致地呈现医学图像的系统和方法的特定方面。连同以下描述，附图示出并且解释了本文描述的结构、方法和原理。在附图中，为了清楚起见，部件的大小可以被放大或以其他方式修改。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述的部件、系统和方法的各方面。

具体实施方式

以下描述涉及用于使用深度神经网络智能地选择医学图像的显示设置以产生具有一致的显示外观的医学图像的系统和方法，从而能够更一致且更准确地评估和比较医学图像。用于自动选择医学图像的显示设置的当前方法依赖于柱状图分析，该柱状图分析对正在评估的医学图像中的噪声和/或伪影的存在敏感，并且可产生具有不一致的显示外观的医学图像。

本文的发明人已识别出可允许自动选择显示设置的方法，所述显示设置在应用于医学图像时可产生更一致的显示外观。此外，本文所公开的选择显示设置的方法对正在评估的医学图像中的噪声和/或伪影具有降低的敏感性。本公开还提供了用于使用训练数据对来训练深度神经网络以获知从医学图像特征到外观分类矩阵的外观分类单元的映射的系统和方法。本文还公开了用于生成所述训练数据对的方法和系统。

在一个实施方案中，本公开提供了图1所示的医学成像系统100，该医学成像系统被配置为使用医学成像设备140来采集医学图像。医学成像系统100还包括图像处理设备102，该图像处理设备可包括一个或多个受过训练的深度神经网络。图像处理设备102还可包括指令，这些指令用于通过执行图2所示的方法200的一个或多个操作，基于由受过训练的深度神经网络输出的外观分类单元来选择一个或多个医学图像的显示设置。在一些实施方案中，方法200包括迭代地更新医学图像的显示设置，直到由受过训练的深度神经网络输出的医学图像的外观分类单元与预先确定的目标外观分类匹配，如图8所示。方法200还可包括经由图形用户界面(诸如图9所示的图形用户界面900)接收用户输入，并且基于所述用户输入进一步调整显示设置，如图9所示。

方法200可允许自动选择多个医学图像中的每一个医学图像的显示设置，使得多个医学图像中的每一个医学图像的显示外观均与用户的偏好显示外观一致(本文中被称为外观归一化的方法)。医学图像呈现的一致性的提高可使得临床医生能够更容易地评估或诊断医学图像，因为医学图像的总体显示外观可变得与临床医生的偏好一致。此外，医学图像呈现的一致性可以实现不同医学图像之间更容易且更准确的比较(例如，确定第一医学图像与第二医学图像之间肿瘤生长的量)。

图6和图7提供了具有使用常规方法选择的显示设置的医学图像(第一多个医学图像602和第一多个手部图像702)和具有根据本发明的方法选择的显示设置的医学图像(第二多个医学图像604和第二多个手部图像704)的比较。

可使用通过执行方法300的一个或多个操作生成的训练数据对，训练在方法200中采用的受过训练的深度神经网络以根据方法400的一个或多个操作将医学图像分类成外观分类矩阵的一个或多个外观分类单元，如图3所示。在一些实施方案中，训练数据对可通过基于分配的基准真相外观分类单元，相对于目标外观分类的平均显示设置调整显示设置诸如WW和WC来生成。图5示出了多个训练图像500的图示，其中多个训练图像500中的每一个训练图像基于分配的基准真相外观分类单元在外观分类矩阵内的位置来定位。多个训练图像500中的每一个训练图像具有对应于分配的基准真相外观分类单元的显示设置，因此多个训练图像500看起来表示亮度和对比度设置的频谱。

应当理解，虽然大多数示例是相对于WW和WC给出的，但在不脱离本公开的范围的情况下，可以有利地采用当前方法的各方面来选择其他显示设置，包括γ(用于γ校正)、感兴趣值(VOI)选择等。

参见图1，该图示出了根据示例性实施方案的医学成像系统100。医学成像系统100包括图像处理设备102、显示设备120、用户输入设备130和医学成像设备140。在一些实施方案中，图像处理系统100的至少一部分设置在经由有线连接和/或无线连接通信地耦接到医学成像系统100的远程设备(例如，边缘设备、服务器等)处。在一些实施方案中，图像处理设备102的至少一部分设置在被配置为从存储由医学成像设备140采集的图像的存储设备接收图像的单独的设备(例如，工作站)处。

图像处理设备102包括处理器104，该处理器被配置为执行存储在非暂态存储器106中的机器可读指令。处理器104可以是单核或多核的，并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中，处理器104可以可选地包括分布在两个或更多个设备中的单独部件，这些单独部件可以被远程定位以及/或者被配置用于协调处理。在一些实施方案中，处理器104的一个或多个方面可被虚拟化并且由以云计算配置进行配置的可远程访问的联网计算设备执行。

非暂态存储器106可存储深度神经网络模块108、训练模块112和图像数据114。深度神经网络模块108可包括一个或多个深度神经网络，该一个或多个深度神经网络包括多个权重和偏差、激活函数以及用于实现一个或多个深度神经网络以将医学图像映射到外观分类矩阵的外观分类单元的指令。例如，深度神经网络模块108可存储用于根据方法200的一个或多个步骤实现一个或多个深度神经网络的指令，以基于医学图像中识别的特征将医学图像映射到对应的外观分类单元。

深度神经网络模块108可包括受过训练和/或未受过训练的深度神经网络。在一些实施方案中，深度神经网络模块108不设置在图像处理设备102处，而是设置在经由有线或无线连接与图像处理设备102通信地耦接的远程设备处。深度神经网络模块108可包括与受过训练和/或未受过训练的网络有关的各种深度神经网络元数据。在一些实施方案中，深度神经网络元数据可包括用于训练深度神经网络的训练数据的指示、用于训练深度神经网络的训练方法，以及受过训练的深度神经网络的准确性/验证得分。在一些实施方案中，深度神经网络模块108可包括用于受过训练的深度神经网络的元数据，该元数据指示可应用受过训练的深度神经网络的解剖结构的类型和/或成像模态的类型。

非暂态存储器106还包括训练模块112，该训练模块包括用于训练存储在深度神经网络模块108中的深度神经网络中的一个或多个深度神经网络的机器可执行指令。在一些实施方案中，训练模块112可包括用于通过执行方法300的一个或多个操作来生成训练数据对的指令，以及利用所述训练数据对通过执行图4所示的方法400的一个或多个操作来训练深度神经网络以将医学图像分类成外观分类矩阵的一个或多个外观分类单元。在一个实施方案中，训练模块112可包括梯度下降算法、损失函数和用于生成和/或选择训练数据以用于训练深度神经网络的规则。训练模块112还可包括指令，所述指令在由处理器104执行时使图像处理设备102通过执行下面将参考图4更详细讨论的方法400的一个或多个操作来训练深度神经网络。在一些实施方案中，训练模块112不设置在图像处理设备102处，而是远程设置，并且与图像处理设备102通信地耦接。

非暂态存储器106还可存储图像数据114，该图像数据包括由医学成像设备140采集的医学图像/成像数据。图像数据114还可以包括经由与其他医学成像系统通信耦接而从其他医学成像系统接收的医学图像/成像数据。存储在图像数据114中的医学图像可包括来自各种成像模态或来自各种医学成像设备模型的医学图像，并且可包括一个或多个患者的解剖区域的各种视图的图像。在一些实施方案中，存储在图像数据114中的医学图像可包括识别采集医学图像的成像模态和/或成像设备(例如，成像设备的模型和制造商)的信息。在一些实施方案中，图像数据114可包括由X射线设备采集的X射线图像、由MRI系统捕获的MR图像、由CT成像系统捕获的CT图像、由PET系统捕获的PET图像和/或一种或多种附加类型的医学图像。

存储在图像数据114处的医学图像还可以包括显示设置，该显示设置可以由图像处理设备102结合显示设备120使用，以显示具有用户偏好显示外观(例如，亮度、对比度等)的一个或多个医学图像。在一些实施方案中，图像数据114存储与存储在其中的一个或多个医学图像相关联的查找表(LUT)，以用于将一个或多个医学图像的基础像素强度数据映射到显示强度数据。可基于显示设置来生成LUT，在一些实施方案中，可通过执行下文更详细讨论的方法200的一个或多个步骤来智能地选择所述显示设置。在一些实施方案中，图像数据114可包括存储在其中的一个或多个图像的像素强度柱状图。

在一些实施方案中，非暂态存储器106可包括设置在两个或更多个设备上的部件，这些部件可以被远程定位以及/或者被配置用于协调处理。在一些实施方案中，非暂态存储器106的一个或多个方面可包括以云计算配置进行配置的可远程访问的联网存储设备。

医学成像系统100还包括医学成像设备140，该医学成像设备可包括基本上任何类型的医学成像设备，包括X射线、MRI、CT、PET、混合PET/MR、超声等。成像设备140可采集患者的解剖区域的测量数据，该测量数据可用于生成医学图像。根据由医学成像设备140采集的测量数据生成的医学图像可包括二维(2D)或三维(3D)成像数据，其中所述成像数据可包括多个像素强度值(就2D医学图像而言)或体素强度值(就3D医学图像而言)。由医学成像设备140采集的医学图像可包括灰度或彩色图像，因此存储在图像数据114中的医学图像可包括用于灰度图像的单个颜色通道，或者用于彩色的医学图像的多个颜色通道。

医学成像系统100还可包括用户输入设备130。用户输入设备130可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理设备102内的数据交互并且操纵该数据的其他设备中的一者或多者。在一些实施方案中，用户输入设备130可以使用户能够使用图形用户界面(GUI)诸如图9所示的GUI 900来调整医学图像的亮度和对比度。

显示设备120可包括利用几乎任何类型技术的一个或多个显示设备。在一些实施方案中，显示设备120可包括计算机监视器，该计算机监测器被配置为显示各种类型和样式的医学图像。显示设备120可与处理器104、非暂态存储器106和/或用户输入设备130结合在共用的外壳中，或者可以是外围显示设备，并且可包括监测器、触摸屏、投影仪或本领域中已知的其他显示设备，所述其他显示设备可使用户能够查看具有根据当前公开的一个或多个实施方案选择的显示设置的医学图像，并且/或者与存储在非暂态存储器106中的各种数据进行交互。

应当理解，图1中所示的医学成像系统100是用于说明而非限制。另一种合适的医学成像系统100可包括更多、更少或不同的部件。

转到图2，示出了用于基于来自深度神经网络的输出智能地选择一个或多个医学图像的显示设置的示例性方法200。方法200可以通过迭代地调整一个或多个医学图像的显示设置来实现医学图像的更一致的呈现，直到由受过训练的深度神经网络输出的医学图像的外观分类单元与目标外观分类匹配。受过训练的深度神经网络可基于医学图像的显示外观特性将输入的医学图像映射到外观分类矩阵的一个或多个外观分类单元。方法200可由上文所述系统中的一个或多个系统来执行。在一个实施方案中，医学成像系统100可执行方法200的一个或多个操作，以基于深度神经网络的输出来选择医学图像的显示设置。这样，临床医生可以用一致的呈现来评估/诊断医学图像。尽管下文对方法200的描述强调了WW和WC，但应当理解，在不脱离本公开的范围的情况下，可有利地实现方法200以智能地选择除WW和WC之外的显示设置。

方法200开始于操作202，其中医学成像系统采集患者解剖区域的医学图像。在一些实施方案中，操作202可包括从患者采集感兴趣的解剖区域的一个或多个医学图像的医学成像设备140。在一个示例中，操作202可包括采集患者的X射线图像的医学成像设备。可使用一种或多种已知的成像模态(包括MRI、PET、CT、X射线、超声等)来采集医学图像。所采集的医学图像可包括二维(2D)或三维(3D)图像，并且可包括单个颜色通道或多个颜色通道。在一些实施方案中，所采集的医学图像可被传输至远程图像处理设备。在一些实施方案中，医学成像系统包括内置图像处理设备。

在操作204处，医学成像系统预处理所采集的医学图像以产生预处理的医学图像。在一些实施方案中，操作204包括医学成像系统对医学图像进行快门模式拍摄、修剪和/或调整尺寸。在一些实施方案中，可以在操作204处修剪或调整所采集的医学图像的尺寸以适配预先确定的格式。在一些实施方案中，预先确定的格式包括与受过训练的深度神经网络兼容的格式。在一些实施方案中，受过训练的深度神经网络可包括被配置为从预先确定的尺寸的图像接收图像数据的输入层，并且操作204可包括调整所采集的医学图像的尺寸以与预先确定的尺寸匹配。在一些实施方案中，操作204包括医学成像系统执行双线性或双三次插值以增大所采集的医学图像的尺寸。在一些实施方案中，操作204包括医学成像系统池化所采集的医学图像的图像数据以减小所采集的医学图像的尺寸。

在操作206处，医学成像系统将第一WW和第一WC应用于预处理的医学图像以产生临时显示图像。在一些实施方案中，可基于对所采集的医学图像的像素/体素强度柱状图的分析来选择第一WW和第一WC的初始值，然后可基于由操作208的由受过训练的深度神经网络输出的外观分类单元来确定第一WW和第一WC的更新值。在一些实施方案中，医学成像系统可基于第一WW和第一WC生成第一LUT，并且可以将第一LUT应用于预处理医学图像的每个像素/体素以产生临时医学图像，而不改变预处理医学图像的图像数据。这样，在操作202处采集的医学图像的图像数据可被保留，而临时医学图像可前进至操作208。

在操作208处，医学成像系统使用受过训练的深度神经网络将临时显示图像映射到外观分类矩阵的外观分类单元。操作208可包括将来自临时显示图像的图像数据输入到受过训练的深度神经网络的输入层中。受过训练的深度神经网络可包括一个或多个卷积层，其中输入医学图像数据中的一个或多个特征可通过使一个或多个获知的滤波器穿过临时显示图像中的每个子区域来识别。以这种方式识别/提取的特征包括所述特征的空间上下文信息，因为每个提取的特征与临时显示图像中的特定子区域相关联。由受过训练的深度神经网络的较浅层输出的特征可作为输入由受过训练的深度神经网络的较深层接收，从而使得能够提取复合特征(即，包括其他特征的空间图案的特征)。

受过训练的深度神经网络可包括一个或多个激活函数，该一个或多个激活函数可从前一层接收一个或多个输入，并且可将所接收的输入经由非线性函数映射到输出。激活功能可包括本领域中已知的基本上任何激活功能，诸如修正线性单元(ReLU)。受过训练的深度神经网络还可包括一个或多个池化层，诸如最大池化层、最小池化层、平均池化层等，其中来自前一层的多个神经元/特征通道的输出作为输入被接收，并且产生具有减少的维度的输出。在一个示例中，池化层可接收四个输入，对四个输入中的每一个输入进行平均，并且产生等于四个输入的平均值的单个输出，从而将四维输入矢量减小为一维输出矢量。

受过训练的深度神经网络可包括一个或多个完全连接的层(也被称为致密层)，其中第n层的每个节点/神经元连接到第(n+1)层的每个节点，其中n为正整数。在一些实施方案中，卷积层(以及任选地池化层)可馈送到一个或多个完全连接的层中，其中完全连接的层可被配置为分类器。分类器可接收由后续卷积层从临时显示图像的图像数据中提取的一个或多个特征，并且可输出外观分类矩阵的一个或多个外观分类单元的概率得分。简单地转到图8，示出了临时显示图像对和由受过训练的深度神经网络输出的外观分类矩阵的外观分类单元的对应的概率得分的图示。

在操作208之后，方法200可前进至操作210。操作210包括医学成像系统评估临时显示图像的外观分类是否以大于阈值的概率与目标外观分类匹配。目标外观分类包括外观分类矩阵的预先确定的外观分类单元。在一些实施方案中，操作210包括医学成像系统在操作208处比较由受过训练的深度神经网络输出的外观分类单元，以及确定输出的外观分类单元是否等于目标外观分类，并且进一步确定与输出的外观分类单元相关联的概率得分是否大于预先确定的阈值概率。在一些实施方案中，概率阈值可被设定为0.80，并且在操作210处，如果外观分类的概率得分为80％或更大，则临时医学图像的外观分类可被认为以大于阈值的置信度与目标外观分类匹配。如果在操作210处，医学成像系统确定由受过训练的深度神经网络针对临时医学图像确定的外观分类单元以大于阈值的概率与目标外观分类匹配，则方法200前进至操作214。

然而，如果在操作210处，医学成像系统确定外观分类单元不以大于阈值的概率与目标外观分类匹配，则方法200可前进至操作212。在操作212处，在返回操作206之前，医学成像系统基于操作208处的外观分类单元输出来更新第一WW和第一WC。因此，方法200可重复操作206、208、210和212，直到选择第一WW和第一WC，该第一WW和第一WC产生映射到以大于阈值的概率与目标外观分类匹配的外观分类单元的临时显示图像。

简单地转到图8，示出了诸如关于操作206、208、210和212所述的确定显示设置的迭代过程的一个实施方案的图示。具体地，图8示出了显示设置选择的六次迭代，第一迭代802、第二迭代804、第三迭代806、第四迭代808、第五迭代810和第六迭代812。针对每次迭代，示出了相关联的临时显示图像和外观分类单元。外观分类单元在外观分类矩阵内示出，其中最中心的外观分类单元(在第4行第4列中的外观分类单元)是目标外观分类，临时显示图像的外观在六次迭代中的每一次迭代中会聚于该目标外观分类。应当理解，本公开提供多于或少于六次的迭代。

在图8中，第一迭代802和第二迭代804均示出临时医学图像被映射到多个外观分类单元。在临时医学图像被映射到多个外观分类单元的实施方案中，其中每个外观分类单元包括概率得分/置信度，针对多个外观分类单元中的每一个外观分类单元分别确定用于更新当前WW和当前WC的参数，然后通过以对应的概率/置信度得分对针对每个外观分类单元确定的参数进行加权来计算每个参数的加权平均数。在一些实施方案中，每个外观分类单元可包括相对于目标外观分类单元的WW缩放系数和WC偏移量，并且在将临时医学图像映射到第一外观分类单元和第二外观分类单元时，可基于第一概率得分和第二概率得分(分别对应于第一外观分类和第二外观分类)来确定第一WW缩放系数和第二WW缩放系数(分别对应于第一外观分类和第二外观分类)的加权平均值。同样，可通过将对应于第一外观分类单元的第一WC偏移量乘以第一外观分类的第一概率得分来确定临时医学图像的加权平均WC偏移量以产生第一加权WC，将对应于第二外观分类单元的第二WC偏移量乘以第二外观分类的第二概率得分以产生第二加权WC，并且将第一加权WC和第二加权WC相加以产生加权平均WC，该加权平均WC可用于更新临时医学图像的当前WC。

返回图2，在操作210处，响应于产生具有与目标外观分类匹配的显示外观的临时显示图像，方法200可前进至操作214。在操作214处，医学成像系统基于预先选择的用户偏好来调整第一WW和第一WC以产生第二WW和第二WC。在一些实施方案中，操作214包括医学成像系统从非暂态存储器中的位置检索存储所述预先选择的用户显示外观偏好的文件。在一些实施方案中，用户显示外观偏好包括从与目标外观分类匹配的医学图像的平均显示设置到对应于用户偏好外观的一组用户偏好显示设置的一组映射或变换。操作214还可包括将所检索的映射/变换自动应用于第一WW和第一WC以产生第二WW和第二WC。在一些实施方案中，用户的显示外观偏好可包括WC偏移量和WW缩放系数，其中产生第二WC可包括将WC偏移量相加到第一WC，并且其中产生第二WW可包括将第一WW乘以WW缩放系数。

在一些实施方案中，用户可通过手动调整测试图像的显示设置来指定偏好显示外观。在一个示例中，测试图像可经由显示设备显示给用户，其中测试图像的显示设置是与目标外观分类匹配的医学图像的平均显示设置。用户可手动调整测试图像的显示设置的一个或多个显示设置，直到测试图像与用户的显示外观偏好匹配。由用户对测试仪图像的显示设置进行的调整可被存储在非暂态存储器的预先确定的位置处，以供稍后访问。

在操作216处，医学成像系统将第二WW和第二WC应用于在操作202处采集的医学图像以产生显示图像。在一些实施方案中，医学成像系统可基于第二WW和第二WC生成第二LUT，并且可以将第二LUT应用于医学图像的每个像素/体素以产生显示图像，而不改变医学图像的图像数据。这样，可以保留在操作202处采集的医学图像的图像数据。

在操作218处，医学成像系统经由显示设备对显示图像进行显示。在一些实施方案中，操作218可包括经由显示设备诸如显示设备120显示在操作216处产生的显示图像。

在操作220处，医学成像系统任选地经由用户输入设备接收用户输入，并且基于所接收的用户输入进一步调整显示图像的第二WW和第二WC以产生第三WW和第三WC。第三WW和第三WC可应用于显示图像以产生更新的显示图像。在一些实施方案中，用户输入包括亮度选择和/或对比度选择。

简单地转到图9，示出了用于使用户能够“微调”显示图像904a的显示设置的GUI900的一个实施方案。图9示出了在接收到用户输入之前和之后的GUI 900。具体地，图9示出了显示图像904a和更新的显示图像904b，其中基于对比度滑块910和亮度滑块912的用户重新定位来调整显示图像904a的显示设置以产生更新的显示图像904b。对比度滑块910和亮度滑块912两者包括与根据方法200的一个或多个操作自动选择的显示设置的偏离的指示。可以看出，在接收到用户输入之前，对比度滑块910和亮度滑块912均处于“默认”或零位置，即，对比度滑块910和亮度滑块912的位置对应于根据方法200的一个或多个操作自动选择的显示设置。在接收到用户输入并且基于所述用户输入重新定位对比度滑块910和亮度滑块912之后，更新对比度滑块910和亮度滑块条912以指示与初始滑块位置的偏离程度。与自动确定的显示设置的偏离的指示可使得用户能够更容易地确定是否从自动选择的用户设置调整显示设置以及调整显示设置的量，在一些实施方案中，所述自动选择的用户设置可通知用户更新预先选择的用户偏好以与偏好显示外观更紧密地匹配，从而减少用户手动调整显示设置的频率，并且加快用户的工作流。

在操作220之后，方法200可结束。方法200可允许自动选择一个或多个医学图像的显示设置，其中当所述显示设置应用于一个或多个医学图像时，可产生具有一致的显示外观的一个或多个对应的显示图像。方法200可包括基于深层神经网络的输出来选择医学图像的显示设置，该深层神经网络被训练成基于显示外观将医学图像分类成外观分类矩阵的一个或多个外观分类单元。通过使用受过训练的深度神经网络将医学图像映射到外观分类矩阵的一个或多个外观分类单元，可对医学图像的外观进行更整体的评估。

此外，受过训练的深度神经网络可基于多个学习图像特征对输入医学图像进行分类，其中所述图像特征可包括空间强度/颜色图案。受过训练的深度神经网络可以隐式地提取医学图像中存在的特征的位置和取向信息，并且可进一步识别/提取医学图像中存在的特征之间的相对空间关系。通过基于医学图像内存在的特征的空间配置和类型对医学图像显示外观进行分类，而不是基于像素强度柱状图评估医学图像，外观分类可以更接近于人类专家的外观分类。

此外，由于深度神经网络可学习识别与医学图像的外观分类相关的图像特征，因此可忽略/衰减不与医学图像的外观分类相关的特征，诸如图像伪影，包括非解剖异物(例如，外科销钉)。因此，与常规方法相比，基于使用受过训练的深度神经网络确定的外观分类而选择的显示设置可对噪声和/或图像伪影基本上不太敏感，因为受过训练的深度神经网络可在包括噪声/图像伪影的医学图像的区域与包括感兴趣的解剖区域的医学图像的区域之间进行区分。此外，在确定显示设置之前，当前方法不依赖于图像伪影的显式分割和移除/掩蔽，从而提高了计算效率和速度。

一种基于由受过训练的深度神经网络输出的外观分类单元自动选择医学图像的显示设置的技术效果，其中所述外观分类单元在一个或多个显示设置中包括相对于目标外观分类的预先确定的差值/调整因子，该技术效果为可基于一个或多个显示设置中的差值迭代地更新医学图像的显示设置，以使医学图像的显示外观能够收敛于预先确定的目标外观分类单元。另外，一种使用受过训练的深度神经网络，基于所述医学图像内存在的特征的空间配置和类型自动确定医学图像显示外观分类的技术效果，该技术效果为所述外观分类可以更接近于人类专家的外观分类，从而能够对医学图像进行显示设置调整，以产生具有用户期望的显示外观的多个医学图像。

转到图3，示出了用于生成训练数据对的方法300的示例，该训练数据对可用于训练深度神经网络以基于显示外观来对医学图像进行分类。方法300可由本文所述的系统中的一个或多个系统来执行。在一个实施方案中，方法300可由医学成像系统100执行。

方法300从操作302开始，其中医学成像系统选择多个医学图像。在一些实施方案中，操作302包括响应于包括预先确定的解剖区域的图像数据的多个医学图像中的每一个医学图像来选择多个医学图像。在一个示例中，操作302可包括医学成像设备选择手部的多个医学图像。在一些实施方案中，操作302可包括医学成像设备选择肋的多个医学图像。在一些实施方案中，操作302包括医学成像系统基于用于采集所述多个医学图像的成像模态来选择多个医学图像。在一些实施方案中，操作302包括医学成像系统选择具有单一类型成像模态的多个医学图像。医学成像系统可基于与其相关联的一条或多条元数据选择多个医学图像。在一些示例中，操作302包括选择匿名医学图像，其中已经从医学图像中擦除个人识别信息。在一些实施方案中，在操作302处选择的医学图像可被分成第一部分、第二部分和第三部分，其中第一部分可用于训练深度神经网络，第二部分可用于验证深度神经网络(用于调整深度神经网络的超参数)，并且第三部分可用于测试训练后的深度神经网络的性能。

在操作304处，医学成像系统调整多个医学图像中的每一个医学图像的WW和WC，以产生多个外观归一化医学图像。如本文所用，外观归一化医学图像是具有类似或相同的总体显示外观(例如，解剖特征相对于背景亮度的亮度、组织对比度、边缘清晰度、噪声等)的医学图像。

在一些实施方案中，医学成像系统基于经由用户输入设备接收的输入来调整多个医学图像中的每个医学图像的WW和WC。在一些实施方案中，人类专家可使用用户输入设备将WW和WC设置输入到医学成像系统，以使多个医学图像中的每一个医学图像的显示外观一致。产生一致的显示外观的WW和WC设置可不同。例如，当应用第一组显示设置时，第一医学图像可与用户偏好显示外观匹配，而第二医学图像可与应用不同的第二组显示设置的相同的用户偏好显示外观匹配。

在操作306处，医学成像系统确定多个外观归一化医学图像的平均WW和平均WC。在一些实施方案中，操作306包括医学成像系统访问在操作304处确定的多个WW和WC中的每一者，以及基于此确定平均WW和平均WC。平均WW和平均WC可表示目标外观分类。

在操作308处，医学成像系统基于目标外观分类的平均WW和平均WC自动生成包括多个外观分类单元的外观分类矩阵。在一些实施方案中，外观分类矩阵可包括N乘N网格的单元(其中N为大于1的整数)，在本文中被称为外观分类单元，其中每个外观分类单元对应于不同的显示外观类别标签。在一些实施方案中，N可由大于1的奇整数组成。在一些实施方案中，外观分类矩阵可包括7乘7矩阵。换句话讲，外观分类矩阵包括布置在矩阵中的多个显示外观分类单元，其中矩阵内的每个不同单元对应于不同的显示外观标签。

在一些实施方案中，在操作304处产生的多个外观归一化图像可对应于外观分类矩阵的最中心的单元，所述最中心的单元也可被称为目标外观分类矩阵。所述最中心的单元可与在操作304处确定的平均WW和平均WC相关联。外观分类矩阵的每个其余单元(即，除对应于目标外观分类的最中心的单元之外的每个外观分类单元)可由基于每个单元相对于最中心的单元的位置并且进一步基于平均WW和平均WC确定的不同WW和WC唯一地寻址。在一些实施方案中，外观分类矩阵的每一行可具有相关联的WW缩放系数，并且外观分类矩阵的每一列可具有相关联的WC偏移量，其中通过将与行相关联的WW缩放系数乘以平均WW来确定特定行的每个单元的WW，并且其中通过将WC偏移量相加到平均WC来确定特定列的WC。最中心行的WW缩放系数可为1.0，而最中心列的WC偏移量可为0。

简单地转到图5，示出了在外观分类矩阵的整个行和列中的显示设置的梯度的图示。图5包括多个显示图像500，所述显示图像被布置成7乘7网格，对应于7乘7外观分类矩阵。多个显示图像500中的每个显示图像具有与7乘7外观分类矩阵的对应外观分类单元相关联的显示设置。换句话讲，图5左上侧的显示图像具有对应于7乘7外观分类矩阵的左上单元的WW和WC的WW和WC。

在操作310处，医学成像系统增强多个外观归一化医学图像以生成多个增强的医学图像。在一些实施方案中，为了增大训练数据池的大小，医学成像系统可以通过旋转、翻转和/或裁剪多个外观归一化医学图像中的一个或多个外观归一化医学图像来改变多个外观归一化医学图像的一个或多个属性。在一些示例中，对于每个外观归一化医学图像，可生成10至15个(以及其间的任何整数的)增强的医学图像。

在操作312处，医学成像系统将多个增强的医学图像中的每一个增强的医学图像与外观分类矩阵的外观分类单元配对。在一些实施方案中，操作312可包括医学成像系统生成随机或伪随机数，并且基于所述随机或伪随机数来选择多个外观分类单元中的一个外观分类单元以与增强的医学图像配对。

在操作314处，医学成像系统通过基于配对的外观分类单元来调整多个增强的医学图像中的每一个增强的医学图像的WW和WC来产生多个训练图像。由于每个外观分类单元包括WW和WC的唯一组合，操作314可包括访问与增强的医学图像配对的外观分类单元的WW和WC，以及基于所述WW和所述WC生成LUT，并且将LUT应用于增强的医学图像以产生具有对应于外观分类单元的显示外观的训练图像。

在操作316处，医学成像系统将每个训练图像和配对的外观分类单元存储为训练数据对。在操作316之后，方法300可结束。如本文所用，与具有与外观分类单元匹配的显示外观的训练图像配对的外观分类单元也可以被称为基准真相外观分类单元。

转到图4，该图示出了可由上述系统中的一个或多个系统执行的训练方法400的示例。在一个实施方案中，方法400可用于使用通过执行方法300的一个或多个操作而生成的训练数据对来训练深度神经网络以将医学图像分类成外观分类矩阵的一个或多个外观分类单元。

方法400开始于操作402，其中图像处理设备从非暂态存储器中的位置选择包括训练图像和对应的基准真相外观分类单元的训练数据对。在一些实施方案中，图像处理设备可基于与所述训练数据对相关联的一条或多条元数据来选择训练数据对。在一些实施方案中，图像处理设备可响应于包括预先确定的解剖区域的训练图像的训练数据对来选择训练数据对，从而使得能够选择性地训练深度神经网络以对所述预先确定的解剖区域的显示外观进行分类。在一些实施方案中，图像处理设备可响应于所述训练数据对来选择包括特定的基准真相外观分类单元的训练数据对，其中所述特定的基准真相外观分类单元可以由图像处理设备根据外观单元分类分布确定。在一个实施方案中，外观单元分类分布可以是均匀或相等的分布，其中以相等的采样率从外观分类矩阵的多个外观分类单元中的每一个外观分类单元中选择包括基准真相外观分类单元的训练数据对。

在操作404处，图像处理设备使用深度神经网络将训练图像映射到外观分类单元预测。在一些实施方案中，操作404包括将训练图像的图像数据输入到深度神经网络的输入层中，并且从深度神经网络的输出层接收输出，其中该输出包括外观分类单元预测。深度神经网络可包括：输入层，该输入层被配置为接收图像数据；一个或多个卷积层，该一个或多个卷积层被配置为从图像数据提取视觉特征；一个或多个完全连接的层，该一个或多个完全连接的层被配置为从一个或多个卷积层接收提取的特征并且基于此产生输入图像数据的分类；以及输出层，该输出层被配置为以预先确定的格式输出输入图像数据的所述分类。深度神经网络的卷积层可包括一个或多个滤波器，该一个或多个滤波器继而可包括以特定空间取向配置的多个权重。所述滤波器可识别/提取存在于输入图像数据中的图案。在一些实施方案中，深度神经网络可包括具有基本上任何数量的层的ResNet架构。在一个实施方案中，深度神经网络可包括ResNet50。

深度神经网络的输出可包括外观分类矩阵的一个或多个外观分类单元的概率得分。简而言之，外观分类矩阵可包括外观分类单元的N乘N网格(或矩阵)(其中N为大于1的整数)，并且深度神经网络的输出可包括概率得分的N乘N网格，其中N乘N概率得分中的每一个概率得分指示输入的医学图像的显示外观与N乘N外观分类矩阵的对应外观分类单元匹配的概率。

在操作406处，图像处理设备基于外观分类单元预测与基准真相外观单元之间的差值来计算深度神经网络的损失。在一些实施方案中，图像处理设备可使用损失函数来计算损失。在一些实施方案中，损失可包括分类的交叉熵。在一些实施方案中，基准真相外观分类单元包括外观分类矩阵的单个外观分类单元的1.0的概率，并且深度神经网络的外观分类单元预测包括外观分类矩阵的一个或多个外观分类单元的一个或多个概率得分。在一些实施方案中，操作406包括图像处理设备根据外观分类单元预测的一个或多个概率得分执行基准真相外观分类单元的单元级减法以产生多个单元级差值，并且将所述多个单元级差值输入到损失函数中。

在操作408处，图像处理设备基于损失来更新深度神经网络的参数。在一些实施方案中，更新深度神经网络的参数包括使用反向传播算法使损失反向传播经过深度神经网络的层。在一个实施方案中，操作408包括图像处理设备基于在操作406处确定的损失来调整深度神经网络的层的权重和偏差。在一些实施方案中，根据梯度下降算法可发生损失的反向传播，其中针对深度神经网络的每一层的每个权重和偏差确定损失函数的梯度(一阶导数或一阶导数的近似)。可根据以下等式，通过将相对于权重(或偏差)确定的损失梯度的乘积的负数与预先确定的步长相加来更新深度神经网络的每个权重(和偏差)：

其中P

在操作408之后，方法400可结束。应当理解，可重复方法400，直至满足一个或多个条件。在一些实施方案中，一个或多个条件可包括深度神经网络收敛的权重和偏差(即，参数的变化率减小到低于预先确定的阈值变化率)，在操作406处确定的损失减小到低于预先确定的非零损失阈值。这样，方法400使得深度神经网络能够学习从医学图像到外观分类单元的映射。

转到图6，示出了第一多个医学图像602和第二多个医学图像604，所述第一多个医学图像具有根据常规方法选择的显示设置，所述第二多个医学图像包括与第一多个医学图像602相同的医学图像，但具有根据本发明的示例性实施方案确定的显示设置。第一多个医学图像602和第二多个医学图像604两者的每一行对应于不同的解剖区域，例如，第一行示出脊椎的图像，第二行示出踝部的图像，第三行示出脚部的图像，第四行示出手部的图像，并且第五行示出肋的图像。显示外观的差值在第一多个医学图像602中的相同行(相同解剖类型)的医学图像之间是显而易见的，而显示外观(例如，亮度和对比度)在第二多个医学图像604的每一行内一致。

类似地，转到图7，示出了患者手部的第一多个X射线图像702和患者手部的第二多个X射线图像704。第一多个医学图像702的显示设置包括基于第一多个X射线图像的像素强度柱状图选择的显示设置，而第二多个X射线图像704的显示设置包括基于受过训练的深度神经网络的输出选择的显示设置，其中在一些实施方案中，所述输出包括外观分类矩阵的一个或多个外观分类单元。

当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性，而是用于将一个元件与另一个元件区分开。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“联接到”等，一个对象(例如，材料、元件、结构、构件等)可以连接到或联接到另一个对象，而无论该一个对象是否直接连接或联接到另一个对象，或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外，应当理解，对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。

除了任何先前指示的修改之外，本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置，并且所附权利要求书旨在覆盖此类修改和布置。因此，尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述，但对于本领域的普通技术人员将显而易见的是，在不脱离本文阐述的原理和概念的情况下，可以进行许多修改，包括但不限于形式、功能、操作方式和使用。同样，如本文所使用的，在所有方面，示例和实施方案仅意图是说明性的，并且不应以任何方式解释为限制性的。