用于根据3d医学图像数据生成增强诊断图像的系统和方法

摘要

本公开描述了一种提供用户接口的医学成像和/或可视化系统和方法，所述用户接口使得用户能够使三维(3D)数据集可视化(例如，经由体积绘制)，操纵绘制体积以选择切片平面，并且生成由深度着色背景信息增强的选定的切片平面处的诊断图像。通过优选地基于所述体积中的结构的深度混合两个不同着色体积绘制并且然后将所述背景信息与前景诊断图像融合以产生增强诊断图像来产生背景图像的深度着色。

说明书

技术领域

本公开总体上涉及诸如超声成像和/或分析系统的医学成像系统，以及用于对3D医学成像数据的采集和/或显示的方法。

背景技术

在2D屏幕上显示3D体积通常涉及可视化技术的两个主要家族之一：切片，诸如经由多平面重新格式化(MPR)以显示2D图像(例如，切片或平板)，以及体积绘制，诸如经由抛雪球算法、最大强度投影、或其他已知表面或体积绘制技术。

关于体积绘制，先前开发的技术要求3D体积首先被转换为一组离散和量化表面(例如移动立方体算法)。另一更新近开发的技术允许我们直接根据3D对象(即，数的3D矩阵)创建类似3D的图像。该技术利用眼睛/视网膜如何看到视觉世界的光学物理模型，其中，模型描述了光线投射线(对应于图像平面的单个像素)将以取决于观察者相对于被可视化的3D对象的位置的方式与体积相交的方法。分配给像素的值因此涉及复合操作，其将沿着光线投射线集成内插样本。这样的方法现在被用于几乎所有3D医学成像应用。

尽管体积绘制可以增强针对临床医师或患者的益处的背景(例如，周围的解剖结构)的可视化，但是通常从2D切片图像获得诊断确定，因为这些图像更好地能够提供相关和更准确的诊断信息。尽管已经开发用于组合来自2D和3D图像的信息的某些技术(例如，并排式显示或简单叠加)，但是3D超声成像系统的设计师和制造商继续寻求对其的改进。

发明内容

根据一些范例，一种医学成像数据可视化系统可以包括：输入设备，其连接到3D医学成像数据的源；输出设备，其能操作于连接到显示器(例如，以用于向用户提供图像)；以及存储器和处理器，其连接到所述输入和输出设备。所述处理器可以被编程为从3D医学成像数据的源接收表示被成像的生物组织的体积的3D数据集。所述处理器还可以被编程为：相对于查看平面定位3D数据集；生成通过所述体积的切片平面处的2D图像；裁剪所述切片平面处的体积；并且从相同视角生成所述裁剪体积的第一和第二颜色体积绘制。第一和第二颜色体积绘制与相应的第一和不同的第二颜色图相关联。所述处理器还可以被编程为混合第一和第二颜色体积绘制以产生背景图像并且将提供前景信息的2D图像与所述背景图像组合以产生复合医学图像。在一些实施例中，本文所描述的医学成像数据可视化系统并入在超声扫描器中。例如，所述输入设备可以包括用于将所述处理器连接到超声扫描器的信号处理器的输出的任何适合的硬件部件(例如，输入/输出连接器、数据总线和/或其他电路)，所述超声扫描器例如响应于由所述扫描器的探头检测到的超声回波而生成所述3D医学成像数据。所述输出设备可以包括用于将所述处理器连接到显示设备(例如，超声扫描器的主显示器或触摸屏显示器)的任何适合的硬件部件(例如，输入/输出连接器、数据总线和/或其他电路)。在一些实施例中，生成所述体积绘制并且混合前景和背景图像数据的范例系统的处理器可以是超声扫描器的处理器(例如，CPU、GPU或另一个)。在其他实施例中，所述处理器可以是分离的计算系统的部分，其不采集所述图像数据但是显示先前采集的数据。在一些实施例中，所述可视化系统可以被实现在可视化工作站中，其连接(经由输入设备)到存储预采集的3D医学成像数据的存储设备(例如，PACS服务器)。

根据本公开的系统的处理器可以被配置为在生成复合医学图像之前产生并且存储多幅中间图像。例如，所述处理器可以被配置为产生第一单通道(即，灰度)图像并且将所述第一单通道图像耦合到存储器，并且还处理第二单通道(即，灰度)图像并且将所述第二单通道图像耦合到存储器。第一和第二单通道图像可以分别包括灰度深度图图像和灰度亮度图像。所述深度图图像可以通过针对图像中的每个像素估计到给定像素处的3D数据集中的第一个遇到的非零值的深度(或距查看平面的距离)。估计深度可以编码并且存储为所述给定像素的灰度值。所述亮度图像可以通过应用光如何反射离开由所述3D数据集表示的身体结构的物理模型并且编码并存储该信息(例如，每个给定像素处的估计反射光)作为每个像素的灰度值来生成。所述亮度图像输出取决于视角和由所述模型利用的虚拟光源的位置，其两者可以默认到过程的开始处的某个位置和/或在可视化过程期间可由所述用户配置。所述处理器然后使用预存储的2D颜色图(例如，深度vs.亮度颜色图)将像素值从两幅单通道(灰度)图像映射到多通道图像。例如，深度图和亮度图像中的给定像素处的每对灰度值的对应的颜色值被编码为针对该像素的新并且现在多通道像素值。该多通道图像表示所述3D数据集的第一颜色体积绘制并且存储在存储器中直到由所述混合算法访问。

此外，所述处理器使用与根据灰度深度和亮度图像产生的颜色绘制不同的着色方案(即，不同的颜色图)生成第二颜色体积绘制。所述第二颜色绘制可以通过应用光如何与由所述3D数据集表示的身体结构相交并且反射离开其的相同或相似物理模型但是在这种情况下将来自所述模型的结果直接编码到针对每个像素的多通道(例如，RGB或其他颜色编码方案)输出中产生。所述第二颜色体积绘制也被存储在存储器中直到由所述混合算法访问。

所述混合过程涉及将来自第一和第二颜色体积绘制的像素数据进行组合。在一个实施例中，所述处理器被编程为根据与给定像素对相关联的估计距离来混合第一和第二颜色体积绘制的每个对应像素对的颜色像素值。在该实施例中，所述处理器接收来自第一和第二颜色体积绘制的像素数据和来自所述灰度深度图图像的像素数据作为输入。所述处理器将混合函数(例如，凸混合函数)应用到所述输入数据并且输出针对每个像素的新多通道值。所述混合多通道图像数据(有时在本文中被称为背景图像)被存储在存储器中，直到被检索用于与所述前景图像数据融合。在一些实施例中，在混合之前，所述深度值规范化(例如，映射到0-1的规范化范围内的无单位值)。在一些实施例中，所述处理器自动定义对应于所述规范化范围的最小值(Z＝0)和最大值(Z＝1)的最小值(d

所述处理器被配置为通过将所述混合多通道图像数据(或背景图像数据)与所述2D切片图像数据(或前景图像数据)融合来产生组合或复合医学图像。所述前景图像可以使用用于生成2D诊断图像(例如，灰度B模式图像)的任何已知技术来产生。例如，所述融合算法可以接收灰度B模式图像(尽管也可以使用非灰度图像，诸如彩色流或彩色能量血管图像)和所述混合多通道图像作为输入，并且通过对所述图像数据求和组合所述图像数据。在一些实施例中，缩放因子可以在求和期间应用到所述输入值之一或两者。例如，缩放因子可以在所述求和期间应用，其可以产生特别地前置照明的条件下的经改进的结果，例如，其中，光源被定位于所述切片平面的前面。所述融合过程的输出是组合彩色图像，其包括利用背景绘制信息增强的前景处(例如，在切片平面处)的诊断图像信息作为背景(例如，在将以其他方式已经来自所述诊断图像中的图像平面的任何像素位置处)。在一些实施例中，所述处理器可以被配置为接收用户输入以调节所述复合图像中呈现的前景和背景信息量。例如，所述融合算法可以响应于用户输入而是可调整的，该用户输入可以调节由所述融合算法应用的(一个或多个)缩放因子。

一种使3D医学图像数据可视化的方法可以包括：显示表示被成像的生物组织的体积的3D数据集的体积绘制；响应于选定的切片平面的指示而裁剪所述体积；并且生成前景图像，包括选定的切片平面处的2D切片图像。所述方法还可以包括：使用第一颜色图生成所述裁剪体积的第一颜色体积绘制并且使用第二颜色图生成所述裁剪体积的第二颜色体积绘制。所述方法还可以包括：混合第一和第二颜色体积绘制以产生背景图像，其中，所述混合至少部分地基于所述裁剪体积中的结构的估计深度；并且组合所述前景图像和所述背景图像以产生复合医学图像。

此外，本文所描述的用于绘制3D数据集的技术中的任何可以实现在存储在非瞬态计算机可读介质上的处理器可执行指令中，其在执行时使得医学可视化和/或成像系统的处理器被编程为执行实现在非瞬态计算机可读介质中的过程。

附图说明

图1是根据本公开的原理产生的复合医学图像的图示。

图2是根据本公开的原理的医学图像数据可视化系统的框图。

图3是根据本公开的一些实施例的处理器的功能框图。

图4A和4B图示了根据本公开的原理的虚拟3D空间内的体积绘制和裁剪的概念。

图5A和5B是根据本公开的一些实施例的用于产生着色体积绘制的处理器的功能框图。

图6A是根据本公开的一些实施例的处理器的混合框的功能图。

图6B图示了根据本公开的原理的混合功能的基于几何结构的、基于内容的、或混合定义的概念。

图7A和7B是根据本公开的一些实施例的处理器的融合框的功能框图。

图8是根据本公开的一些实施例的用于控制处理器的融合操作的范例用户控制的图示。

图9是根据本公开的一些实施例的超声成像系统的框图。

图10是根据本公开的一些实施例的过程的流程图。

具体实施方式

某些示范性实施例的以下描述本质上仅仅是示范性的，而绝不旨在限制本发明或其应用或用途。在对本系统和方法的实施例的以下详细描述中，参考形成其一部分的附图，并且在附图中通过图示的方式示出了可以实践所描述的系统和方法的特定实施例。这些实施例被足够详细描述，以使本领域技术人员能够实践当前公开的系统和方法，并且应理解，可以利用其他实施例，并且可以在不脱离本系统的精神和范围的情况下进行结构和逻辑上的改变。此外，出于清楚的目的，当其对于本领域技术人员而言将显而易见时，某些特征的详细描述将不被讨论，以便不模糊本系统的描述。因此，以下详细描述不应被视为具有限制意义，并且本系统的范围仅由所附权利要求定义。

在2D屏幕上显示3D体积(或3D数据集)的图像涉及要么切片(例如，生成通过体积的指定切片平面处的一个或多个MPR视图)或显示体积的绘制(还被称为体积绘制)。从3D体积提取的(一幅或多幅)2D切片图像可以示出组织纹理的小细节和细微变化，其可能难以提供3D绘制图像，因为其通常根据仅与切片平面相关联的图像数据产生或者通过平均与少量相邻平面相关联的图像数据产生。切片图像因此未提供深度信息。另一方面，常规体积绘制提供深度信息并且可以因此使能解剖结构的3D形状的可视化和理解，但是可能对于诊断测量结果不是足够详细或准确的。根据本公开的原理，描述了一种用于示出单幅图像上的不同深度处的结构的3D可视化模式的系统和方法，包括3D绘制背景和2D诊断前景图像。在一些范例中，本文所描述的技术可以涉及利用人工深度着色和MRP融合丰富照片真实绘制以向诊断图像提供解剖背景。

根据本发明的原理，医学可视化和/或成像系统(例如，超声系统)被配置为产生具有深度着色照片真实背景的诊断图像(例如，平面重建(MPR)图像)，其在本文中也可以被称为增强MPR图像。图1示出了根据本公开的原理的根据超声成像数据的3D数据集产生的复合超声图像110的范例。尽管参考超声成像和基于超声的图像数据描述了本文中的范例，但是将理解，本公开的原理同样适用于其他成像模态(例如，磁共振(MR)、计算机断层摄影(CT)、正电子发射断层摄影(PET)等)。即，可以根据使用实际上任何医学成像模态获得的任何3D医学图像数据集生成包括前景诊断信息与背景绘制数据的增强医学图像。图1中的范例的图像110包括前景或诊断图像部分126或背景图像部分124。前景图像部分126可以包括仅或主导诊断图像数据116，而背景图像部分128可以包括仅或主导背景(例如，体积绘制)图像数据114。根据本公开的原理，前景(116)和背景(114)图像可以生成并且融合(如框128中所示)到最后组合图像110中。在图示的范例中，前景图像是根据用于根据3D超声数据集产生2D MPR切片图像的已知技术生成的MPR图像116(但是，其他技术可以使用并且在其他范例中在不同的源数据上)。背景图像114是3D超声数据集的体积绘制(在图像116的选定的MPR平面处裁剪的)并且根据本文所描述的技术产生。组合图像110可以因此通过将诊断图像信息与深度着色照片真实背景组合提供增强诊断图像。

图2示出了根据本发明的原理的系统200。系统200包括数据处理器220，其被配置为产生组合或复合医学图像204(例如，图1的超声图像110)。系统200包括：处理器220；存储器225；输入设备222，其被配置为将处理器220和存储器225耦合到3D医学图像数据210的源；以及输出设备224，其被配置为将处理器220和存储器225耦合到用户接口230(例如，显示器)和/或存储设备以用于输出复合医学图像(例如，用于呈现给用户或用于存储)。在一些实施例中，输入和输出设备可以包括用于分别地将处理器220连接到医学图像数据的源和显示器的任何类型的适合的计算机硬件接口(例如，耦合到系统的数据总线的并行、串行、USB或任何其他类型的端口或连接器)。在一些实施例中，输入和输出设备可以使用任何适合的输入/输出设备实现，例如，以用于连接到外围设备(例如，外部存储器、显示器等)。在一些实施例中，输入设备可以是或包括至少一个数据总线，其连接到处理器220并且还连接或可连接到医学图像数据的源(例如，存储设备，其包括医学扫描器的非易失性存储器和/或成像部件)。

在一些实施例中，3D医学图像数据210的源可以是不同模态(例如，MRI、CT、PET等)的超声扫描器或医学扫描器。在一些这样的实施例中，系统200的部件中的一些或全部可以并入医学成像系统240中，例如在如并且还参考图9描述的超声成像系统中。在其他实施例中，3D医学图像数据210的源可以是医学图像数据存储设备，例如，医院或其他医学设施的影像归档和通信系统(PACS)的存储设备。

存储器225可以被配置为存储由处理器220产生并且使用在生成最后复合图像中的一幅或多幅中间图像227。存储器225还可以存储针对由处理器220产生的体积绘制和/或混合图像数据的可执行指令和/或参数229(例如，颜色图、缩放因子等)。用户接口230可以包括：显示设备232，其可操作于显示图像204；以及用户输入设备234，其被配置为接收(一个或多个)用户输入，例如，用于3D图像数据和/或图像204的操纵。图2中所示的部件和其布置仅仅是说明性的，并且全部预期了其他变型，包括消除部件、组合部件、重排部件和替代部件。

现在还参考图3-5，还描述了根据本发明的原理的系统的部件和操作。图3示出了处理器304的功能框图。处理器304可以被用于实现图2中的处理器220。处理器304可以被编程为从3D医学成像数据210的源接收表示被成像的生物组织的体积的3D数据集302。处理器304可以实现体积绘制引擎320。体积绘制引擎320可以被编程为根据任何已知技术(例如，体积光线投影、抛雪球算法、错切变形体积绘制等)生成3D数据集(例如，像素数据的3D矩阵)的体积绘制。处理器304能够因此能够生成3D数据集302的体积绘制并且使得绘制显示在显示器上，如框322中所示。在为显示器提供体积绘制时，处理器304可以在虚拟3D空间402内并且因此相对于查看平面405定位3D数据集或体积401(参见图4A)。体积401相对于查看平面404初始地被定位在默认距离(或深度z)和取向处。

如框324中所示，处理器304可以接收用于操纵虚拟3D空间内的体积401的用户输入312，例如以相对于查看平面405重定位体积401(例如，调节体积的距离和/或取向)。众所周知，体积绘制算法可以利用光如何相交和/或从体积中的结构(由3D数据集内的非零数据表示的)反射的物理模型并且输出该信息分别作为用于产生灰度或颜色图像的单通道或多通道像素数据。除了操纵体积401以重定位其之外，处理器304还可以被配置为接收用于裁剪选定的切片平面406处的体积的用户输入312。在接收选定的切片平面后，处理器304可以实际上移除切片平面前面的体素(即，在切片平面406与查看平面404之间)并且产生裁剪体积408的体积绘制，包括仅表示切片平面处和后面的体素的像素数据。绘制可以跟随由用户对体积和/或绘制参数(例如，光源位置、强度等)的任何进一步操纵来更新。

一旦切片平面406的指示已经被接收，处理器304被编程为产生切片平面处的2D图像，如框332所示。这可以使用用于生成2D医学图像(诸如多平面重新格式化或重建)的任何已知技术完成。2D图像334(例如，MPR图像)被认为是诊断图像，其中，其通常被配置为传达如可以由临床医师需要以做出诊断决策的医学成像信息的足够细节水平。相对而言，框322处产生的体积绘制将通常不被认为是诊断图像，因为其通常将不出于诊断目的提供足够细节水平。在一些实施例中并且如图4B所示，处理器304可以被配置为产生厚切片2D图像，例如通过平均来自邻近于指示的切片平面406的一个或多个图像平面412的图像数据。2D图像存储在存储器中，如框334所示，直到由处理器304稍后访问以用于与背景图像融合。

除了2D诊断图像之外，处理器304还被编程为产生来自与如由体积401与查看平面404的相对位置定义的相同查看方向的裁剪体积408的多幅额外图像(例如，图5A和5B中的图像510、512、514和518)。如将参考图5A和5B进一步描述的，处理器304被配置为使用第一着色方案产生裁剪体积的第一颜色体积绘制(如框326中所示)，并且使用第二不同着色方案产生裁剪体积(如框328中所示)的第二颜色体积绘制。即，第一和第二颜色体积绘制均可以与相应的第一和不同的第二颜色图相关联。处理器304还被编程为混合第一和第二颜色体积绘制，如框336中所示，以产生混合颜色体积绘制338，其将被用作背景图像。

如框340中所示，处理器304被配置为将2D图像334(其提供前景信息)与混合颜色体积绘制338(其提供背景信息)组合以产生复合医学图像342。处理器304可以被配置为接收用户输入，如框314中所示，以调节混合过程的一个或多个参数。例如，处理器可以被配置为经由用于接收用户输入的用户接口306提供用户控制以控制包括在组合图像342中的前景和背景信息的量。组合图像342可以由处理器304输出以用于存储(例如，框318)或显示(例如，框316)，在此之后过程可以终止(在框348处)。

图5A和5B示出了根据本公开的由处理器(例如，体积绘制器)生成的处理块和图像数据。处理器500、500’可以实现任何已知体积绘制算法以产生输入数据集408的体积绘制。处理器500、500’可以被用于部分地实现图3的处理器320。如图5A中所示，处理器500接收医学图像数据的3D数据集(例如，从图3中的框324输出的裁剪体积)作为输入，并且输出一对颜色体积绘制510和518，其然后在框530处混合以产生混合或增强背景图像532。中间图像510、512、514和518编码相同输入数据集的不同信息。例如，颜色绘制510和518是成像体积的相同视图的体积绘制，但是使用两个不同颜色图着色。

颜色图像518通过根据第一着色方案(例如，2D颜色图516)着色输入数据集408的体积绘制产生。为了产生颜色图像518，体积绘制引擎首先生成亮度图像514，其可以是3D数据集的灰度体积绘制。该灰度体积绘制被存储为单通道图像514。灰度绘制然后基于其中表示的结构的深度来着色。该步骤将深度提示添加到绘制514。为了着色绘制514，另一灰度图像由绘制引擎-灰度深度图图像512输出，其将结构的估计深度编码并且存储在单通道图像中的图像中。即，深度图图像512可以通过针对图像中的每个像素估计沿着穿过给定像素的光线的到第一个遇到的解剖结构(或3D数据集中的非零值)的深度z(或距查看平面的距离)生成。估计深度然后被编码并存储为给定像素的灰度值，其中，较暗像素指示更接近于查看平面的结构，并且相反地，较亮像素指示更远离查看平面的结构。

如所描述的，亮度图像514可以通过应用光如何与由3D数据集表示的身体结构相交和/或反射离开其的物理模型并且编码并且存储该信息(例如，每个给定像素处的估计反射光)作为每个像素的灰度值来生成。亮度图像可以通过能够输出体积数据集的灰度绘制的任何适合的体积绘制技术产生。如指出的，亮度图像514取决于视角和由模型利用的虚拟光源(例如，图4A中的409)的位置，其两者可以默认到过程的开始处的特定预设和/或在3D数据集的初始可视化/绘制期间由用户可配置。例如，背后照明(即，将光源定位在切片平面后面或甚至在成像体积中的结构之后)的使用可能非常适合于产生好的深度着色，因为其可能导致变暗的背景(例如，近黑色)，其确保与包含亮(例如，近白色)结构的前景叠加的好的对比度。处理器500然后使用预存储的2D颜色图516(例如，深度vs.亮度颜色图)将像素值从两个单通道(灰度)图像512、514映射到多通道图像518。例如，使用图5A中所示的深度vs.亮度颜色图516，来自图像512、514的每对像素值对应于颜色值，其被编码为用于图像518中的该像素的新多通道值。以这种方式，灰度亮度图像514可以使用2D颜色图516着色以根据第一着色方案产生颜色体积绘制518。

如图5A中进一步示出的，处理器500还输出使用不同颜色图编码的输入数据集408的体积绘制510。颜色图像510可以使用与应用于产生图像518的颜色图不同的着色方案(例如，RGB颜色图)着色。图像510可以由体积绘制引擎生成，所述体积绘制引擎使用与用于产生亮度图像的相同或相似的绘制算法，但是在这种情况下以颜色而不是以灰度编码输出由。在一些实施例中，取决于特定成像应用(例如，心脏、母胎或其他产科成像等)，不同颜色图可以被应用为第一颜色方案。备选地，如图5B中所示，处理器510’可以实现体积绘制算法以首先基于输入数据集408输出颜色绘制510。颜色绘制(图像510)被存储用于由混合框530稍后使用。颜色图像510的单通道(例如，R、G或B通道，如果使用RGB颜色值)，或者多通道数据的两个或更多值的一些组合被编码在单通道输出中作为亮度图像514。处理器500’还产生如先前所描述的深度图图像512，并且两幅灰度图像512和514使用2D颜色图516类似地映射到另一颜色绘制(图像518)。两个颜色体积绘制510和518可以连同深度图图像512一起耦合到存储器，并且用作到混合框530的输入。

图6A示出了根据本公开的处理器600的部件的功能框图，特别地混合框610。混合框610可以分别地被用于实现图3和5A-5B的框336或530。混合框610接收第一和第二多通道图像(例如，颜色体积绘制518和510)作为输入，并且提供混合颜色图像620作为输出，其组合来自第一和第二颜色体积绘制的像素数据。混合颜色图像数据基于混合算法来计算，例如，如框614中所示。在一个实施例中，混合算法被定义为深度的函数。这样一来，混合框610还可以接收图像518、510(例如，由体积绘制引擎产生的深度图图像512)中绘制的解剖结构的估计深度。在一个优选实施例中，处理器600将深度值规范化(例如，通过将其映射到0-1的规范化范围)，如框612中所示。这可以例如通过应用缩放函数(例如，饱和仿射函数)实现，如框612中所示。

混合框610可以应用凸混合算法以组合两幅输入颜色图像(例如，图像510和518)的颜色数据。例如，图像数据可以根据函数I＝(1-Z).T+Z.D组合，其中，T是从体积绘制引擎自然输出的颜色图像510，D是通过着色仅基于深度信息成像的亮度而着色产生的颜色图像518，并且Z是针对对应像素的规范化深度值。通过使用(1-Z)和Z作为混合因子应用凸组合，近场结构(Z≈0)的色度可以更好地保持，逐渐地在远场(Z≈1)中变得更人工，其可以改进前景结构的颜色对比度，同时将增强深度提示提供到基于物理的绘制图像。

如进一步所图示，在框612中，处理器600可以将深度图图像512中编码的估计深度值(z)规范化为Z∈[0,1]的范围内的深度值(Z)。例如，饱和仿射函数可以定义在框612中，通过其，体积绘制器已经估计低于d

在一个优选实施例中，处理器600可以自动定义将估计深度映射到范围Z∈[0,1]的标量值函数，如框612中所示，并且更特别地要分别映射到0和1的d

两种技术(基于几何结构或基于内容)中的每个具有优点和限制。例如，将深度估计适应到实际数据倾向于对可能引起突然颜色改变的3D旋转和图像噪声更不稳定。而且，阻塞的不透明但不可见体素能够仍然影响针对颜色上的不直观效应的背景位置的估计。仅基于几何结构的估计是更快速(无数据询问)并且潜在地更稳定的。但是通常，特别地当体积的部分是空时，其倾向于提供太宽的深度范围，这导致不同深度处的结构之间的不足的颜色对比度。例如，(a)图示了3D旋转能够导致其中前平面参考被定位为距任何内容相当远的边界情况。

在一些范例中，如图6B(面板(c))中所示，混合策略可以被用于深度范围的自动定义。在本背景下，基于内容的估计可以更好地适于定位前景深度，而几何结构可以定义更稳定的背景参考。用于深度范围的混合估计技术可以因此涉及将d

图7A和7B示出了根据本公开的处理器(例如，处理器304)的融合框710、710’的范例的功能框图。融合框710或710’可以被用于实现图3中的框340。如先前所讨论的，处理器组合前景和背景图像702、704，例如，通过对图像中的每个像素位置处的对应的像素值求和，以产生最后复合图像706、706’。在一些实施例中，两幅图像的融合可以涉及简单逐像素求和，如图7A中所示。例如，如果M是例如由裁剪平面处的多平面重新格式化产生的标量值(即，单通道)图像，并且I是从跟随深度着色的混合框610输出的混合颜色(即，多通道)体积绘制(例如，图像620)，组合或融合图像F可以通过简单地求和两幅输入图像的对应像素产生。在一些实施例中，标量图像的像素值与针对颜色图像704的对应像素的每个通道(例如，R、G和B)值个体地组合以产生输出颜色图像706。

在一些实施例中，处理器(例如，处理器304)可以被配置为接收用于调节最后组合医学图像706中的背景和前景信息量的用户输入711。在这样的实施例中，处理器可以被编程为提供用户控制(例如，在触摸屏接口或其他上呈现的软控制)以允许用户指示复合图像中的期望前景和背景信息量。图8图示了当使增强诊断模式中的医学图像数据可视化时可以经由用户接口提供的范例任选用户控制810(例如，滑块)。用户控制910可以允许用户提供期望的较高背景信息量(例如，通过向左812滑动滑块)或者期望的较低背景信息量(例如，通过向右814滑动滑块)的指示。所显示的复合图像820可以当用户调节控制810以关于前景和背景信息的控制混合向用户提供中间反馈时自动更新(如由图像820-1到820-5所示)。处理器(例如，处理器304)可以响应于期望的前景或背景内容量的接收到的指示而调节融合算法的缩放因子(例如，在框340中)。可以使用其他类型的用户控制(例如，硬控制，诸如按钮、滑块等或软控制)。例如，系统可以被配置为经由超声扫描器或分析工作站的轨迹球的操作接收调节，或者用户可以经由文本输入或其他提供调节。指示的期望的前景/背景信息量可以耦合到融合框710，其可以当执行求和时将缩放因子(线性或非线性)应用到输入图像的值。

返回参考图7A和7B，图7A的范例中的逐像素求和可以非常适于其中绘制背景暗的背光场景，但是可以针对在亮照明条件下的可视化低于是最佳的，诸如当光源被定位在体积的前面时。在后者情形中，来自这两幅图像的像素值当求和时可以溢出/饱和。在一些实施例中，如图7B中所示，缩放因子可以在求和期间应用以解决饱和问题。例如，最后图像可以通过将着色输入704缩放某个倍数来计算，其是标量输入M的函数。此处再次，任选地用户输入711可以被接收以独立于求和缩放控制最后图像中的前景和背景信息量。此外，在一些实施例中，图像数据可以首先在求和之前在[0,1]的动态范围内规范化。在图7B中的范例中，由F＝M+(1-M).I定义的求和函数可以应用在融合框710’处以到达最后图像706’。该缩放求和可以保证动态范围被保持。如将意识到的，图7B中的范例中的缩放求和可以被看到为将背景上下文有条件地注入到前景中的信号的缺少，这样一来减少输出处的饱和的风险。

在一些实施例中，根据本文所描述的原理的医学图像数据可视化系统可以并入到超声扫描器或任何其他类型的医学成像系统中。图9示出了范例超声成像系统的框图，其可以包括根据本公开的医学图像数据可视化系统。超声成像系统910可以包括至少一个处理器928，其被配置为根据所描述的原理执行可视化系统的处理器的功能(例如，图3的处理器304)。系统910可以用作3D医学图像数据的源。即，如下文进一步描述的，系统910可以被配置为采集3D医学图像数据并且还可以被配置为产生复合图像，在3D医学图像数据的采集期间后采集或实时，例如响应于调用系统的增强诊断可视化模式。

超声成像系统910可以包括上文参考图1-8所描述的部件中的一个或多个。尽管在本发明的实施例的解释范例中讨论了超声成像系统，但是本发明的实施例可以利用其他医学成像模态实践。其他模态可以包括但不限于磁共振成像和计算机断层摄影。本文所描述的技术可以应用于可以被用于采集医学图像数据的3D数据集的实际上任何成像模态。

图9的超声成像系统910包括超声探头912，其包括用于发射超声波和接收回波信息的换能器阵列914。各种换能器阵列在本领域中公知，例如线性阵列、凸阵列或者相控阵列。换能器阵列914例如可以包括能够在用于2D和/或3D成像的仰角和方位角维度两者中进行扫描的换能器元件的二维阵列(如所示)。换能器阵列914耦合到超声探头912中的微波束形成器916。微波束形成器916控制由阵列914中的换能器元件对信号的发射和接收。在该范例中，微波束形成器916通过探头线缆被耦合到发射/接收(T/R)开关918(尽管在其他范例中，两者可以无线耦合)，其在发射与接收之间切换并且保护主波束形成器922免受高能量发射信号影响。在一些实施例中，例如在便携式超声系统中，T/R开关918和系统中的其他元件可以被包括在超声探头912中而不是在分离的超声系统底座中。在微波束形成器916的控制下来自换能器阵列914的超声波束的发射由耦合到T/R开关918和波束形成器922的发射控制器920引导，其从用户接口924的用户的操作接收输入。用户接口924可以包括用于显示由系统910和一个或多个用户输入设备采集的图像数据的显示器938(例如，在控制面板952上或在触敏显示器上提供的)。

由发射控制器920控制的功能之一是波束操纵的方向。波束可以从换能器阵列径直向前(正交于其)或者针对较宽的视场在不同的角度处操纵。由微波束形成器916产生的部分波束形成信号被耦合到主波束形成器922，其中，来自换能器元件的个体片块的部分波束形成信号被组合为完全波束形成信号。波束形成信号被耦合到信号处理器926。信号处理器926可以以各种方式处理接收到的回波信号，诸如带通滤波、抽样、I和Q分量分离和谐波信号分离。信号处理器926还可以执行额外的信号增强(诸如相干斑抑制、信号复合和噪声消除)。经处理的信号可以被耦合到B模式处理器928，其可以采用用于身体中的结构的成像的幅度检测。由B模式处理器928产生的信号被耦合到扫描转换器930和多平面重新格式化器932。扫描转换器930以其以期望的图像格式接收的空间关系布置回波信号。例如，扫描转换器930可以将回波信号布置为二维(2D)扇形格式或者椎体或其他形状的三维(3D)格式。多平面重新格式化器932可以将从身体的体积区域中的公共平面中的点接收到的回波转换为该平面的超声图像(例如，B模式图像)，如在美国专利US 6443896(Detmer)中所描述的。多平面重新格式化器932可以因此根据3D(体积)数据集重建2D图像(MPR图像)。采集的图像数据还可以耦合到体积绘制器934，其可以将3D数据集的回波信号转换为如从给定参考点查看的3D数据集的投影图像(也被称为体积绘制)，例如，如在美国专利US 6530885(Entrekin等人)中所描述的。体积绘制器934可以被配置为出于根据本公开产生复合医学图像的目的，产生体积绘制并且输出任何其他中间图像，如本文所描述的。例如，体积绘制器可以被配置为输出参考图5A和5B所描述的图像。

在一些实施例中，体积绘制器934可以从用户接口924接收输入。输入可以包括选定的切片平面的指示，用于操纵体积的用户输入，例如，以将体积和/或光源重定位在3D空间内等。此外，可以包括或者补充体积绘制934的功能性的处理器928还可以接收调节过程的其他参数的输入，例如用于设置混合因子，用于当在给定可视化(例如，增强体积检查)模式中时调用混合参数的自动定义和/或增强诊断图像的自动生成。

在一些实施例中，处理器928可以包括图像处理器236，其被配置为执行对从扫描转换器230、多平面重新格式化器232和/或体积绘制器234输出的图像的增强。由扫描转换器230、多平面重新格式化器232和/或体积绘制器234产生的图像可以耦合到图像处理器236以用于在显示单元238上显示之前进一步增强、缓冲和临时存储。在一些实施例中，图像处理器236可以实现本文所描述的处理器的功能中的一个或多个，例如，参考图6-8所描述的混合和融合功能。图像处理器236可以被配置为将B模式图像、多普勒图像或其他模态图像与根据本文所描述的原理提供深度提示的绘制组合。在一些实施例中，处理器928可以包括图形处理器240，其可以生成用于与图像一起显示的图形叠加。这些图形叠加可以包含例如标准识别信息，诸如患者名字、图像的日期和时间、成像参数、或者实际上由系统自动地或者响应于用户输入而添加到图像的任何类型的注释或标记。出于这些目的，图形处理器可以接收来自用户接口224的输入，诸如键入患者名字或其他注释。在一些实施例中，图形处理器、图像处理器、体积绘制器和多平面重新格式化器中的至少一个的一个或多个功能可以组合到集成图像处理电路中(其操作可以在并行操作的多个处理器中间划分)而不是参考由分立处理单元执行的这些部件中的每个所描述的特定功能。

图10示出了根据本文中的一些实施例的使3D医学图像数据可视化的方法的流程图。方法1000可以包括：显示表示被成像的生物组织的体积的3D数据集的体积绘制(步骤1010)；响应于选定的切片平面的指示而裁剪体积(步骤1012)；并且生成前景(诊断)图像，包括选定的切片平面处的2D切片图像(步骤1014)。方法还可以包括：使用第一颜色图生成裁剪体积的第一颜色体积绘制并且使用第二颜色图生成裁剪体积的第二颜色体积绘制(步骤1016)。方法还可以包括根据深度信息混合第一和第二颜色体积绘制(步骤1018)以产生背景图像并且融合前景图像和背景图像(步骤1020)以产生复合医学图像。图10中所示的方法1000的步骤和其排列仅是说明性的，并且预期任何修改，诸如添加、移除、替换或者重排步骤。方法100可以包括本文所描述的过程的步骤中的任何。

例如，在一些实施例中，生成第一颜色体积绘制可以包括将通过生物组织的光传播的物理模型应用到裁剪体积(例如，分配针对绘制中的每个体素的色度(或像素值))并且编码来自第一多通道图像中的模型的输出值。该物理模型(或体积绘制引擎)可以根据任何已知技术(例如，光线投射、抛雪球算法、错切变形绘制等)实现以自然产生3D数据集的颜色体积绘制。在一些这样的实施例中，生成第二颜色体积绘制可以包括产生编码裁剪体积中的结构的估计深度的单通道图像，产生表示裁剪体积的灰度体积绘制的第二单通道图像，并且使用2D颜色图将第一和第二单通道图像的像素值映射到表示第二颜色体积绘制的第二多通道图像。在一些实施例中，产生第二单通道图像可以包括存储第一颜色体积绘制的多个通道之一作为第二单通道图像。

在一些实施例中，显示代表性3D数据集的体积绘制包括可以包括相对于查看平面将体积定位在虚拟3D空间中，并且方法还可以包括确定对应于查看平面与被成像的解剖结构的最前面部分之间的距离的第一深度值，确定对应于查看平面与裁剪体积的最后面部分之间的距离的第二深度值，并且基于第一和第二深度值使用混合功能混合第一和第二颜色体积绘制。

在一些实施例中，组合前景图像和背景图像可以包括求和前景和背景图像的相应像素值。在一些这样的实施例中，方法还可以包括当求和前景和背景图像的相应像素值时应用至少一个缩放因子，其中，缩放因子中的一个或多个可以基于用户输入来导出。在一些这样的实施例中，方法可以包括接收用户输入以用于调节复合医学图像中的背景和前景信息量，并且基于用户输入调节前景和背景图像的组合中利用的至少一个缩放因子。

在一些实施例中，根据本公开的方法的步骤可以由超声扫描器执行并且方法还可以包括使用超声扫描器采集医学成像数据的3D数据集。因此，生成前景和背景图像并且组合图像以产生复合医学图像可以由超声扫描器的一个或多个处理器执行。在一些实施例中，3D数据集可以包括超声成像数据，并且前景图像可以包括生成通过3D超声数据的切片平面处的MPR图像。在一些实施例中，生成前景图像可以包括平均来自包括切片平面的多个相邻成像平面的成像数据，例如，以产生厚切片2D图像。

在使用诸如基于计算机的系统或可编程逻辑的可编程器件来实施部件、系统和/或方法的各种实施例中，应该意识到，上述系统和方法可以使用诸如“C”、“C++”、“FORTRAN”、“Pascal”，“VHDL”等的各种已知或以后开发的编程语言来实施。相应地，可以准备各种存储介质，诸如磁性计算机盘、光盘、电子存储器等，其可以包含可以引导诸如计算机的设备以实施上述系统和/或方法的信息。一旦适当的设备访问存储介质上包含的信息和程序，存储介质就可以向设备提供信息和程序，从而使设备能够执行本文所述的系统和/或方法的功能。例如，如果向计算机提供包含适当材料(诸如源文件、目标文件、可执行文件等)的计算机磁盘，则计算机可以接收该信息，适当地配置其自身并执行在上面的图和流程图中概述的各种系统和方法的功能以实施各种功能。也就是说，计算机可以从磁盘接收涉及上述系统和/或方法的不同元件的信息的各个部分，实施个体系统和/或方法并且协调以上所描述的个体系统和/或方法的功能。

鉴于本公开，应注意，本文描述的各种方法和设备可以以硬件、软件和固件来实施。此外，各种方法和参数仅通过范例而不是以任何限制意义被包括。鉴于本公开，本领域普通技术人员可以实施本教导以确定它们自己的技术和实现这些技术所需要的装备，同时保持在本发明的范围内。

尽管本系统的范例可能已经特别参考超声成像系统进行了描述，但也设想了，本系统可以扩展到其中以系统性方式获得一幅或多幅图像的其他医学成像系统。因此，本系统可用于获得和/或记录与肾脏、睾丸、乳房、卵巢、子宫、甲状腺、肝、肺、肌肉骨骼、脾脏、心脏、动脉和血管系统有关但不限于此的图像信息，以及与超声引导的介入有关的其他成像应用。此外，本系统还可以包括可以与常规成像系统一起使用的一个或多个程序，使得它们可以提供本系统的特征和优点。本公开的某些额外优点和特征对本领域技术人员而言在研究本公开内容后能够显而易见，或者可以由采用本公开的新颖系统和方法的人员体验。本系统和方法的另一优点可以是常规医学图像系统可以容易地升级以并入本系统、设备和方法的特征和优点。

当然，要意识到，本文描述的范例、实施例或过程中的任一个可以与一个或多个其他范例、实施例和/或过程组合，或者在根据本系统、设备和方法的单独设备或设备部分中间分离和/或执行。

最后，上述讨论仅旨在说明本系统，而不应被解释为将权利要求限制为任何特定实施例或实施例组。因此，尽管已经参考示范性实施例具体详细地描述了本系统，但是应该意识到，可以由本领域普通技术人员设计出许多修改和备选实施例，而不偏离如在以下权利要求中阐述的本系统的更广泛和预期的精神和范围。因此，说明书和附图要以说明性的方式来看待，而不是旨在限制权利要求书的范围。