3-D虚拟内窥镜呈现

摘要

管状结构管腔的三维虚拟内窥镜呈现基于非谱和谱体积成像数据。所述三维虚拟内窥镜呈现包括从穿过管腔的虚拟内窥镜的虚拟相机的视点的管状结构的管腔的2D图像。在一种情况下，所述三维虚拟内窥镜呈现类似于由插入实际管状结构并定位在该位置的物理内窥镜相机提供的视图。非谱体积图像数据用于确定所述三维虚拟内窥镜呈现的不透明度和阴影。所述谱体积图像数据用于对所述三维虚拟内窥镜呈现进行视觉编码，以在视觉上区分所述管状结构的内壁和所述壁上的感兴趣结构。

说明书

技术领域

以下总体涉及成像，并且更具体而言涉及3-D虚拟内窥镜呈现，并且关于计算机断层摄影的特定应用来描述。

背景技术

结肠中的息肉可能会发展成结肠癌。文献表明，如果这样的息肉被及早切除，则可以非常有效地预防癌症。结肠镜检查是一种可供超过特定年龄的无症状对象检测和评估可能的息肉的流程。对于结肠镜检查，将气体吹入结肠以给结肠充气，使得更容易地检查结肠壁。内窥镜，其包括柔性管上的视频相机，通过肛门插入结肠并穿过结肠的管腔。当视频相机通过管腔时，其记录结肠的内壁的图像。这些图像可以用于对壁进行目视检查。在流程期间，可以对可疑的息肉进行活检和/或去除。内窥镜结肠镜检查是一种侵入性流程。

计算机断层扫描(CT)虚拟结肠镜检查(VC)是一种非侵入性成像流程。使用CT VC，采集并处理结肠的体积图像数据，以通过结肠管腔的2D图像从虚拟内窥镜的虚拟相机穿过管腔的视点生成结肠的管腔的三维虚拟内窥镜(3-D VE)呈现，具有根据观察方向导出的阴影和等值面的局部形状以提供深度信息。通常，2-D图像提供类似于真实内窥镜视图的3-D印象。然而，有几类息肉(例如扁平和/或锯齿状息肉)，由于它们在结肠壁上不显眼，因此在3-D VE中难以通过形状进行视觉检测。因此，存在对改进的3-D VE的未解决的需求。

发明内容

本文中描述的各方面解决以上提及的问题和其他问题。

管状结构的管腔的3-D VE呈现基于非谱体积成像数据和谱体积成像数据。非谱体积图像数据用于确定3-D VE呈现的不透明度和阴影。谱体积图像数据用于对3-D VE呈现进行视觉编码，以在视觉上区分管状结构的内壁和壁上的感兴趣结构。

在一个方面中，一种系统包括处理器和存储器存储设备，所述存储器存储设备被配置有三维虚拟内窥镜模块和呈现模块。所述处理器被配置为使用三维虚拟内窥镜模块处理来自管状结构的扫描的非谱体积图像数据，以生成所述管状结构的管腔的三维内窥镜呈现，其具有提供三维印象的不透明度和阴影。所述处理器还被配置为使用三维虚拟内窥镜模块来处理来自相同扫描的谱体积图像数据，以在三维内窥镜呈现上产生视觉编码，所述编码基于谱特性而在视觉上将管状结构的壁与所述壁上的感兴趣结构区分开来。所述处理器还被配置为执行呈现模块以经由显示监视器显示具有视觉编码的三维内窥镜呈现。

在另一方面中，一种方法包括基于来自管状结构的扫描的非谱体积图像数据来生成具有提供三维印象的不透明度和阴影的管状结构的管腔的三维内窥镜呈现。所述方法还包括生成用于三维内窥镜呈现的视觉编码，所述视觉编码基于根据来自扫描的谱体积图像数据而确定的谱特性来在视觉上区分管状结构的壁和壁上的感兴趣结构。所述方法还包括显示具有视觉编码的三维内窥镜呈现。

在另一方面中，一种计算机可读存储介质存储有指令，所述指令当被计算机运行时使所述计算机执行用于使用计算机系统来生成三维内窥镜呈现的方法。所述方法包括基于来自管状结构的扫描的非谱体积图像数据来生成具有提供三维印象的不透明度和阴影的、管状结构的管腔的三维内窥镜呈现。所述方法还包括生成用于三维内窥镜呈现的视觉编码，所述视觉编码基于根据来自扫描的谱体积图像数据而确定的谱特性来在视觉上区分管状结构的壁和壁上的感兴趣结构。所述方法还包括显示具有视觉编码的三维内窥镜呈现。

本领域技术人员在阅读和理解所附描述后将认识到本申请的其他方面。

附图说明

本发明可以采取各种部件和各部件的布置以及各种步骤和各步骤的安排的形式。附图仅出于例示实施例的目的，且不应被认为是限制本发明。

图1图解地图示了根据本文的(一个或多个)实施例的包括3-D VE模块的系统。

图2示出了根据本文中的(一个或多个)实施例的由图1的3-D VE模块产生的示例3-D VE呈现。

图3示出了具有多个窗口的显示，其显示3-D VE呈现和其他图像。

图4示出了根据本文的(一个或多个)实施例的双能量扫描的示例散点图。

图5图示了根据本文中的(一个或多个)实施例的范例方法。

具体实施方式

下面描述了一种基于非谱和谱体积成像数据来生成管腔的3-D VE呈现的方法。谱体积成像数据至少用于基于壁和结构/材料的谱特性来对管状结构的内壁和其上的结构/材料进行视觉编码。3-D VE是一种2-D图像，其提供类似于真实内窥镜视图的3-D印象。管状结构/VE流程的示例包括结肠/VC、支气管/虚拟支气管镜检查(VB)等。对于3-D VC，在一种情况下，诸如扁平和/或锯齿状息肉之类的结构由于它们与结肠的不显眼而难以通过形状来视觉检测，基于它们的谱特性而在显示的2-D图像中被视频编码并且与结肠壁不同，这可能允许通过谱特性来在视觉上将息肉与壁组织、粪便等区分开来。

图1图解地示出了根据本文中的(一个或多个)实施例的系统100。系统100包括计算机断层摄影(CT)扫描器102。CT扫描器102被配置用于非谱成像和谱(多能量)成像，例如双能量成像。CT扫描器102包括固定机架104和旋转机架106，旋转机架106由固定机架104可旋转地支撑并且围绕检查区域108(以及其中的对象或对象的一部分)绕纵向或z轴旋转。对象支撑体110，例如卧榻，支撑检查区域108中的对象或目标。对象支撑体110可以与执行成像流程协调地移动，以便相对于检查区域108引导对象或目标，以加载、扫描和/或卸载对象或目标。对于VC扫描，对象在扫描前摄入放射性对比剂，例如碘、钡等。

辐射源112，例如X射线管，由旋转机架106支撑并且围绕检查区域108旋转。辐射源112发射X射线辐射，其被例如源准直器(不可见)准直以形成穿过检查区域108的大致扇形、楔形、锥形或其他形状的X射线辐射束。在一种情况下，辐射源112是单个X射线管，其被配置为针对感兴趣的单个选定峰值发射电压(kVp)发射宽带(多色)辐射。在另一实例中，辐射源112被配置为在扫描期间在至少两个不同的发射电压(例如，70keV、100keV、120keV、140keV等)之间切换。在又一实例中，辐射源112包括在旋转机架104上在角度上偏置的两个或更多个X射线管，每个X射线管被配置为发射具有不同平均能量谱的辐射。在又一种情况下，CT扫描器102包括上述两种或更多种的组合。kVp切换和/或多个X射线管的示例在2009年6月1日提交的题为“Spectral CT”的US 8442184 B2中进行了描述，在此通过引用将其整体并入。

辐射敏感探测器阵列114对向一角度弧，跨检查区域108与辐射源112相对。探测器阵列114包括沿z轴方向相对于彼此布置的一行或多行探测器，并且探测穿过检查区域108的辐射。在一种情况下，探测器阵列114包括能量分辨探测器，例如多层闪烁体/光传感器探测器。示例系统在2006年4月10日提交的题为“Double decker detector for spectralCT”的US 7968853 B2中进行了描述，在此通过引用将其整体并入。在另一实例中，探测器阵列114包括光子计数(直接转换)探测器。示例系统在2006年4月25日提交的题为“Energy-resolved photon counting for CT”的US 7668289 B2中进行了描述，在此通过引用将其整体并入。在这些情况下，辐射源112包括宽带、kVp开关和/或多个X射线管辐射源。在探测器阵列114包括非能量分辨探测器的情况下，辐射源112包括kVp开关和/或多个X射线管辐射源。辐射敏感探测器阵列114至少产生指示检查区域108的谱投影数据(线积分)。在一种配置中，辐射敏感探测器阵列114还产生非谱投影数据。

重建器116处理来自同一扫描的投影数据并生成谱体积图像数据和非谱体积图像数据。重建器116通过重建不同能带的谱投影数据来生成谱体积图像数据。谱体积图像数据的示例包括用于双能量扫描的低能量体积图像数据和高能量体积图像数据。其他谱体积图像数据可以通过投影域中的材料分解然后重建或在图像域中导出。示例包括康普顿散射(Sc)和光电效应(Pe)基底、有效原子序数(Z值)、造影剂(例如碘、钡等)浓度和/或其他基底。在CT扫描器102产生非谱投影数据的情况下，重建器116用非谱投影数据来生成非谱体积图像数据。否则，重建器116通过组合谱投影数据以产生非谱投影数据并且重建非谱投影数据和/或组合谱体积图像数据以产生非谱体积图像数据来产生非谱体积图像数据。重建器116可以用诸如中央处理单元(CPU)、微处理器等的处理器来实现。

操作者控制台118包括人类可读的输出设备120，例如显示监视器、胶片机等，以及输入设备122，例如键盘、鼠标等。控制台118还包括处理器124(例如，CPU、微处理器等)和计算机可读存储介质126(不包括临时介质)例如物理存储器，如存储器存储设备等。在图示的实施例中，计算机可读存储介质126包括3-D虚拟内窥镜(VE)模块128、呈现模块130和人工智能(AI)模块132，并且处理器124被配置为执行3-D VE模块128、呈现模块130和/或AI模块132的计算机可读指令，这使得下面描述的功能被执行。

在变型中，3-D VE模块128、呈现模块130和/或AI模块132由不同计算系统中的处理器执行，例如位于远离CT扫描器102的专用工作站，基于“云”的资源等。不同的计算系统可以从CT扫描器102、另一扫描器、数据储存库(例如，放射信息系统(RIS)、图片存档及通信系统(PACS)、医院信息系统(HIS)等)，等等。不同的计算系统可以额外地或替代地从CT扫描器102、另一扫描器、数据储存库等接收投影数据。在这种情况下，不同的计算系统可以包括与重建器116类似配置的重建器，因为它可以处理投影数据并生成谱和非谱体积图像数据。

3-D VE模块128基于非谱体积图像数据和谱体积图像数据生成从穿过管腔的虚拟内窥镜的虚拟相机的视点的管状结构的3-D VE呈现(即具有3-D印象的2-D图像)。在一种情况下，3-D VE呈现类似于由插入实际管状结构并定位在该位置的物理内窥镜相机提供的视图。在这种情况下，例如，3-D VE呈现示出管状结构的内壁，包括内壁表面上的表面和结构/材料。

在一种情况下，3-D VE模块128利用非谱体积图像数据来确定局部不透明度和梯度阴影。3-D VE模块128可以采用体积绘制、表面绘制和/或其他方法。使用体积绘制，虚拟视图射线被投射通过非谱体积图像数据，并通过沿着射线的空气/壁界面处的陡峭梯度来探测管状结构壁周围的区域，其中所述区域中的数据点的不透明度从低开始并且以梯度急剧增加。阴影是基于视角与局部梯度之间的角度确定的，并且通过强度来实现。利用表面呈现，将网格(例如三角形或其他)适配到壁上，例如，以最强梯度，其处在沿着射线的空气/壁界面处。在2005年6月2日提交的题为“Virtual endoscopy”的US 7839402 B2中描述了用于生成3-D VE呈现的示例方法，在此通过引用将其整体并入。

3-D VE模块128基于谱体积图像数据的谱特性来生成针对3-D呈现的像素的视觉编码，表示管状结构的内壁和/或其上的结构/材料的表面。如下文更详细描述的，在一种情况下，视觉编码包括色调编码并且对应于谱角度、有效原子序数、造影剂浓度、其他谱特性和/或它们的组合。视觉编码可以向观察者传达关于结构/材料的存在和/或类型的视觉提示。这些谱特性不能仅根据非谱体积图像数据来确定，并且因此视觉编码不是现有3-D VE技术的一部分。这样，本文中描述的方法还利用谱体积图像数据来基于谱特性对3-D VE呈现进行视觉编码，表示对现有3-D VE技术的改进。此外，所述视觉编码允许有效的视觉评估。

呈现模块130通过输出设备120的显示监视器来显示3-D VE呈现。如图2示出了结肠的内壁202的示例3-D VE呈现200，具有分别针对息肉208和210的视觉编码204和206。出于解释的目的，视觉编码204和206被示为息肉208和210的黑色周界线。其他视觉编码可以包括色调、亮度、交叉影线、注释和/或其他视觉编码。在一个实例中，基于预定的不透明度水平来显示视觉编码，例如默认静态不透明度水平、用户定义的不透明度水平、针对特定类型的扫描定义的不透明度水平等。预定的不透明度水平可以是完全或半透明的。在另一实例中，不透明度水平可通过一个或多个中间部分透明/不透明水平在完全(或其他水平的)透明度和完全(或其他水平的)不透明度之间进行调整。在这种情况下，控制台118包括诸如键盘按钮的物理控件或图形用户界面菜单选项、图形滑块、拨号盘等软控件之类的控件。在一个示例中，可调整控件允许全面和有效的视觉评估。

呈现模块130单独或与一个或多个其他图像组合显示3-D VE呈现，例如来自非谱和/或谱体积图像数据的一个或多个切片(轴向、冠状、矢状、倾斜等)图像，仅呈现管状结构，使得管状结构外部的材料不可见，等等。在一种情况下，相同的视觉编码(例如，色调)同时显示在一个或多个其他显示的图像中，并且其可视化独立于或依赖于显示的3-D VE中的视觉编码的控制来控制呈现。额外地或替代地，3-D VE呈现被交互地链接(空间耦合)到一个或多个其他显示的图像，使得将显示屏指针(例如鼠标指针)悬停在所显示的3-D VE呈现上导致在一个或多个其他显示图像中显示位置指示符，指示指针在显示的3-D VE呈现中的位置。

图3示出了具有多个窗口302、304、306和310的示例显示。窗口302示出了来自图2的3-D VE呈现200。窗口304和306显示从光电效应和康普顿散射谱体积图像数据集导出的极坐标(角度)表示。窗口304示出了表示幅值的第一轴向切片图像。窗口306示出了表示角度的第二轴向切片图像。窗口304和306分别包括指示在窗口302中显示的结肠的一部分以及对应于图2的息肉208和210的视觉编码的标记310和312。出于解释的目的，息肉208和210在窗口304和306中以灰度颜色编码，而息肉208和210在窗口302中被轮廓编码。然而，应当理解，相同的视觉编码可以在窗口302和窗口304和306两者中使用。窗口306仅显示结肠的图像，其中标记指示与窗口302中的3-D呈现相对应的结肠中的位置。

回到图1，AI模块132至少处理3-D VE呈现并通过输出设备120来生成和显示信息，所述信息可以帮助计算系统和/或临床医师区分感兴趣结构/材料的视觉编码与其他结构/具有相似形状、质地和/或谱特性的材料。例如，对于CT VC，所述信息可有助于区分对比增强的扁平息肉和/或锯齿状息肉的视觉编码与结肠表面壁上的对比增强的粪便的类似视觉编码。在一个实例中，AI模块132用包括具有感兴趣结构/材料并且没有其他结构/材料(例如，扁平和/或锯齿状息肉并且没有粪便)的3-D VE呈现的训练集和具有其他结构/材料并且没有感兴趣结构/材料(例如，粪便并且没有扁平和/或锯齿状息肉)的3-D VE呈现的训练集而被训练。该信息不提供诊断或处置，但是可以辅助临床医师评估3-D VE呈现。

在一个实例中，AI模块132包括深度学习算法，例如前馈人工神经网络(例如，卷积神经网络)和/或其他神经网络以学习不同材料和/或结构等的谱特性的模式，以将感兴趣结构/材料与其他结构/材料区分开来。在Gouk等人的“Fast Sliding WindowClassification with Convolutional Neural Networks”，IVNVZ‘14Proceedings of the29th International Conference on Image and Vision Computing New Zealand，第114-118页(11月19-21日，2014年)，“Fully convolutional networks for semanticsegmentation”，Proceedings of the IEEE Conference on Computer Vision andPattern Recognition(2015年)，以及Ronneberger等人的“U-Net:Convolution Networksfor Biomedical Image Segmentation”Medical Image Computing and Computer-Assisted Intervention(MICCAI),Springer,LNCS,第9351卷:234--241(2015年)中讨论了此类算法的示例在一个变体中，省略了AI模块132。

对于一些扫描，辅助设备与CT扫描器102一起使用。例如，对于VC扫描，充气机122可用于给结肠充气以进行扫描。在一种情况下，充气机122用于将气体吹入结肠以给结肠充气，从而可以通过显示的3-D VE呈现更容易地检查结肠壁。

如上所述，VE模块128基于从谱体积图像数据确定的谱特性来生成用于3-D呈现的视觉编码。下面描述视觉编码包括色调的非限制性示例。在一种情况下，这包括基于谱角度来确定针对像素的色调。在另一实例中，这包括基于有效原子序数来确定针对像素的色调。在又一实例中，这包括基于造影剂浓度来确定针对像素的色调。在另一实例中，这包括基于一个或多个其他谱特性来确定针对像素的色调。在又一实例中，这包括基于以上两个或多个的组合来确定针对像素的色调。

一种用于确定谱角度的方法包括根据谱体积图像数据集来确定散点图，其中不同的谱体积图像数据集位于散点图的不同轴上。图4示出了具有康普顿散射(Sc)和光电效应(Pe)基底的双能量扫描的示例散点图400。第一轴402表示Sc体图像数据的体素值(例如，以亨氏单位(HU)/CT数标度为单位)并且第二轴404表示Pe体积图像数据的体素值(即，以相同标度)。在该示例中，第一轴402被分配第一色调并且第二轴404被分配第二不同色调。例如，第一轴402被分配红色并且第二轴404被分配蓝色。在另一个实例中，第一轴402被分配红色并且第二轴404被分配白色。原点406表示感兴趣材料(例如，空气(-1000)、水(0)、对比剂、软组织(100-300)等)的HU值。

在图4中，第一点408对应于针对谱体积图像数据集中相同的第一体素位置(x，y，z)的来自不同谱体积图像数据集的体素值。第二点410对应于谱体积图像数据集中针对相同的第二体素位置的不同谱体积图像数据集中的体素值，其中第一和第二体素位置是不同的。在该示例中，针对第一和第二点408和410的体素表示具有不同谱特性的不同材料。针对点410的体素相对于针对点408的体素具有更大的Pe贡献和更低的Sc贡献。表示与点408相对应的材料的其他体素将位于点408附近，而表示与点410相对应的材料的其他体素将位于点410附近。

在这个示例中，将针对第一点408的谱角度θ确定为第一轴402与从第一点408延伸到原点406的线412之间的角度。在一种情况下，通过计算Pe体素值与Sc体素值之比的正切的倒数来确定θ(即θ＝arctan(HU

在一个实例中，像素的色调根据谱角度而被确定为第一和第二轴402和404的第一和第二色调之间的线性混合。与点408对应的像素的色调将是基于角度θ的线性混合并且包括第一颜色相对于第二颜色的更大贡献，因为图示的角度θ小于九十度。与点410对应的像素的色调将是基于角度φ的线性混合并且将包括第二颜色相对于第一颜色的更大贡献，因为图示的角度φ大于九十度。在一个变型中，谱角度被非线性地转换成伪色标，例如彩虹色标、温度标度和/或其他色调色度。

在采用体积绘制算法的另一实施例中，根据谱体积图像数据中关于管状结构的壁的预定区域来计算谱角度，其中，射线不透明度饱和到单位值并且包括壁之前的体素和壁之后的体素。在一种情况下，色调根据来自通过局部不透明度加权的预定区域内的每个位置的线性叠加来确定。在变型中，色调被替代地确定为预定区域内的最大值。在又一个变体中，色调被替代地确定为预定区域内的平均值或中值。在又一实例中，以其他方式或基于前述的组合来确定色调。

在另一个实施例中，还基于绘图上的点与谱角度之间的径向距离来确定色调。例如，在图4中的该实施例中针对与点408对应的像素的色调不仅基于角度θ而且基于点408与原点406之间的距离。类似地，针对与点410对应的像素的色调不仅基于角度φ而且基于点410与原点406之间的距离。因此，具有相同谱角度的体素不一定具有相同的色调，这取决于它们在图400中的点与原点406之间的距离。替代地，色调不是基于绘图上的点与谱角之间的径向距离来确定的。

在另一个实施例中，图4中的散点图400中的网格中的每个坐标都被分配了色调。在该实施例中，像素被视觉编码有色调，其对应于被分配给谱体积图像数据集的像素值相交处的坐标的色调。例如，针对点408的像素的利用分配给网格中的点408处的坐标的色调而被视觉编码，针对点410的像素利用分配给网格中的点410处的坐标的色调而被视觉编码，等等。本实施例可以不采用谱角度。

在另一实例中，基于上述方法中的两种或更多种的组合来以另外方式确定色调。

图5图示了根据本文中的(一个或多个)实施例的范例方法。

要理解，方法中的动作的顺序不是限制性的。这样，本文中预期其他顺序。另外，可以省略一个或多个动作和/或可以包括一个或多个额外的动作。

在502，获得来自管状结构的相同扫描的非谱和谱体积图像数据，如本文中所描述的和/或以其他方式。

在504，基于非谱体积图像数据来生成3-D VE呈现，其包括不透明度和阴影，如本文中所描述的和/或以其他方式。

在506，基于谱体积图像数据来确定针对3-D VE呈现的像素的视觉编码，如本文中所描述的和/或以其他方式。

在508，使用视觉编码来显示3-D VE呈现，如本文中所描述的和/或以其他方式。

可以通过计算机可读指令实现以上内容，所述计算机可读指令嵌入或编码到计算机可读存储介质上，当被计算机处理器执行时，所述计算机可读指令使处理器执行所述动作。额外地或者替代地，计算机可读指令中的至少一个由不是计算机可读存储介质的信号、载波或其他瞬时介质来承载。

尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示范性的，而非限制性的。本发明不限于公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求书，在实践请求保护的本发明时能够理解并且实现对所公开的实施例的其他变型。

“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或者其它单元可以实现权利要求书中记载的若干项的功能。尽管特定措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的组合。

可以将计算机程序存储/分布在与其它硬件一起提供或者作为其它硬件的部分提供的诸如光存储介质或者固态介质的合适介质上，但是还可以以诸如经因特网或者其它有线或无线电信系统的其它形式分布。权利要求书中的任何附图标记不应被解释为对范围的限制。