胸部荧光透视影像及相应的肋骨和脊椎三维影像数据配准

摘要

本发明涉及一种将三维影像数据与患者胸部荧光透视影像进行配准的方法，以便分析荧光透视影像显示的肋骨和脊椎，并生成肋骨特征图或过滤后图像。肋骨特征图或过滤后图像与对应的患者三维影像数据相匹配。通过计算荧光透视影像与三维数据的虚拟荧光透视投影图像之间的差值，评估配准效果。本发明还阐述了相关的系统。

说明书

相关申请的引用

本申请要求专利申请号为61/864,480，申请日为2013年8月9日，名称为“一种将三维数据与包括肋骨和脊椎在内的胸部荧光透视影像进行配准的方法”的美国临时专利申请的优先权。

背景技术

可通过直接比较虚拟荧光透视影像和实际荧光透视影像，对胸部三维影像数据与荧光透视影像进行配准。可根据不同的解剖特性，进行各种影像的配准，包括但不限于心脏和隔膜。与其他器官相比，心脏和隔膜的面积较大，因而会使心脏和隔膜的配准出现偏差。

图1所示为存在上述缺点的错误配准10示例。肋骨的虚拟投影图像12与肋骨荧光透视影像14之间存在偏差。这一偏差是因为过分强调隔膜16的校准所致。三维图像和荧光透视影像显示的呼吸频率(及心跳)的差异，会进一步扩大上述偏差/误差。

因此，需要采用能够克服上述缺点的配准工艺。

发明内容

基于以下详细描述及附图，本发明的描述、目标和优点显而易见。

本发明涉及一种将三维影像数据与患者胸部荧光透视影像进行配准的方法及系统，以便分析荧光透视影像显示的肋骨和脊椎，并生成肋骨特征图或过滤后图像。肋骨特征图或过滤后图像与对应的患者三维影像数据结构相匹配。通过计算荧光透视影像与三维数据的虚拟荧光透视投影图像之间的差值，评估配准效果。

在另一个具体实施方式中，提供了一种协助三维数据与患者胸部二维荧光透视影像配准的方法，包括接收荧光透视影像显示的解剖结构在内的胸部二维荧光透视影像数据集，并在此基础上大体确定上述解剖结构的备选位置。在实施例中，该解剖结构选自肋骨和脊椎所在的组别。

该方法还包括接收胸部解剖结构的三维数据集，以及在上述近似计算的基础上，将三维数据集与二维荧光透视影像进行配准。三维数据集应至少包含一组选自图像数据和模型数据所在组别的数据。

在具体实施方式中，配准可包括三维数据集中解剖结构三维投影位置的计算，以及三维数据集中解剖结构三维投影位置与近似计算步骤得出的解剖结构的备选位置的配准。

在具体实施方式中，该方法还包括，至少部分包括手动选定上述解剖结构在二维荧光影像数据集中的备选位置。

在具体实施方式中，近似计算步骤包括自动确定肋骨和脊椎位置的概率图。利用根据特定形状(例如：局部条状、块状、带状或条状)分配高数值的过滤器生成上述概率图。

在具体实施方式中，该方法还包括三维数据集中解剖结构中心线的计算，以及在此中心线基础上实施配准步骤。

在具体实施方式中，该方法还包括估算根据上述近似计算步骤的解剖机构的备选位置与三维数据集中解剖结构三维投影位置之间的活动关系。

在另一个具体实施方式中，提供了一种用于辅助三维数据与患者胸部二维荧光透视影像配准的透视辅助系统，包括一个经过编程的计算机处理器，用于接收胸部二维荧光透视影像数据集和荧光透视影像所示的解剖结构、依据二维荧光透视影像数据计算解剖结构的备选特征图、接收包括解剖结构在内的胸部三维数据集、依据三维数据集计算虚拟特征图、将备选特征图与解剖结构的虚拟特征图进行匹配、依据之前的匹配结果将三维数据集与二维荧光透视影像数据集进行配准。上述解剖结构应优先从肋骨和脊椎所在的组别选取。

在具体实施方式中，上述三维数据集应至少有一组选自包括影像和模型数据在内的组别。

在具体实施方式中，上述系统还包括从三维数据集中计算出解剖结构的备选特征图和虚拟特征图之间的差异。

在具体实施方式中，上述系统还包括基于备选特征图自动确定肋骨和脊椎位置的概率图。可通过根据特定形状分配一个高数值的过滤器生成上述概率图。

在具体实施方式中，上述虚拟特征图是指上述解剖结构的虚拟荧光透视投影影像。在具体实施方式中，上述虚拟特征图可能包括肋骨的中心线。

在另一个具体实施方式中，一种用于评估胸部二维荧光透视影像与根据三维数据集计算的三维荧光透视投影影像之间完全配准的方法还包括估算二维荧光透视影像与三维荧光投影图像之间的位移，以及依据估算的二维位移，计算最终的位移偏差。

二维位移可包括二维位移值的多元性，并且最终的位移偏差应至少基于相对于其他位移值的，一个加权位移值。

可通过块匹配算法估算二维位移，并将一个较高的加权值分配给与骨架结构相关的位移值。

在具体实施方式中，上述骨架结构包括肋骨和脊椎。在其他实施例中，该骨架结构可能不包含隔膜。

在具体实施方式中，在计算位移误差之前，在胸部二维荧光透视影像和近似计算的肋骨备选位置的基础上，生成一个肋骨概率图。

在实施例中，上述方法还包括通过接收当前荧光透视影像探测配准后患者的动向，并计算当前荧光透视影像与三维荧光投影图像之间，当前的二维位移。该方法可显示患者的任何动向。可通过计算当前的二维位移是否超出可接受的范围，来执行上述显示步骤。

附图的简要说明

图1所示为三维影像数据衍生的虚拟影像与实际荧光透视影像之间不正确的配准；

图2为一种三维影像数据和荧光透视影像配准方法的流程图；

图3所示为基于本发明一个实施例的，三维影像数据衍生的虚拟影像与实际荧光透视影像之间的配准示意图；

图4所示为基于荧光透视影像分析的近似肋骨估算图像；

图5所示为包含条状标示的图片区块；及

图6所示为基于三维影像数据生成的肋骨虚拟荧光透视影像。

具体实施方式

在详细描述本发明之前有必要了解的是，本发明不仅仅限于本申请所述的特殊变形。这主要是因为在确保本发明的精神和范围的前提下，可进行各种形式的更改或变更，以及对应的替换。鉴于在公布之后，所在领域的专业人员通过阅读可了解本发明，并且本申请所描述和列举的各个实施例均具有独立的组成部分和特点，可以在确保本发明的范围或精神的前提下，单独或结合其他数个实施例的特点加以阅读。此外，可根据特殊情况、材料、物质构成、制作、制作工艺或达成目标的步骤以及本发明的精神或范围，进行其他多项变更。上述所有变更不应超出权利要求的范围。

应按照可行的引用事件及事件的发生顺序，实施发明所述的方法。此外，在提供一系列数值的情况下，应确保上下限及其他规定值之间的中间值，或规定范围内的中间值均未超出本发明的范围。同样可以预见的是，可单独或结合本发明所述的其他一种或多种特性，列举和提出所述的既定变动的任何任选特性。

所述的现有所有素材(例如：出版物、专利、专利申请和硬件)均可全部纳入参考，除非这些素材与本发明存在冲突(在此情况下，应以本发明为准)。

引用的任一单数形式均有可能包含其复数形式。更具体地说，除非在上下文中另行阐述，本章节及后续的权利要求所采用的诸如“一个”、“所述”和“该”等单数形式包含其复数含义。另外值得注意的是，编制的权利要求不应包含任何可选要素。就这点而论，本声明将作为使用“唯一”和“只有”等与权利要求引用内容相关的专用术语，或“否定”限制用语的先决条件。最后，除非另行规定，本发明中的所有技术和科技术语，均具有与本发明所属领域的普通技术人员所了解的相同的含义。

如图1所述，过分强调隔膜的校准，有可能会导致不正确的配准。为克服上述缺点，本发明的具体实施方式力图通过，但不限于，计算或近似计算肋骨和脊椎的备选位置和校准三维图像和荧光透视影像所示结构。在实施例中，由于相对于胸部可见解剖结构而言，隔膜加权值较低，因而本工艺不会导致隔膜的过分强调。或者，实施例将完全将隔膜排出在外。

图2是辅助操作人员配准三维数据和患者胸部二维荧光透视影像的一种方法的概览图。可借助计算机或配备包括软件和内存在内的可编程处理器的专用工作站，实施上述方法。建议采用公布号2012/0289825，申请日为2011年5月11和名称为“基于荧光透视的手术设备的跟踪方法和系统(FLUOROSCOPY-BASEDSURGICALDEVICETRACKINGMETHODANDSYSTEM)”的美国专利所述的典型工作站。结果将通过监控器、显示器或打印资料或便携式计算设备显示。

如图2所示，步骤32是接收胸腔或胸部的二维荧光透视影像数据集，包括荧光透视所示的肋骨或脊椎的解剖结构。利用配备存储器的计算机接收来自诸如C形臂荧光透视设备(未显示)等荧光透视装置的荧光透视影像。

骨架结构近似计算

接着，执行步骤34，以便利用与解剖结构实际位置接近的二维荧光透视影像数据集，近似计算解剖结构的备选位置(或特征图)。

步骤34旨在推算二维荧光透视影像数据所示解剖结构的备选位置(特征图或生产成本图)。

相对于其他结构而言，应采用专用过滤器对指定的解剖结构进行权衡。例如，专门对肋骨和脊椎进行权衡。在实施例中，隔膜和心脏具有最小的赋值，或完全被排除在外。

图4显示的是肋骨和脊椎的备选位置或特征图。该图示可替代肋骨赋值或概率图。相对于其他结构而言，包含肋骨和脊椎图像像元具有较高的赋值。不包含肋骨和脊椎的图像像元的赋值则较低。

可利用各种不同的过滤器生成赋值或概率图。图5为一种用于评估和确定赋值的工具示意图。图5所示的局部条带102为高亮区104所环绕的黑色条带。在实施例中，可通过用于生成图5所示局部条带高赋值的定制本地过滤器，生成任意像元的肋骨赋值。该过滤器及工具旨在高亮显示图4所示肋骨和脊椎80之间的分界线。

尽管上述过滤器仅限于生成条状或矩形图像，仍然可以利用其它图形捕捉荧光透视影像中骨骼的分界线。可采用基于机器习得的方法生成肋骨赋值影像。此外，在实施例中，淡色区块周围可能会被绕深色区块所环绕，反之亦然。

在一个具体实施方式中，肋骨赋值影像包含任意像元的最高赋值。计算得出的最高赋值是指超出基于像元的，矩形条带角度和厚度范围的最高值。矩形条带预示着肋骨投影部分有可能贯穿该像元。在一个实施例中，在矩形条带的厚度和角度给定的情况下，像元赋值是指边值和区块赋值的加权组合。边值是依据沿矩形条带的较长边分布的像元，通过计算得出：边值＝Laplacian赋值+(1-2*AngleBetween(条带方向，图像-坡角)/pi)；其中，Laplacian和图像-坡角是基于荧光透视影像推算的标准操作。此类操作详见“冈萨雷斯和伍兹的数字图像处理”。给定的区块赋值如下：

如果MeanOutVal>MeanlnVal

RegionCost＝(MeanOutVal-MeanlnVal)/(1+stdlnVal+stdOutVal)

否则

RegionCost＝0

其中，(MeanOutVal,stdOutVal)是指条带以外区块(例如图5所示高亮区)像元强度的标准偏差；(MeanlnVal,stdlnVal)是指条带范围内区块(例如，图5所示暗区)的像元强度标准偏差。

此外，上述近似计算步骤是通过计算机处理器自动执行，在其他实施例中，操作人员至少可以局部地，以手动方式输入和选定二维荧光透视影像数据集中解剖结构的备选位置(分界线、主体、赋值)。

依据三维影像数据计算虚拟荧光透视投影

如图2所示，步骤36描述的是基于三维数据集的解剖结构三维投影位置的推算。素材提供的可用三维影像数据包括但不限于分辨率计算体层成像(HRCT)扫描、MRI、PET、三维血管造影和X光数据集。肋骨、脊椎和骨骼是从三维影像中随机截取，并且其中心线需要通过计算得出。

依据某一方法或系统，工作站接收特定器官的三维影像文件、三维或二维影像数据集，并在此基础上通过计算生成该器官的三维模型。该工作站可通过与诸如DICOM等设备通讯，接收上述数据集。名称为“自动肺分割方法和系统”的第7,756,316号美国专利公布了一种生成人体器官三维模型的典型方法。详见希金斯等申请的编号为7,889,905、公布号为2008/0183073的专利。Klinder等编撰的“基于关节联接模型的脊椎分割”描述了一种典型的脊椎分割工艺；Staal等编撰的“基于CT数据的自动肋骨分割”描述了一种典型的肋骨分割工艺；Dorgham等编撰的“GPU加速生成的二维/三维影像配准用数字重建影像”描述了一种基于三维数据生成虚拟荧光透视影像投影的典型工艺。

图6所示为按照步骤36的要求生成的虚拟荧光透视影像的合成图像。除其他组织外，肋骨152和脊椎154均清晰可见。

配准

如图2所示，步骤40为三维数据集与二维荧光透视影像数据之间的配准。具体而言，配准步骤包括步骤36所述的三维投影位置(虚拟荧光透视影像)与步骤34近似计算的解剖结构的备选位置(特征图或赋值图)之间的匹配。

在具体实施方式中，计算得出的校准赋值用于任何形式的转换；同时，可通过估算使校准赋值最大化的优选转换，利用三维影像进行荧光透视影像的配准。可利用诸如鲍威尔优化程序等常规优化程序选定最佳转换形式。

步骤34所述虚拟荧光透视影像36与肋骨赋值影像之间校准赋值计算示例如下：如果骨骼组织突出虚拟荧光透视影像所示的该像元，则像元-校准赋值＝肋骨赋值；否则，则像元-校准赋值＝0。

可通过上述校准赋值的计算，校准适用的影像。图3所示为经校准的虚拟及实际荧光透视影像。尽管仍存在因患者呼吸和心跳所引发的质疑，投射虚拟肋骨62仍与荧光透视的配对物相互匹配。

基于中心线的配准

根据另一个具体实施方式中，在配准过程中，计算三维影像与荧光透视影像之间的最佳转换形式，进而校准三维影像投射的肋骨中心线和荧光透视所显示的肋骨。

对于特定转换而言，肋骨中心线将被投射在荧光透视影像中，并通过肋骨投影生成距离图。该距离图显示每个像元距离肋骨部位的大致最短距离。

在实施例中，对于上述所有的像元而言，校准赋值是结合距离图与步骤34所述的肋骨影像，经计算得出。在实施例中，如果离最近的肋骨中心线的距离较短，则说明某一像元具有较高的校准赋值；此外，该像元的肋骨赋值也较高。某一像元的校准赋值示例如下：校准-赋值(x，y)＝肋骨赋值(x，y)/(1+距离-图(x，y))。如前文所述，现在可利用常规优化程序进行配准，进而找出能够使校准赋值最大化的最佳转换形式。

评估

在配准之后，按照优选步骤42计算近似计算步骤所述解剖结构备选位置与三维数据集所示解剖结构三维投影位置之间的差值。在某种意义上而言，就是评估配准的准确性。

在实施例中，一种评估已完成的胸部二维荧光透视影像与基于三维数据集计算的三维荧光投影影像之间配准的方法，包括估算二维荧光影像与三维荧光投影影像之间的二维位移。此外，该方法还包括基于估算的二维位移计算最终位移偏差的步骤。在实施例中，除其他数值之外，需要权衡与肋骨和脊椎相关的数值。

二维位移活动可能包含多个二维位移值，并且最终的位移误差至少以较大位移值的加权计算为准。

在一个具体实施方式中，二维位移活动可接受范围为0-10毫米，优选的是3毫米以下。此外，如果最终位移活动误差超出可接受范围，则应重复或调整配准，直至将误差控制在适宜的范围内。

在具体实施方式中，可利用块匹配算法估算二维位移活动的步骤，进而通过虚拟影像的替换块及荧光透视当前块之间最大化的匹配赋值，找出任意(当前块)像元的最佳二维位移。通过归一化互相关分析，计算匹配赋值。

在另一个具体实施方式中，提供了一种方法，其进一步包括：通过计算当前观测的荧光透视影像与配准期间经转换计算估算的当前估算的虚拟荧光透视影像，观察配准后患者的动向。基于患者三维动向影像，二维位移活动估算值要高于位移活动开始前的估算值。在具体实施方式中，应标注出超出上述可接受二维位移活动范围的患者动向值。

在不背离本发明的前提下，可对已公布的具体实施方式做其他任何形式的变更和变动。