用于对数据集进行体绘制的方法和设备

摘要

用于对数据集进行体绘制的方法和设备。本发明涉及一种用于对数据集特别是医疗数据集进行体绘制的方法和相应设备，所述设备包括：用于显示对象特别是患者的数据集（18）的至少一个切片视图（12）的显示器（11）；允许用户选择所述至少一个所显示的切片视图（12）中的感兴趣结构（SOI）上的位置的用户选择单元（13，14，15）；用于根据一个或更多第一参数确定所述感兴趣结构（SOI）的体绘制（17）的体绘制单元（16），所述第一参数表征所述感兴趣结构（SOI）的所显示的体绘制（17）的视图，所述感兴趣结构（SOI）的所述体绘制（17）被显示在所述显示器（11）上。

说明书

本申请是申请号为200880110725.9、申请日为2008年10月9日、发明名称为“用于对数据集进行体绘制的方法和设备”的申请的分案申请。

技术领域

本发明涉及根据独立权利要求的前言的用于对数据集，特别是医疗数据集，进行体绘制的方法和设备。

背景技术

现今的医疗成像模式（例如计算机断层摄影）以前所未有的分辨率提供了大量数据。呈现如此大量的信息对于现在的放射科工作站来说是一项非常有挑战性的任务。体绘制是当前所选择的用于查看所述数据的良好方法。通过把由二维（2D）横截面与三维（3D）显像所提供的信息相组合可以改进诊断过程。把数据的不同表示法相联系的做法具有显著提高效率的潜在好处。体积显示在这一情境中通常充当总览显示。所述横截面图像包含与诊断相关的信息。

通过在所述体积显示中精确定位病变区域，选择了相应的横截面图像以在所述二维显示区域内显示。从技术的观点来看，这一处理相对容易实施。可以从给定的视口（viewport）规范（即转移函数和观看方向）推断出感兴趣点的3D位置。重要的是应当注意到，在相应的横截面图像上突出显示所述位置的自由度会降低。

但是相反的操作并不是直接明了的。在一个横截面切片上拣选一个二维位置应当得到有表现力的无遮挡3D视图。尽管通过选择横截面图像中的点可以明确限定感兴趣位置，但是要在对应的3D绘制中对所述感兴趣区域进行适当的突出显示仍然富有挑战性。

在其三维设置中强调在2D中所选择的结构的一般动机是获得情境信息。可以通过一个简短实例说明所述情况：在读取计算机断层摄影血管造影的横截面图像的过程中频繁出现的请求是确定特定的部分可见的血管属于哪一个解剖结构。在这种情况下将会希望对所描绘的血管及其附近空间进行体绘制。为了得到最优的结果，所选择的结构应该在很大程度上可见，并且不能被重要性较低的结构遮蔽。

对于多边形场景，视点选择这一领域已经做了许多研究，但是在体积数据的范围内所做的研究相对较少。此外，直到现在为止，最优视点估计与同步视图的组合还没有受到多少注意。

Fleishman等人[6]提出了一种用于针对具有已知几何结构的基于图像的模型自动放置摄影机的方法。针对表面的可见度和遮蔽应用一种质量度量。Blanz等人[2]针对视点的美学方面研究了诸如规范视图之类的方法。在他们的实验设置中，用户为三维对象模型的视点指定良好度评级。基于反馈定义一组良好视点的标准。为了确定虚拟场景的视点质量，Sbert等人[12]应用了一种基于所述场景内的多边形的投影区域的Kullback-Leibler距离的度量。由Lee等人[7]引入的网格显著度方法测量网格的区域重要性。除了网格简化之外，这种方法也可以被用于视点选择。Vázquez等人[16，17]致力于解决在计算机图形中关于什么是良好视图并没有一致意见的问题。基于信息理论的视点熵被引入来自动计算良好的观看位置。Polonsky等人[10]致力于计算对象的最佳视图。他们定义了一组用来测量视点质量的视图描述符。Mühler等人[8]给出了一种用于在医疗表面显像中进行视点选择的方法。他们的工作旨在生成动画以用于合作的介入计划以及外科教学。

受到关于多边形数据的研究工作的启发，最近有一些工作致力于针对体积数据的视点选择。Bordoloi和Shen[3]提出了一种基于熵的方法来确定对应于给定场景的代表性视图的最小集。在他们的视点选择处理中考虑了体素的数据分布、转移函数以及可见度。Takahashi等人[13]提出了一种用以选择良好视点的特征驱动的方法。他们识别出体积中的特征分量以便检测局部最优视点。这些视点被利用来提取出最优全局视点。Viola等人[18]引入了一种关注体积数据内的结构的重要性驱动的方法。焦点对象由用户定义，并且他们的系统自动选择提供关于感兴趣结构的富于表现力的视图的特征视点。Chan等人[5]给出了一种便于针对血管造影体积的视点选择的框架。考虑对应于血管的可见度、覆盖范围以及自遮蔽的视图描述符，确定全局最优视图。该视图由对应于视点的解空间内的搜索处理来选择。

除了用于视点选择的技术之外，还有许多方法可用来在体积数据内定义感兴趣区域（ROI）。在体积的范围内，该区域还被称作感兴趣体积（VOI）。Tory和Swindells[14]提出了用于细节和情境指向的体绘制的ExoVis。可以通过在体积内放置框（box）来定义所述VOI。可以通过平移从所述体积中提取出该部分，并且可以利用不同的绘制风格或转移函数显示该3D剪出。Owada等人[9]提出了作为在未经分割的体积数据内指定ROI的体积捕捉器。用户通过沿着感兴趣结构的轮廓绘制2D笔划来限定该区域，并且他们的系统基于统计区域合并执行受约束的分割。Zhou等人[20]提出了焦点区域导向的基于特征的体绘制以强调所述VOI。在他们的方法中，使用球之类的几何形状把所述体积划分成焦点区域和情境区域。Sato等人[11]已经在组织分类方面做了令人感兴趣的研究。他们把3D局部强度结构纳入考虑以便识别出通常对应于医疗体积数据中的各种类型的组织的诸如边缘、薄片、线以及斑点之类的局部特征。他们的局部结构过滤器使用梯度矢量以及与高斯模糊相组合的体积强度的Hessian矩阵。

尽管做了上述研究，但是为了获得关于感兴趣结构的良好的无遮挡视图而调节视口参数仍然是复杂而且耗时的处理。用户通常必须注意适当的视点、缩放、转移函数设置、剪裁（clipping）面和其他参数。这正是在许多情况下仅仅检查2D切片而不是体积数据集的体绘制的原因。

发明内容

本发明的一个目的是提供一种能够实现数据集（特别是医疗数据集）的良好体积视图并且需要更少用户输入的方法和相应的设备。

该目的是通过根据独立权利要求的方法或对应的设备而实现的。

根据本发明的方法包括以下步骤：采集对象的数据集，特别是患者的医疗数据集；显示所采集的数据集的至少一个切片视图；对所显示的所述至少一个切片视图中的感兴趣结构（SOI）上的位置进行用户选择；基于一个或更多第一参数显示所述感兴趣结构的体绘制，所述第一参数表征所述感兴趣结构的所显示的体绘制的视图。其中，通过考虑所述用户选择的位置以及一个或更多第二参数来自动确定所述第一参数，所述第二参数表征所述对象、所述感兴趣结构、当前显示的切片视图以及所述感兴趣结构的一个或更多先前体绘制当中的至少一项，并且确定所述第一参数，使得在除了所述对于位置的用户选择之外无需附加用户输入的情况下获得关于所述感兴趣结构的所显示的体绘制的最佳视图。

根据本发明的相应设备包括：用于显示对象（特别是患者）的数据集的至少一个切片视图的显示器；使得用户能够选择所显示的所述至少一个切片视图中的感兴趣结构（SOI）上的位置的用户选择单元；用于根据一个或更多第一参数确定所述感兴趣结构的体绘制的体绘制单元，所述第一参数表征所述感兴趣结构的所显示的体绘制的视图，所述感兴趣结构的所述体绘制被显示在所述显示器上。其中，所述体绘制单元被设计成通过考虑用户选择的位置以及一个或更多第二参数来自动确定所述第一参数，所述第二参数表征所述对象、所述感兴趣结构、当前显示的切片视图以及所述感兴趣结构的一个或更多先前体绘制当中的至少一项，并且其中，所述体绘制单元被设计成，确定所述第一参数，使得在除了所述对于位置的用户选择之外无需附加用户输入的情况下获得关于所述感兴趣结构的所显示的体绘制的最佳视图。

涉及到本发明，所述一个或更多第一参数也被称作“视口参数”，并且所述第二参数也被称作“输入参数”。

本发明是基于仅仅从由以下各项给出的信息导出对应于所选感兴趣结构的良好体积视图的视口参数（即第一参数）的方法：

－在所述感兴趣结构上的用户选择位置；以及

－一个或更多第二参数，其中可以分别从所述对象、所述感兴趣结构、当前显示的切片视图或者所述感兴趣结构的一个或更多先前体绘制的特性自动推断出所述第二参数。

按照这种方式，在把必要的用户输入减少到所述感兴趣结构上的位置选择的同时，可以获得数据集的良好体积视图。

在本发明的一个优选实施例中，所述一个或更多第一参数包括以下各项中的至少一项：

－视点，在所显示的体绘制中从该点观看所述感兴趣结构；

－观看方向，在所显示的体绘制中在该方向上观看所述感兴趣结构；

－至少一个剪裁表面，每一个剪裁表面将所述感兴趣结构分成第一和第二区域，其中处于所述剪裁表面的第一区域内的所述感兴趣结构的细节被显示在所述体绘制中，而处于所述剪裁表面的第二区域内的所述感兴趣结构的细节则不被显示在所述体绘制中，其中至少一个剪裁表面优选地是与所述观看方向对准的平面剪裁面；以及

－表征所显示的体绘制中的所述感兴趣结构的尺寸的体积缩放因数。

这样就把第一参数的数目减少到与良好的体积视图最为相关的那些，从而将所述第一参数的导出保持得简单且快速，这允许现场同步的2D/3D视图。

此外还优选的是，表征所述对象的所述一个或更多第二参数包括在采集该对象（特别是患者）的所述数据集时该对象的取向（特别是患者取向）。此外还优选的是，表征所述感兴趣结构的所述一个或更多第二参数包括关于该感兴趣结构的形状的信息。优选地，表征所述感兴趣结构的所述一个或更多第二参数包括关于该感兴趣结构的可见度的信息。在另一个优选实施例中，表征所述感兴趣结构的所述一个或更多先前体绘制的所述一个或更多第二参数包括关于一个或更多先前视点的信息，其中所述一个或更多先前视点是这样的点，即，在所述感兴趣结构的先前显示的一个或多个体绘制中从所述点观看该感兴趣结构。此外还优选的是，表征所述当前显示的切片视图的所述一个或更多第二参数包括关于该当前显示的切片视图中的所述感兴趣结构的尺寸的信息。

由于可以很容易地采集或者从可用数据（例如所述数据集或者关于所述数据集的采集的信息）自动推断出上面提到的第二参数，因此关于所述第二参数的采集或推断不需要另外的用户输入。

在本发明的一个优选实施例中，对于所述第二参数中的至少一个，导出关于从所述第二参数中的该至少一个得到的视点质量的信息。为了获得关于所拣选的感兴趣结构的特别良好的视图，可以使用形变观看球的概念，其中观看球围绕扫描数据集的中心并且描述关于该对象的所有可能的摄影机位置。每当执行拣选动作时，所述第二参数用来在形变观看球中编码视点质量。在把对应于不同的第二参数的形变球相组合之后，可以从所得到的球确定关于所拣选的感兴趣结构的所有可能视点的估计质量。

具体来说，通过计算对应于至少一个第二参数的形变观看球导出所述关于视点质量的信息，其中与所述观看球的径向距离更大的视点位置被视为好于与所述观看球的径向距离更小的视点。

具体来说，计算对应于两个或更多第二参数的形变观看球并将其相组合，从而获得组合的形变观看球，其包含关于从这些第二参数得到的视点质量的信息。优选的是，在把对应于第二参数的形变观看球组合成所述组合形变观看球之前，对它们进行加权。特别地，通过对所述形变观看球的求和、相乘或阈值处理来组合所述形变观看球。

优选地，通过分别选择与所述形变观看球或所述组合形变观看球的观看球具有基本上最大径向距离的视点，来确定良好的视点。此外还优选的是，通过所述用户选择的位置和所述良好视点定义良好的观看方向。在一个优选实施例中，通过分别考虑所述形变观看球或者所述组合形变观看球并且通过考虑对于开始于所述用户选择位置的射线的所述感兴趣结构的累积不透明度，来定位良好的剪裁表面，其中所述良好的剪裁表面被定位在累积不透明度低于给定阈值的位置处。在另一个实施例中规定，通过考虑所述当前显示的切片视图中的所述感兴趣结构的尺寸（特别是切片视图缩放因数）来确定所述体积缩放因数。

通过上面提到的步骤中的一个或多个，可以简单且快速地导出所述第一参数。

涉及到2D/3D视图的现场同步的本发明的一个有利实施例的特征在于，通过接连指向所显示的切片视图中的所述感兴趣结构上的不同位置而由用户选择几个位置，其中对于所述几个位置当中的每一个位置自动确定所述第一参数，并且接连更新所述感兴趣结构的相应体绘制的显示，使得在除了接连指向所述感兴趣结构上的不同位置之外无需附加用户输入的情况下，获得关于所述感兴趣结构的所显示的体绘制的最佳视图。

特别优选的是，通过沿着所显示的切片视图中的所述感兴趣结构进行连续描记而由用户选择该感兴趣结构上的多个位置，其中对于所述多个位置当中的每一个位置自动确定所述第一参数，并且连续更新所述感兴趣结构的相应体绘制的显示，使得在除了沿着所述感兴趣结构进行连续描记之外无需附加用户输入的情况下，获得关于所述感兴趣结构的所显示的体绘制的最佳视图。该实施例是根据本发明的2D/3D视图的现场同步的一种非常有利的应用。

附加地或作为替换，可以在没有用户交互的情况下自动选择所述感兴趣结构上的一个或更多位置。优选地，自动识别所述感兴趣结构及其形状和/或走向（run），并且沿着所识别出的所述感兴趣结构的形状和/或走向自动定位该感兴趣结构上的位置。举例来说，对心血管数据集进行分析，识别出血管并且通过沿着所述血管的中心行进的中心线对所述血管进行描绘。于是自动选择沿着所述中心线的一个或更多位置，并且相应地建立或更新所述体积视图。因此，不需要用户交互来获得关于所述心血管数据集的相关血管的良好体积视图。

此外还优选的是，可以由用户激活及停用所述第一参数的自动确定以及相应体绘制的随后的更新的显示。在该实施例中，可以通过按压及释放激活按键（特别是功能按键或控制按键）或者通过选择显示器上的图标来实现激活及停用。具体来说，只有当用户选择了所显示的切片视图中的所述感兴趣结构上的位置并且同时由该用户按压所述激活按键时，才发生对所述第一参数的自动确定以及对相应体绘制的随后的更新的显示。在本发明的另一个实施例中，用户停用所述第一参数的自动确定以及相应体绘制的随后的显示并且修改至少一个自动确定的第一参数，随后基于所述经过修改的第一参数显示所述感兴趣结构的更新后的体绘制。

在本发明的另一个或替换实施例中，从一个或更多对象（特别是一个或更多患者）的先前采集的数据集获得至少两个形变观看球，所述先前采集的数据集和当前采集的数据集都来自相同类型的检查，其中通过考虑从所述先前采集的数据集获得的所述至少两个形变观看球来确定表征所述当前采集的数据集的感兴趣结构的所显示的体绘制的视图的第一参数。

该实施例是基于从形变观看球导出至少一个表征患者的当前采集的医疗数据的体绘制的第一参数（特别是视点）的方法，其中所述形变观看球是根据所述患者和/或另一个患者和/或其他多个患者的先前采集的医疗数据计算的。通过按照这种方式利用先前获得的信息，容易获得关于所述当前采集的数据集的良好体积视图。

优选地，按照这种方式导出的第一参数被用于所述当前采集的医疗数据的体绘制的初始显示。随后可以按照上面详细描述的那样，根据一个或更多第二参数确定所述第一参数，所述第二参数表征当前检查的患者、当前选择的SOI、当前显示的切片视图以及所述当前选择的SOI的已经显示的体绘制的至少其中之一。

优选的是，对从所述先前采集的数据集获得的所述至少两个形变观看球进行叠加，从而获得累积形变观看球并且从所述累积形变观看球导出所述第一参数。在该优选实施例中，在所述累积形变观看球中，对包含在根据源自相同医疗检查类型（例如患者头部的计算机断层摄影图像）的相同或不同患者的医疗数据计算得来的不同形变观看球中的信息进行累积或叠加，例如通过相加和/或求平均。可以容易地且非常快速地，从所述累积形变观看球推断出得到当前检查的患者的当前采集的医疗数据的良好的初始视图的第一参数。

此外还优选的是，从所述先前采集的数据集获得的所述至少两个形变观看球的至少其中之一可以是通过组合对应于两个或更多第二参数的两个或更多观看球而获得的组合形变观看球，所述第二参数表征所述先前检查的患者、先前选择的SOI、先前显示的切片视图以及先前选择的SOI的先前体绘制的至少其中之一。上面已经描述了把形变观看球组合成组合形变观看球以及这样做的优点。

总而言之，本发明提供一种将数据集的2D切片视图与3D视图同步的新概念。通过在所显示的2D切片视图上直观地拣选位置，用户限定其感兴趣的解剖结构。对所述3D体积视图进行自动更新，其目标是为用户提供富于表现力的3D图像。为了实现这种实时或“现场”同步（从而可以得到对应于本发明的术语“LiveSync（现场同步）”），使用第二参数的最小集而无需已分割数据集和特定于数据的预先计算等等。基于所述第二参数导出所有所述视口参数（即所述第一参数）所唯一必需的用户交互，通过在所显示的切片视图上拣选位置而给出。

下面将参照附图更加详细地描述本发明，其中：

图1示出了根据本发明的优选工作流程；

图2示出了患者取向观看球；

图3示出了由PCA确定的第一主分量的实例；

图4示出了视点历史观看球；

图5示出了局部形状估计观看球；

图6示出了可见度观看球；

图7示出了观看球组合中的不同算子的效果；

图8示出了本发明的第一应用实例；

图9示出了本发明的第二应用实例；

图10示出了本发明的第三应用实例；以及

图11示出了根据本发明的用于对医疗数据集进行体绘制的设备的一个实例。

具体实施方式

设备和工作流程

图11示出了根据本发明的用于对数据集进行体绘制的设备10的一个实例的示意图。医疗成像系统19（例如x射线或CT设备）生成医疗数据集18并且将其馈送到所述设备10。

所述设备10包括用于显示对象（其在本例中是患者）的医疗数据集的切片视图12的显示器11（例如TFT屏幕）以及充当用户选择单元的鼠标13，其允许用户通过把指针14移动到所显示的切片视图12上的感兴趣结构并且按压和/或释放所述鼠标13或键盘15上的按键（例如控制按键或热键）来选择所显示的切片视图11中的所述感兴趣结构（SOI）上的位置。所述设备10还包括用于确定被显示在所述显示器11上的所选感兴趣结构的体绘制17的体绘制单元16。

为了实现所显示的切片视图12与所述体积视图17的2D/3D同步，优选地可以通过在把所述鼠标指针14指在所述切片12上的所述感兴趣结构的同时按压所述键盘15上的热键来激活LiveSync的功能，并且可以通过释放所述热键来停用所述功能。

基于这一拣选处理，应用基于知识的技术来估计所述体积视图的良好视点、计算视图对准的剪裁面的适当放置以及调节所述缩放因数。

取决于用户的偏好，所述设备10允许两个相继视点之间的平滑动画旋转或者即时切换。在用户对所提供的体积视图17不完全满意的情况下，可以通过人工改变所述视点、替换所述剪裁面或者调节所给出的缩放以获得所述SOI的更好视图，来改进所述体积视图。

如果LiveSync没有被激活，则按照传统的方式来浏览所述切片并且不会导致所述体积视图的更新。

为了实现根据本发明的现场同步，考虑以下因素：

－所拣选的点（即，用户选择的位置）：通过用户在切片12上拣选的位置来确定所描绘的结构的体积位置。

－切片视图缩放：所述切片视图12的缩放充当所述感兴趣解剖结构的尺寸的指标。为了自动建立所有第一参数，考虑该缩放因数以调节所述体积视图17的缩放。

－患者取向：所扫描的医疗数据包含关于当所述医疗数据被采集时的患者位置和取向的信息。通过考虑关于所执行的程序的知识，有可能得到对于优选的观看方向的粗略估计。

－视点历史：上一个视点被用作选择下一个视点的参数。这意味着在不与其他参数冲突的情况下，所述系统尝试找到与上一个视点靠近的良好视点。

－局部形状估计：基于局部分割来估计所拣选的结构的局部形状。为结构指定三种主要形状（线、薄片以及斑点）以用作视点选择的参数。

－可见度：另一个参数是所拣选的结构的可见度。为了计算可见度，从所拣选的位置向特定数目的视点投射射线并且关于遮挡结构对所述射线进行分析。

第二参数，患者取向、视点历史、局部形状估计和可见度，被直接编码在所述观看球中。如果特定参数指示特定位置处的良好视点，则令单位球发生形变，从而增大该点到所述球的中心的距离。

图1给出了关于所述LiveSync工作流程的总览。最初有从默认视点示出的体积视图21和2D切片图像22。在所显示的切片22上的每一次拣选动作都会启动对应于以下第二参数的至少其中之一的观看球的形变：患者取向23、视点历史24、局部形状估计25以及可见度26。在该总览中，所述第二参数被称作“视图输入参数”。

这些第二参数的相应的形变观看球27被加权并且被组合，从而得到编码所述视点的组合质量的合成的组合形变球28。

此外，对所述缩放因数30进行调节并且定位视图对准的剪裁面29，从而允许灵活地去除遮挡结构以生成有意义的体积视图31。

这样，对于所述切片22上的每一次拣选动作，所述第二参数23到26被用来估计良好的视点并且令所述观看球27发生相应的形变，从而自动生成现场同步的体积视图31，提供了关于所拣选结构的良好视图，而无需任何其他用户输入、特定于数据的先验信息或者预先计算。

形变观看球

观看球的概念被用于建立所述视点和观看方向。基本上，可以把虚拟摄影机放置在封闭所述场景的球的表面上的任一点处。为了在该球上移动所述摄影机，通常执行旋转操作。此外，所述摄影机的观看方向限定该摄影机聚焦在所述场景内的哪一个位置处。可以通过沿着所述摄影机在所述球上的位置的表面法线移动该摄影机来实现缩放。

球参数化

由于必需把所述第二参数直接编码到所述球的形状中，因此需要有一种直观的方式来对所述观看球进行参数化。此外，必需对这种参数化进行高效的存储，考虑到用于单个球的组合的算子必需适用。可以利用极坐标实现一种方便的球参数化。在这种系统中，可以通过代表极角和方位角的Θ和φ及其径向距离r来表征球的每一点。所述极角从正z轴开始，其范围是从0到180o，xy平面内的方位角从正x轴开始，其范围是从0到360o。利用这种参数化，可以非常高效地进行几种转换和计算[15,19]。

球映射

在计算机图形学中的一种众所周知的挑战是将纹理映射应用于球的问题。朴素方法通过利用其中宽度两倍于高度的单一矩形纹理来执行到球上的直接纬度－经度映射。对于所谓的uv映射而言，u跨越赤道，v覆盖极点到极点范围。这是一种直接明了的映射，其缺点在于采样朝向极点区域变高。针对球纹理的替换方案有立方体、omnitect、二十面体以及八面体映射[1]。

必需处理相反的问题，以便把球映射到便于在本发明中执行的操作的结构。由于存储器效率和直观索引，优选的是直接的纬度－经度映射，其中直线纹理被存储为具有360                                                180项的二维矩阵。明确地存储在存储器中是必需，以便于有效地组合按照不同方式采样的数据。在当前的实现方式中，关于患者取向、视点历史和局部形状估计的信息是按照解析方式来描述的，而可见度信息则是按照离散方式来采样的。由于可以从阵列索引计算角位置，因此把径向距离值写入到该阵列中就足够了。

球形变

指示视点质量的一般想法是观看球的直接形变。所述球的表面上的径向距离大的位置代表良好的视点。为了实现所述球的适当形变，可以拿Phong光照模型来进行类比。在该模型中，半球代表漫反射强度，其具有表示镜面反射强度的隆起。Phong的镜面高光模型被改写成用下面的等式1计算所述球的表面上的特定点处的半径r：

其中a是控制所述隆起的高度的常数，n是所述球上的特定点处的表面法线，v是良好视点处的表面法线，并且mw控制所述隆起的宽度。通过该公式的微小变化就可以生成用于视点选择的大多数第二参数的形变球。

观看球操纵器

在选择良好视点的过程中的一个富有挑战性的部分是相关参数的识别。对于适用于不同类型的医疗体积数据的一般性解决方案来说，所述第二参数的定义是重要的。已经发现患者的取向、视点历史、结构的局部形状及其可见度与视点选择高度相关。令所述观看球发生形变以便编码对应于这些第二参数中每一个的视点质量。

患者取向观看球

首先被利用来构造形变观看球的第二参数是患者的取向。根据检查的类型，存在一般优选的观看方向。在本例中，头－足轴充当用以导出优选视点的粗略估计。

图2（左）示出了对应于患者41的取向的旋转轴40。令图2（右）中示出的相应的观看球42发生形变，使其优选与该轴40正交的视点，也就是说围绕赤道43扩大所述观看球。可以通过如在下面的算法1中描述的那样应用等式1来实现这一形变，其中z轴是主旋转轴40：

--------------------------------------------------------------------

for 每一条经线lon do

    将v设置为90o纬度处的表面法线

    for lon的每一个参数化点p do

        将n设置为p处的表面法线

        利用等式1计算该点处的直径

    end for

end for

---------------------------------------------------------------------

视点历史观看球

良好视点的选择是基于不同的第二参数以便为用户提供预期的视图。由于所述系统基于所估计的用户需求选择了特定视图，因此也将考虑当前的视点来估计接下来的视点的质量。在可能的情况下特别应当避免两次相继拣选的视点有大的移位。这意味着如果存在靠近当前视点的对应于所拣选结构的良好视点，则该视点优于在所述观看球上的位置更远的其他视点。

图4示出了对应于所述标准的形变观看球46的样子。上一个视点44的位置P被标记在所述观看球45（左）上。在发生形变之后，所得到的形变观看球46具有隆起47，最大值出现在该位置P处，其还编码了周围视点的质量。可以利用下面的算法2生成相应的形变：

-------------------------------------------------------------------------------

将v设置到上一个视点的表面法线

for 参数化球的每一点p do

    将n设置为p处的表面法线

    if dot(v,n)>0 then

        利用等式1计算p处的半径

    else

        将半径设置为1

    end if

end for

-------------------------------------------------------------------------------

局部形状估计观看球

用于视点选择的另一个重要的第二参数是感兴趣结构（SOI）的局部形状。如果所拣选的点例如是血管的一部分，则良好的视点显示出该血管的路线而不会切断该血管。利用快速局部分割和主分量分析（PCA），可以从所述数据值局部导出所述形状信息。在充当种子点的所拣选数据点的32x32x32邻域内执行区域生长。通过分析所拣选点及其邻域处的标量值的分布，来计算所述区域生长的上和下阈值。这一局部分割的结果是一片相连的3D点云。对该点云执行PCA以便提取出被利用来根据Sato等人[11]的量度确定局部特征形状的三个特征向量和相应的特征值。

图3示出了在头部中的血管上的三个不同位置处执行拣选时的第一主分量的矢量如何取向。白线50显示出通过针对头部中的血管上的三个不同位置的PCA所确定的最重要的特征向量的对应取向。这些矢量与所述血管的局部取向相当良好地对准。所述血管的局部取向由这些矢量相当好地指示。

与正交的第二和第三主分量以及相应的特征值相组合，该信息被用来创建用于局部形状估计的形变球。

根据所述对象的局部形状，必需如图5中所示令所述观看球发生形变。如果所述对象具有体积范围（参见“斑点”），则基本上所有视点都具有相同质量（左）。对于平面结构（参见“薄片”），与所述薄片正交的视点是有利的（中）。如果确定是管状结构（参见“线”），则优选的视点沿着与这条线正交的环对准（右）。

对于平面对象，与对应于所述视点历史的形变球（参见上文）类似地计算所述球的形变。为了在所述球的相对侧得到两个隆起，把等式1微调为等式2：

。

如果所述结构为管状，则所述形变过程更加复杂一点。其是患者取向观看球的形变过程的推广，这是因为所述管可以在体积内任意地取向。良好视点的几何位置围绕所述观看球的大圆，所述大圆由所述第二和第三主分量的矢量与所述球的表面相交的两点定义。大圆总是唯一地由所述球的表面上的两点定义，并且其圆心与所述球的中心相同。对于所述球的表面上的每一点p，必需计算从原点到所述大圆上的最近点的矢量。这可以通过把从原点到p的矢量投影到所述大圆的平面上来实现。在下面的算法3中给出生成所述形变球的程序：

---------------------------------------------------------------------------------------------------

if 形状==斑点 then

    参数化球的每一点的半径为2

else if 形状==薄片 then

    将v设置为第三主分量的矢量

    for 参数化球的每一点p do

        将n设置为p处的表面法线

        利用等式2计算p处的半径

    end for

else if 形状==线 then

        计算对应于第二和第三主分量与单位球的表面相交的两点的大圆c

    for 参数化球的每一点p do

        将n设置为从原点到p的矢量

        将v设置为n在c的平面上的投影

        归一化v

        利用等式1计算p处的半径

    end for

end if

---------------------------------------------------------------------------------------------------

可见度观看球

用于估计良好视点的另一个构建块由所述可见度信息定义。从所拣选的点开始投射可见度射线以便确定遮蔽对象。如上所述，所述球的各参数化点并不是均匀分布的。向全部360×180个位置投射可见度射线既不有效也不必要。但是非常优选的是所测试的位置均匀地分布在所述球上。Bourke[4]提供了用于这一目的的源代码（由Lettvin编写）。基于电荷排斥的标准物理公式，将任意数目的点分布在球的表面上。已经发现，具有36×18条射线的子集提供性能与质量之间的良好折衷。所述均匀分布的点的计算仅仅执行一次，结果被存储在查找表中。

为了确定特定视点是否提供所选结构的良好可见度，从所拣选的点投射射线。由于已经针对局部形状估计执行了局部分割，因此该信息被利用来确定射线何时离开感兴趣的组织。当这种情况发生时，考虑转移函数的不透明度信息。沿着所述射线累积所述不透明度，并且一旦超出小的不透明度阈值，就终止针对该特定射线的计算。如果从所拣选的点开始在一个视点的方向上直到它被其他结构遮蔽为止有很大的空间，则为该视点分配高可见度值。这种情况为定位所述剪裁面提供了更高的灵活性。其允许把所述剪裁面定位成与所述观看方向正交并且远离所拣选的点，从而有可能获得所拣选的点的无遮挡视图同时不会不必要地减少有帮助的情境信息。

在图6中描绘了相应的形变观看球55。尖峰56的长度编码一组均匀分布的样本位置集处的视点质量（左）。在所有位置处进行重建之后，生成平滑球57（右）。

Bordoloi和Shen[3]的视点熵的一个重要的标准是视图稳定性，其描述了小的摄影机移位在特定视图内所导致的最大改变。如果小的摄影机改变同样仅仅意味着所述视图内的小改变，则所述视图被定义为是稳定的。转换到可见度观看球，有可能在离散的均匀分布的点处编码从所述可见度值导出的视图稳定性。试探性地假设几个良好视点之间的视点也是相当好的。这样的点提供高视图稳定性，这是因为所述视点的小改变也将导致良好的视点。为了把这一信息编码到所述观看球中，对于没有明确进行可见度测试的所有参数化球位置，利用周围的已测试点执行加权。通过这一加权，获得如图6中所示的平滑形变球57（右）。在下面的算法4中给出针对所述可见度标准生成形变球55的伪代码：

--------------------------------------------------------------------------------------

for 均匀分布的点中的每一个p do

    计算可见度

    把p处的半径设置到该可见度值

end for

for 参数化球的每一点s do

    获得与s一定距离d内的所有p

    for 范围d内的每一p do

        把n设置为p处的表面法线

        把v设置为s处的表面法线

        利用等式1计算r

        把r加到s处的当前半径上

    end for

    归一化s处的半径

end for

--------------------------------------------------------------------------------------

观看球算子

在生成对应于所述各种第二参数的形变观看球之后，对其进行加权及组合以便考虑到所有效果。

观看球的加权

等式1提供了对球的形变程度进行加权的不同选项。基本上a控制所述隆起的高度，mw控制其宽度。为了便于所述组合算子，对应于各个球形变的a的值被选择成使其半径在形变之后从1变为2。对于所有所述第二参数都已发现，所估计的良好视点也会影响特定邻域内的视点的质量。对于每一条视点标准，所述半径可以围绕特定位置处的良好视点改变到2倍。对应于所述视点历史的球生成，包含内建的加权控制。视点的大移位对于小的数据空间区域内的拣选动作有相当大的干扰，但是对于彼此远离的两个拣选点，这是可以接受的。这仅仅意味着用户切换到完全不同的检查区域，于是视点一致性没有那么重要。

为了将这一点纳入考虑，计算作为两个接连拣选点之间的空间距离与所述体积的对角范围的比值的距离因数d。为了影响用于所述视点历史观看球的加权，将等式1修改成：

。

观看球的组合

由于所述形变球是针对所述第二参数单独计算的，因此必须将它们组合成编码总体视点质量的单一球，即组合形变观看球。优选地对于这一组合实施三个算子，即求和、相乘以及阈值处理。这些算子当中的每一个强调特定的视点特性。

图7示出了所述三个算子对于所得到的球的影响。对于该例，可见度观看球61和局部形状估计观看球62被选择为输入球。所述算子的应用和附加算子的开发易于实现，这是因为每一个形变球61、62被参数化为二维阵列。

作为用于所述算子的操作数，采取大于单位球半径的半径偏移量。在每一个位置处，形变球61、62的半径的值处在1到2之间，从而对于0到1之间的值执行运算。所实现的算子的实现方式和特性如下：

－求和（+）：在所述球阵列的所有项上执行一次循环，以便把相应的半径相加。这种直观的方法得到非常好的结果。将在所述组合形变观看球63的这样的位置处检测到良好视点，在所述位置所述输入球61、62中的至少一些指示良好视点。相加对于异常值没有相乘或阈值处理那么敏感。

－相乘（*）：为了更加强调某些特性，实施一种计算所述输入球61、62的乘法运算的算子。该算子强调由几个源球（参照形变观看球62）指示良好视点的位置并且削弱由至少一个源球（参照形变观看球61）指示不良视点的位置的重要性。低的值对于结果的影响变大。即使仅有一个输入球的值低，组合形变观看球64上的相应视点仍将被评价为不良视点。

－阈值处理（T）：对于阈值处理操作，取一个特定球作为初始球。在该球的所有参数化点上的一次循环中，该点处的值只有在相同位置处的其他球的值高于特定阈值的情况下才被考虑。如果情况不是如此，则该特定位置处的半径被设置为1。这一算子滤除了其他球上的相应值指示不良视点的值。通过所述阈值处理，有可能定义淘汰标准。假设所述患者取向观看球（参见图2中的42）是初始的阈值处理球，则可以定义对应于特定优选观看方向的窗口。通过在其他形变观看球上进行阈值处理，将估计出该框架内的良好视点。

第一参数的导出

在描述了所述第二参数、观看球操纵器以及观看球算子之后，下面将解释用于建立所述体积视图的所述第一参数的导出。第一参数是良好视点、视图对准的剪裁面的放置、缩放以及观看方向。

把所述观看球算子应用于各个形变观看球，在所述组合形变观看球上的360×180个位置处产生组合视点质量映射。因此，通过保持所有点的径向距离的所述组合形变观看球映射阵列中的最高项可以容易地确定良好的视点。随后所述体积数据可以根据最佳估计视点在所述设备10（参见图11）的显示器11上显示或者建议小数目的优选视图（例如将显示为缩略图）。

利用通过所述可见度计算获得的信息（参照“可见度观看球”部分），获知拣选点沿着每一条所测试的可见度射线被遮蔽的确切位置。该信息被用于建立视图对准的剪裁面以便剪去遮蔽结构。为了定位所述剪裁面，沿着始自拣选点的射线选择这样的位置，在该位置处累积的不透明度仍然低于小的阈值。这样就允许在保留尽可能多的情境信息的同时获得所拣选对象的无遮挡视图。

所述观看方向由拣选点直接定义，并且该点被显示在体积视图窗口17的中心处（参见图11）。

最后可以从所显示的切片视图12的当前设置导出对应于所述体积视图17的缩放因数。所述切片视图12的缩放给出关于感兴趣的解剖结构的尺寸的粗略估计。在当前的实现方式中，该缩放因数直接决定所述体积视图17的缩放。

应用实例

优选地，在医疗计算机工作站上执行本发明。针对所述LiveSync视点选择的相应计算可以被交互地执行，并且不大受医疗数据集的大小的影响。例如在配置有AMD Athlon 64双核处理器4400+和2GB主存储器的PC上，对于每次拣选，与LiveSync相关的计算花费大约70ms到150ms，这取决于所述局部分割步骤中的已分割体素的数目以及所估计的局部特征形状。因此，每当用户在2D切片中的特定结构上进行拣选时，他或她得到几乎即时的体积视图更新。为了证明交互式同步的视图的有用性，下面将讨论三种不同应用情形的结果。

在第一实例中，为了比较，给出了所估计的良好视点和相当差的视点。图8示出了在2D切片图像（左）中的部分可见的血管上进行的拣选动作的结果。相应的体积视图（中）是基于由根据本发明的方法确定的非常好的视点。显而易见的是，可以非常容易地识别出关于所述血管的路线及其附近空间的信息。

与此相对照，被评价为相当差的视点导致如图8（右）所示的体积视图。所述血管的重要部分被遮蔽，其路线仍然不清晰并且通过该视点几乎无法揭示与其他血管的连通性。

下面两种应用情形表明，所述LiveSync是各种临床检查的通用工具。在其典型的工作流程中，放射科医师在医疗数据中搜索特定结构。虽然存在例如用于检测结肠息肉或肺结节的高度复杂且专业化的方法，但是LiveSync可以帮助快速探测这些病理实例。

仅仅利用2D切片的话，结肠检查是一项非常困难的任务，这是因为非常难以看清结肠褶皱与息肉之间的差别。图9示出了拣选（左）结肠中的可疑结构的LiveSync结果（右）。利用所提供的体积视图可以清楚看出，所拣选的结构不是结肠褶皱而是息肉。

另一项富有挑战性的任务是检测肺结节。在2D切片中，所述肺结节常常看起来非常类似于支气管或血管。在图10中，在所述切片上拣选假设是结节的结构，并且LiveSync自动呈现出相应的体积视图。该视图明显可以帮助将所拣选的结构归类为肺结节。

本发明的多用途

虽然前面借助于医疗数据集示例性地描述了本发明的细节和优点，但是显而易见的是，所阐述的本发明不限于医疗数据集，而是可以通用于任何种类的数据集，例如可以用在非破坏性测试（NDT）、计算机辅助设计（CAD）、计算机游戏、物理学、化学、生物学以及其他科学领域。

参考文献

[1] “Virtual Terrain Project（虚拟地形计划）”，其可以在http://www.vterrain.org/Textures/spherical.html处获得，2007年3月。

[2] V.Blanz、M. J. Tarr和H. H. Bülthoff的“What object attributes determine canonical views（什么对象属性决定规则视图）”（Perception，28:575-599，1999年）。

[3] U. D. Bordoloi和H.-W. Shen的“View selection for volume rendering（针对体绘制的视图选择）”（IEEE Visualization ’05，第487－494页，2005年）。

[4] P. Bourke的“Distributing Points on a Sphere （在球上分布各点）”，其可以在http://local.wasp.uwa.edu.au/~pbourke/geometry/ spherepoints/处获得，2007年3月。

[5] M.-Y. Chan、H. Qu、Y. Wu和H. Zhou的“Viewpoint selection for angiographic volume（针对血管造影体积的视点选择）”（International Symposium on Visual Computing ‘06，第528－537页，2006年）。

[6] S. Fleishman、D. Cohen-Or和D. Lischinski的“Automatic camera placement for image-based modeling（针对基于图像的建模的自动摄影机放置）”（Computer Graphics Forum，19(2):101-110，2000年）。

[7] C. H. Lee、A. Varshney和D. W. Jacobs的“Mesh saliency（网格显著度）”（ACM SIGGRAPH ‘05，第659－666页，2005年）。

[8] K. Mühler、M. Neugebauer、C. Tietjen和B. Preim的“Viewpoint selection for intervention planning（针对干预计划的视点选择）”（Eurographics/IEEE VGTC Symposium on Visualization，第267－274页，2007年）。

[9] S. Owada、F. Nielsen和T. Igarashi的“Volume catcher（体积捕捉器）”（Symposium on Interactive 3D Graphics and Games ‘05，第111－116页，2005年）。

[10] O. Polonsky、G. Patané、S. Biasotti、C. Gotsman和M. Spagnuolo的“What’s in an image: Towards the computation of the “best” view of an object（图像里有什么：针对计算对象的“最佳”视图）”（The Visual Computer，21(8-10):840-847，2005年）。

[11] Y. Sato、C.-F. Westin、A. Bhalerao、S. Nakajima、N. Shiraga、S. Tamura和R. Kikinis的“Tissue classification based on 3D local intensity structures for volume rendering（针对体绘制的基于3D局部强度结构的组织分类）”（IEEE Transactions on Visualization and Computer Graphics，6(2):160-180，2000年）。

[12] M. Sbert、D. Plemenos、M. Feixas和F. González的“Viewpoint quality: Measures and applications（视点质量：度量与应用）”（Computational Aesthetics ’05，第185－192页，2005年）。

[13] S. Takahashi、I. Fujishiro、Y. Takeshima和T. Nishita的“A feature-driven approach to locating optimal viewpoints for volume visualization（定位用于体积显像的最优视点的特征驱动的方法）”（IEEE Visualization ‘05，第495－502页，2005年）。

[14] M. Tory和C. Swindells的“Comparing ExoVis, orientation icon, and inplace 3D visualization techniques（比较ExoVis、指向图标以及原地3D显像技术）”（Graphics Interface ‘03，第57－64页，2003年）。

[15] J. M. van Verth和L. M. Bishop的“Essential Mathematics for Games and Interactive Applications（针对游戏和交互式应用的关键数学原理）”（Morgan Kaufmann Publishers，San Francisco，California，2004年）。

[16] P.-P Vázquez、M. Feixas、M. Sbert和W. Heidrich的“Viewpoint selection using viewpoint entropy（利用视点熵进行视点选择）”（VMV ‘01，第273－280页，2001年）。

[17] P.-P Vázquez、M. Feixas、M. Sbert和W. Heidrich的“Automatic view selection using viewpoint entropy and its application to image-based modelling（利用视点熵的自动视图选择及其在基于图像的建模方面的应用）”（Computer Graphics Forum，22(4):689-700，2003年）。

[18] I. Viola、M. Feixas、M. Sbert和M. E. Gr?ller的“Importance-driven focus of attention（重要性驱动的注意力焦点）”（IEEE Transactions on Visualization and Computer Graphics，12(5):933-940，2006年）。

[19] E. Williams的Aviation Formulary V1.43，其可以在http://williams.best.vwh.net/avform.html处获得，2007年3月。

[20] J. Zhou、M. Hinz和K. D. T?nnies的“Focal region-guided feature-based volume rendering（焦点区域引导的基于特征的体绘制）”（1st International Symposium on 3D Data Processing, Visualization and Transmission ‘02，第87－90页，2002年）。