相关申请的交叉引用
本申请要求于2018年7月9日提交的美国临时专利申请No.62/695,580的优先权，其内容通过引用并入本文。
技术领域
本公开涉及在三维虚拟或增强现实系统内可视化对象并施加标记的系统和方法。
背景技术
在医学领域，诸如计算机断层扫描(CT：computed tomography)、磁共振成像(MRI：magnetic resonance imaging)、正电子发射断层扫描(PET：PET)以及其它三维(3D)医学成像模式这样的成像技术被用于对患者的解剖结构进行可视化。可以对从这些医学成像过程获得的医学成像数据进行分析，以标识关注器官或其它结构，并且可以由医疗专业人员进行审查，以确定患者的诊断或适当治疗方法。例如，放射肿瘤学家和其他放疗临床医生可以分析医学成像数据，以计划放疗治疗的过程并评估针对放疗目标的所计算出的剂量。
传统上，通过一个或更多个成像过程获得的3D患者的医学成像数据是在屏幕上以数字二维(2D)切片(slice)或横截面的形式呈现给医疗专业人员的。为了处理成像数据，医疗专业人员选择沿着主平面的扫描数据切片，然后使用鼠标器和光标或者触摸屏在该切片上进行绘制。例如，切片可以示出三维结构的横截面图，包括三维结构内的关注任何器官或其它结构的横截面。医疗专业人员可以对图像进行标记以突出显示具有医学重要性的特征，绕器官或其它结构中的一个或更多个绘制外形(轮廓)，或者以其它方式注释横截面图像。通常会对多个切片重复该处理。可以将所述多个切片上的器官或结构的外形进行组合以形成3D轮廓或模型。
当使用2D切片以在三维中注释3D图像体积和/或轮廓时，可能会出现各种挑战。例如，通常是在没有或者具有有限的3D结构取向和位置的背景和/或知识的情况下，孤立地对各个2D图像切片进行分析和绘制的。因此，医疗专业人员可能难以标识切片上的器官边界，从而导致不准确的注释或轮廓。另外，通常仅沿着具有固定取向的三个解剖平面(即，矢状面(sagittal)、冠状面(coronal)以及横断面(transverse plane))来提供图像切片。此外，某些结构(诸如臂丛神经)在这三个常规平面中的任何平面上都是不容易可视化的，因此，如果仅以采用三个常规平面的切片来提供这些结构，那么医疗专业人员可能无法准确地对这些结构进行标识和/或轮廓化。
三维成像数据通常是在触摸屏计算机系统上进行分析的，其中，用户可以单独选择该3D图像中的、要进行注释或者进行轮廓化/绘制的2D切片。触摸屏的物理尺寸可能会在正被绘制或注释的图像与用于进行绘制/注释的装置之间产生障碍，从而降低了注释或轮廓的精度。此外，用户的手和触笔可能会遮挡图像的视线，从而因出于视敏度来对图像进行定期的重新定位而增加了轮廓化处理的时间。最后，在不了解结构的3D形状的情况下，用户可能需要频繁地在切片之间进行切换，例如，在不同切片上绘制或者提供3D背景，这对于进行注释/绘制以及在审查轮廓时都既麻烦又耗时。
先前已经提出了几种系统来使用3D图像的虚拟现实可视化来解决上述缺点。这些系统允许用户查看虚拟空间中的成像数据的3D模型并与之交互。例如，为了基于在虚拟空间中表示的3D图像来创建器官或结构的3D模型，用户通过在虚拟图像内空中操纵控制器来绘制轮廓。这些控制器使用起来可能不舒适，这是因为在虚拟空间中进行绘制对于大多数用户并且特别是对于医疗专业人员而言是一项不常见且不熟悉的任务。另外，轮廓可能不够精确，这是因为没有物理参照系，也没有直接的物理锚点或反馈来向用户指示他们在3D虚拟空间中的什么地方进行绘制。因此，这些系统可能很麻烦、难以使用，并由此在绘制精度方面容易出现错误以及用户间和用户内的较大变化性。
本公开的目的是致力于解决上述缺点中的至少一个缺点。
发明内容
在一个方面，提供了一种向三维虚拟图像或虚拟对象施加标记的系统，该系统包括：物理触笔；表面；以及虚拟或增强现实显示器；其中，通过虚拟或增强现实显示器来显示虚拟空间，该虚拟空间包括：三维目标对象；包括跟踪平面的至少一个平面，该跟踪平面对应于所述表面；以及虚拟现实虚拟空间中的虚拟触笔，或者增强现实虚拟空间中的物理触笔；其中：虚拟触笔或物理触笔相对于跟踪平面的位置与物理触笔相对于所述表面的实际位置相关(correlating)；以及目标对象的横截面显示在跟踪平面上，其中，跟踪平面与目标对象相交(intersect)。
在另一方面，提供了一种向三维虚拟图像或虚拟对象施加标记的方法，所述方法包括以下步骤：使用虚拟或增强现实显示器来显示虚拟空间；在虚拟空间中设置：三维目标对象，包括跟踪平面的至少一个平面，该跟踪平面对应于所述表面，以及虚拟现实虚拟空间中的虚拟触笔，或者增强现实虚拟空间中的物理触笔；虚拟触笔或物理触笔相对于跟踪平面的位置与物理触笔相对于表面的实际位置相关；以及目标对象的横截面显示在跟踪平面上，其中，跟踪平面与目标对象相交。
在又一方面，提供了一种包括用于执行所述方法的计算机可执行指令的计算机可读介质。
附图说明
下面，参照附图，对实施方式进行描述，其中：
图1是虚拟现实或增强现实辅助(virtual reality or augmented reality-aided)绘制系统的图示示意图；
图2是在虚拟现实或增强现实显示器上显示的虚拟空间的立体图；
图3是3D对象的局部立体图；
图4(a)到图4(d)是与图3中的3D对象相交的跟踪平面的立体图；
图5(a)到图5(c)是与3D对象相交的跟踪平面和虚拟平面的立体图；
图6是虚拟空间中的菜单的立体图；
图7(a)到图7(d)是例示在跟踪平面上对3D对象进行注释的虚拟触笔的示意图；
图8是用户相对于经重新定位的跟踪平面绘制的3D轮廓的立体图；
图9(a)到图9(c)是在显示在跟踪平面上的3D对象的2D横截面上施加一个或更多个标记的虚拟触笔的局部立体图；
图10(a)和图10(b)是使局部淡出以帮助跟踪平面的可视化的3D轮廓的立体图；
图11(a)和图11(b)是有符号距离场(SDF：signed distance field)的例示图；
图12例示了3D体素在2D SDF上的投影；以及
图13例示了在使用SDF进行轮廓化时所执行的示例操作。
具体实施方式
要在虚拟3D空间中使对象可视化并向该对象施加一个或更多个标记，可以利用虚拟或增强现实系统，其中，可以在虚拟空间中操纵对象，并且可以通过沿着物理表面移动物理触笔(物理表面和物理触笔均在虚拟空间中进行了表示)，来在该对象的选定横截面上进行这样的标记(例如，线、迹线、外形(outline)、注释(annotation)、轮廓(contour)或其它绘制或施加的标记)。
现在转至附图，图1例示了由用户12使用的虚拟现实或增强现实辅助标记系统10，包括：包括表面16、触笔20以及虚拟现实或增强现实显示器14。在该示例中，系统10还包括控制器28，然而，在其它示例中，可能不需要控制器28。触笔20设置有第一跟踪器22。系统10在该示例中使用第二跟踪器18来跟踪表面16的位置，或者在另一示例通过经由位置校准过程(positional calibration procedure)使该第二跟踪器的位置与第一跟踪器22相联系来跟踪表面的位置。在一个示例中，控制器28设置有第三跟踪器30。系统10可以被配置成确定显示器14和跟踪器18、22、30的位置。在该示例中，跟踪器18、22、30是光电二极管电路(诸如与激光扫描基站(未示出)进行通信的Vive
表面16可以是已知形状和尺寸的刚性或大致刚性的表面。在该示例中，表面16是矩形的，然而，表面16可以具有任何其它形状，诸如圆形、三角形或梯形等。表面16被例示为明显(appreciably)平面，然而，应意识到，表面16可以是非平面的，诸如弯曲表面或具有凸起特征的表面。在该示例中，表面16具有固定尺寸，然而，在其它示例中，表面16可以具有可调节尺寸，诸如放置于桌子上的具有伸缩边缘的框架。在一个示例中，表面16可以是常规2D监视器，该2D监视器对应于显示目标对象的2D横截面的跟踪平面的位置，并且系统10被配置成在表面16上方的显示器14上示出目标对象的立体图。可以将第二跟踪器18定位在表面16上的已知位置上，诸如表面16的角部。系统10被配置成，根据第二跟踪器18的位置和取向、表面16的已知形状和尺寸以及第二跟踪器18相对于表面16的位置，来确定表面16的位置和取向。可以注意到，可以设置多于一个的表面16，并且可以使用附加的对应跟踪器(未示出)来跟踪与任何这样的附加表面的交互。在一个实施方式中，系统10被配置成，通过由用户12使用触笔20提供的虚拟跟踪坐标来确定表面16的位置和取向，以指示虚拟平面在诸如桌面或电子屏幕这样的现有物理表面16上的边界。如下更详细描述的，可以在虚拟空间(也可以称为虚拟“环境”)中表示物理环境中的任一个或更多个表面16，并且用于当在物理环境中操作触笔20的同时提供用户12所感觉到的物理界面并且同样以虚拟空间进行表示。
触笔20可以是用户12拿着的采用笔或其它标记、绘制、书写、蚀刻或交互工具的方式的已知尺寸的刚性仪器，并且用于施加标记，诸如通过绘制轮廓或对目标对象进行注释以及与虚拟空间中的菜单进行交互，如下更详细地描述的。触笔20设置有一个或更多个输入传感器。在该示例中，尖端传感器(tip sensor)24位于触笔20的尖端上，并且触笔按钮26位于触笔20的侧面上。尖端传感器24被配置成检测触笔20的尖端何时与表面16相接触。尖端传感器24可以是电容式传感器，或者是当将触笔20抵压着表面16时压下的按钮。如果表面16是半反射的，则尖端传感器24也可以是光电传感器反射器。在一些示例中，尖端传感器24能够检测由触笔20施加的力。触笔按钮26被配置成接收来自用户12的输入。触笔按钮26可以是确定二元状态的物理按钮或电容式传感器，或者触笔按钮26可以是诸如触控板或指点杆(pointing stick)这样的多方向输入传感器。触笔20还可包括触觉马达(未示出)，以向用户12提供触觉反馈。
第一跟踪器22被定位在触笔20上的已知位置上，诸如与尖端传感器24相反的一端上。系统10被配置成，使用触笔20的已知尺寸以及第一跟踪器22相对于触笔20的位置，根据第一跟踪器22的位置和取向，来确定触笔20的位置和取向。可以意识到，图1中所描绘的触笔跟踪器22l例示了一种特定形状因素，并且其它形状因素和跟踪器类型也是可以的。
控制器28被配置成接收来自用户12的输入，在该示例中，利用一个或更多个控制器按钮32来接收输入。将第三跟踪器30定位在控制器28上的已知位置上。系统10被配置成，根据第三跟踪器30的位置和取向以及第三跟踪器30相对于控制器28的位置，来确定控制器28的位置和取向。图1中所描绘的控制器28仅例示了一个特定手持装置，并且可以利用各种其它形状因素和控制器类型。
在系统10的示例性使用中，表面16被放置成，使得该表面由桌子、支座或其它支承结构(为便于例示而未示出)来进行支承。在系统10的另一示例中，表面16包括桌子或其它刚性表面。用户12可以利用惯用手来操纵触笔20，并且可选地利用另一只手来操纵控制器28，以操纵虚拟空间中的图像、数据、工具以及菜单。
虚拟现实或增强现实显示器14被配置成向用户12显示虚拟图像或虚拟对象。在该示例中，显示器14是诸如HTC Vive TM这样的虚拟现实耳机，并且所显示的图像被用户12以三维方式进行感知。虽然本文所描述的示例中的一些示例是在虚拟现实的背景下提供的，但是可以意识到，本文所讨论的系统10和原理也可以适用于增强现实显示器，诸如将3D虚拟元素投影在现实世界的视野上的透明眼镜。类似地，系统10可以使用3D监视器来向表面16提供快门眼镜(shutter glasse)以生成3D可视化。通常，显示器14是指能够与3D虚拟元素进行交互的任何虚拟或增强现实头戴式耳机或头饰。
图2例示了在虚拟现实或增强现实显示器14上显示的虚拟空间100的示例。虚拟空间100包括目标对象102、第一主或“跟踪”平面104、菜单106、虚拟触笔120以及虚拟控制器128。跟踪平面104是指在虚拟空间中表示的、与物理空间中的物理表面16耦合或以其它方式关联的平面。如上所示，系统10可以包括多个物理表面16，并且在这样的情况下，在虚拟空间中同样将包括多个跟踪平面104。
虚拟触笔120和虚拟控制器128分别是触笔20和控制器28在虚拟现实中的可视表示。可以意识到，在增强现实示例中，触笔20在增强现实空间中没有对应的虚拟触笔120，该增强现实空间包括虚拟空间100和物理环境的视图。如上所述，虚拟触笔120和虚拟控制器128在虚拟空间100中的位置与系统10所确定的触笔20和控制器28的物理位置相互联系。特别地，在物理环境中，相对于跟踪平面104的虚拟触笔120与相对于表面16的触笔20相互联系。这样，用户12通过分别物理地移动或操纵触笔20和控制器28，来移动或操纵虚拟触笔120和虚拟控制器128。类似地，跟踪平面104是表面16的虚拟表示。跟踪平面104具有与表面16的实际尺寸相对应的形状和尺寸。在该示例中，跟踪平面104是长宽比与物理表面16相同的矩形。在另一示例中，表面16的一部分可以与跟踪平面104关联，例如，表面16的边界被框架围绕着，或者具有在虚拟空间100中未表示的手柄。应意识到，如果表面16是弯曲的或具有凸起的特征，那么跟踪平面104还会具有尺寸与表面16相同的曲率和/或凸起特征。在物理环境中，通过使触笔20朝着表面16移动，而可以使虚拟触笔120朝着跟踪平面104移动，并且在触笔20的尖端接触表面16时，虚拟触笔120的尖端接触虚拟空间100中的跟踪平面104。
虚拟空间100中的其它对象(诸如目标对象102和菜单106)是可以使用虚拟触笔120或虚拟控制器128来进行操纵的。例如，用户12可以移动控制器28，使得虚拟控制器128位于目标对象102的上方，并且按压控制器按钮32中的一个或更多个按钮来选择目标对象102。在一个示例中，可以通过使虚拟触笔120处于菜单106的所定义的附近(区域)内来操作菜单106，而无需用户12按压控制器按钮32中的一个或更多个按钮。在另一示例(未示出)中，当使用虚拟触笔120选择菜单选项时，可以使菜单106或该菜单的一部分与跟踪平面104对齐以提供有触觉的反馈。在另一示例中，当用户12按压控制器按钮32中的一个或更多个按钮时，可以从虚拟空间中的视图中显示或隐藏菜单106。系统10可以例如通过改变目标对象102的颜色，或者在虚拟控制器128接近目标对象102时向控制器28提供触觉反馈，来向用户12提供反馈，以指示目标对象102可用于选择。随着按压控制器按钮32，可以将目标对象102的移动与虚拟控制器128的移动关联，使得控制器28的移动或旋转会导致虚拟控制器128和目标对象102的对应移动或旋转。应意识到，可以将虚拟触笔120类似地用于操纵虚拟空间中的对象。
目标对象102包括关于3D对象(例如，医学图像)的信息，该信息是用户12想要使用系统10施加标记(例如，绘制轮廓或进行注释)的信息。图3例示了目标对象102的一个示例。在该示例中，将系统10用于分析患者的医学成像数据，然而，应理解的是，可以将系统10用于分析和/或将标记施加至任何其它3D对象，诸如解剖模型或地图集、治疗装置或计划的模型、3D体积数据、3D打印设计(例如，用于医疗相关模型的3D打印)、3D生理数据、动物医学成像数据或关联模型、教育模型或视频游戏角色。下面提供了各种非医学应用的进一步细节。
图3所示的目标对象102包括3D对象130，在该示例中，该3D对象具有患者的模型或医学成像数据，诸如从CT扫描、MRI扫描、PET扫描和/或其它3D医学成像方式获得的模型或医学成像数据。在该示例中，系统10正分析的3D对象130是从人类患者的CT扫描获取的医学成像数据，然而，如上提到的，应意识到，3D对象可以包括从任何其它生物(包括诸如狗、猫或鸟等的动物)获取的医学成像数据或模型。3D对象130可以通过执行体积渲染以在虚拟空间100中生成3D对象130的虚拟3D立体图来进行可视化。例如，可以对来自人类患者的MRI扫描数据进行体积渲染，以创建患者内部器官的3D视图。如上所述，用户12可以通过旋转或操纵目标对象102而从不同角度观察3D对象130。
目标对象102可以存储其它数据，包括绕器官或其它关注结构的放疗轮廓(radiotherapy contour)132(即，特定类型的标记)(如图4(a)所示)，例如线框轮廓、2D或3D模型、3D颜色填充体积、3D网格或其它标记，诸如注释、线测量、关注点、或文本。放疗轮廓132可以是预先描画的，即，是自动地或由不同用户生成的，或者由用户12绘制。目标对象102被配置成存储由用户12添加的任何信息，诸如绕器官或其它结构绘制或修改的轮廓(如下更详细地描述的)、轮廓化的器官或结构的放疗剂量、或者关于目标对象102的其它信息、3D或其它方面。用户12可以通过使用菜单106中的选项，来修改目标对象102的外观，例如，改变亮度或隐藏轮廓132，如下更详细地描述的。
图4(a)到图4(d)示出了与跟踪平面104相交的目标对象102。在图4(a)中，从视图中隐藏了3D对象130的体积渲染模型。在目标对象102中示出了由用户12绘制的轮廓132，使得特定身体结构的外形仍然可见。轮廓132或经体积渲染的3D对象130可以提供空间背景(spatial context)，这样在移动或旋转目标对象102时，用户12知道3D对象130的位置和取向。
系统10被配置成，在从3D对象130得到的跟踪平面104上显示目标对象102的横截面110。可以以3D纹理(即，目标对象102中的体素的集合)来存储基础3D对象(underlying3D objec)130。在体积渲染中，系统10可以使用图形卡通过3D纹理跟踪光线，以便为物理显示器14上的各个像素指派颜色和亮度。沿着每条光线，将以规则的间隔对所关联的3D纹理进行采样，并且进行颜色和不透明度的累积，从而产生最终的颜色以显示在各个像素上。执行颜色和不透明度的累积的方式导致3D体积以不同方式显示，图3的类似x射线的视图是一个示例。对于平面104，可以将相同3D纹理与操作图形卡的系统10一起使用，以在横截面110上显示特定像素。在与3D纹理中的场所(locale)相对应的位置中示出了该像素。这样，渲染了在3D纹理中的该位置中存储的颜色。在该示例中，横截面110示出了3D对象130在以下平面上的2D横截面：该平面是目标对象102与跟踪平面104相交的平面。横截面110还可以显示其它信息(诸如用户12预先描画或绘制的轮廓132)或者其它3D图像对象(诸如来自单独图像采集的融合成像数据、3D生理数据或辐射剂量)。
如图4(b)所示，可以通过选择菜单106(未示出)中的选项来隐藏轮廓132(未示出)，如下更详细讨论的。可以隐藏轮廓132，以向用户12提供横截面110的更清晰的视图。用户还可以例如通过在增加触笔20与控制器28之间的相对距离时同时按压触笔按钮26和控制器按钮32，或者例如通过在菜单106中选择缩放选项，来放大或增大包含3D对象130的目标对象102以及随后的关联横截面110的大小。
图4(c)示出了用户12(未物理地示出)如上所述使用虚拟控制器128来虚拟地操纵目标对象102。用户12可以操纵目标对象102以改变与跟踪平面104的相交平面，并且显示目标对象102的不同横截面110。这样，系统10可以沿着贯穿3D对象130的任何平面生成横截面110，并且用户12不限于在三个常规解剖平面上的横截面。在医学成像中，该功能可使用户12能够在最具解剖学描述性(most anatomically descriptiv)的横截面上观察给定解剖结构。例如，在人类对象的医学成像中仅使用三个常规解剖平面(轴向取向、矢状取向以及冠状取向)，用户12会很难标识并可视化臂丛神经(从脊柱发出的一束神经)，但是使用系统10将无困难地完成这种标识和可视化。
可以对跟踪平面104的角度和位置进行锚定，使得用户12可以将目标对象102移动通过跟踪平面104来显示具有固定取向的横截面110。在另一示例中，用户12可以通过使用虚拟触笔120或菜单106在空间中注册两个虚拟坐标来锚定目标对象102与跟踪平面104的相交角，根据选择，3D对象130或跟踪平面104可以绕该相交角进行旋转。类似地，在另一示例中，用户12可以使用虚拟触笔120或菜单106在虚拟空间100中注册单个虚拟坐标，从而选择单个点来锚定目标对象102的旋转，使得跟踪平面104或3D对象130可以绕该枢轴点进行旋转。
在另一实现中，可以仅使用虚拟控制器128和虚拟触笔120来操纵目标对象102。例如，用户12可以使用虚拟触笔120来绘制或注释横截面110上的轴线，并且通过将虚拟控制器128移动到目标对象102中、按压控制器按钮32、以及将虚拟控制器绕该线作圆周运动，使目标对象102绕由该线定义的轴线旋转。在另一示例中，用户12可以通过以下方式将目标对象102锚定在关注点上：将虚拟触笔尖端122放置在横截面110上的用户12的关注点上、将虚拟控制器128移动到目标对象102中、以及在按压并按住控制器按钮32的同时使虚拟控制器128绕该关注点移动。通过例如以如上所述的方式，使用虚拟触笔120或虚拟控制器128在菜单106中选择希望的旋转或平移选项，来改变位置(向左、向右、向上或向下移动)或者仅绕预定旋转轴线旋转。
在另一实现中，用户12可以在菜单106中存储目标对象102和跟踪平面104的一个或更多个取向，使得用户12可以使用菜单106在这些取向之间轻松切换。类似地，用户12可以在目标对象102内存储一个或更多个旋转关注点或轴线，以供在菜单106中进行选择。
虚拟空间100还可以包括一个或更多个对象操纵工具，在该示例中，是一个或更多个旋转环109，如图4(c)所示。用户12可以例如通过将虚拟控制器128移动到旋转环109上、按压控制器按钮32以及使虚拟控制器128绕旋转环109的周边(periphery)作圆周运动(circular motion)，来使用所述一个或更多个旋转环109使目标对象102绕旋转轴线旋转。在该示例中，存在三(3)个旋转环109，各个旋转环对应于矢状轴线，轴向轴线和冠状轴线中的一个轴线。该功能也可以通过菜单上的滑块或者其它虚拟控制器128或者虚拟触笔120运动(未示出)来实现。系统10还可以被配置成，当用户12按压控制器按钮32中的一个或更多个按钮时操纵目标对象102。例如，控制器按钮32中的一个或更多个按钮可以被配置成，使目标对象102在跟踪平面104的平面或者垂直于该跟踪平面的平面中进行递增移动。
在一个示例中，用户12可以对目标对象102和3D对象130进行缩放(scale)(增加或减小尺寸)。在一个实现中，用户可以在菜单106中选择缩放的选项，并且将虚拟控制器128放置在目标对象中，然后在按压控制器按钮32的同时，移动虚拟控制器以相应地放大或缩小。在另一实现中，如上所述，缩放可以是利用虚拟触笔尖端122将目标对象锚定在横截面110上的一点上来进行的。
如图4(d)所示，用户12还可以操纵跟踪平面104来改变目标对象102与跟踪平面104之间的相交平面，并由此显示不同横截面110。在该示例中，用户12以与目标对象102类似的方式操纵跟踪平面104。用户可以将虚拟控制器128移动到跟踪平面104上方、按压控制器按钮32中的一个或更多个按钮来选择跟踪平面104、以及在按住所述一个或更多个控制器按钮32的同时移动虚拟控制器128。在其它示例中，如上所述，使跟踪平面104的位置与系统10使用第二跟踪器18确定的表面16的物理位置相联系。用户12可以以该用户12可以操纵控制器28来移动虚拟控制器128的相同方式，操纵表面16来移动跟踪平面104。如果跟踪平面104和表面16的位置被用户解除耦合，则用户可以通过按压控制器按钮32或菜单按钮106来选择重新定向(realign)跟踪平面104和目标对象102，以使跟踪平面104与表面16对齐。
系统10还可在虚拟空间100内包括一个或更多个虚拟平面108以改变目标对象102的显示。在图5(a)和图5(b)所例示的示例中，虚拟平面108用于隐藏轮廓132。如图5(a)所示，用户12可以以与目标对象102类似的方式来移动虚拟平面108。用户可以将虚拟控制器128移动到虚拟平面108上方、按压控制器按钮32中的一个或更多个按钮来选择虚拟平面108、以及在按住所述一个或更多个控制器按钮32的同时移动虚拟控制器128。
图5(b)例示了相对于跟踪平面104成一定角度与目标对象102相交的虚拟平面108。在该示例中，仅在跟踪平面104与虚拟平面108之间的体积中示出了轮廓132。从视图中隐藏了在跟踪平面104与虚拟平面108之间的体积之外的轮廓132。通常，跟踪平面104和虚拟平面108也可以被视为并称为：第一平面和第二平面、主平面和辅平面、或者耦合平面和非耦合平面，其中所述第一、主以及耦合的命名是指与物理环境中的表面16关联的平面，而所述第二、辅以及非耦合的命名是指在虚拟空间100内设置和利用的平面。
图5(c)例示了正用于显示目标对象102的第二横截面112的虚拟平面108。在该示例中，虚拟平面108相对于跟踪平面104呈一定角度，因此，辅横截面112与横截面110成一定角度。第二横截面112可以使得用户12能够对3D对象130的、在主平面104的当前横截面110上看不到的信息部分进行可视化。例如，在医学成像中，可以将横截面112用于提供解剖结构的第二视图，该解剖结构也显示在平面104上的横截面110中。应意识到，虚拟平面108可以用于以任何其它方式来改变目标对象102的显示，例如，显示表示同一对象的另一3D对象130的横截面(例如，跟踪平面104上的CT扫描横截面和虚拟平面108上的MRI横截面)。可以在菜单106中选择虚拟平面108的功能，或者可以在虚拟空间100中设置多个虚拟平面108，其中各个虚拟平面108皆具有由用户12指派的不同功能。
在一个示例中，可以将两个不同功能与同一虚拟平面108关联(未清楚地示出)。例如，当使虚拟平面108移动通过目标对象102时，单个平面可以在显示3D对象130的横截面112或模型时同时地隐藏结构。另选地，虚拟平面108的一侧(A侧)可以具有与虚拟平面108的第二侧(B侧)不同的功能。在该示例中，A侧可以具有隐藏结构的功能，而B侧可以具有显示3D对象130的模型的功能，使得平面的取向确定了平面将要起作用的功能。换句话说，如果A侧面向右，B侧面向左，那么当使虚拟平面108向右移动通过目标对象102时，左侧(B侧的另一侧)的模型将被照亮，同时右侧(B侧的另一侧)的结构将被隐藏。在该示例中，如果将虚拟平面108翻转成使得A侧现在面向左，B侧现在面向左，那么，结构将会以不同地显露/隐藏，即，随着平面108向右移动，右侧的肿瘤将被照亮，同时左侧的结构将被隐藏。
在另一示例中，通过选择将虚拟平面108的尺寸与物理表面16的尺寸关联的功能，可以将虚拟平面108指派成充任跟踪平面104。在该示例中，跟踪平面104将转换成虚拟平面108，与目标对象102耦合的所选择的虚拟平面108将会自动地在虚拟空间100中共同地重新定向，以使虚拟平面108与物理表面16对齐，从而保持在处理中显示的横截面112。
图6例示了菜单106，该菜单106包括在虚拟空间100中显示的一个或更多个面板。用户12可以通过以下方式与菜单106进行交互：将虚拟触笔120或虚拟控制器128移动到菜单106上方，并且通过分别按压触笔按钮26或控制器按钮32而在虚拟触笔120或虚拟控制器128下切换或选择选项。菜单106可以包括用户界面要素，诸如一个或更多个复选框、一个或更多个按钮、和/或一个或更多个滑块。在该示例中，菜单106包括：具有多个复选框140的第一面板141、具有多个按钮142的第二面板143、以及具有多个滑块144的第三面板145。复选框140切换触笔淡出和数位板淡出效果，如下更详细描述的，按钮142在显示和隐藏绕各种器官或其它结构的轮廓132之间切换，滑块144改变横截面110的对比度和亮度。应意识到，菜单106可以采取不同形式并且向用户12显示不同选项。通过按压一个或更多个控制器按钮32和/或手势，还可以使用虚拟控制器128来从视图中显示、移动或隐藏菜单106。
用户12可以通过重排(rearranging)或重定位(relocating)面板141、143、145来定制菜单106的布局。用户12可以通过以下方式来重定位第一面板141：将虚拟控制器128或虚拟触笔120移动到第一重定位选项146上方、按压控制器按钮32或触笔按钮26、并且物理地移动控制器28或触笔20以移动第一面板141。用户12可以通过使用第二重定位选项147类似地重定位第二面板143，以及通过使用第三重定位选项148来重定位第三面板145。这样，用户12可以自定义面板141、143、145的布局，使得复选框140、按钮142以及滑块144可容易使用。
可以将虚拟触笔120用于将标记施加至目标对象102。图7(a)到图7(d)例示了系统10正用于标记或以其它方式绘制绕关注结构136的外形。在一个示例中，结构136可以是器官、肿瘤、骨骼或任何其它内部解剖结构。尽管在图7(a)到图7(d)中未示出，但是当标记绕关注结构136的外形时，存储在目标对象102中的数据可以是可见的。例如，3D对象130和/或轮廓132可以是可见的，以提供诸如其它器官的位置这样的3D背景，或者提供去除横截面110的关于当前正被检查或进行轮廓化的区域的歧义(ambiguit)的解剖信息。可以在3D背景下有利地对与其它相关组织结构的位置接近度和取向进行可视化。
图7(a)示出了在第一横截面110a处与目标对象102相交的跟踪平面104。如上所述，通过将触笔20物理地朝着表面16移动，可以使虚拟触笔120朝着跟踪平面104移动。在检测到触笔20与表面16之间的接触时，系统10被配置成，使得能够使用虚拟触笔120来施加标记。系统10可以使用来自第一跟踪器22、第二追踪器18以及触笔尖端传感器24的输入，来检测触笔20与表面16之间的接触。例如，如果触笔尖端传感器24是按钮，则当来自第一跟踪器22和第二跟踪器18的输入指示触笔20极接近于表面16并且按压按钮24时，系统10可以检测到接触。在其它示例中，当按压触笔按钮26时，可以启用绘制，当触笔20未与表面16接触时，允许用户12开始施加标记。
当由系统10启用通过进行注释或绘制来施加标记时，例如，当用户12从表面16上移除触笔20时，将虚拟触笔120在跟踪平面104上的路径标记有所绘制的轮廓132，直到绘制停止或以其它方式被禁用为止。一旦标记中断，就可以将所绘制的轮廓132保存至目标对象102。也可以使用填充区域(未示出)的圆形画笔而不是定义外形的线，来描画诸如线、轮廓和注释的标记(例如，测量、附注等)。
另外，参照图11(a)、图11(b)、图12以及图13，提供了有关施加标记和进行标记/轮廓化的工具的更多细节。放疗轮廓化(或类似地，描画用于3D打印的器官)的目的是取得体积图像集，并在该图像集内定义表示/包含给定器官或其它解剖特征的体积。本文所描述的图中示出的线框平面轮廓显示了一种特定可视化方式，也称为这些体积的描述性模式。线框平面轮廓(wireframe planar contours)是这些文件类型的典型存储格式，并且是放疗中的典型描画方法。然而，轮廓化所关注的不一定是线框，而是表示器官或解剖特征的基础体积。
下面提供了在保持传统系统的用户所熟悉的直观且流畅的输入机制的同时，有关可以如何使用目前所描述的VR轮廓化来改变如何定义被标识出的关注解剖体积的进一步的技术细节。有符号距离场(SDF：Signed Distance Field)是3D体积或2D面积的1隐式表示。在SDF中，定义了2D像素网格或3D体素网格，并且对于各个点，存储了距所描述的对象的表面的最小距离，如图11(a)和图11(b)所示。
SDF被认为是有用的，这是因为它们使得能够在数学上对对象(2D面积和3D体积)进行简单的操纵。例如，构造实体几何(CSG：constructive solid geometry)(例如，当有人在CAD软件中确实“将对象A的体积添加至对象B”时)就是利用SDF完成的。放疗治疗计划系统使用SDF来对未在每一个切片上定义的轮廓进行插值：i)将当前所描画的轮廓转换成SDF，ii)通过从相邻切片中插值SDF而在没有轮廓的切片上定义新的SDF，然后iii)通过将经插值的SDF转换成轮廓而在空切片上创建新轮廓。通过例如经由进行绘制或进行注释来施加标记，可以将系统10用于创建轮廓和对象描画。然而，所使用的基础数据结构可以是SDF。
使用SDF可使系统10能够在主平面104上使用圆形填充画笔工具(circular fillpaintbrush tool)来创建轮廓。在这样的实现中，存在附接至虚拟触笔尖端122的球形虚拟对象。当该虚拟球与跟踪平面104相交时，该虚拟球在平面104上定义了圆形区域。当处于绘制模式时，用户看到被绘制或擦除的“填充区域”轮廓。事实上，不是绘制粗线或细线，而是可以定义表示所有圆形相交绘制位置的并集(或者用于擦除的减法(subtraction forerasing))的2D SDF。从用户界面的角度来看，圆形区域的大小可以通过按住触笔按钮26并向前或向后移动触笔20来进行调整。这也可以通过压力感测式触笔尖端传感器24来实现，或者在另一实现中，通过按压控制器28上的控制器按钮32，同时通过启用压力感测式触笔尖端传感器24对圆形区域的大小进行调整来实现。可以注意到，本文所示出的画线机制对于生成2D SDF仍然是有用的选项，这是因为2D SDF可以利用简单而快速的算法从闭环线轮廓中得出。
也可以以类似的方式将虚拟触笔尖端122的末端(或附接至控制器128)的球体用于定义3D SDF，该3D SDF现在定义了3D体积(而不是球体与平面的圆形相交的2D面积)。该3D体积可以利用体积渲染来进行可视化，或者在跟踪平面104上可视化为颜色填充或轮廓外形区域。
因此，可以将系统10用于通过以下两种方式直观地操纵3D SDF来简化定义包含给定解剖结构的体积的处理：(1)使用3D工具直接改变3D SDF，或者(2)使用2D工具定义描述最终3D SDF的一部分的2D SDF子集。将这些2D SDF子集(单独的轮廓(individualcontours))进行组合以创建最终所得的3D SDF体积。
可以将系统10编程成，从单独的描述平面中取得多个非平行2D SDF，并将这些非平行2D SDF插值成定义所希望的3D结构的3D SDF，如图12所示。上面所讨论的工作流程在该实施方式中也可以是相同的。用户12旋转并定位目标对象102、在该横截面上进行轮廓化(看起来是绘制线或者对填充区域进行涂色，但实际上是在后台定义SDF)、再次进行重定位和轮廓化等。然后，作为这些2D SDF的结果创建了3D体积。例如，将3D SDF网格中的各个体素投影到2D SDF上，并且使用多种复杂插值算法中的一种算法从2D SDF中的值确定该体素中的值。
图13例示了创建和使用3D SDF的工作流程的示例。如图13所示，目标对象102被定向成显示主平面104上的可视描述(visually descriptive)的非平行横截面110，并且在横截面110上对关注区域(ROI：region of interest)进行轮廓化，如前所述。构造实体几何逻辑用于添加和减去所标记的区域。然后执行2D SDF到3D SDF的3D重建，并且利用所谓的2.5维(2.5D)可视化和体积渲染进行评估。换句话说，如上所述，2D平面可视化使用虚拟平面来占据物理3D空间。然后，用户12确定是否需要调整，如果需要调整，则利用3D涂色工具编辑3D SDF，或者添加另一些2D SDF以改善3D重建，并且重复该处理。如果不需要调整并且3D体积适当准确，则可以以希望格式从系统10导出该体积：例如，可以使用公知的算法(诸如“行进立方体(marching cube)”)从3D SDF生成3D网格，或者可以通过使用例如行进平方算法(marching squares algorithm)在各个原始图像集轴向平面位置上创建2D轮廓来导出放疗轮廓。
返回至图7(a)，如果触笔尖端传感器24能够检测力，则触笔20在表面16上施加的较大的力例如可以产生较大的圆形画笔半径。如上提及，虚拟触笔120和跟踪平面104的相对运动对应于触笔20和表面16的相对运动。因此，由虚拟触笔尖端122的尖端在跟踪平面104上对触笔尖端传感器24沿着表面16的路径进行了再现。这样，用户12通过在表面16上利用触笔20跟踪特定形状，而在跟踪平面104上绘制相同形状的轮廓132。在图7(a)中，通过在第一横截面110a中绕结构136的外形进行绘制来创建轮廓132。
如图7(b)所示，例如通过按压被配置成垂直于跟踪平面104递增地移动目标对象102的控制器按钮32，来移动目标对象102和/或跟踪平面104。可以将目标对象102移动成，使得跟踪平面104在第二横截面110b处与目标对象102相交。可以在第二横截面110b中绕结构136的外形来绘制轮廓132的附加组件。
当操纵目标对象102时，所绘制的轮廓132可以仍保持可见。在图7(c)所示的示例中，目标对象102被旋转成，使得跟踪平面104在与第一横截面110a和第二横截面110b不同的平面和取向上，在第三横截面110c处与目标对象102相交。在第一横截面110a和第二横截面110b中绕结构136的外形所绘制的轮廓132从跟踪平面104部分地延伸。当用户12在第三横截面110c中绕结构136的外形绘制附加轮廓132时，先前所绘制的轮廓132可以为结构136的边界提供一些三维背景，如图7(d)所示。类似地，如上所述，通过对各种2D轮廓132进行插值而得出的整个3D结构的部分透明版本，在对轮廓进行移动、旋转或重新定向时可以仍保持可见，从而为取向的改变提供背景。
当用户12继续操纵目标对象102时，所绘制的轮廓132可以仍保持可见，如图8所示。这样，所绘制的轮廓132可以提供对结构136的位置和取向的指示。可以在菜单106中选择所绘制的轮廓132的颜色，例如使用不同颜色来区分绕不同器官的轮廓132。类似地，可以以与轮廓不同的颜色来示出基于所绘制的轮廓的插值化3D体积，以彼此进行区分。
如图9(a)所示，虚拟触笔120可以包括虚拟尖端延伸部123。在该示例中，将虚拟尖端延伸部123例示为如下类激光光束(laser-like beam)，该类激光光束延伸超过虚拟触笔120的尖端有限距离，并且延伸到虚拟触笔120中有限距离。可以将虚拟尖端延伸部123用于确定和指示在主平面104上将施加轮廓132的精确位置，并且减轻了在对触笔20和表面16的跟踪中的任何不准确度。
系统10可以被配置成，在虚拟尖端延伸部123与主平面104之间的相交点处施加轮廓132。如图9(b)所示，即使触笔尖端传感器24与表面16相接触，轻微的跟踪错误也可以导致虚拟触笔120处于跟踪平面104上方。在该示例中，跟踪平面104处于虚拟尖端延伸部122的长度内。这样，在与虚拟尖端延伸部123的相交点处，而不是在不同平面上的虚拟触笔120的尖端处，将轮廓132施加在跟踪平面104上。
类似地，如图9(c)所示，即使触笔尖端传感器24与表面16相接触，轻微的跟踪错误也可能导致虚拟触笔120处于跟踪平面104下方。在该示例中，虚拟尖端延伸部123的延伸到虚拟触笔120中的部分与跟踪平面104相交。这样，在与虚拟尖端延伸部123的相交点处，而不是在不同平面上的虚拟触笔120的尖端处，将轮廓132施加在跟踪平面104上。
另外，可以将虚拟尖端延伸部123用作进一步的输入，以使得能够进行施加标记的操作，例如，用于进行绘制、注释、轮廓化，轨迹描记、外形勾画等。系统10可以被配置成，仅当跟踪平面104处于虚拟尖端延伸部123的长度内时才使得能够利用虚拟触笔120施加标记，从而如果触笔尖端传感器24错误地检测到接触，则当触笔20远离表面16时，不会启用标记的施加。
如图10(a)和图10(b)所示，系统10可以被配置成，动态隐藏或淡化目标对象102的某些部分(诸如轮廓132)，以创建透明度渐变(transparency gradient)。图10(a)例示了表面淡出效果，其中，隐藏了目标对象102的距跟踪平面104一段距离的部分，使得仅目标对象102的处于跟踪平面104的特定附近内的区域才可见。如上所述，可以使用菜单106中的选项来调节表面淡出效果。也可以在菜单106中选择表面淡出的量值，或者距跟踪平面104的、目标对象102开始淡出的距离。
图10(b)例示了触笔淡出效果，其中，隐藏了目标对象102的靠近虚拟触笔120的部分。触笔淡出效果可以提高所绘制的轮廓132的准确度，这是因为用户12对横截面110的视觉没有被诸如轮廓132这样的特征所遮挡。如上所述，可以在菜单106中切换触笔淡出效果。也可以在菜单106中选择触笔淡出的量值，或者绕虚拟触笔120的目标对象102的被隐藏的量。
在另一示例中，淡出效果可以由类似虚拟手电筒的对象(未示出)来提供，该类似虚拟手电筒的对象会产生诸如上述淡出效果这样的效果锥(cone of effect)。在一个示例中，该效果锥可以显露底层融合的扫描数据(诸如PET或MRI)和/或隐藏其它数据(诸如轮廓132、线框或体积、或者经体积渲染的图像数据集)。在一个示例中，用户12可以重新定位虚拟手电筒工具(未示出)并将其悬挂在虚拟空间中，以从希望的角度照亮目标对象102。
系统10及其操作原理可以适用于各种应用，既包括医学应用也包括非医学应用。
例如，可以在针对人类对象、虚拟角色或动物的任何这类应用中使用系统10。即，可以在除了打算用于放射肿瘤学轮廓化的虚拟空间100之外的其它虚拟空间中使用系统10。例如，手术计划、游戏、绘制/编辑、设计、交流/对话等。
在一个示例中，系统10可以适于使用与所渲染的体积相对应的跟踪平面104的帮助，来提供学习如何绘制3D图形的绘制应用和/或作为以3D进行绘制的手段/方法。这对于设计游戏或任何3D对象(诸如家具设计或3D打印文件)的人很有用。可以注意到，在“学习绘制”场景中，经渲染的3D体积将作为被研究的对象，并且用户12(例如学生)可以沿着不同选定轴线或平面来跟踪图像以到达最终的3D结构。
在另一示例中，系统10可以适于为从事于3D建筑设计图或结构的工程师或建筑师提供应用，或者类似地为3D打印提供应用。例如，用户12(例如，建筑师或工程师)可以将他们的设计图的3D蓝图作为虚拟空间100中的虚拟图像，并且均可以通过将跟踪平面104移动至希望位置以写入以及以哪个角度进行草图修正来实现他们想要在任何地方进行的任何改变。在该应用中，用户12还可以捕捉(snap)视图以自动旋转和重新定向图像文件，以使选定平面现在正在镜像物理表面16，并且他们可以轻松地在该平面上进行绘制以便操纵该设计图。对于3D打印结构设计，可以类似地完成此操作。
在又一示例中，可以提供用于室内设计和/或景观设计的工具，其中，用户12可以通过以下方式在任何希望的地方写入附注来注释墙壁/家具或灌木/树木：将与写入表面相对应的跟踪平面104插入虚拟空间100中，或者剪切(而不是绘制，使其作为选择工具以切出部分内容)要素并使该要素绕虚拟空间100移动。
除了上述示例，另一应用包括将上述系统10改编用于联网(实时)和异步(录制的)两者的教学目的或其它协作目的，另外还利用音频功能，包括用于录制的麦克风和用于音频回放的扬声器。例如，用户12绘制的可以是正在进行的演讲/例示，以向一个或更多个学生/在场者示出解剖体的部分或者针对放疗如何进行瞄准或不瞄准。这可以以异步(预先录制)或联网(实时)方式来进行。可以将所有用户12(例如，老师和观看学生)放置在虚拟空间100中，而不管演讲/课程是预先录制的还是实时的。如果课程是异步的，则观众可以暂停课程，并且移近、操纵、移动3D对象或者在虚拟空间100中以其它方式绕着3D对象进行检查。在取消暂停时，课程可以恢复成之前的设定，并且观看用户继续观看演讲。在一个实施方式中，系统10可以被配置成，使得如果观看用户12在系统“暂停”时在3D对象130上进行绘制或注释，那么在用户12继续观看演讲时，可以仍保持该绘制，以使用户可以了解该绘制如何与演讲的其余部分配合。在另一实施方式中，用户12可以在演讲上做附注，这些附注贯穿演讲出现和消失，并且可以保存这些注释。在又一实施方式中，可以进行教学，以使学生用户12可以练习绘制，并且如果该用户转向或错了，则系统10可以通知用户12。这可以实时进行，并且在用户12犯错时，系统10会生成警告，并且可以作为教程来进行，其中，系统10指导用户12并且在用户12进行练习时提供提示，或者可以作为测试来进行，其中，用户12尝试绘制轮廓，并且在完成时，收到分数或其它表现评估。
为简单和清楚例示起见，在被认为是合适的情况下，标号可以在附图当中重复，以指示对应或类似的要素。另外，阐述了许多具体细节，以便提供对本文所描述的示例的详尽理解。然而，本领域普通技术人员应当理解，可以在不需要这些具体细节的情况下实践本文所描述的示例。在其它情况下，没有对公知的方法、过程以及组件进行详细描述，以使不搞混本文所描述的示例。而且，该描述不被视为限制本文所描述的示例的范围。
应意识到，本文所使用的示例和对应的附图仅出于例示性的目的。在不脱离本文所表达的原理的情况下，可以使用不同配置和术语。例如，在不脱离这些原理的情况下，可以利用不同连接来添加、删除、修改或者排列组件和模块。
还应意识到，本文所例证的执行指令的任何模块或组件可以包括或者以其它方式使用计算机可读介质，诸如存储介质、计算机存储介质或者数据存储装置(可去除的和/或不可去除的)，举例来说，如磁盘、光盘或磁带。计算机存储介质可以包括按任何方法或技术实现的、用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的易失性介质和非易失性介质、可去除介质和不可去除介质。计算机存储介质的示例包括：RAM、ROM、EEPROM、闪速存储器或其它存储器技术、CD ROM、数字通用盘(DVD)或其它光学存储部、磁带盒、磁带、磁盘存储部或其它磁存储装置，或者可以用于存储所需信息和可以通过应用、模块或两者存取的任何其它介质。任何这种计算机存储介质都可以是测试工具12的一部分、计算环境10的任何组件或与该计算环境有关的任何组件等，或者可接入或可连接至其。本文所描述的任何应用或模块可以利用可以通过这种计算机可读介质存储或者以其它方式保持的计算机可读/可执行指令来实现。
尽管上面的原理已经参照某些特定示例进行了描述，但是如在所附权利要求中概述的，这些特定示例的各种修改对于本领域技术人员是显而易见的。
机译： 虚拟或增强现实辅助3D可视化和标记系统
机译： 虚拟或增强现实辅助3D可视化和标记系统
机译： 虚拟或增强现实辅助3D可视化和标记系统
