通过使用3D模型产生身体器官的医疗图像的方法和设备

摘要

一种通过使用3D模型产生身体器官的图像的方法和设备。一种产生器官的图像的方法包括：基于病人的至少一个器官的医疗图像产生所述至少一个器官的三维(3D)模型；通过将示出由病人的身体活动引起的所述至少一个器官的形状的改变的多个图像和所述至少一个器官的3D模型匹配来产生多个匹配图像；基于病人的当前身体状况选择所述多个匹配图像中的一个匹配图像；输出选择的匹配图像。

说明书

本申请要求在2011年3月29日提交的第61/468,754号美国临时申请和 在2011年8月29日在韩国知识产权局提交的第10-2011-0086694号韩国专利 申请的利益，所述申请的公开全部包含于此以资参考。

技术领域

本公开涉及一种通过使用三维(3D)模型产生身体器官的医疗图像的方 法和设备。

背景技术

在诊断和治疗疾病的传统方法中，在执行了剖腹手术后用肉眼确认疾病 的状态，然后使用大型外科器械对病变执行切割或者外科手术。然而，最近， 因为由于医疗技术的进步可获得高分辨率的医疗图像并且还可精细地控制医 疗器械，所以已经研发了不用对病人的身体进行切割来治疗疾病的方法。

在该方法中，在对病人的皮肤中扎小孔之后直接将导管或者医疗针插入 血管或者身体部位，然后通过使用医疗成像设备观察病人身体内部的同时执 行疾病的治疗。这种方法被称作“使用图像的外科手术”、“基于介入式图像的 外科手术”或者“基于中间图像的外科手术”。

在该方法中，外科医生通过图像确定内部器官或病变的位置。而且，外 科医生需要知道在外科手术期间由于病人的呼吸或运动而引起的任何改变。 因此，外科医生需要基于实时图像准确而快速地确定病人的呼吸或运动以执 行外科手术，但是用肉眼不容易确定内部器官或病变的形状。因此，为了解 决这个问题，已经研发出允许外科医生实时确定内部器官的形状和位置的方 法和设备。

发明内容

根据一方面，一种产生器官的图像的方法包括：基于病人的至少一个器 官的医疗图像产生所述至少一个器官的三维(3D)模型；通过将示出由病人 的身体活动引起的所述至少一个器官的形状的改变的多个图像和所述至少一 个器官的3D模型匹配来产生多个匹配图像；基于病人的当前身体状况选择 所述多个匹配图像中的一个匹配图像；并输出选择的匹配图像。

产生3D模型的步骤可包括：基于所述至少一个器官的医疗图像产生示 出病人的所述至少一个器官的形状的3D模型。

选择的步骤可包括：基于示出病人的当前身体状况的实时医疗图像选择 多个匹配图像中的一个匹配图像；所述多个图像和实时医疗图像可以是超声 波图像。

产生所述多个匹配图像的步骤可包括：基于所述至少一个器官的形状的 改变修改3D模型；使3D模型的坐标轴与所述多个图像的坐标轴一致。

产生所述多个匹配图像的步骤还可包括：通过以预定亮度重叠所述多个 图像的像素或体元值来产生所述多个匹配图像。

选择的步骤可包括：选择所述多个匹配图像中的一个匹配图像，所述一 个匹配图像与所述多个图像中与病人的实时医疗图像最相似的一个图像相 应，所述实时医疗图像示出病人的当前身体状况。

选择的步骤可包括：计算所述多个图像的每个图像中的横膈膜的位置和 实时医疗图像中的横膈膜的位置之间的差，并选择多个匹配图像中的一个匹 配图像，所述一个匹配图像与所述多个图像中的一个图像相应，其中，所述 一个图像是在所述多个匹配图像中的所有匹配图像中计算的差最小的图像。

产生3D模型的步骤可包括：从医疗图像中提取所述至少一个器官的边 界和内部构造的位置坐标信息；在位置坐标信息中指定界标点的坐标；基于 界标点的坐标产生所述至少一个器官的平均器官3D模型。

产生3D模型的步骤还可包括：将统计学的外表3D模型改变为反映病人 的所述至少一个器官的形状特征的3D模型。

产生3D模型的步骤还可包括：将病人的所述至少一个器官的形状特征 反映到所述至少一个器官的医疗图像中。

所述形状特征可包括所述至少一个器官的病变的形状和位置。

提取位置坐标信息的步骤可包括：将医疗图像中亮度值改变最大的位置 确定为所述至少一个器官的边界和内部构造的位置坐标信息。

提取位置坐标信息的步骤可包括：将医疗图像中离散时间傅里叶变换 (DTFT)的频率值最大的位置确定为所述至少一个器官的边界和内部构造的 位置坐标信息。

提取位置坐标信息的步骤可包括：基于用户输入的坐标确定所述至少一 个器官的边界和内部构造的位置坐标信息。

所述多个图像可以是在病人的呼吸周期期间以预定间隔捕捉的图像。

所述至少一个器官的医疗图像可以是通过使用计算断层扫描(CT)方法捕 捉的图像。

所述至少一个器官的医疗图像可以是通过使用磁共振(MR)方法捕捉的 图像。

产生3D模型的步骤可包括：在开始治疗病人的准备之前，预先产生3D 模型；在开始治疗病人的准备之前，在数据库中存储预先产生的3D模型； 作为治疗病人的准备的一部分，检索在数据库中存储的预先产生的3D模型。

根据一方面，一种非暂时性计算机可读存储介质可存储用于控制处理器 执行如上所述的产生器官的图像的方法的程序。

根据一方面，一种产生器官的图像的设备，所述设备包括：器官模型产 生单元，被配置为基于病人的至少一个器官的医疗图像产生所述至少一个器 官的3D模型；图像匹配单元，被配置为通过将示出由病人的身体活动引起 的所述至少一个器官的形状的改变的多个图像和所述至少一个器官的3D模 型匹配来产生多个匹配图像；图像搜索单元，被配置为基于病人的当前身体 状况选择所述多个匹配图像中的一个匹配图像，并输出选择的匹配的图像。

所述设备可包括：附加调整单元，被配置为根据用户的输入进一步调整 所述多个匹配图像。

根据一方面，一种产生器官的图像的方法包括：基于器官的多个医疗图 像产生器官的平均三维(3D)模型；基于器官的平均3D模型和特定病人的 器官的至少一个医疗图像来产生所述病人的器官的个人3D模型；通过将所 述病人的器官的多个图像和器官的个人3D模型匹配产生多个匹配图像，在 所述病人的器官的多个图像中，病人的器官的形状由于病人的身体活动而改 变；基于反映病人的当前身体状况的病人的器官的实时医疗图像选择匹配图 像中的一个图像；输出选择的匹配图像。

所述选择的步骤可包括选择匹配图像中的一个匹配图像，所述一个匹配 图像与病人的器官的多个图像中的一个图像相应，在所述一个图像中，病人 的器官的位置和/或形状与病人的器官的实时医疗图像中的病人的器官的位 置和/或形状最相似。

所述器官的多个医疗图像和病人的器官的医疗图像可以是计算断层扫描 (CT)图像或磁共振(MR)图像；所述病人的器官的多个图像和病人的器官的实 时医疗图像可以是超声波图像。

病人的身体活动可以是呼吸；并且可以在病人的一个完整的呼吸周期期 间以预定间隔捕捉病人的器官的多个图像。

通过使用所述方法和设备，可通过将实时医疗图像和器官的图形模型结 合然后输出结合的图像以在外科手术期间准确快速地追踪器官的位置。

在下面的说明书中将部分地阐述另外方面，部分地，从说明书中将是清 楚的，或者可通过实施描述的示例来了解所述另外方面。

附图说明

从下面结合附图对示例的描述，上述和/或其他方面将会更清楚并更容易 被理解，其中：

图1是示出根据本发明的示例的用于产生身体器官的图像的系统的配置 的示图；

图2是示出图1的图像匹配装置的结构的框图；

图3是解释从外部医疗图像提取器官的边界和内部构造的位置坐标信息 的处理的示图；

图4是示出图2的图像匹配单元使被修改以反映器官的改变的个人3D 身体器官模型与多个超声波图像中的每个超声波图像中的器官的位置一致的 处理的流程图；

图5示出了在二维(2D)图像中应用仿射变换函数的处理；

图6示出了通过图2的图像匹配单元执行的匹配图像的处理；

图7是示出横膈膜的绝对位置的上下移动的曲线图；

图8是示出基于三维(3D)身体器官模型追踪动态的器官和病变的方法 的流程图。

具体实施方式

现在将参照附图更全面地描述本发明的示例。在下面的描述中，将不对 已知功能或结构进行详细描述以避免在不必要的细节上模糊本发明。

图1是示出根据本发明的示例的产生身体器官的图像的系统的配置的示 图。参照图1，所述系统包括图像检测装置10、图像匹配装置20和图像显示 装置30。图像检测装置10通过使用通过将图像检测装置10的探头11产生 的源信号发送到病人身体的目标部位而产生的响应，来产生图像数据。源信 号可以是比如超声波信号、X射线等的信号。下面将描述这样的示例：图像 检测装置10是通过使用超声波来捕捉病人身体的三维(3D)图像的超声波 检查机器。

在超声波检查机器中，探头11通常是压电传感器的形式。如果2MHz 至8MHz范围中的超声波信号从图像检测装置10的探头11发送到病人身体 内部的部位，则将从各种不同组织之间的层部分地反射超声波信号。具体地 讲，将从身体内部密度改变的部位(例如，血浆的血细胞、小构造的器官等) 反射超声波。反射的超声波振动探头11的压电传感器，压电传感器输出由于 振动引起的电脉冲。通过图像检测装置10将电脉冲转换为图像。

图像检测装置10可输出二维(2D)图像，也可输出3D图像。图像检测 装置10输出3D图像的方法如下所示。在改变病人身体上的探头11的位置和 方位的同时，图像检测装置10捕捉病人身体的部位的多个横截面图像。图像 检测装置10累积所述多个截面图像，并从横截面图像产生三维地表示病人身 体的部位的3D立体图像数据。以这种方式，通过累积横截面图像产生3D立 体图像数据的方法被称作多平面重建(MPR)方法。

然而，尽管可实时获得通过图像检测装置10获得的图像(例如，超声波 图像)，但是通过超声波图像难于清楚地识别器官或病变的边界和内部构造。

在计算断层扫描(computed tomography，CT)图像或磁共振(MR)图像 中，可清楚地识别器官或病变的位置。然而，当病人在外科手术期间呼吸或 移动时，器官或病变的形状会变形或者器官或病变的位置会改变，通过使用 CT图像或MR图像不能获得反映该实时改变的图像。也就是说，因为CT图 像通过使用辐射而获得，并且由于对病人或外科医生有长时间的辐射接触的 危险因此需要短时间拍摄，因此，不能实时输出CT图像。因为需要花费较 长时间来捕捉MR图像，因此，不能实时输出MR图像。

因此，有必要提供一种可实时捕捉图像并可清楚地识别器官或病变的边 界和内部构造的方法和设备。因此，下面将解释的示例提供了如下所述的方 法，其中，可通过输出实时检测的图像与器官或病变的模型匹配的图像，来 正确地识别器官或病变的位置或变形。

图2是示出图1的图像匹配装置20的结构的框图。参照图2，图像匹配 装置20包括医疗图像数据库(DB)201、平均模型产生单元202、个人模型 产生单元203、图像匹配单元204、图像搜索单元205、附加调整单元206和 存储器207。可将下面详细描述的各种单元202、203、204、205和206实施 为硬件组件、软件组件或作为硬件和软件的组合的组件。

平均模型产生单元202通过接收病人的各种医疗图像然后对它们进行处 理来产生器官的平均模型。在这个示例中，通过使用个人模型(即病人的个 性化模型)来追踪病人的器官。作为产生个人模型的准备步骤，通过平均模 型产生单元202产生平均模型。这是因为，由于对于每个个体的人，器官的 特点(比如形状和大小)不同，因此需要反映每个个体的特点以提供精确的 外科手术环境。每个个体的各种图像信息可被用于获得精确的平均模型。另 外，可获得呼吸的各种时刻的图像以反映根据呼吸改变的器官的形态。

更详细地讲，平均模型产生单元202从拍摄设备或者从图像存储介质直 接接收医疗专家为病人的诊断已经捕捉的图像(下面，称作“外部医疗图像”)。 因此，期望接收外部医疗图像，所述外部医疗图像能够容易地对器官或病变 的边界或者器官内部的特点进行分析。例如，CT图像或MR图像可作为外部 医疗图像输入。

在医疗图像DB 201中存储外部医疗图像，平均模型产生单元202接收 存储在医疗图像DB 201中的外部医疗图像。医疗图像DB 201可存储可通过 拍摄设备捕捉或可从图像存储介质输入的各种个体的医疗图像。当从医疗图 像DB 201接收外部医疗图像时，平均模型产生单元202可根据用户的选择从 医疗图像DB 201接收一些外部医疗图像或所有外部医疗图像。

平均模型产生单元202将3D主动形状模型(active shape model，ASM) 算法应用于接收的外部医疗图像。为了应用3D ASM算法，平均模型产生单 元202通过分析接收的外部医疗图像从接收的外部医疗图像提取器官的形 状、大小和解剖特征，并对它们取平均以产生器官的平均模型。T.F.Cootes、 A.Hill、C.J.Taylor和J.Haslam在1994年7月“Image and Vision Computing” 的第6期第12卷的第355至366页的论文“The Use of Active Shape Models For  Locating Structures in Medical Images”中详细描述了3D ASM算法，该论文全 部包含于此以资参考。可通过应用3D ASM算法获得器官的平均形状，并且 可通过修改变量来对器官的平均形状进行变形。

图3是解释从外部医疗图像(例如CT图像或MR图像)提取器官的边 界和内部构造的位置坐标信息的处理的示图。例如，肝脏的内部构造可包括 肝动脉、肝静脉、肝管和它们之间的边界。当外部医疗图像被输入到平均模 型产生单元202时，平均模型产生单元202执行下述操作：通过根据外部医 疗图像是2D图像还是3D图像使用不同方法来提取器官的边界和内部构造的 位置坐标信息。

如果2D图像作为外部医疗图像输入，则平均模型产生单元202通过累 积多个横截面图像获得三维地表示目标部位的3D立体图像，以产生3D模型。 在图3的左侧示出获得3D立体图像的方法。更详细地讲，在累积多个横截 面图像之前，从多个横截面图像的每个横截面图像提取器官的边界和内部构 造的位置坐标信息。然后，可通过将累积多个横截面图像的方向的轴的坐标 信息添加到提取的信息来获得3D坐标信息。例如，由于在图3的右侧示出 的图像是其Z轴值为1的图像，因此从该图像提取的边界的位置坐标的Z值 总是1。也就是说，在图3的右侧示出的图像的3D坐标信息是[x，y，1]。因此， 因为在图3的左侧示出的横截面图像的坐标信息是2D坐标信息[x，y]，所以提 取Z轴的坐标值和2D坐标信息[x，y]以获得在图3的左侧示出的图像的位置 坐标信息。然后，图像的位置坐标信息将是3D坐标信息[x，y，z]。

如果3D图像作为外部医疗图像输入，则以预定间隔提取3D图像的横截 面以获得横截面图像，然后执行与2D图像作为外部医疗图像输入的情况相 同的处理，从而获得3D位置坐标信息。

在该处理中，可使用算法来自动地或半自动地获得2D图像中的器官的 边界的位置坐标信息，并且还可由用户参照输出图像信息手动输入2D图像 中的器官的边界的位置坐标信息。例如，在自动获得器官的边界的位置坐标 信息的方法中，可获得图像的亮度突然改变的部位的位置坐标信息，还可通 过使用离散时间傅里叶变换(DTFT)提取频率值最大的位置作为边界位置。

在半自动地获得器官的边界的位置坐标信息的方法中，如果用户输入关 于图像的边界点的信息，则可基于边界点提取边界的坐标位置，这与自动获 得位置坐标信息的方法类似。由于器官的边界是连续的并且具有闭环的曲线 形状，所以可通过使用该特性来获得关于器官的整个边界的信息。由于半自 动地获得位置坐标信息的方法不需要搜索整个图像，因此，与自动获得位置 坐标信息的方法相比，可快速地获得结果。

在手动获得器官的边界的位置坐标信息的方法中，用户可在观看图像时 直接指定边界的坐标。此时，由于指定边界的坐标的间隔可能不是连续的， 因此，可针对不连续的部分执行插值来连续地提取边界。如果在将与位置坐 标相应的体元(voxel)的亮度值设置为预定值之后，输出通过使用上述方法 获得的器官或病变的位置坐标信息，则用户可确定三维地和图形地表示的器 官或病变的形状。例如，如果目标器官的边界坐标的亮度值被设置为最小值， 即最黑的值，则目标器官的图像在输出图像中将具有黑的形态。如果目标器 官的亮度值被设置为白色和黑色之间的中间值，并且病变的亮度值被设置为 黑色，则可用肉眼容易地区分病变和目标器官。可将通过使用上述方法获得 的多个器官的边界和内部构造的位置坐标信息定义为数据集合，并可将所述 位置坐标信息用于执行3DASM算法。下面将解释3DASM算法。

为了应用3D ASM算法，使多个器官的边界和内部构造的位置坐标的坐 标轴相互一致。使坐标轴相互一致表示使多个器官的重心与一个原点和所述 多个器官的排列方向一致。因此，在多个器官的边界和内部构造的位置坐标 信息中确定界标点(landmark point)。所述界标点是应用3D ASM算法所使用 的基本点。通过使用下面的方法来确定界标点。

第一，将明显反应目标的特征的点确定为界标点。例如，所述点可包括 肝脏的血管的分支点、心脏的右心房和左心房之间的边界，主静脉和心脏外 壁(outer wall)之间的边界等。

第二，将预定坐标系中的目标的最高点或最低点确定为界标点。

第三，沿着边界以预定间隔将用于在第一确定的点和第二确定的点之间 插值的点确定为界标点。

可通过使用二维中的X轴和Y轴的坐标来表示确定的界标点，并且可使 用三维中的X轴、Y轴和Z轴的坐标来表示确定的界标点。因此，如果每个 界标点的坐标被表示为三维中的向量x₀，x₁，…x_n-1(其中，n是界标点的 个数)，则向量x₀，x₁，…x_n-1可由下面的等式1来表示。

x_i0＝[x_i0，y_i0，z_i0]

x_i1＝[x_i1，y_i1，z_i1]

·

·

·

x_in-1＝[x_in-1，y_in-1，z_in-1]                            (1)

下标i表示在第i图像中获得的器官的边界和内部构造的位置坐标信息。 在一些情况下，可增加位置坐标信息的数量，因此，位置坐标信息可以被表 示为单个向量以方便计算。然后，用单个向量表示所有界标点的界标点向量 可以由下面的等式2定义：

x_i＝[x_i0，y_i0，z_i0，x_i1，y_i1，z_i1，…，x_in-1，y_in-1，z_in-1]^T(2)

向量x_i的大小是3n×1。如果数据集合中图像的数量是N，则用于数据 集合中所有图像的界标点的平均值可被表示为下面的等式3：

$\bar{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{x}_i---\left(3\right)$

向量的大小是3n×1。平均模型产生单元202使用等式3来获得界标点 的平均值并基于界标点的平均值产生模型，所述模型成为平均器官模 型。3D ASM算法可不仅产生平均器官模型，而且还可通过调整多个参数而 仅改变平均器官模型的形态。因此，平均模型产生单元202不仅计算平均器 官模型，而且还使用等式，从而可应用多个参数。下面将解释应用多个参数 的等式。

下面的等式4可表示界标点x_i和界标点的平均值之间的差。在等式4 中，下标i表示第i图像。因此，等式4表示每个图像i的界标点x_i和数据集 合中所有图像的界标点的平均值之间的差。

${\mathrm{dx}}_i=x_i-\bar{x}---\left(4\right)$

通过使用该差，可如下面的等式5所示来定义三个变量x、y和z的协方 差矩阵。获得协方差矩阵的原因在于获得多个参数的单位特征向量以应用3D ASM算法。

$S=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{\mathrm{dx}}_i{\mathrm{dx}}_i^T---\left(5\right)$

协方差矩阵S的大小是3n×3n。如果协方差矩阵S的单位特征向量是p_k(k＝1，2，......3n)，则单位特征向量p_k表示通过使用3D ASM算法产生的 模型的改变。例如，如果与单位特征向量p₁相乘的参数b₁在(将在下面定义λ₁)的范围内改变，则可改变模型的宽度。如果与单位特征 向量p₂相乘的参数b₂在(将在下面定义λ₂)的范围内改变， 则可改变模型的高度。可从下面的等式6来获得具有大小3n×1的单位特征向 量p_k。

Sp_k＝λ_kp_k    (6)

在等式6中，λ_k是S的第k特征值，其中，λ_k≥λ_k+1。

最后，可如下面的等式7所示，通过使用界标点的平均向量来计算应 用模型的改变的界标点向量x。

$x=\bar{x}+\mathrm{Pb}---\left(7\right)$

p＝(p₁，p₂，…p_t)表示t个单位特征向量(这里，p_k的大小是3n×1，P的 大小是3n×t)，b＝(b₁，b₂，…b_t)^T是用于t个单位特征向量的每个单位特征向量 的权重的向量(这里，b的大小为t×1)。

平均模型产生单元202通过使用所述等式来计算表示平均器官模型的形 态的(其大小为3n×1)和用于通过使用3D ASM算法应用模型的改变的向 量p＝(p₁，p₂，…p_t)(其大小为3n×t)。

个人模型产生单元203从平均模型产生单元202接收平均器官模型和 向量p＝(p₁，p₂，…p_t)，然后通过3D ASM算法的参数处理产生个人模型。由 于病人的器官的形状和大小根据个体病人不同，因此如果按原样使用平均器 官模型则会降低准确度。例如，与其他病人的器官相比，病人的器官可具有 更长、更宽、更厚或更薄的形态。另外，如果病人的器官包括病变，则个人 模型产生单元203可将病变的位置包括在器官的模型中以准确地捕捉病变的 形状和位置。因此，个人模型产生单元203从外部图像拍摄设备或者存储器 207接收个体病人的外部医疗图像，分析个体病人的器官的形状、大小和位 置，如果存在病变，则个人模型产生单元203分析病变的形状、大小和位置。 以下将针对器官解释个人模型产生单元203的操作，但是可针对病变使用相 同的过程。

个人模型产生单元203基于可清楚地捕捉器官的形状、大小和位置的医 疗图像(诸如CT图像或MR图像)确定个体病人的3D ASM算法的单位特 征向量的权重(向量b)。因此，首先，个人模型产生单元203接收个体病人 的外部医疗图像并获得器官的边界和内部构造的位置坐标信息。为了获得器 官的边界和内部构造的位置坐标信息，个人模型产生单元203使用通过平均 模型产生单元202执行的图3的处理，即，分析外部医疗图像的处理。此外， 通过与应用3D ASM算法时使用的方法相同的方法确定界标点的坐标信息， 可获得作为个体病人的个人界标点集合的向量x(其大小是3n×1)。基于向 量x产生的器官模型可以是个人模型。如果在等式7中使用单位特征向量和 逆函数的特征可获得下面的等式8。通过等式8来确定 b＝(b₁，b₂，…b_t)^T的值。

$b=P^T(x-\bar{x})---\left(8\right)$

通过平均模型产生单元202确定的向量和p可作为目标器官的平均模 型的数据库被存储在存储器207中，并且，如果必要，向量和p可被重复 地使用。另外，当在另一病人的医疗检查和治疗期间确定存储在数据库中的 平均模型时，可附加地使用输入到个人模型产生单元203的个体病人的外部 医疗图像。

当图像匹配单元204从个人模型产生单元203接收向量x，p，b时，图 像匹配单元204将该向量与在预定时间段内接收的病人的医疗图像进行匹 配。该匹配操作表示使用3D ASM算法获得的模型与超声波医疗图像中的器 官的位置重叠以将输出图像输出。更详细地讲，匹配操作表示可用预定亮度 替换或重叠与通过使用3D ASM算法获得的模型的坐标信息相应的像素或体 元值。如果执行替换操作，则从原始超声波医疗图像中去除器官部位并且仅 输出个人模型。如果执行重叠操作，则可输出原始超声波医疗图像与个人模 型重叠的图像。可通过区分重叠的图像的颜色和另一图像的颜色而用肉眼容 易地识别重叠的图像。例如，可通过使用蓝色来重叠个人模型和黑白超声波 图像而用肉眼容易地识别图形外形。

医疗图像可以是实时捕捉的图像，例如，可以是超声波图像。医疗图像 可以是2D图像或3D图像。所述预定时间段可以是一个呼吸周期。这是因为 在身体的呼吸周期期间也产生器官的改变。例如，如果病人的一个呼吸周期 是5秒，则当以每秒20帧产生超声波图像时，可在一个呼吸周期期间产生具 有100帧的超声波图像。

在图像匹配单元204中执行的匹配处理可被划分成两个操作。这两个操 作包括：修改3D身体器官模型以反映在预定时间段期间输入的超声波图像 中将由呼吸引起的器官的改变的操作；通过执行旋转、平行移位和大小控制 将修改的3D身体器官模型与超声波图像中的目标器官对齐的操作。

将由呼吸引起的器官的改变反映到3D身体器官模型的操作如下所述。 在将超声波图像与医疗图像匹配之前，通过获得超声波图像的每帧的器官的 位置和改变来控制作为3D ASM算法的每个单位特征向量的权重的向量b的 值。此时确定的向量b的值与在平均模型产生单元202中确定的向量b的值 并不具有大的差别。这是因为只是由呼吸引起的改变被反映在图像匹配单元 204中，并且与其他个体的改变相比，由呼吸引起的改变较小。因此，当确 定向量b的值时，基于在平均模型产生单元202中确定的向量b的值，在预 定有限范围内执行修改。另外，可在确定下一帧的向量b的过程中反映先前 帧的向量b。这是因为，由于在呼吸期间器官的改变是连续的，所以在短时 间段内不会有大的改变。如果确定了向量b的值，则可针对每帧产生个人模 型，在所述个人模型中，通过使用3D ASM算法的计算在每个超声波图像中 反映器官的修改。

图4是示出图像匹配单元204通过旋转、平行移位和大小控制使被修改 以反映器官的改变的个人3D身体器官模型与多个超声波图像中的每个超声 波图像中的器官的位置一致的处理的流程图，在个人模型中，对于每个图像 反映了器官的变形。更详细地讲，图4是示出当确定作为每帧的每个单位特 征向量的权重的向量b时对每帧执行一对一的仿射注册(affine registration) 的处理。如果帧的数量是N并且n是帧号，则从n＝1到n＝N执行一对一匹配。 通过使用超声波图像的界标点集合和模型的界标点集合对每帧执行迭代最近 点(CIP)算法获得仿射变换函数，并且通过使用仿射变换函数来获得3D身 体器官模型图像。ICP算法是这样一种算法：基于一个图像对其他图像执行 旋转、平行移位和大小控制以在多个图像中对齐(align)一个目标。在1994 年10月的“International Journal of Computer Vision”第2期第13卷第119至 152页，Zhengyou Zhang的“Iterative Point Matching for Registration of  Free-form Curves and Surfaces”中详细描述了ICP算法，该文章全部包含于此 以资参考。

图5示出了在2D图像中应用仿射变换函数的处理。图解501示出在应 用仿射变换之前的状态，图解502示出了在应用仿射变换之后的状态。尽管 应该执行旋转、平行移位和大小控制以应用所述变换，但是考虑到仿射变换 使用一对一点对应，可通过下面的等式9获得第一坐标和最后坐标来确定仿 射变换函数的矩阵T_affine的系数。

$\left(\begin{array}{c}{x}_1^{\prime }\\ y_1^{\prime }\end{array}\right)=T_{\mathrm{affine}}\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{c}{a}_1{b}_1{c}_1\\ a_2{b}_2{c}_2\end{array}\right)\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)---\left(9\right)$

仿射变换函数在本领域中是公知的，因此为了简便将不在这里详细描述。

下面的等式10是将在三维中获得的仿射变换函数应用到每个帧中的等 式。

x_ICP(n)＝T_effine(n)×x_ASM(n)    (10)

这里，n是表示第n帧的整数(1≤n≤N)。x_ASM(n)表示界标点向量，其中， 在图像匹配单元204中改变作为权重的向量b。x_ICP(n)包括对于每帧反映修 改的器官边界和内部构造的位置坐标信息。如果当将位置坐标信息与超声波 图像匹配时，在超声波图像中用预定亮度值替换或者重叠与位置坐标相应的 体元值，则可用肉眼确认器官的图形外形。

图6示出图像匹配单元204执行的匹配图像的处理。图6示出了如下所 述的处理：图像匹配单元204将在一个呼吸周期期间输入的多个超声波图像 与被修改以反映在呼吸期间器官的改变的个人3D身体器官模型进行匹配以 产生多个超声波匹配图像。在图6中，输入的超声波图像被布置在图6的左 侧，在输入的超声波图像中的标记*表示界标点。输入的超声波图像可反映从 吸气到呼气的呼吸的各个阶段。

将根据呼吸期间器官的改变修改在个人模型产生单元203中产生的个人 3D身体器官模型。然而，根据呼吸的修改将比由于个体之间的差异所引起的 修改小。因此，当根据呼吸期间器官的改变修改个人3D身体器官模型时， 与重新执行3D ASM算法相比，可更快更容易地调整个人模型产生单元203 确定的参数值。通过使用已经反映了修改的界标点和超声波图像的器官的界 标点，通过ICP算法应用仿射变换函数T_affine。通过仿射变换，可修改个人3D 身体器官模型的大小和位置以与超声波图像中的器官的大小和位置匹配。可 通过用预定值替换或重叠与模型的位置相应的超声波图像的像素或体元值的 方法，来执行修改的模型与超声波图像的结合。匹配图像被称作超声波模型 匹配图像并可被存储在存储器207中。

图像搜索单元205执行外科手术的处理。在外科手术中，在屏幕上输出 实时输入的超声波图像中器官的图形形状，然后，外科医生在用肉眼确认器 官的图形形状的同时执行外科手术。这个处理的详细操作如下所述。首先， 接收病人的实时医疗图像。此时，实时医疗图像可以是与通过图像匹配单元 204接收的图像相同的图像。因此，例如，如果接收到实时超声波图像，则 通过将实时超声波图像与在预定时间段期间输入到图像匹配单元204的医疗 图像进行比较，确定与实时超声波图像最相似的图像，并在存储器207中搜 索与确定的图像相应的超声波模型匹配图像，然后输出找到的超声波模型匹 配图像。

作为图像搜索单元205在超声波图像中搜索相似图像的示例，有一种通 过检测横膈膜的位置来确定图像的方法。如果在实时超声波图像中横膈膜的 位置是X，则所述方法包含：通过计算位置X和在预定时间段期间输入到图 像匹配单元204的每个医疗图像中的横膈膜的位置之间的差来搜索具有最小 差的图像。

图7是示出横膈膜的绝对位置的上下移动的曲线图。在分析所述曲线图 时，可确认横膈膜的位置在呼吸周期中有规律地改变。在捕捉在预定时间段 期间输入到图像匹配单元204的医疗图像和输入到图像搜索单元205的实时 医疗图像时，可固定探头11的位置和病人的位置。这是因为：如果探头11 的位置或者病人的位置改变，则图像中的器官的相对位置可被改变，并且如 果所述器官的相对位置改变，则不可能在比较图像时准确而快速地执行搜索 操作。

作为图像搜索单元205在超声波图像中搜索相似图像的另一示例，有一 种通过使用像素之间的亮度差来确定图像的方法。也就是说，该方法包含使 用最相似的图像之间的亮度差最小的事实。更详细地讲，当在预定时间段期 间输入的医疗图像(第一图像)中搜索与实时医疗图像的一帧的图像(第二 图像)相似的图像以用于匹配操作时，计算第一图像之一的像素和第二图像 的像素之间的亮度差，然后获得亮度差的离散度(dispersion)。接下来，还计 算第一图像的其他图像的像素和第二图像的像素之间的亮度差，然后获得亮 度差的离散度。然后，可将离散度最小的图像确定为最相似的图像。

如果用户在观看输出图像时调整仿射变换函数T_affine和3D ASM算法的 参数，则附加调整单元206可输出调整后的最终结果。也就是说，用户可在 用肉眼观看输出图像的同时执行准确的变换。

图8是示出基于3D身体器官模型追踪动态的器官和病变的方法的流程 图。操作802和803的结果可被存储在图2的医疗图像数据库(DB)201中。 在操作802，接收个体的多种呼吸周期的CT图像或MR图像。在操作803， 基于接收的图像产生3D身体器官模型。此时，如上所述，可使用3D ASM 算法。

在操作801，接收个体病人的CT图像或MR图像。在操作804，基于接 收的个体病人的图像修改在操作803中产生的3D身体器官模型。可将产生 修改的3D身体器官模型(即个人3D身体器官模型)的处理作为准备处理在 外科手术室外执行。在操作805，接收在病人的一个呼吸周期期间捕捉的超 声波图像(第一超声波图像)，然后将第一超声波图像与个人3D身体器官模 型进行匹配。匹配图像被称作超声波模型匹配图像，并可被存储在临时存储 器或比如图2的存储器207的存储介质中。操作805可作为准备处理在外科 手术室中执行。在操作805，可固定病人的位置。另外，在操作806，可固定 探头的位置。在操作806，作为外科手术室中的实际操作，如果实时输入了 病人的超声波图像(第二超声波图像)，则确定第一超声波图像中与第二超声 波图像最相似的图像，然后输出与确定的第一超声波图像相应的超声波模型 匹配图像。

可使用硬件组件和/或软件组件来实现图2中的各种单元202、203、204、 205和206。可通过处理装置来实现软件组件，其中，可通过使用一个或多个 通用或专用的计算机(比如处理器、控制器和算术逻辑单元)、数字信号处理 器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限 定的方式响应并执行指令的任何其他装置来实现所述处理装置。所述处理装 置可运行操作系统(OS)和一个或多个在OS上运行的软件应用程序。所述 处理装置还可响应于软件的执行而访问、存储、操作、处理和创建数据。为 了简单的目的，处理装置的描述作为单数而被使用；然而，本领域的技术人 员应该理解处理装置可包括多个处理部件和多种类型的处理部件。例如，处 理装置可包括多处理器或者包括一个处理器和一个控制器。另外，不同的处 理配置是可行的，比如并行处理器。

如这里所使用的，用于实现功能A的处理装置包括被编程以运行特定软 件的处理器。另外，用于实现功能A、功能B和功能C的处理装置可包括如 下所述的配置，比如，被配置为实现功能A、B和C的一个处理器；被配置 为实现功能A的第一处理器和被配置为实现功能B和C的第二处理器；被配 置为实现功能A和B的第一处理器和被配置为实现功能C的第二处理器；被 配置为实现功能A的第一处理器、被配置为实现功能B的第二处理器和被配 置为实现功能C的第三处理器；被配置为实现功能A、B、C的第一处理器 和被配置为实现功能A、B、C的第二处理器等。

软件可包括计算机程序、一段代码、指令或者它们的一些组合，以独立 地或共同地命令或配置处理装置如上所述地操作。可永久或临时地以机器、 组件、物理或虚拟设备、计算机存储介质或装置中的任何类型，或者以传播 的信号波来实现软件和数据，所述信号波能够向处理装置提供指令或数据或 者能够被所述处理装置解释。所述软件还可以分布在联网的计算机系统中， 从而以分布式方式来存储和执行软件。

具体地讲，可由一个或多个非暂时性计算机可读存储介质存储所述软件 和数据。所述非暂时性计算机可读存储介质可包括可存储稍后能被计算机系 统或处理装置读取的数据的任何数据存储装置。非暂时性计算机可读存储介 质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、 磁带、软盘和光学数据存储装置。此外，基于并使用图1中的框图和图2至 图7中的流程图以及这里提供的它们的相应描述，示例所属领域的编程技术 人员可容易地构造用于实现这里公开的示例的功能程序、代码和代码段。尽 管已经参照各种示例具体示出和描述了本发明，但是本领域的普通技术人员 应该理解，在不脱离权利要求及其等同物限定的本发明的精神和范围的情况 下，可对这些示例进行形式和细节上的各种改变。示例应该被认为只是描述 的意义而不为了限制的目的。因此，不是由发明的详细描述而是由权利要求 及其等同物来限定发明的范围，落入权利要求及其等同物的范围内的所有改 变将被解释为包含在本发明中。