确定第二区段的分割单元和方法以及图像处理设备

摘要

一种根据前面的分割结果和根据运动估计确定图像序列中的区段的方法。根据第一幅图像(100)的第一区段(102)计算第二区段(108)，第一区段(102)和第二区段(108)对应一个对象(104)。方法包括一个比较第一幅图像(100)和第二幅图像(106)的像素值、从而计算定义了从第一区段(102)到第二区段(108)的运动模型的计算步骤。一个这种运动模型的例子是允许只有平移。变换可以使用一个运动向量(110)来描述。

说明书

本发明涉及一种确定第二幅图像的第二区段的方法，根据第一幅图像的第一区段进行确定，第一区段和第二区段对应一个对象。

本发明还涉及一种确定第二幅图像的第二区段的分割单元，根据第一幅图像的第一区段进行确定，第一区段和第二区段对应一个对象。

本发明还涉及一种图像处理设备，包括：

-一种确定第二幅图像的第二区段的分割单元，根据第一幅图像的第一区段进行确定，第一区段和第二区段对应一个对象；以及

-一种设计用于分析第一区段和第二区段的分析器。

在开头段落中描述的这种分割单元是从称作EasyVision的Philips医用工作站知道的。该工作站包括各种使用户能够执行很多图像处理任务的应用。图像分割是众多图像处理任务中的一个基本步骤。这些应用中某些用法是由这种分割单元组成的。在这种情况下将通过例子来说明用法。特定类型的EasyVision应用能够分析MR(磁共振)心脏病学图像。该分析的目的是确定患者在心脏周期阶段的心脏容积。使用MR系统得到一系列人胸腔的图像并发送到工作站作进一步处理。这些图像都表示包括心室在内的胸腔切片，即每幅图像都显示了患者解剖体除心室之外的其它各个部分。因为心肌的收缩，各幅图像的心室形状互不相同。为了进行分析，必须在所有图像中分割出心室。换句话说，必须遮盖对应心室的像素。执行分割的过程如下。用户在图像序列的第一幅上画出对应于第一幅图像中显示的心室的轮廓。然后传送该轮廓，即复制到第二幅图像。用户能够在第二幅图像中手动调整这个复制轮廓的形状，从而生成匹配第二幅图像中显示的心室形状的轮廓。然后将后一个轮廓传送给后面的图像。可以使用更为复杂的技术来调整轮廓。在这种情况下，自动将轮廓复制到后面的图像，将由自动轮廓检测单元控制轮廓的修改。该自动轮廓检测单元在复制轮廓的邻域中搜索在第二幅图像中的边缘。新轮廓位于检测边缘。虽然该过程能够得到令人满意的结果，但是在边缘难于检测的情况下易于失败。

本发明第一个目标是提供在开头段落中描述的那种方法，能够执行图像序列中相对稳定的区段分割。

本发明的第二个目标是提供在开头段落中描述的那种分割单元，该分割单元设计用于执行图像序列中相对稳定的区段分割。

本发明的第三个目标是提供一种包含在开头段落中描述的那种分割单元的图像处理设备，设计用于执行图像序列中相对稳定的区段分割。

达到本发明的第一个目标的方法包括一个计算步骤，通过比较第一幅图像和第二幅图像的像素值，计算定义了从第一区段到第二区段的变换的区段运动模型。区段运动模型定义了区段如何改变其形状或位置。区段运动模型可以是，例如具有6个参数、描述平移、缩放、剪切、旋转及它们的组合的线性仿射模型。简单的区段运动模型例如只允许平移。只通过一个向量就能够描述平移：运动向量。

根据本发明的方法和根据现有技术的方法之间的主要差别在于考虑了另外的信息来完成第二区段的分割。

-在根据现有技术的方法中，只使用了第二幅图像的像素值来查找第二幅图像中第二区段的轮廓。除了第一轮廓的位置外，即除第一区段的边界外，检测第二幅图像中的第二轮廓没有考虑第一幅图像的其它信息。在根据本发明的方法中，使用两幅图像的像素值来计算区段运动向量。

-在根据现有技术的方法中，只考虑第二幅图像中位于第一轮廓副本周围的像素，即将第一轮廓传送给第二幅图像之后。在根据本发明的方法中，也使用轮廓内的像素，即区段的其它像素来计算区段运动向量。

这另外的信息得到相对稳定的分割。在上面描述的现有技术的应用中，对象的形状按时改变。但也可能是对象的形状不改变，而是其位置相对于图像设备而改变。根据本发明的方法也能够应用在需要分割形状没有改变而只是位置改变的对象的应用中。

根据本发明的方法的一个实施方案包括：

-第一步根据第一幅图像和第二幅图像计算运动向量场，包括很多运动向量，每个运动向量描述从第一幅图像的第一像素块到第二幅图像的第二像素块的平移；以及

-第二步根据运动向量场的运动向量计算区段运动向量。

对于第一步，能够使用标准运动估计器十分快速而准确的计算运动向量场。例如，如G.de Haan等人在视频技术的电路与系统的IEEE国际会议学报，1994，vol.3，pp.249-256，“使用3D递归搜索块匹配的真运动估计”中描述的运动估计器。运动估计器也可以基于不规则形状的模板来匹配。接下来在第二步骤中，分析在例如由区段边界封闭的第一区段内部的运动向量，查找描述第一区段平移的运动向量。第一区段到第二区段的位置变换相当于对象的位置改变：平移。通过采用位于运动向量场基本对应第一区段的部分中的运动向量的常见值或平均值能够确定描述平移的区段运动向量。为了计算常见值，用法可以包括运动向量的二维直方图。

根据本发明的方法的一个实施方案包括一个过滤步骤来辨别运动向量场的运动向量。为了过滤运动向量可以使用运动向量的置信级作为加权因子。可以选择性的忽略界外值。界外值是值与预定义的阀值相差一个预先选择或预先计算的值的运动向量。特别是在闭合区域中可能存在一些不正确的运动向量。但是，有理由假设在由优良的运动估计器产生的运动向量场中，分配给区段的大多数运动向量值是正确的。

在根据本发明的方法的一个实施方案中，在第二步中至少要计算两个区段运动向量。使用原点处于不同位置的多区段运动向量能够描述，例如区段的旋转。该实施方案的优点是除了平移之外也能够跟踪对象的旋转。

根据本发明的方法的一个实施方案包括第三步，根据运动向量场的运动向量调整第二区段的形状。除了对象在平行于图像平面的平面上的旋转或平移之外，能够进行其它运动。结果是对象投影改变，对此不能使用仿射变换来描述它。在现有技术的描述中，概述了另一个为什么对象的形状可以改变，达到修改对象的形状的原因：对象改变其形状。第三个原因是在一个场景中有几个目标移动。这种情况的结果是区段互相遮盖。该实施方案的优点是它包括确定第一区段到第二区段的变换和修改第二区段的形状。

达到本发明的第二目标要通过包括一个估计器的分割单元，设计用于通过比较第一幅图像和第二幅图像的像素值，计算定义了从第一区段到第二区段的变换的区段运动模型。

达到本发明的第三目标要通过包括一个分割单元的图像处理设备，分割单元设计用于通过比较第一幅图像和第二幅图像的像素值，计算定义了从第一区段到第二区段的变换的区段运动模型。

参照下文描述的实现和实施方案并参照附图，根据本发明的方法、分割单元和图像处理设备的这些和其它方面将变得清楚并得到说明。

图1示意性的显示了两个区段和区段运动向量之间的关系；

图2示意性的显示了运动向量场和区段运动向量之间的关系；

图3示意性的显示了能够由两个区段运动向量描述的、从第一区段到第二区段的变换；

图4A示意性的显示了分割单元的一个实施方案；

图4B示意性的显示了分割单元的一个实施方案，其中通过使用一个运动向量场的多个运动向量来确定区段运动向量；

图4C示意性的显示了一个包括形状调整器的分割单元实施方案；以及

图5示意性的显示了包括分割单元的图像处理设备的实施方案。

图1示意性的显示了两个区段102、108和区段运动向量110之间的关系。对象104两次成像，得到第一幅图像100和第二幅图像106。两幅图像包括对象104的投影，但是对象104在获得第一幅图像100和第二幅图像106的时隙之间已经移动了。在第一幅图像100中，第一幅图像100中与对象104对应的部分由第一区段102遮盖。在第二幅图像106中，第二幅图像106中与对象104对应的部分由第二区段108遮盖。第一区段102可以是用户执行的分割的结果，或者可以是由分割单元，即400，执行的自动分割的结果。第二幅图像106中第二区段108的位置由第一幅图像100中第一区段102的位置和区段运动向量110来确定：通过将第一区段102的遮盖物复制到第二幅图像106中并在区段运动向量110的方向上按区段运动向量110的距离平移，能够找到第二区段108。通过比较第一幅图像100和第二幅图像106的像素值能够计算区段运动向量110。比较所表示的策略是一个合适的错误函数的最小化或一个合适的匹配函数，例如两幅图像像素值互相关的最大化。例如第一幅图像100中基本包括第一区段102的像素的部分能够与第二幅图像106的像素卷绕。像素值可以表示，例如亮度或色彩。第一幅图像100和第二幅图像106可以是图像序列中两幅连续的图像。第一幅图像100和第二幅图像106也可以属于同一个序列但它们可以是不连续的，即它们可以是，例如在第一幅图像100之后并在第二幅图像106之前的第三幅图像。

图2示意性的显示了运动向量场200和区段运动向量110之间的关系。图2显示第一幅图像100划分成很多像素块212-220，第二幅图像106划分成很多像素块222-230。这种像素块可以包括很多像素，范围从一个像素到例如64*64个像素。这种块中水平和垂直方向的像素数可以是不等的。对于每个像素块212-220，计算运动向量202-210。这种运动向量202-210定义了为了能够在第二幅图像106中找到相应的信息而应该将对应像素块212-220移动的方向和距离。可以使用标准运动估计器计算运动向量场200。例如，如G.de Haan等人在视频技术的电路与系统的IEEE国际会议学报，1994，vol.3，pp.249-256，“使用3D递归搜索块匹配的真运动估计”中描述的运动估计器。图2中运动向量场的大多数运动向量相当小，且方向是随机的，例如202-206。但是位于运动向量场200基本与第一区段102对应的部分232中的这些运动向量208、210是非常一致的。通过采用后面这些运动向量208、210的平均或常见值，能够计算区段运动向量110。

图3示意性的显示了通过两个区段运动向量310、312能够描述从第一幅图像300的第一区段302到第二幅图像306的第二区段308的变换。在图3中，将成像对象模型化为一个不是不可成形的、具有三个自由度的对象：在与图像300平行的平面上旋转、在水平方向平移和在垂直方向平移。两个区段运动向量310、312中每一个的原点分别对应第一区段302的点316、314。这些点316、314分别平移到第二区段308的点320、318。因为区段与一个不是不可成形的对象对应，所以第一区段302的所有其它点能够惟一映射到第二区段308的点。存在比图3中显示的更为复杂的变换。概念以一个运动模型为基础：所有对应一个对象的运动向量(310、312)描述了对象的运动。

图4A示意性的显示了包括估计器405的分割单元400的一个实施方案，设计用于通过比较第一幅图像100和第二幅图像106的像素值，计算定义了从第一区段102到第二区段108的变换的区段运动向量110。分割单元400的输入在输入连接器410-414端提供；

-输入连接器410端是作为二进制遮盖物，例如二进制值的二维数组的第一区段102；

-输入连接器412端是作为像素值的二维数组的第二图像106；以及

-输入连接器414端是作为像素值的二维数组的第一图像100。

分割单元400在输出连接器416端以二进制遮盖物的形式提供其输出，即第二区段108。通过合适的匹配函数，即两幅图像的像素值互相关的最大化方法计算第二区段108。例如第一幅图像100基本包括第一区段102的部分与第二幅图像106的像素卷绕。

图4B示意性的显示了分割单元401的一个实施方案，其中通过使用运动向量场200的多个运动向量202-210计算区段运动向量110。分割单元401的输入和输出与图4A中描述的分割单元400的输入和输出相似。分割单元包括：

-运动估计器402，设计用于根据第一幅图像100和第二幅图像106计算运动向量场200。运动向量场200包括多个运动向量202-210，每个运动向量202-210描述一个从第一幅图像100的第一像素块212-220到第二幅图像106的第二像素块222-230的平移。运动估计器402能够根据两幅以上的图像计算运动向量场200。

-估计器404，设计用于根据运动向量场200的运动向量202-210，计算对应第一区段102的变换的区段运动向量110。通过采用位于运动向量场232中基本对应第一区段102的部分的运动向量208、210的常见值或平均值来计算描述变换的运动向量110。通过该计算，用法可以包括为运动向量场200的运动向量202-210分配加权因子。加权因子可以基于由运动估计器402提供的运动向量202-210的置信度，和/或它们利用基于对应的像素块212-220与第一区段边界的距离。例如，如果特定运动向量的像素块位置接近或位于一个区段的边界，那么特定运动向量不正确的可能性很大。在这种情况下加权因子应该小；以及

-可选的过滤器406，是估计器404的一部分，设计用于删除界外值。界外值是值与预定义阀值相差预先选择或预先计算的值的运动向量。

图4C示意性的显示了包括形状调整器408的分割单元403的一个实施方案。该实施方案基本与图4B中描述的分割单元401相同。主要差别是该分割单元403能够调整第二区段108的形状。图4B中描述的分割单元401的输出所提供的第二区段108的形状与第一区段102的形状相同。在下列情况中，可以调整第二区段108的形状：

-如果来自运动向量场200、位于运动向量场基本对应第一区段102边界的部分中的运动向量与位于运动向量场基本对应第一区段102的部分232中的运动向量不同，那么可以假定这些“边界运动向量”与对象不相关。

-如果来自运动向量场200、位于运动向量场基本对应第一区段102直接邻域的部分中的运动向量与位于运动向量场基本对应第一区段102的部分232中的运动向量非常相似，那么可以假定这些“邻域运动向量”也是与对象相关的。

对形状的调整基于与上面提到的运动向量对应的像素块：“边界运动向量”和“邻域运动向量”。

图5示意性的显示了图像处理设备500的一种实施方案，包括：

-如图4C中描述的分割单元403；

-分析器502，设计用于分析由分割单元403分割的图像部分；以及

-显示设备504，显示分析结果。

在图像处理设备500的输入连接器506提供图像序列。用户能够通过用户界面508与图像处理设备500交互，从而手动分割感兴趣的区域，即序列中第一幅图像的第一区段。分割单元403能够根据该第一区段和图像序列的头两幅图像计算第二区段。之后分割单元403能够根据下列之一计算第三区段：

-第一区段和序列中的第三图像；或

-第二区段和序列中的第三图像。

据此能够计算序列中其它图像随后的区段。分割单元403的输出与图像一起与分析器502交流。分析器502设计用于估计与由分割单元403分割的区段对应的对象的三维属性。分析器的输出由显示设备504显示。

应该提到的是，上面提到的实施方案是说明而不是限制本发明，在本领域中的熟练人员能够在不背离附加权利要求的范围的情况下设计替代的实施方案。在权利要求中，所有置于括号中的引用符号不应该看作是限制权利要求。词语“包括”不排除没有在权利要求中列出的元件或步骤的存在。在元件之前的词语“一个”不排除存在多个这种元件。本发明能够通过包括几个截然不同的元件的硬件和通过适当编程的计算机实现。在列举了几个装置的单个权利要求中，可以通过同一个硬件项来实现这些装置中的几个。