对准来自标本的有序堆叠的图像

摘要

本发明涉及对准来自切片标本的有序堆叠的图像的领域。根据本方法和设备，通过相继进行如下操作对准有序堆叠的图像：针对有序堆叠的至少两个已经对准的图像确定下一个将对准的非对准图像的相应未对准，从至少两个已对准图像选择非对准图像与其具有最小未对准量的那个已对准图像作为参考图像，以及对准非对准图像与选择的参考图像。这是为了提供鲁棒性且计算量小的对准方法和设备。

说明书

技术领域

本发明涉及对准来自标本的有序堆叠的图像的领域，更具体而言，涉 及用于对准来自切片标本的有序堆叠的图像的方法和设备。

背景技术

对标本切片并成像，用于分析目的以及教学目的。有了描述切片标本 的堆叠的图像，就能够生成该标本的合成视图，以分析标本的结构和解剖 性质。在实验室中，例如从石蜡块切割标本之后，切片标本的公共坐标系 丢失，导致堆叠图像中的未对准。这一损失导致堆叠图像之间的平移和旋 转差异。另一个未对准的来源可能来自基于人工执行的步骤的切片制备。 可能会发生平移、缩放和拉伸。此外，可能会发现变形，例如拉伸的组织、 破裂的组织和缺失的组织。

为了在数字域中(即成像之后)对准标本的组织学切片，需要抵消变 形过程的结果以及公共坐标系的丢失。用于对准的典型解决方案是在制备 期间在标本块中增加标记作为人工基准，例如，通过在石蜡中嵌入在成像 后对其进行探测的标记。然后可以使用这些标记的位置计算变换参数。不 过，这样的额外标记需要额外的准备步骤。此外，在数字化之后用于存储 图像的存储空间增大，因为为了拍摄在实际标本旁边增加的标记，对额外 区域进行了成像。因此，希望不在标本块中使用额外的标记来对准有序堆 叠的图像。

下文描述了一种无需在标本块中增加额外标记的情况下对准一系列图 像的方法：“Computer-Based Alignment and Reconstruction of Serial  Sections”，John C.Fiala和Kirsten M.Harris，Boston University，Microscopy  and Analysis，第5-7页，2002年1月。为了进行对准，通过对用户输入的 一组点对应进行计算来对图像进行变换。为了对准一系列图像，重复对准 过程，其中将下一个要对准的图像与此前刚对准的图像进行对准。

除上述参考文献之外，在以下段落中提到更多参考文献：

-Gerard de Haan等人，“True motion estimation with 3D-recursive search  block matching”，IEEE transactions on circuits and systems of video  technology，第3卷，第5期，1993年10月；

-美国专利No.5072293；

-US 2008/0144716A1；

-David G.Lowe，“Object recognition from local scale-invariant features”， International Conference on Computer Vision，1999，第1150-1157页；以及

-David G.Lowe，“Distinctive image features from scale-invariant  keypoints”，International Journal of Computer Vision，2004，第91-110页。

发明内容

不过，不在标本块中使用额外的标记时，各种局部变形，例如缺失和 破损组织，使得难以鲁棒性地对准切片标本的每幅图像。

考虑到病理图像的尺寸大，通常为64k×64k像素，所以用于自动对准 的计算要求变得很关键。于是，非常希望有减轻计算需求的快速对准程序。

有利的是实现一种用于对准来自标本的有序堆叠的图像的方法，并实 现一种能够鲁棒性地对准有序堆叠的图像并能够以低计算需求实现快速对 准的对准设备。

为了更好地解决一个或多个这些问题，在本发明的第一方面中，提出 了一种用于对准来自标本的有序堆叠的图像的方法，包括如下相继的步骤： a)针对有序堆叠的至少两个已经对准的图像确定与有序堆叠中下一个要对 准的非对准图像的相应的未对准；b)从至少两个对准图像选择与非对准图 像具有最小未对准量的那个对准图像作为参考图像；以及c)对准非对准图 像与选择的参考图像。

为了进一步解决一个或多个这些问题，在本发明的第二方面中，提出 了一种用于对准来自标本的有序堆叠的图像的设备，包括如下装置：确定 器，其针对有序堆叠的至少两个已经对准的图像确定与有序堆叠中下一个 要对准的非对准图像的相应的未对准；选择器，其从至少两个对准图像选 择与非对准图像具有最小未对准量的那个对准图像作为参考图像；以及对 准器，其用于对准非对准图像和选择的参考图像。

针对每个要对准图像确定至少两个未对准可以提供鲁棒的对准方式。 选择提供最小的未对准量的对准图像作为对准参考图像也可以确保鲁棒的 对准方式。仅仅将非对准图像与选择的参考图像对准意味着仅需要一次从 非对准图像变换成对准图像的需要计算的变换，可以实现简化的计算需求， 并可以进一步允许快速对准。

根据至少一个实施例，通过运动估计确定相应的未对准，使得每个未 对准都由估计的位移场描述。这可以快速确定相应的未对准并实现简化的 计算需求。

根据至少一个实施例，所述位移场包括至少一个位移矢量，所述位移 矢量描述如何移动要对准的图像中的像素以便将这个图像与选择的参考图 像对准。这也可以快速确定相应的未对准并实现简化的计算需求。

根据至少一个实施例，对准图像和下一个要对准的非对准图像被分成 块，通过块匹配算法获得相应的位移场。这样可以进一步增加对准的鲁棒 性。

根据至少一个实施例，根据相应的对准图像和下一个要对准的非对准 图像之间的相应匹配误差计算相应未对准量，其中基于预定的匹配准则计 算所述匹配误差，且其中选择匹配误差最小的对准图像作为参考图像。这 个特征也可以快速确定相应的未对准并实现简化的计算需求。

根据至少一个实施例，将非对准图像与所选择的参考图像对准包括基 于变换参数变换非对准图像，所述变换参数描述如何变换非对准图像以便 实现与选择的参考图像的对准，且其中对于每个对准步骤，仅变换当前正 对准的相应非对准图像。这个特征可以允许减少与将非对准图像变换成与 选择的参考图像对准相关的计算负担。

根据至少一个实施例，如果所确定的所有未对准量都高于特定阈值， 将从有序堆叠的图像中丢弃下一个要对准的非对准图像，且在这种情况下， 可以任选地进一步用已经对准的图像的内插替代丢弃的图像，和/或如果在 当前未对准确定步骤中对准图像的未对准量与其余未对准量相反高于特定 阈值，将不会把该对准图像用于进一步的未对准确定步骤。这个特征可以 增强对准的鲁棒性并减小对准相对于局部变形的灵敏度。

根据至少一个实施例，在确定相应的未对准之前，将图像中的至少一 个转换到另一信号空间中，使得所有图像都在可比较的信号空间中。这个 特征允许对准不同染色剂的图像，同时保持简单的匹配准则。这个特征也 可以允许使用实现改进或进一步简化的未对准确定的信号空间。

根据至少一个实施例，该设备包括运动估计器，用于通过运动估计来 确定相应的未对准，使得每个未对准由估计的位移场描述。运动估计器可 以快速且有计算效率地确定未对准量。

根据至少一个实施例，通过目标识别确定相应的未对准。这个特征可 以允许进一步增加对准过程的鲁棒性。

根据至少一个实施例，通过运动估计确定相应的未对准，使得每个未 对准都由估计的位移场描述，并且如果反复发生大的未对准量，则通过目 标识别而非运动估计来确定未对准。这个特征可以在基于运动估计的快速 简单的未对准确定过程和基于目标识别的更复杂鲁棒的未对准确定过程之 间自动切换，因此考虑到先前对准迭代中确定的未对准，鲁棒性和用于对 准的计算负担之间的权衡得以优化。

所有以上方法步骤都要自动或至少部分自动地执行。

通过组合均以“根据至少一个实施例”开始的以上段落中阐述的两个 或更多个体特征获得其他实施例。因此，上述这些段落不应被解释为实施 例仅能包括上述特征的单个特征。相应地获得设备的其他实施例，使得适 于执行代表实施例的方法的任何设备也是实施例。

此外，本发明涉及一种计算机程序产品，其使得处理器能够执行上述 方法步骤，并且还涉及存储这种计算机程序产品的数据载体。

本发明的这些和其他方面将从下文描述的实施例变得显而易见并参考 其加以阐述。

附图说明

图1示出了相继对准来自标本的有序堆叠的图像的过程；

图2是流程图，图示了用于根据本发明的至少一个实施例对准来自标 本的有序堆叠的图像的方法；

图3示出了用于根据本发明的实施例对准来自标本的有序堆叠的图像 的设备。

附图标记列表：

10确定器

11运动估计器

12运动估计器

20选择器

30对准器

32转换器

34变换器

100设备

具体实施方式

在以下本发明的实施例中，将结合附图更详细地解释本发明。

图1图示了相继对准来自标本(例如切片标本)的有序堆叠的图像的 过程。如图1所示，在对准有序堆叠的图像之前，该堆叠被认为是完全非 对准的，包括四个非对准图像c₀、c₁、c₂和c₃。通过基于已经对准的图像相 继或递归地对准堆叠中仍是非对准的图像，如例如图1中间所示，图1示 出了已经对准的图像r₀和r₁以及仍要对准的图像c₂和c₃，可以对有序堆叠 的图像完全对准，从而将所有初始非对准的图像c₀、c₁、c₂和c₃变换成对准 的图像r₀、r₁、r₂和r₃。在下文中，将用于图1的符号表示法在剩余的描述 中通篇使用：将用附图标记c表示非对准图像，而将用附图标记r表示已经 对准的图像。由下标序号表示有序堆叠中图像的相应位置(不论是否对准 或非对准)，使得如图1中间示范性所示，例如对准的图像r₁被对准的图像 r₀和非对准图像c₂围绕。

图2是流程图，用于图示根据本发明的实施例对准来自标本的有序堆 叠的图像的方法。

在根据至少一个实施例的方法的开始，在图2的步骤S10中，将有序 堆叠的一个非对准图像c确定为是无需对准变换的对准图像r：r₀＝c₀。于是， 选择这幅图像作为起点，用于相继对准有序堆叠的图像。尽管在图2的步 骤S10中，选择序号为0的图像作为起始值，但该方法不限于这个起始位 置。可以选择有序堆叠的图像中的任何位置，例如堆叠的中间位置。此外， 可以确定起始位置，从而选择预计由于人工准备而导致具有最小量的未对 准的图像作为起点。这可以是例如具有最小截面的图像，因为可以预期变 形的绝对量会是最小。不过，由于其他原因，这也可能是覆盖大部分切片 表面的图像。

在步骤S20中，然后确定对准图像r₀和下一个要对准的图像c₁之间的 未对准s₀。下文将论述确定未对准s的适当方式。

然后，在步骤S30中，基于确定的未对准s₀将图像c₁与r₀对准，因此 执行对准变换，导致c₁→r₁。在下文中，将使用c_i→r_i的符号表示法表示已 经将(前一)非对准图像c_i变换成对准图像r_i。

在步骤S35中，然后将位置指针i设置到0，以设置用于根据本发明的 至少一个实施例的递归法的起始位置。类似于上述，对于非递归执行的步 骤S10，也可以将位置指针i设置成任何其他适当值。选择值i＝0，仅仅是 为了简化以下解释。对于根据至少一个实施例的方法而言，非递归执行的 步骤S10到S35仅仅是任选的。

现在，将解释用于相继对准有序堆叠的图像的方法的递归执行的步骤。 在步骤S40中，确定对准图像r_i和下一个要对准的非对准图像c_i+2之间的未 对准s_i，以及对准图像r_i+1和下一个要对准的非对准图像c_i+2之间的未对准 s_i+1。

在下一步S50中，分别针对未对准s_i和s_i+1确定相应的未对准量f(s_i) 和f(s_i+1)。确定未对准量表示从未对准s导出量f(s)，从而可以将量f(s) 用于比较。最简单地，计算未对准s的绝对大小作为量f(s)。如果将未对 准s表示为矢量，或者可以计算矢量分量绝对值之和(与计算总和绝对差(缩 写为SAD)相同，因为未对准已经是差异矢量)，或者计算矢量分量值的均 方误差(MSE)作为量f(s)。

在步骤S70中，然后将在步骤S50中确定的未对准量f(s_i)和f(s_i+1) 彼此比较。在f(s_i)小于f(s_i+1)的情况下，对准图像r_i是下一个要对准 的图像c_i+2与其具有最小未对准量的图像，从而在步骤S74中将选择对准图 像r_i作为参考图像r_参考。在f(s_i)大于等于f(s_i+1)的情况下，对准图像r_i+1 是下一个要对准的图像c_i+2与其具有最小未对准量的图像，因此在步骤S76 中将选择对准图像r_i+1作为参考图像r_参考。

在步骤S74或步骤S76中选择r_参考之后，在步骤S80中，将下一个要 对准的图像c_i+2与r_参考对准，包括将c_i+2对准变换成r_i+2，使得：c_i+2→r_i+2。 基于确定的未对准s_i(如果在步骤S74中已选择了r_参考)或确定的未对准s_i+1(如果在步骤S76中已选择了r_参考)执行这一对准变换。在步骤S80中的 对准变换之后，在步骤S90中检查有序堆叠的图像是否完全对准，即是否 未留下非对准图像c。如果堆叠尚未完全对准，即堆叠中仍然有要对准的图 像，在步骤S95中将位置指针i加一，然后进行执行步骤S40到S90的下 一次递归(或迭代)以对准下一幅图像。如果在步骤S90中确定堆叠已经 完全对准，就完成了该对准方法，将不执行进一步的递归。

在本发明的至少一个实施例中，通过运动估计来确定相应的未对准s_i， s_i+1，使得每个未对准由估计位移场描述。估计位移场例如能够包括至少一 个位移矢量，描述如何移动要对准的图像中的像素以将这幅图像与选定参 考图像对准。位移矢量可以描述所有可能的未对准，例如平移、旋转、缩 放和拉伸。这样的位移矢量也称为运动矢量。

为了执行运动估计以获得位移矢量或运动矢量，已经提出了几种算法。 可以将运动估计看作优化问题：必须要使有时复杂但通常简单的准则函数 最小化或最大化以找到输出运动矢量。有硬算法(brute force method)简单 地在预定义范围中尝试所有可能矢量，以便确保获得准则函数的全局优化。 还有有效率的方法，仅测试最可能的运动矢量。这种可能性通常是由空间 或时间邻近性确定的，因此在有效率的运动估计算法中时间和空间预测矢 量是有用的。这可以通过如下文献中描述的3D递归搜索块匹配算法来实 现：Gerard de Haan等人，“True motion estimation with 3D-recursive search  block matching”，IEEE transactions on circuits and systems of video  technology，第3卷，第5期，1993年10月。在这里通过引用将这篇文献 完全并入。这种算法将一帧细分成例如8×8像素的块，并试图识别这一块 在下一帧中的位置。比较这些位置使得能够向每个像素块分配运动矢量， 该运动矢量包括块的像素替换与两帧之间的时间的比率。3D递归搜索是基 于块的运动估计算法，采用从空间-时间预测获得的少量候选MV(MV＝运 动矢量)。3D递归搜索算法假设块小于对象，使得来自相邻块的MV是对 当前块的候选MV的良好估计。按照特定次序，例如，从左至右和从上到 下处理块，使得已经估计了MV的一些相邻块能够为当前块提供空间候选 MV，而未处理的其他块从参考帧取得MV以为当前块提供时间候选MV。 对于每个候选MV，计算运动估计误差。选择运动估计误差最低的候选者作 为针对该块的输出运动矢量。该算法使用正常光栅扫描次序历经块。本发 明的至少一个实施例采用这样的块匹配算法获得相应位移场。有利地，在 本发明的至少一个实施例中使用3D递归搜索块匹配算法作为块匹配算法。 对于低成本实时执行，发明人提出使用快速递归运动估计器，其提供空间- 时间一致的位移场，用于对准堆叠中的图像。在美国专利No.5072293和 US 2008/0144716A1中描述了能够用于本发明至少一个实施例的用于确定 运动矢量的其他基本方法，在此通过引用将其两者都并入本文。

在本发明的至少一个实施例中，根据相应的匹配误差计算相应的未对 准量f(s)，例如f(s_i)、f(s_i+1)、f(m_i)、f(m_i+1)，其是基于预定匹配准 则f计算的。可以简单地确定的这种匹配准则f是总和绝对差(SAD)：

$\mathrm{SAD}(\overrightarrow{C},\overrightarrow{X},n)=\underset{\overrightarrow{x}\in B\left(\overrightarrow{X}\right)}{\Sigma }|F(\overrightarrow{x}-\overrightarrow{C},n-1)-F(\overrightarrow{x},n)|$

其中是被测试的候选矢量，矢量表示块的位置，是亮度信号， n是图或视的数量。在输出处获得的运动矢量-每个块一个矢量-是给出最低 SAD值的候选矢量。作为SAD的替代，作为匹配准则，可以通过对绝对差 求平方并然后将其相加来应用均方误差(MSE)。类似地，可以应用3阶矩 作为匹配准则f。

在本发明的至少一个实施例中，将非对准图像c与选定的参考图像 r_参考对准包括基于变换参数t变换非对准图像，变换参数t描述为了实现与 选定参考图像的对准必须如何变换非对准图像。可以从非对准图像和选定 的参考图像之间确定的未对准，尤其是从描述所确定的未对准的位移场、 位移矢量或运动矢量导出变换参数t。针对每幅要对准的图像仅执行一次需 要大量计算的变换，而对于要对准的每幅图像执行超过一次的相应匹配误 差的计算量小的计算。

要比较的图像必须在可比较的信号空间中。不过，如果堆叠中的图像 染有不同染色剂(例如苏木精和曙红(H&E)和免疫组织化学(IHC))，就 不是这种情况。在使未对准或匹配误差最小化之前，通过将至少一个图像 变换到其他图像的信号空间或可比拟的信号空间，能够保持或获得简单的 匹配准则。

根据至少一个实施例，如果所确定的所有未对准s的量都高于特定阈 值，将从有序堆叠的图像丢弃下一个要对准的非对准图像。特定阈值可以 是固定值，或者可以自适应地基于先前确定的未对准量加以确定。可以由 通过对准图像的内插产生的内插图像替代丢弃的图像。作为内插的输入， 可以选择有序堆叠中与丢弃图像相邻的对准图像。此外，如果在当前的未 对准确定步骤中其未对准量高于特定阈值，而其余未对准量低于特定阈值， 则不会将对准图像用于进一步的未对准确定步骤。特定阈值可以是固定值， 或者可以自适应地基于先前确定的未对准量加以确定。

根据至少一个实施例，通过目标识别确定相应的未对准。与用于匹配 像素的块匹配算法相比，目标识别需要更多计算工作量。另一方面，目标 识别在更高水平的描述符上工作，比例如SAD更加鲁棒。不过，并非所有 目标识别技术适用于作为对准有序堆叠的图像的基础。用于目标识别的适 当方法是来自所谓局部尺度不变特征的目标识别。一种这样的方法被称为 SIFT(尺度不变特征变换)，在下文中被介绍过：“Object recognition from local  scale-Invariant features”，David G.Lowe，International Conference on Computer  Vision，1999，第1150-1157页。在如下文献中描述了用于目标识别的SIFT 方法的非常全面描述：“Distinctive image features from scale-invariant  keypoints”，David G.Lowe，International Journal of Computer Vision，2004， 第91-110页。在此通过引用将两篇文献都并入本文。SIFT方法将图像的每 个局部片都变换到独立于图像尺度和取向的坐标中。局部不变特征允许有 效率地经过任意旋转、缩放、亮度和对比度变化和其他变换匹配杂乱图像 的小部分。想法是将图像打破成很多小的大小不一的交叠片，以对于可能 变换而言不变的方式描述其每片。然后可以逐一匹配每个部分，并检查匹 配片的一致性。为了进行图像匹配和识别，首先从一组参考图像提取SIFT 特征并存储在数据库中。通过将来自新图像的每个特征与这一先前数据库 比较并基于它们的特征矢量的欧几里得距离发现候选匹配特征来逐一匹配 新图像。

根据至少一个实施例，仅在反复发生相对较大量未对准时才通过上述 目标识别确定相应未对准。否则，如果未对准的量主要保持在特定阈值以 下，通过快速且计算简单的运动估计来确定相应未对准。特定阈值可以是 固定值，或者可以自适应地例如基于先前确定的未对准量加以确定。

图3图示了根据本发明的至少一个实施例对准来自切片标本的有序堆 叠的图像的设备。设备100包括确定器10、选择器20和对准器30。确定 器10包括两个运动估计器11和12。运动估计器11在其输入处接收对准图 像r_i以及下一个要对准的图像c_i+2。运动估计器11适于基于这些输入确定 未对准s_i和位移矢量m_i并输出它们。类似地，运动估计器12在其输入处接 收对准图像r_i+1和下一个要对准的图像c_i+2，并适于基于这些输入确定未对 准s_i+1和位移矢量m_i+1并输出它们。将输出的未对准s_i和s_i+1馈送给选择器 20。也可以将输出的未对准s_i和s_i+1分别输出为对应的位移矢量m_i和m_i+1， 用于馈送给选择器20(在这种情况下，s_i＝m_i并且s_i+1＝m_i+1)。选择器20向 从运动估计器11和12接收的未对准s_i和s_i+1应用匹配准则，例如SAD、 MSE或3阶。应用匹配准则实现匹配误差f(s_i)和f(s_i+1)的计算。然后， 选择器20确定这些匹配误差的最小值并从运动估计器11和12输出的位移 矢量m_i和m_i+1选择具有最小匹配误差的那个位移矢量作为参考位移矢量 m_参考。通过这个参考位移矢量m_参考，隐含地选择了非对准图像c_i+2要与其 对准的参考图像r_参考。然后从对应运动估计器向对准器30馈送选择的参考 位移矢量m_参考。在对准器30中，在转换器32中将参考位移矢量m_参考变换 成变换参数t，用于变换非对准图像c_i+2。在对准器30中，从转换器32向 变换器34输出变换参数t。变换器34使用变换参数t将非对准图像c_i+2变 换成对准图像r_i+2，使得c_i+2→r_i+2。在针对c_i+2完成一次对准迭代之后，可 以针对c_i+3开始下一次迭代，将位置计数器i加一。

尽管上述实施例全部基于确定两个未对准来对准非对准图像，但这未 将本发明限制到仅确定两个未对准。可以针对每个对准步骤确定超过两个 未对准。可以从超过两个的对准图像中选择参考图像。

尽管上述实施例基于确定非对准图像和非对准图像紧前方至少两个图 像之间的至少两个未对准，但这并未将本发明限制到从彼此相邻且与非对 准图像相邻的对准图像中选择参考图像。

尽管在上述范例中，为了进行解释，有序堆叠的图像仅包括四个图像， 但堆叠大小不限于这个大小。有序堆叠的图像可以包括任意数量的图像。 在本发明的概念中，“确定器”、“选择器”、“对准器”、“运动估计器”要得 到宽泛的理解并包括例如任一件硬件(例如确定器、选择器、对准器、运 动估计器)、为执行所述确定、选择、对准、运动估计而设计的任何电路或 子电路以及设计或编程为执行确定、选择、对准、运动估计的任何一件软 件(计算机程序或子程序或计算机程序组或程序代码)以及多件这样单独 或组合工作的硬件和软件的任意组合，而不限于下文给出的示范性实施例。

本领域的技术人员将要认识到，本发明不限于上文特别示出并描述的 内容。本发明在于每个新颖的特性以及特征的每种组合。权利要求中的附 图标记不限制它们的保护范围。使用动词“包括”及其词形变化不排除存 在权利要求中所述那些之外的元件。元件前的冠词不排除存在多个这样的 元件。

已经根据具体实施例描述了本发明，具体实施例是本发明的例示，不 应被视为限制。可以在硬件、固件或软件或其组合中实施本发明。其他实 施例在以下权利要求的范围之内。