影像序列自动拼接方法与装置以及拼接系统

摘要

本发明公开了一种影像拼接方法与装置以及拼接系统，其中所述方法主要包括检测步骤，用于检测相邻影像上的组织边缘；选择步骤，用于计算所检测到的相邻影像上组织边缘线的相似性，并将满足相似性阈值的边缘线对选取为最佳边缘线对；以及拼接位置获取步骤，根据选取的最佳边缘线对，确定相邻影像在水平方向和垂直方向的拼接位移量，从而确定在水平方向和垂直方向的拼接位置；其中根据获取的拼接位置，实现相邻影像的拼接。按照本发明实施例的方法与装置实现简单，能够对医学影像序列进行有效的拼接。

说明书

技术领域

本发明涉及一种影像处理技术，特别是涉及一种自动拼接影像序列以便合成一幅全景影像的方法与装置。

背景技术

大尺寸对象的完整影像(例如X射线影像，甚至完整的人体X射线影像)，对于骨科手术、矫形或整形治疗等具有重要作用。然而，由于例如X射线成像系统中的平板探测器(针对DR系统)或成像板(针对CR系统)等成像器件的尺寸所限，以及现有成像技术的其他限制，只能对大尺寸的对象进行多次体位拍摄，再利用影像处理技术将得到的各个体位影像合成为一幅全景影像。

但是，多次拍摄会造成如下一些问题：一是不同体位两次曝光的曝光剂量不同，导致相邻影像重叠区域的灰度分布不一致；二是病人体内器官运动(例如呼吸引起的肺运动、心脏自主运动变化、大小肠的蠕动、膀胱的生理收缩等)导致先后拍摄的组织影像存在差异；三是拍摄条件等因素的变化会带来微小的失真。这些问题给影像的正确拼接带来了困难。另外，由于医学影像的数据量通常非常庞大，传统的灰度或梯度全局搜索非常耗时，从而给医学影像的动态、实时应用带来挑战。

以X射线影像为例，现有的拼接技术主要有两大类，一类是依赖于专门设备在每张X射线影像上设置明显标记，然后手动或自动识别该标记来实现影像拼接；另一类为自动拼接，其中一种是依赖于设备的固有特征(如CR成像板重叠特征)的拼接方式，利用多尺度下不同的解剖体位影像并使用不同的算法或参数实现拼接；还有一种是只依赖于影像特征的影像拼接技术，但是准确率并不高，常常需要手动进一步修正和校正。近年来，图像全景拼接技术发展很迅速，虽然提出了一种使用尺度不变的特征变换理论(Scale Invariant FeatureTransform：SIFT)进行全景拼接的技术，但是，成功用于X射线影像全景拼接的情况并未见报道。

针对现有医学影像全景拼接技术依赖特定的辅助手段(如标记或人机交互)或只针对某类特定影像的现实，有必要提供一种不依赖于辅助手段而自动且准确地实现影像拼接的方法与装置。

发明内容

本发明的目的是为了克服现有技术存在的缺陷，提供一种不依赖于辅助手段而自动实现影像拼接的方法与装置以及拼接系统。为了实现这一目的，本发明所采取的技术方案如下。

按照本发明实施例的第一方面，提供一种影像拼接方法，包括：检测步骤，用于检测相邻影像上的组织边缘；选择步骤，用于计算所检测到的相邻影像上组织边缘线的相似性，并根据相似性选取最佳边缘线对；以及拼接位置获取步骤，根据选取的最佳边缘线对，确定相邻影像的拼接位移量，从而确定拼接位置，以便进行影像拼接。

按照本发明实施例的第二方面，提供一种影像拼接装置，包括：检测模块，用于检测相邻影像上的组织边缘；选择模块，用于计算所检测到的相邻影像上组织边缘线的相似性，并根据相似性选取最佳边缘线对；以及拼接位置获取模块，根据选取的最佳边缘线对，确定相邻影像的拼接位移量，从而确定拼接位置，以便进行影像拼接。

按照本发明实施例的第三方面，提供一种影像拼接系统，包括按照本发明实施例第二方面的影像拼接装置。

按照本发明实施例的方法与装置实现简单，能够对医学影像序列进行有效的拼接。

下面将结合附图并通过具体的实施例对本发明进行进一步说明。

附图说明

图1是按照本发明实施例的影像拼接方法的流程图；

图2是按照本发明实施例的线性相似性检测的流程图；

图3是按照本发明实施例的边缘线对选取和拼接位移量确定的流程图；

图4是按照本发明实施例的选取最佳边缘线对的示意图；

图5是按照本发明实施例的拼接位置校正的流程图；

图6是按照本发明实施例的方法合成的人体全景影像；

图7是按照本发明实施例的影像拼接装置的结构示意图。

具体实施方式

如图1所示，按照本实施例的影像拼接方法主要包括检测步骤105、选择步骤109、以及拼接位置获取步骤111。另外，还可选地包括缩放步骤103、刷选步骤107、校正步骤113、以及合成步骤115。采用按照本实施例的影像拼接方法对影像进行处理的具体过程如下：

首先，输入相邻影像(步骤101)，可以根据需要将影像缩放为原来影像的1/2、1/4或者1/8(步骤103)，以加快计算速度，一般情况优选地使用1/8；另外，对于放大倍率不同的影像通过缩、放使其大小一致。如果影像像素是高位的，例如12bit或14bit的影像，可以将其线性转换为8bit影像。依次对相邻的影像进行检测(步骤105)，获取相邻影像之间的拼接位移量。

在进行影像上的组织边缘检测时(步骤105)，利用边缘检测算子对缩放后的影像进行边缘检测(当然，视实际情况也可以是没有进行缩放的影像)，以生成二值影像。所用边缘检测算子包括但不限于Sobel、Prewitt、Roberts、LOG、Zerocross和Canny等边缘检测算子，优选地使用Canny算子。以Canny算子为例，首先对影像使用Guass滤波，以改善噪声对后续检测的影响，然后使用Canny算子检测影像边缘，获取影像的边缘二值图像。

对检测到的组织边缘线还可以进行有效性刷选(步骤107)，将有效的边缘线用于下一步处理。当然，该有效性刷选步骤也可以根据实际需要而不进行。对检测得到的影像边缘线(直线和/或曲线)进行提取时，通过Canny算子检测影像边缘点，许多边缘点是连接成线段的，需要对这些线段进行提取。一般考虑预提取线段应该有一定的长度(线上包含的连续像素点的个数)，这一长度一般不能少于某个值(例如在缩小成的大小300*300左右影像可以取10个像素)，原因是只有较长的线才有自己的特征。这一过程可以用直线上的点跟踪(Tracking)的方法进行。为减少边缘线数量，可以只获取偏于竖直方向的边缘线，具体操作中如通过限制边缘线上的点的下一个连接点必须是二值影像上下一行的邻域上点。

然后，计算所检测到的相邻影像上组织边缘线的相似性，并根据相似性选取最佳边缘线对(步骤109)。在该步骤中，计算并表征两幅相邻影像上的通过检测获得的边缘线的最佳相似边缘线对(一幅影像上边缘线的部分或全部相对于另一幅影像的边缘线的部分或全部最相似的线对)。这一步骤可以采用相关性度量值和/或曲率检测来表征。如图2所示，具体做法是，将相邻影像(即上幅影像和下幅影像)的左、右侧(相对于影像中心的左、右侧)边缘线相对地上下平移，获取重叠部分(要求重叠的长度要大于一个阈值，视图像大小而定，例如在缩小成大小为300*300左右影像可以取10个像素)，那么重叠部分的线段就构成了线对。对线对分别做相关性计算以获得相关性度量值，同时可分别计算其曲率，那么相关性度量值最大和/或曲率最小差异的线对就是最佳线对。需要指出的是，还有其他的方法或方案代替“互相关”来表征曲线相似性度量值的方法或方案，例如互信息、最大熵原则、最小均方法差等，也是可行的。随后，根据设置的阈值来选取最佳边缘线对。如图3所示，对影像左边的边缘线对判断其相关性度量值是否大于某个阈值Cor_TH，也可以判断其曲率差异是否小于某个阈值Cur_TH，也可以合并使用。同样对影像右边的边缘线对也进行上述判断。

另外，在选择步骤109中，可以对相邻影像上单侧的组织边缘线进行相似性计算，并选取单侧最佳边缘线对来获取拼接位置；或者，也可以对相邻影像上两侧的组织边缘线进行相似性计算，并从两侧分别选取最佳边缘线对来获取拼接位置。从相邻影像单侧选取最佳边缘线对时，针对相邻影像其中之一的一侧的每条边缘线，逐一计算与相邻影像中另一幅影像同一侧的所有边缘线的相似性值，将相似性值最大的线对选取为最佳边缘线对，或者将满足相似性阈值的线对选取为最佳边缘线对。在相似性值最大或满足相似性阈值的线对为多个时，如果根据这些最佳边缘线对获得的拼接位置很接近，则取平均值；否则，分别在各自的拼接位置进行局部灰度分析以确定最佳边缘线对。

在选择步骤109中，从相邻影像两侧选取最佳边缘线对时，为了更好的说明，对边缘线进行标注。如图4所示，相邻影像中第一幅影像左面边缘线从上往下数，分别记为图1左1、图1左2、图1左3、图1左4。同样就有图1右1、图1右2、图1右3、图2左1、图2左2、图2左3、图2右1、图2右1。以左边为例，为第一幅影像的左四条有效边缘线，依次从第二幅影像的左边三条边缘线中找出每条的最佳线对，共有四个线对，寻找方法可以通过计算相似性(相似性表达可以是：最大相关度量值、曲率、最小均方法差等等)，找到边缘线的最佳线对(图1左1，图2左1)、(图1左2，图2左2)、(图1左3，图2左2)、(图1左4，图2左1)。同时记录它们的相似性值Si，依次分别是0.75、0.99、0.9、0.99。

计算相似性时，因为影像1的边缘线可能仅仅部分和影像2同侧的某条边缘线具有很大相似性，反之也同样，例如边缘线图1左1和图2左1的部分具有相似性。所以计算的时候要固定一条边缘线不动，另一条边缘线不断逐像素沿着固定边缘线上下方向平移，每移动一次像素需要计算一下交叠部分线段的相似性，取具有最大相似性的重叠状态的相似性值就是这组线对的相似性值，记录这个相似性值S_i，以及交叠部分的起点在影像上的竖直位置y₁和y₂，影像的高设为H，那么影像拼接位置的竖直相对平移量为shift_y＝H-y₁+y₂以及交叠线段像素在影像上横坐标差值的均值，记为shift_x，该值就是边缘线间的水平平移量，也是影像拼接位置的水平相对平移量。

只有相似性值满足一定阈值的最佳相对才是有效的。例如取阈值S_th＝0.95，那么上述例子显然只有(图1左2，图2左2)、(图1左4，图2左1)有效最佳线对。同样，可以得到右侧有效最佳线对(图1右1，图2右1)、(图1右3，图2右1)。

接下来，根据选取的最佳边缘线对，确定相邻影像的拼接位移量，从而确定拼接位置，以便进行影像拼接(步骤111)。同样，如图3所示，在该步骤中，对检测得到的影像左边边缘线对和右边边缘线对，得到曲线对的边缘线在影像上的坐标位置。两条曲线对最相似部分的起点应该被认为是两幅影像的拼接点，从而获得影像拼接位移量(一般可分为水平方向和垂直方向的拼接位移量)。接着，对比通过左边边缘线对和右边边缘线对获取的拼接位移量是否具有一致性或者说微小差异(拼接位置仅仅相差若干个像素，例如2个像素等)。满足最小差异的左、右边缘线对的拼接位移量均值为该相邻影像的拼接位置，一般可分为水平方向和垂直方向的拼接位置。需要说明的是，其中线对选取和拼接位置的确定可以联合进行，正如图3所示。对多组左、右边缘线对可以选取最佳组合，例如左、右偏移量最小差异的左、右边缘线对组合。需要强调的是，如果不能获取左、右最小差异直曲线组合，应该选取最佳单侧线对为输出。当然，也可以直接对相邻影像上单侧的组织边缘线进行相似性计算，并选取单侧最佳边缘线对。

再接下来，通过计算影像重叠区域的相似性，根据最大相关测度值调整所确定的拼接位置，以得到最佳拼接位置(步骤113)。如图5所示，在该步骤中利用所得到的拼接位置(块501)，在待拼接影像上划定一定范围进行进一步分析(块503)，让拼接影像在这个小范围内逐像素移动(块505)，提取影像重叠区域(块507)，对影像的像素灰度值做相似性检测(块509)，获得最大相关测度值的为最佳拼接位置(块511)。像素灰度值相似性检测，可以采取相关检测获取最大相关测度值的位置，也可以通过分析直方图，获取最相似的归一化直方图分布的位置(或者说归一化直方图曲线形状最大相似性)，也可以采取别的灰度分布相似性评价方法来获取最佳拼接位置。需要说明的是，这里的待拼接影像可以是原影像也可以经过缩放的影像，具体采用何种影像取决于输出影像的大小。另外，拼接位置的校正既可以利用灰度影像进行，也可以利用梯度影像来进行；其中还可以使用互信息、最大熵原则、或者最小均方差计算相似性。还需要说明的是，也可以视实际情况是否需要而不进行校正步骤。

利用影像序列一次检测到的最佳拼接位置，根据需要还可选地进行全景影像图合成(步骤115)，其中图6示出了按照本发明实施例的方法合成的人体全景影像。

如图7所示，按照本实施例的影像拼接装置主要包括检测模块705、选择模块709、以及拼接位置获取模块711。另外，还可选地包括缩放模块703、刷选模块707、校正模块713、以及合成模块715。其中缩放模块703用于对待检测的相邻影像进行缩小或放大；检测模块705用于检测相邻影像上的组织边缘；刷选模块707用于对检测到的组织边缘线进行有效性刷选，将有效的边缘线用于下一步处理；选择模块709用于计算所检测到的相邻影像上组织边缘线的相似性，并将满足相似性阈值的边缘线对选取为最佳边缘线对；拼接位置获取模块711根据选取的最佳边缘线对，确定相邻影像的拼接位移量，从而确定拼接位置，以便进行拼接；校正模块713用于计算影像重叠区域相似性，根据最大相关测度值调整所确定的拼接位置，以得到最佳拼接位置；合成模块715利用影像序列各相邻影像拼接位移量，合成全景影像。

按照本发明实施例的影像拼接系统包括按照本发明实施例的影像拼接装置，可以通过硬件模块、软件模块、固件模块、或者其组合，将按照本发明实施例的影像拼接装置实现在影像拼接系统中，使得该系统可以按照本发明实施例的影像拼接方法对影像进行拼接，以及还可进一步合成全景影像。

适于按照本发明实施例的影像拼接方法与装置以及系统进行拼接的医学影像包括但不限于X射线影像、超声影像、核磁共振影像等等。

以上通过具体的实施例对本发明进行了说明，但本发明并不限于这些具体的实施例。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等，例如将上述实施例中的一个步骤或模块(如选择、拼接位置获取步骤或模块等)分为两个或更多个步骤或模块来实现，或者相反，将上述实施例中的两个或更多个步骤或模块的功能放在一个步骤或模块中来实现。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语，例如“左”、“右”、“水平”、“垂直”等等，都是相对的，并不是限制，仅仅是为了便于描述。