可见光和热红外图像序列自动配准方法

摘要

本发明公开了一种可见光和热红外图像序列自动配准方法，用于解决现有的可见光-热红外图像序列配准方法配准精度差的技术问题。技术方案是采用图像像素的归一化光流时序特征和三层逐步精细化的相似性度量方法进行可见光和热红外同步图像序列间的候选同名点对选取，用图像像素的运动时序特征代替运动目标的整体特征。有效的克服了运动检测不精确带来的问题，提高了算法的鲁棒性，使其可用于具有频繁运动的拥挤监控环境情况下的图像序列配准，提高了图像序列配准的精度，其相对于基准数据的平均像素误差从现有技术的[2.03，6.9]像素降低到2个像素以内。

说明书

技术领域

本发明涉及一种图像序列自动配准方法，特别是涉及一种可见光和热红外图像序 列自动配准方法。

背景技术

文献“Torabi A，Masse G，Bilodeau G-A，et al.Feedback scheme for thermal-visible  video registration，sensor fusion，and people tracking.In：Proceedings of the IEEE  Conference on Computer Vision and Pattern Recognition-Workshop，2010，15～22.”公开了 一种基于运动目标轨迹和运动目标剪影的可见光-热红外图像序列配准方法。该方法首 先基于RANSAC轨迹匹配使得轨迹对应点和两类传感器运动前景重叠最大来估计变 换模型参数；然后，在配准参数的基础上，对两类传感器的检测结果进行sum规则融 合，并基于融合检测结果对可见光-热红外序列分别进行跟踪，根据剪影重叠率判断是 否需要再次配准，对于需要再次配准的情况，基于融合检测的运动轨迹和剪影对同步 序列进行配准和修正。该方法需要较好的运动检测结果，但在观测背景复杂，场景中 目标的运动检测结果均较差时，该方法的配准会出现较大误差，并且无法适应存在频 繁运动的拥挤场景。

发明内容

为了克服现有的可见光-热红外图像序列配准方法配准精度差的不足，本发明提供 一种可见光和热红外图像序列自动配准方法。该方法利用图像像素的归一化光流时序 特征和三层逐步精细化的相似性度量方法选取候选同名点对。归一化光流时序特征， 针对图像像素的运动时序特征，而非针对整个运动目标，在计算时仅需要目标局部信 息，不易受到的阴影、遮挡、目标部分出现及目标拥挤环境等问题的影响。可以解决 复杂监控环境下的可见光-热红外图像序列自动配准问题，提高可见光-热红外图像序 列配准的精度。

本发明解决其技术问题所采用的技术方案是：一种可见光和热红外图像序列自 动配准方法，其特点是包括以下步骤：

步骤一、对输入的可见光和热红外同步图像序列，使用迭代Lucas-Kanade金字塔 光流算法对可见光和热红外图像序列计算各帧图像的光流向量；在光流向量滤波、光 流时间序列筛选的基础上，使用运动方向和运动模值两类信息，提取具有平移、旋转、 尺度不变性的图像像素的归一化光流时序特征。

分别对可见光图像序列和热红外图像序列中的图像像素使用迭代Lucas-Kanade金 字塔光流法计算光流向量；设图像序列像素点(i，j)在第t帧图像的x和y方向的光流向 量用d_x(i，j，t)和d_y(i，j，t)表示，通过公式(1)获得t时刻像素点(i，j)运动向量的模值，

$r(i,j,t)=\sqrt{{\left(d_x(i,j,t)\right)}^2+{\left(d_y(i,j,t)\right)}^2}---\left(1\right)$

通过公式(2)计算出t时刻像素点(i，j)运动向量的方向角，

$q(i,j,t)=\arcsin \left(\frac{d_y(i,j,t)}{r(i,j,t)}\right)---\left(2\right)$

式中，arcsin为反正弦函数。为每个像素点(i，j)生成一个运动方向时间序列Seqq_L(i，j)， Seqq_L(i，j)＝[q_L(i，j，1)，K，q_L(i，j，t)，K，q_L(i，j，T)]        (3)

并同时记录下其运动模值序列Seqr_L(i，j)，

Seqr_L(i，j)＝[r_L(i，j，1)，K，r_L(i，j，t)，K，r_L(i，j，T)]    (4)

式中，L为图像序列的标号，取值为IR表示红外序列，CCD表示可 见光序列，且1#i N_L，1#j M_L，N_L和M_L为L图像序列的宽和高，T为图像序 列的长度。

采用滤波方法抑制错误的光流向量和运动序列，包括4个方面：(a)在计算光流前， 采用3×3窗口，方差为0.5的高斯平滑滤波对图像进行降噪处理；(b)在光流计算时， 仅考虑运动前景区域中的像素，运动前景区域由改进混合高斯背景差分算法提取，将 其余像素运动模值置为零；在获得光流向量后，滤除运动模值小于0.1的光流向量， 将其运动模值置为零；(c)在生成运动方向序列和运动模值序列时，不考虑图像序列以 一个像素为宽度的所有图像的边界像素。(d)将输入图像J按照其光流矢量进行插值映 射，生成与图像I对应的投影图像I′，通过差分图像I和I′，计算像素邻域的平均灰度 误差。当误差大于阈值e_thd时，认为该光流矢量的计算发生了错误，将该运动模值 置为零。其中，I和I′均为灰度归一化图像。

使用运动累加次数初步筛选光流时间序列，即运动方向序列和运动模值序列，经 过筛选的光流时间序列参与后续的运算。运动累加次数，即运动模值序列中非零元素 的总个数，像素点(i，j)的运动累加次数用MtNum_L(i，j)表示，其具体计算如公式(5)所示，

光流时间序列的筛选过程如公式(6)所示，

式中，uMAX_L为序列L各像素中最大的运动累加次数，low_thd为低阈值，hgh_thd为 高阈值，1表示经过筛选，0表示未经过筛选，不参与后续计算。

对运动方向序列进行量化编码，用数字0到8来量化编码运动方向。当(i，j)的光 流模值r(i，j，t)为0时，其运动方向q量化编码为0；当运动模值r(i，j，t)大于零时，将q量 化为8个方向，量化编码过程用公式(7)计算。

量化后的运动方向序列QSeqq(i，j)用公式(8)表示，

QSeqq_L(i，j)＝[Q_L(i，j，1)，K，Q_L(i，j，t)，K，Q_L(i，j，T)]           (8)

式中，Q(i，j，t)为像素(i，j)在t时刻运动方向的编码。

对量化编码后的运动方向序列QSeqq_L(i，j)进行方向归一化。首先计算QSeqq_L(i，j)的 1-8方向运动方向直方图HistSeqq(i，j)，如公式(9)所示；

HistSeqq(i，j)＝[Histq(i，j，1)，Histq(i，j，2)，L，Histq(i，j，8)]   (9)

然后以直方图中数值最大的方向MaxOrt为主方向，将所有运动方向按照顺时针方向进 行旋转，直到主方向与1方向重叠时旋转停止，其计算过程用公式(10)来描述，

式中，q为QSeqq(i，j)中某一运动的量化编码。这里0方向不参与该运算，仍继续保持 0值，来表征未发生运动的状态。方向归一化后的运动方向序列NQSeqq_L(i，j)用公式(11) 表示，

NQSeqq_L(i，j)＝[NQ_L(i，j，1)，K，NQ_L(i，j，t)，K，NQ_L(i，j，T)]       (11)

式中，NQ_L(i，j，t)为像素(i，j)在t时刻运动方向的归一化编码。

对于运动模值序列进行归一化处理，使用各序列的模值之和作为归一化因子，如 公式(12)所示。

步骤二、采用三层逐步精细化的图像像素光流时序特征相似性度量方式，针对基 准图像序列中的每个光流序列，从待配准图像序列中选择与其最相似的序列形成对应 特征对，将对应特征对所在的两个像素点视为同名点对。

第一层：运动频次滤波。设基准图像序列中某像素点(i，j)的总运动频次为 MtNum，从待配准图像序列中选择运动累加次数在[0.5MtNum，1.5MtNum]区间的运动 方向序列作为候选的相似运动序列，形成候选序列集1，用CandSeqs1表示，CandSeqs1 继续参与后续的相似性度量。

第二层：运动方向直方图匹配。针对方向归一化后的NQSeqq_L(i，j)，统计计算其 运动方向直方图。采用Manhattan距离来度量两个运动方向直方图的相似性，计算候 选集合CandSeqs1中各序列与基准运动方向序列的直方图距离，记其最短距离为 MinHistDist，将直方图距离在区间[MinHistDist，maxHistValue]的CandSeqs1中的序列 作为候选相似序列，形成候选集合CandSeqs2。其中maxHistValue首先取为2MinHistDist 和0.5中较大的值，然后取maxHistValue和0.9中的较小的值。

第三层：光流时序特征距离匹配。首先采用运动方向序列的最短距离选择候选序 列，当存在多个候选序列时，再使用运动模值序列的最短距离进行进一步选择，并将 对应特征所在两个像素点视为对应点对。在计算运动方向序列间的距离时，需要考虑 运动方向编码间的距离，采用公式(13)所示的方式计算，

式中，p和q为两个运动方向的编码，distOrtCod(p，q)为两运动编码间的距离。

两运动方向序列间的距离为distOrtSeq，(鬃)，如公式(14)所示，NQSeqq_IR(i，j)和 NQSeqq_CCD(m，n)分别为热红外图像中像素(i，j)的运动方向序列和可见光图像中像素 (m，n)的运动方向序列。

运动模值序列间的距离用函数distModSeq，(鬃)计算，如公式(15)所示，

式中，NSeqr_IR(i，j)表示红外序列中像素(i，j)的归一化模值序列，NSeqr_CCD(m，n)表示可 见光序列中像素(m，n)的模值序列。

步骤三、使用级联RANSAC算法剔除外点，结合直接线性变换和 Levenberg-Marquardt算法求解可见光和热红外两图像序列间的变换模型参数。

所述阈值e_thd的取值是0.1。

所述低阈值low_thd取值为0.05。

所述高阈值hgh_thd取值为0.95。

所述Manhattan距离的取值范围是[0，2]。

本发明的有益效果是：由于采用了图像像素的归一化光流时序特征和三层逐步精 细化的相似性度量方法进行可见光和热红外同步图像序列间的候选同名点对选取，用 图像像素的运动时序特征代替了运动目标的整体特征，有效的克服了运动检测不精确 带来的问题，提高了算法的鲁棒性，使其可用于具有频繁运动的拥挤监控环境情况下 的图像序列配准，提高了图像序列配准的精度，其相对于基准数据的平均像素误差从 现有技术的[2.03，6.9]像素降低到2个像素以内。

下面结合附图和实施例对本发明作详细说明。

附图说明

图1是本发明可见光和热红外图像序列自动配准方法的流程图。

具体实施方式

本发明方法具体步骤如下：

(1)图像像素光流时序特征提取与描述。

分别对可见光图像序列和热红外图像序列中的图像像素使用迭代Lucas-Kanade金 字塔光流法计算光流向量。设图像序列像素点(i，j)在第t帧图像的x和y方向的光流向 量用d_x(i，j，t)和d_y(i，j，t)表示，则通过公式(1)和公式(2)可计算获得t时刻像素点(i，j)运 动向量的模值(速度)和方向角，其中arcsin为反正弦函数。

$r(i,j,t)=\sqrt{{\left(d_x(i,j,t)\right)}^2+{\left(d_y(i,j,t)\right)}^2}---\left(1\right)$

$q(i,j,t)=\arcsin \left(\frac{d_y(i,j,t)}{r(i,j,t)}\right)---\left(2\right)$

基于已获得的运动方向角信息，为每个像素点(i，j)生成一个运动方向时间序列 Seqq_L(i，j)，并同时记录下其运动模值序列Seqr_L(i，j)，分别如公式(3)和公式(4)所示。其 中L为图像序列的标号，取值为IR表示红外序列，CCD表示可见光 序列，且1#i N_L，1#j M_L，N_L和M_L为L图像序列的宽和高，T为图像序列的 长度。

Seqq_L(i，j)＝[q_L(i，j，1)，K，q_L(i，j，t)，K，q_L(i，j，T)]       (3)

Seqr_L(i，j)＝[r_L(i，j，1)，K，r_L(i，j，t)，K，r_L(i，j，T)]       (4)

通过Lucas-Kanade金字塔光流法提取的光流向量存在着误差和错误，且运动方向 特征不具有旋转不变性，运动模值不具有尺度不变性，需要对光流序列进行筛选过滤， 对方向和模值进行归一化，最终形成具有旋转、平移和尺度不变的图像像素光流时序 特征。

1)光流向量提取和滤波。

Lucas-Kanade金字塔光流算法在提取运动向量时，具体面临的问题有：对噪声较 敏感，无法处理目标间遮挡，由于邻域窗口而造成的边界提取不精确问题，及在灰度 变化较小的平坦区域存在着向量漂移。针对由上述几个方面因素引起的光流提取不准 确问题，在计算光流向量时，采用了如下4个方面处理：

●针对光流法易受噪声影响的问题，在计算光流前，采用3×3窗口，方差为0.5 的高斯平滑滤波对图像进行降噪处理，减小噪声引起的光流误差；

●针对平坦区域光流漂移问题及目标边缘提取不精确问题，采用改进混合高斯背 景差分算法提取运动前景，在光流计算时仅考虑运动前景区域的像素，其余像素运动 模值将置为零，即未发生运动。在获得光流向量后，对运动模值小于一定阈值(取值为 0.1)的光流向量进行滤除，将其运动模值置为零。从而抑制了非运动平坦区域光流漂 移所引起的错误光流矢量及目标的错误边缘，同时也减小了算法的运算量；

●针对图像边界光流向量误差较大的问题，在生成运动方向序列和运动模值序列 时，不考虑图像序列以一个像素为宽度的所有图像的边界像素；

●针对由目标遮挡、目标移出图像边界所引起的错误光流向量，将输入图像J按 照其光流矢量进行插值映射，生成与图像I对应的投影图像I′，通过差分图像I和I′， 计算像素邻域的平均灰度误差。当误差大于阈值e_thd时(取值0.1)，则认为该光流 矢量的计算发生了错误，将该运动模值置为零。其中，I和I′均为灰度归一化图像。

2)光流时间序列筛选。

并非所有的光流序列都参与量化编码、归一化和后续的相似性的度量，我们认为 几乎不运动和频繁运动的序列可能由噪声引起，并且信息量较少，这里采用公式(6)进 行运动方向序列和运动模值序列的初步筛选。其中，图像序列某像素点(i，j)的运动累 加次数用MtNum_L(i，j)，即运动模值序列中非零元素的总个数，如公式(5)所示；uMAX_L为序列L各像素中最大的运动次数，low_thd为低阈值，hgh_thd为高阈值，分别取值 为0.05和0.95。

3)运动方向的量化编码和归一化。

由于监控场景中多数目标为行人，而行人是非刚体目标，运动过程中存在柔性形 变，加之噪声等因素，经过光流算法获得的运动方向信息并不是十分精确。直接基于 q(0？q 2p)进行相似性度量时，易受到光流方向计算误差的影响，难以真实反映运 动序列间的相似性，并且在后续方向归一化过程中需要计算方向的直方图。因此，这 里采用量化编码的方式将q量化为8个方向，用数字1到8编码8个运动方向，量化 过程可用公式(7)来计算。量化后的运动方向序列用QSeqq(i，j)来表示，如公式(8)所示， 其中Q(i，j，t)为像素(i，j)在t时刻运动方向的编码，但当(i，j)的光流模值r(i，j，t)为0时， 也即未发生运动，其运动方向记为0。

QSeqq_L(i，j)＝[Q_L(i，j，1)，K，Q_L(i，j，t)，K，Q_L(i，j，T)]       (8)

量化编码后的运动方向序列QSeqq_L(i，j)不具有旋转不变性，难以适应较大旋转变换情 况的图像配准。为此，需要对其进行方向归一化，考虑到参与运算的两图像序列间可 能会存在较大的平移变换，整体图像序列的运动方向易受到非重叠区域运动信息的影 响，此处的方向归一化针对每个运动方向序列进行，而不基于整体图像序列。

针对每个量化编码后的运动方向序列QSeqq_L(i，j)，首先对1-8方向计算运动方向直 方图HistSeqq(i，j)，如公式(9)所示；然后以直方图中数值最大的方向MaxOrt为主方向， 将所有运动方向按照顺时针方向进行旋转，直到主方向与1方向重叠时旋转停止，其 计算过程可用公式(10)来描述，q为QSeqq(i，j)中某一运动的量化编码。这里0方向是 不参与该运算的，仍继续保持0值，来表征未发生运动的状态。

HistSeqq(i，j)＝[Histq(i，j，1)，Histq(i，j，2)，L，Histq(i，j，8)]   (9)

方向归一化后的运动方向序列NQSeqq_L(i，j)如公式(11)所示，其中NQ_L(i，j，t)为像素 (i，j)在t时刻运动方向的归一化编码。

NQSeqq_L(i，j)＝[NQ_L(i，j，1)，K，NQ_L(i，j，t)，K，NQ_L(i，j，T)]    (11)

4)运动模值序列的归一化。

对于运动模值序列，使用各序列的模值之和作为归一化因子进行归一化，如公式 (12)所示。

(2)相似性度量及候选同名点对选取。

为了快速进行相似性度量和对应点对选取，提出了一种三层逐步精细化的图像像 素光流时序特征相似性度量方式，针对基准图像序列中的每个光流序列，从待配准图 像序列中选择与其最相似的序列形成对应特征对，将对应特征对所在的两个像素点视 为同名点对。

1)运动频次滤波。

对于两个同名点而言，其总的运动次数应该是相近的。由于所有有效运动方向序 列的总运动次数已在运动方向序列筛选计算时获得，运动总频次的相似性度量运算较 为简单，计算量较小，因此将其作为第一层相似性度量准则，从而将运动差异较大的 大部分序列去除。

设基准图像序列中某像素点(i，j)的总运动频次为MtNum，运动频次滤波从待配 准图像序列中选择运动累加次数在[0.5MtNum，1.5MtNum]区间的运动方向序列作为候 选的相似运动序列，形成候选序列集1，用CandSeqs1表示，使其继续参与后续的相似 性度量。

2)基于运动方向直方图匹配。

运动方向直方图，相对于运动频次滤波，它可进一步反映运动序列的统计特性， 且计算量也较少，因此这里将它作为第二层相似性度量准则。此处的运动方向直方图 是基于方向归一化后的NQSeqq_L(i，j)进行统计计算获得的。

这里采用Manhattan距离来度量两个运动方向直方图的相似性，该距离的取值范 围在[0，2]之间。计算候选集合CandSeqs1中各序列与基准运动方向序列的直方图距离， 记其最短距离为MinHistDist，将直方图距离在区间[MinHistDist，maxHistValue]的 CandSeqs1序列作为候选相似序列，形成候选集合CandSeqs2。其中maxHistValue首先 取为2MinHistDist和0.5中较大的值，然后取maxHistValue和0.9中的较小的值。经过 直方图匹配后，符合要求的候选序列将急剧变小。

3)运动方向序列间的距离。

经过上两层相似度的过滤后，已获得了运动方向较为相似的候选序列集合 CandSeqs2，但仍需要进一步的相似性度量来确定对应特征，这里采用光流时序特征 间的距离来度量最终的相似性，选择距离最小的序列作为对应特征，并将对应特征所 在两个像素点视为对应点对。

图像像素的光流时序特征有两个分量组成，运动方向序列和运动模值序列。本方 法先使用运动方向序列的最短距离选择候选序列，对于存在多个候选序列的情况，再 使用运动模值序列的最短距离进行进一步选择。

运动方向序列是9状态的时间序列，序列中各元素的值为量化的方向编码1-8， 或者是未发生运动的编码0。在度量两个运动方向序列间的距离时，需要考虑两类问 题：(a)未发生运动的状态0与其他方向状态间的距离：由于量化编码问题，使得未运 动的状态与发生运动状态间的距离因运动方向不同而不同，例如0与8状态间的距离 为8，0与1状态的距离为1；(b)两个非0方向编码间的距离：通过欧式距离计算两个 方向的编码时，其最大距离为7，但实际上两个方向间的最大距离应该为4。需要新的 距离度量来反映真实的角度差异。

针对这两个问题，本方法设计了适合于方向编码的距离度量准则distOrtCod。在 该距离度量中，将0和非0状态间的距离约定为2；对于非0方向编码间的距离，先 使用Manhattan距离进行计算，但对于大于4的距离，则用8减去该距离获得最终距 离，从而使得方向编码距离度量符合实际的角度差异。具体计算如公式(13)所示，其 中p和q为两个运动方向的编码，distOrtCod(p，q)为两运动编码间的距离。distOrtSeq，(鬃) 为两运动方向序列间的距离，公式(14)给出了序列NQSeqq_IR(i，j)和NQSeqq_CCD(m，n)间的 距离表示。

运动模值序列间的距离可用函数distModSeq，(鬃)来计算，如公式(15)所示，NSeqr_IR(i，j)和 NSeqr_CCD(m，n)分别表示红外序列中像素(i，j)的模值序列和可见光序列中像素(m，n)的 模值序列。

(3)外点去除与鲁棒模型估计。

通过运动统计特征的相似性度量，已获得了候选的匹配特征和相应的同名点对。 但是在这些候选同名点对中，仍存在着一些多对一的映射和错误的匹配点对，这里采 用级联的RANSAC算法进行外点的剔除。本方法使用直接线性变换(DLT，Direct Linear  Transformation)为Levenberg-Marquard算法提供初始解，鉴于Levenberg-Marquardt算 法拥有梯度下降算法的全局性和高斯牛顿法的局部收敛性等优势，本发明采用 Levenberg-Marquardt算法进行模型的优化估计。