一种图像匹配跟踪中匹配模板的选取方法

摘要

本发明属于计算机视觉、图像匹配技术领域，具体涉及到一种图像匹配跟踪中匹配模板选择方法。匹配模板选择方法分为匹配模板尺寸自适应确定步骤、匹配模板定位能力判定步骤两个部分；(1)匹配模板尺寸自适应确定步骤方法流程：以给定坐标点位置为中心，设定分割区域；对分割区域利用大津阈值分割算法自动阈值分割算法进行二值化，统计前景区域和背景区域的像素个数，求取前景区域像素个数与背景区域像素个数的比值；计算该比值与设定阈值之间的关系来决定匹配模板尺寸；(2)匹配模板定位能力判定步骤方法流程：分别以分割区域中心点为中心的8邻域像素点为中心，按照当前分割区域尺寸，提取8个图像块；将8个图像块与分割区域灰度差异的最小值与设定阈值之间的关系来判定匹配模板的定位能力。

说明书

技术领域

本发明属于计算机视觉与图像匹配技术领域，具体涉及一种图像匹配 跟踪中匹配模板的选取方法。

背景技术

图像匹配是一种逐个像素比较的方法，根据已知的模式在另一幅图像 中搜寻相对应的模式，以某一数据量来衡量图像之间的相似程度，从而得 到最佳的匹配位置，这个过程就是图像匹配。我们把待匹配图像称为实时 图，已知的图像称为匹配模板。

传统的选取匹配模板方法大致可以分为以下三种：第一种是通过分割 的方法获取整个目标区域，将整个目标区域作为匹配模板，这种选定匹配 模板方法没有考虑到目标内部的结构和纹理信息，在复杂背景或目标内部 纹理和结构信息丰富时，通过分割的方法难以获得完整的目标区域；第二 种是将具有一定纹理和结构信息的局部区域作为匹配模板，这种方法在目 标为点状目标或斑状目标时，目标缺少纹理和结构信息，导致将目标局部 区域作为匹配模板方法难以提取合理的局部区域作为匹配模板。第三种是 基于先验信息获取匹配模板，基于先验信息获取匹配模板方法的自适应能 力较差，在缺少目标先验信息或者真实应用场景中的目标信息与获取的先 验信息存在一定差异的情况下，就会导致基于先验信息决定的匹配模板的 无法根据实时场景中目标信息自适应的选取匹配模板。

中国航天科工集团第二研究院二0七所在其专利“一种复杂背景下运 动目标相关匹配跟踪方法”(专利申请号201210365935.0，公开号 CN103700115A)中公开了一种基于多尺度模板来解决目标模板尺寸变化的 方法。为了适应目标的尺寸变化，该方法根据前一帧原始模板按比例计算 出放大模板和缩小模板，设置三种缩放比例的模板——原始模板、放大模 板、缩小模板，将三种模板与实时采集的当前图像进行匹配，计算分别针 对三种模板的匹配度c₀、c₁、c₂，当c₀、c₁、c₂的相互间差值的绝对值不超 过设定阈值，则保持原始模板，如果相互间差值的绝对值大于设定阈值， 则使用最大匹配度对应模板作为新的模板。然而，在实际应用中，由于目 标的速度是无法预估的，这就使目标的尺度变化也是无法预估的，这就导 致了以固定缩放比例获得多尺度模板来解决匹配跟踪中目标尺度变化的方 法无法根据目标尺度的变化自适应的调整的匹配模板尺度；同时，使用多 尺度模板和实时采集的当前图像进行匹配增加了匹配跟踪的计算量。天津 工业大学在其专利“一种基于特征点检测的模板匹配跟踪方法”(专利申 请号201010573730.2，公开号CN102034114A)中公开了一种通过匹配检测 出的特征点进行目标定位与识别的方法。该方法利用特征点检测方法分别 在模板图像和目标图像中检测特征点，根据特征点的灰度信息进行模板匹 配，并根据匹配特征点的相对位置信息确定目标的位置，完成对灰度图像 目标的有效检测识别与定位跟踪，该方法具有计算量小，运算速度快的优 点。然而，该方法的不足是，基于特征点进行匹配的方法在目标尺寸发生 变化时，无法根据目标尺寸的变化相应的调整匹配模板的尺寸。

发明内容

为了克服上述现有技术在选取匹配模板方面的不足，本发明提出了一 种图像匹配跟踪中的匹配模板选择方法，以实现在图像匹配跟踪中的匹配 模板的自适应选择。

为了实现上述目的，本发明提供了一种图像匹配跟踪中匹配模板的选 取方法，包括匹配模板尺寸自适应确定步骤，以及匹配模板定位能力判定 步骤两个部分，具体地：

(1)匹配模板尺寸自适应确定步骤：

步骤(1.1)以初始给定坐标点为中心，获取原始图像中的分割区域 t(i,j)，初始分割区域大小为M，M＝(2N+1)×(2N+1)，N为初始分割区域大 小。

步骤(1.2)对分割区域利用大津阈值分割算法进行阈值分割，统计前 景区域的像素个数ta_num和背景区域的像素个数bck_num。

在步骤(1.2)中，前景区域不是特指目标区域，而是在分割区域中灰 度值较大的区域，背景区域不是指除目标区域外的其他区域，而是分割区 域中灰度值较小的区域。这种定义前景区域和背景区域的方法可以保证在 图像中具有结构和纹理特征时，以局部区域的结构和纹理特征作为匹配模 板。当前分割阈值为k时，根据分割阈值k，按照t(i,j)中每个像素点的灰度 值大小，将t(i,j)分割为两类图像，其中一类图像为前景类图像，另一类为 背景类图像，k∈{1,2,3...L}，L为t(i,j)的所有像素点的灰度值的最大值；t(i,j) 中灰度值大于k的像素点组成所述的前景类图像，所述前景类图像的像素点 的个数为M₁(k)，所述前景类的图像的像素点的灰度值的均值为μ₁(k)；t(i,j) 中灰度值小于或等于k的像素点组成所述背景类图像，所述背景类图像的像 素点个数为M₀(k)，所述背景类图像的像素点的灰度值的均值为μ₀(k)；

所述t(i,j)中的像素点的个数为M，则所述前景类图像的像素点个数占 t(i,j)中像素点个数的比例ω₁(k)为：ω₁(k)＝M₁(k)/M，所述背景类图像的像 素点个数占t(i,j)中像素点个数的比例ω₀(k)为ω₀(k)＝M₀(k)/M；

t(i,j)在分割阈值k下的类间方差为：

$\left(\begin{array}{cc}{\mu }_0\left(k\right)=\frac{\underset{i=1}{\overset{k}{\Sigma }}i\times \mathrm{his}\left(i\right)}{\underset{i=1}{\overset{k}{\Sigma }}\mathrm{his}\left(i\right)}& {\mu }_1\left(k\right)=\frac{\underset{i=k+1}{\overset{255}{\Sigma }}i\times \mathrm{his}\left(i\right)}{\underset{i=k+1}{\overset{255}{\Sigma }}\mathrm{his}\left(i\right)}\end{array}\right)$

式中，his(i)是t(i,j)中灰度为i时的像素个数；k为当前分割阈值；

最优的分割阈值：

步骤(1.3)计算前景区域像素个数与背景区域像素个数比值ra： ta_num表示前景区域的像素个数，bck_num表示背景区域的像素个数。 前景区域像素个数与背景区域像素个数比值的判定阈值为th，如果ra＞th， 则表明当前设定的分割区域过小，扩大当前分割区域，N＝λN(λ＞1)， M＝(2N+1)×(2N+1)，重复执行步骤(1.2)、(1.3)；如果ra＜th，认为当前 分割区域尺度合理，将当前分割区域的尺寸作为匹配模板的尺寸。

(2)匹配模板定位能力判定步骤

步骤(2.1)：分别以分割区域中心点为中心的8邻域像素点为中心， 按照当前分割区域尺寸，提取8个图像块，按照邻域像素点获取的先后顺 序依次记为ES₁(i,j)、ES₂(i,j)、ES₃(i,j)、ES₄(i,j)、ES₅(i,j)、ES₆(i,j)、ES₇(i,j) 和ES₈(i,j)。

步骤(2.1)中求取以分割区域中心点为中心的8邻域像素点通过以分 割区域中心点为中心，大小为(2s+1)×(2s+1)的矩形框上，以分割区域中心 点为原点构建直角坐标系，从x轴正方向开始，按照逆时针方向，每隔45°在 矩形框上取一个像素点，作为以分割区域中心点为中心的8邻域像素点。

步骤(2.2)：分别比较8个图像块ES₁(i,j)、ES₂(i,j)、ES₃(i,j)、ES₄(i,j)、 ES₅(i,j)、ES₆(i,j)、ES₇(i,j)、ES₈(i,j)与分割区域t(i,j)的灰度值差异，如果 这8个图像块与分割区域灰度差异的最小值dif大于设定阈值th_dif，则认为该 分割区域在其邻域内的8个方向上都具有定位能力，可以将该分割区域作 为匹配模板，输出该匹配模板；如果dif小于th_dif，则表明当前分割区域在某 个方向上不具备定位能力，调整分割区域的尺寸N，N＝βN(β＞1)，重复步 骤(2.1)、步骤(2.2)。

$\mathrm{dif}=\underset{k}{\min }\left(\underset{i=0}{\overset{i=2N}{\Sigma }}\underset{j=0}{\overset{j=2N}{\Sigma }}\mathrm{abs}(t(i,j)-{\mathrm{ES}}_k(i,j))\right),k\in \{\mathrm{1,2,3}...8\}$

${\mathrm{th}}_{\mathrm{dif}}=\lambda \times \underset{i=0}{\overset{2N}{\Sigma }}\underset{j=0}{\overset{2N}{\Sigma }}t(i,j),\lambda =0~0.3$

式中dif表示分割区域与8个图像块灰度差异最小值，k表示第k个图像 块，λ表示灰度值差异最小值的判定阈值的加权系数。

本发明提出了一种图像匹配跟踪中匹配模板选择方法，根据图像信息， 利用大津阈值分割和前景区域与背景区域像素个数的比值与设定阈值之间 的关系，自适应的确定匹配模板尺寸；通过计算匹配模板与匹配模板邻域 的灰度差异，保证选取的匹配模板在后续的匹配跟踪具有一定的定位能力。

附图说明

图1为本发明一种图像匹配跟踪中匹配模板选择方法的流程图；

图2为本发明分割区域中心点和8邻域像素点的关系；

图3a为本发明实施例中输入的真实场景中的图像；

图3b为本发明实施例中使用本发明方法所获取的匹配模板。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图 及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体 实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的 本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可 以相互组合。

本发明所提方法可以自适应的确定匹配模板的尺寸，同时通过计算匹 配模板与匹配模板邻域的灰度差异，保证选取的匹配模板在匹配跟踪具有 一定的定位能力。当目标为点状目标或者斑状目标时，目标没有纹理和结 构信息，此时以整个目标或者大部分目标作为匹配模板，用于匹配跟踪； 当目标尺寸较大，具有一定的纹理和结构信息时，可以将包含一定目标纹 理和结构信息的局部区域作为匹配模板，在目标具有纹理和结构信息时， 以目标的局部区域作为匹配模板，不但可以保证后续匹配跟踪中的匹配模 板的定位能力，也可以减少匹配跟踪中的计算量。首先，根据图像信息， 自适应的确定匹配模板的尺寸；(1.1)通过大津阈值分割算法对设定分割 区域进行分割，(1.2)计算分割区域的前景区域像素个数与背景区域像素 个数的比值，(1.3)当该比值小于设定阈值，将分割区域尺寸作为匹配模 板的尺寸；当该比值大于设定阈值，表明当前分割区域过小，分割区域中 包含的前景信息较少，扩大分割区域，重复步骤(1.1)、(1.2)、(1.3)。 其次，判定该匹配模板是否具有定位能力；匹配模板的定位能力可以通过 匹配模板与匹配模板周围邻域的灰度差异进行判定。在确定匹配模板尺寸 后，(2.1)以分割区域中心点为中心，获取以分割区域中心点为中心的8 邻域像素点，分别以8邻域像素点为中心，按照当前分割区域尺寸，提取8 个图像块，(2.2)分别比较8个图像块与分割区域的灰度值差异，如果灰 度值差异的最小值大于设定阈值，认为该分割区域在其邻域内的8个方向 上都具有定位能力，可以将该分割区域作为匹配模板；如果灰度值差异的 最小值小于设定阈值，表明当前分割区域在某个方向上不具备定位能力， 调整分割区域的尺寸，重复步骤(2.1)、(2.2)。

如图1所示，本发明提供了一种图像匹配跟踪中匹配模板选择方法， 包括匹配模板尺寸自适应确定步骤、匹配模板定位能力判定步骤两个部分； 初始给定坐标点位置通过以下两种方法之一的方法确定：自动检测、人工 指定。本发明方法具体包括如下步骤：

(1)匹配模板尺寸自适应确定步骤：

(1.1)以初始给定坐标点为中心，获取原始图像中的分割区域t(i,j)。 初始分割区域的大小N＝3，M＝7×7；

(1.2)对分割区域利用大津阈值分割算法进行阈值分割，统计前景区 域的像素个数ta_num和背景区域的像素个数bck_num；

大津阈值分割算法阈值采用

$\mathrm{Thresh}=\arg \underset{k}{\max }\left({\omega }_0\left(k\right){\omega }_1\left(k\right){({\mu }_0\left(k\right)-{\mu }_1\left(k\right))}^2\right)$

在(1.2)中，前景区域不是特指目标区域，而是在分割区域中灰度值 较大的区域，背景区域不是指除目标区域外的其他区域，而是分割区域中 灰度值较小的区域。这种定义前景区域和背景区域的方法可以保证在图像 中具有结构和纹理特征时，以局部区域的结构和纹理特征作为匹配模板。 当前分割阈值为k时，根据分割阈值k，按照t(i,j)中每个像素点的灰度值大 小，将t(i,j)分割为两类图像，其中一类图像为前景图像(目标图像)，另 一类为背景类图像，k∈{1,2,3...L}，L为t(i,j)的所有像素点的灰度值的最大 值；t(i,j)中灰度值大于k的像素点组成所述的前景类图像，所述前景类图像 的像素点的个数为M₁(k)，所述前景类的图像的像素点的灰度值的均值为 μ₁(k)；t(i,j)中灰度值小于或等于k的像素点组成所述背景类图像，所述背 景类图像的像素点个数为M₀(k)，所述背景类图像的像素点的灰度值的均值 为μ₀(k)；

所述t(i,j)中的像素点的个数为M，则所述前景类图像的像素点个数占 t(i,j)中像素点个数的比例ω₁(k)为：ω₁(k)＝M₁(k)/M，所述背景类图像的像 素点个数占t(i,j)中像素点个数的比例ω₀(k)为ω₀(k)＝M₀(k)/M；

t(i,j)在分割阈值k下的类间方差为：

$\left(\begin{array}{cc}{\mu }_0\left(k\right)=\frac{\underset{i=1}{\overset{k}{\Sigma }}i\times \mathrm{his}\left(i\right)}{\underset{i=1}{\overset{k}{\Sigma }}\mathrm{his}\left(i\right)}& {\mu }_1\left(k\right)=\frac{\underset{i=k+1}{\overset{255}{\Sigma }}i\times \mathrm{his}\left(i\right)}{\underset{i=k+1}{\overset{255}{\Sigma }}\mathrm{his}\left(i\right)}\end{array}\right)$

式中，his(i)是t(i,j)中灰度为i时的像素个数；k为当前分割阈值；

最优的分割阈值：

(1.3)计算前景区域像素个数与背景区域像素个数比值ra： ta_num表示分割区域中前景区域的像素个数，bck_num表示分割区域中背景区域 像素个数。前景区域像素个数与背景区域像素个数比值的判定阈值为th＝1， 如果ra＞th，则表明当前设定的分割区域过小，扩大当前分割区域，N＝λN (λ＝1.3)，M＝(2N+1)×(2N+1)，重复执行(1.2)、(1.3)；如果ra＜th， 认为当前分割区域尺度合理，将当前分割区域尺寸作为匹配模板的尺寸。

(2)匹配模板定位能力判定步骤

(2.1)分别以分割区域中心点为中心的8邻域像素点为中心，按照当 前分割区域尺寸，提取8个图像块，按照邻域像素点获取的先后顺序依次 记为ES₁(i,j)、ES₂(i,j)、ES₃(i,j)、ES₄(i,j)、ES₅(i,j)、ES₆(i,j)、ES₇(i,j)和ES₈(i,j)。 如图2所示，为8邻域像素示意图，中间像素点为分割区域中心点，周围8 个点为8邻域像素点。

(2.1)中求取以分割区域中心点为中心的8邻域像素点通过以分割区 域中心点为中心，大小为(2s+1)×(2s+1),s＝1的矩形框上，以分割区域中心 点为原点构建直角坐标系，从x轴正方向开始，按照逆时针方向，每隔45°在 矩形框上取一个像素点，作为以分割区域中心点为中心的8邻域像素点。

(2.2)分别比较8个图像块ES₁(i,j)、ES₂(i,j)、ES₃(i,j)、ES₄(i,j)、ES₅(i,j)、 ES₆(i,j)、ES₇(i,j)、ES₈(i,j)与分割区域t(i,j)的灰度值差异，如果这8个图像 块与分割区域灰度差异的最小值dif大于设定阈值th_dif，则认为该分割区域在 其邻域内的8个方向上都具有定位能力，可以将该分割区域作为匹配模板， 输出该匹配模板；如果dif小于th_dif，则表明当前分割区域在某个方向上不具 备定位能力，调整分割区域的尺寸N，N＝βN(β＞1)，重复步骤(2.1)、 步骤(2.2)。

$\mathrm{dif}=\underset{k}{\min }\left(\underset{i=0}{\overset{i=2N}{\Sigma }}\underset{j=0}{\overset{j=2N}{\Sigma }}\mathrm{abs}(t(i,j)-{\mathrm{ES}}_k(i,j))\right),k\in \{\mathrm{1,2,3}...8\}$

${\mathrm{th}}_{\mathrm{dif}}=\lambda \times \underset{i=0}{\overset{2N}{\Sigma }}\underset{j=0}{\overset{2N}{\Sigma }}t(i,j),\lambda =0~0.3$

式中dif表示分割区域与8个图像块灰度差异最小值；k表示第k个图像 块。λ表示灰度值差异最小值的判定阈值的加权系数。此具体实施例中，灰 度值差异最小值的判定阈值的加权系数λ＝0.1。

如图3所示为基于本具体实施例中的方法在真实场景获取匹配模板， 其中图3a为本发明实施例中输入的真实场景中的图像；图3b为本发明实 施例中使用本发明方法所获取的匹配模板。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等 同替换和改进等，均应包含在本发明的保护范围之内。