一种基于对数似然图像的尺度自适应目标跟踪方法

摘要

本发明公开一种基于对数似然图像的尺度自适应目标跟踪方法，包括以下步骤：首先，根据目标与背景的颜色差异建立对数似然图像，并对该图像进行数学形态学处理；其次，在前面获得的对数似然图上，计算对数似然图的二阶中心矩，然后再进行椭圆拟合以得出目标的尺度和旋转方向；最后，根据目标尺度更新Mean-Shift算法的目标模型和核函数窗宽，并通过不断迭代进行目标跟踪。本发明中能够在对数似然图像上对目标快速进行椭圆拟合，从而准确计算出目标的真实尺度，更新Mean-Shift跟踪算法模型。本发明中的方法算法实现简单，整个过程自动完成，可以实现实时的尺度自适应目标跟踪。

说明书

技术领域

本发明属于计算机视觉与模式识别领域，涉及一种对视频目标进行尺度自适应跟踪的方 法。

背景技术

目标跟踪是计算机视觉领域的一个极具有挑战性的研究课题，在智能视频监控、增强现 实、手势识别以及自动驾驶等方面具有广泛的应用前景。近二十年来，国内外的许多机构和 专家做了大量相关的工作，提出很多算法和技术。根据对目标表现建模所用的方法不同，可 以将跟踪算法分为两类：基于生成模型的目标跟踪算法和基于判别模型的目标跟踪算法。

基于生成模型的跟踪算法首先学习一个目标表现模型，然后在每帧图像上搜索与该模型 最相似的目标。基于判别模型的跟踪算法将目标跟踪问题看作是一个二元分类问题，通过在 线学习一个分类器将目标和背景分开。

由于鲁棒的目标跟踪算法需要解决跟踪过程中的目标尺度变化、光照变化、部分遮挡、 相机旋转等问题，因而计算量十分巨大，很难达到实时效果。目前，一个非常经典的目标跟 踪算法是均值-平移（Mean-Shift）算法，它是一种典型的基于生成模型的跟踪算法，采用一 个核函数来构造目标模型，通过最大化目标模型与候选模型之间的相似性来达到目标跟踪的 目的。由于Mean-Shift算法具有计算量小、实时性高等优点，因而它在跟踪领域获得了成功 应用。

在目标跟踪过程中，目标尺度变化是一个很难处理的问题。然而，传统的Mean-Shift算 法不具备尺度自适应性，对于跟踪过程中目标出现尺度变化的视频场景效果不好。针对这一 问题，目前已经提出了许多算法。可将高斯尺度空间理论与Mean-Shift算法结合，通过在离 散尺度空间进行Mean-Shift迭代，从而找到最佳的目标尺寸，但该算法计算量较大，达不到 实时处理要求。此外，也可利用前面帧的时空上下文信息来估算目标的尺度，该算法计算量 小、效果很好，是多尺度跟踪领域的最新研究成果。以上跟踪算法在处理目标尺度变化问题 上虽然取得了一定的效果，但是至今还没有一种行之有效的鲁棒方法。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于对数似然图像的尺度自适应目标跟 踪方法。

基于对数似然图像的尺度自适应目标跟踪方法包含以下步骤：

1）用一个矩形图像像素集来表示目标O，目标O大小为h×w，选择目标O外围、宽度 大小为0.75×max{h,w}的矩形环状图像像素集来表示背景B；

2）根据目标O与背景B的颜色差异建立对数似然图像LI，并利用数学形态学中的膨胀 方法对对数似然图像LI进行处理；

3）计算对数似然图像LI的二阶中心矩，公式为：

${\mu }_{02}={\Sigma }_{i,{\mathrm{LI}}_i}(y_i-\bar{y})(y_i-\bar{y})$

${\mu }_{20}={\Sigma }_{i,{\mathrm{LI}}_i}(x_i-\bar{x})(x_i-\bar{x})$

${\mu }_{11}={\Sigma }_{i,{\mathrm{LI}}_i}(x_i-\bar{x})(y_i-\bar{y})$

其中，(x_i,y_i)表示目标O中像素i的坐标，LI_i表示对数似然图中像素i的似然值，

然后对目标O进行椭圆拟合，根据椭圆拟合的结果估算目标O的尺度参数；

4）根据目标O的新尺度更新Mean-Shift算法的目标模型，并更新目标模型中的核函数窗 宽，然后对目标O进行Mean-Shift迭代跟踪。

所述的步骤2）中，根据目标O与背景B的颜色差异建立对数似然图像LI的方法为：

（1）计算图像像素点的直方图特征值u在目标O中的概率p(u)和在背景B中的概率 q(u)，即

p(u)＝H_obj(u)/n_obj

q(u)＝H_bg(u)/n_bg

其中，n_obj和n_bg分别是目标O和背景B的像素总数，H_obj(u)为目标O中，直方图特征值为u的 像素点的个数，H_bg(u)为背景B中，直方图特征值为u的像素点的个数；

（2）计算特征值u的对数似然函数值L(u)，公式为：

$L\left(u\right)=\log \frac{\max \{p\left(u\right),ϵ\}}{\max \{q\left(u\right),ϵ\}}$

式中，ε是极小值，ε＝0.005；

（3）反向投影每个像素点的对数似然函数值到原图像中，获得对数似然图LI；

（4）利用数学形态学中的膨胀方法对对数似然图像LI进行处理。

所述的步骤3）中，用以下公式计算椭圆E的主轴a、b及倾斜角θ来对目标O进行椭圆 拟合，

$a=2\sqrt{{\mu }_{20}/N}$

$b=2\sqrt{{\mu }_{02}/N}$

$\theta =\arctan \left(\frac{2{\mu }_{11}}{{\mu }_{20}-{\mu }_{02}}\right)$

其中，N表示目标O中的对数似然图LI中正似然值的总数。

所述的步骤3）中，根据椭圆拟合的结果估算目标O的尺度参数的方法为：

（1）计算椭圆E的横坐标x和纵坐标y的最大值和最小值，并得到一个大小为{w,h}的 矩形，其中，w＝max(x)-min(x)，h＝max(y)-min(y)；

（2）计算目标O的尺度参数ρ_t，其中，ρ_t＝η×{w,h}，η是折中参数；

（3）对尺度参数ρ_t进行滤波：

ρ_t＝γρ_t+(1-γ)ρ_t-1

式中，ρ_t-1表示前一帧图像中目标的尺度参数，ρ_t表示从当前帧图像中获得的目标的尺度参 数，γ是滤波系数，取值在0到1之间。

所述的步骤4）为：

（1）初始化为目标O模型的彩色图像核直方图，

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\Sigma }}k\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)\delta [b\left(x_i\right)-u]$

式中，x_i为目标O的第i个像素坐标，y₀为目标O的初始中心位置坐标，k(x)为高斯核函数， h为高斯核函数窗宽，等于目标的尺度参数ρ_t，函数δ[b(x_i)-u]是判断x_i处的颜色值是否属 于特征值u，C是归一化常数，n是目标O的像素总数，m为特征值u的总数；

（2）计算为候选区域模型的彩色图像核直方图，

${\hat{p}}_u\left(y\right)=C_h\underset{i=1}{\overset{n_h}{\Sigma }}k\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)\delta [b\left(x_i\right)-u]$

式中，x_i为候选区域的第i个像素坐标，y为候选区域的中心像素坐标，k(x)为高斯核函数， h为高斯核函数窗宽，等于目标的尺度参数ρ_t，函数δ[b(x_i)-u]是判断x_i处的颜色值是否属 于特征值u，C是归一化常数，n_k是候选区域的像素总数，m为特征值u的总数；

（3）计算和的Bhattacharyya相似性

$\rho [\hat{p}\left(y_0\right),\hat{q}]=\underset{u=1}{\overset{m}{\Sigma }}\sqrt{{\hat{p}}_u\left(y_0\right){\hat{q}}_u}$

式中，m为特征值u的总数；

（4）计算权值系数w_i，

$w_i=\underset{u=1}{\overset{m}{\Sigma }}\sqrt{\frac{{\hat{q}}_u}{{\hat{p}}_u\left(y\right)}}\delta [b\left(x_i\right)-u]$

式中，表示目标模型，表示候选区域模型，m为特征值u的总数，x_i为第i个像素坐 标，函数δ[b(x_i)-u]是判断x_i处的颜色值是否属于特征值u；

（5）找到下一个候选位置点y₁，

$y_1=\frac{\underset{i=1}{\overset{n_h}{\Sigma }}{x}_i{w}_{i}g\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)}{\underset{i=1}{\overset{n_h}{\Sigma }}{w}_{i}g\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)}$

其中，x_i为候选区域的第i个像素坐标，g(x)＝-k′(x)，h为高斯核函数窗宽，等于目标的尺 度参数ρ_t，w_i为权值系数，y₀为目标区域的中心位置坐标，n_k是候选区域的像素总数；

（6）计算并评估Bhattacharyya相似性

（7）若那么继续评估Bhattacharyya相似性 重复该步骤，直到不等式不再成立；

（8）判断||y₁-y₀||＜ζ是否成立，ζ是极小值，如果成立，Mean-Shift迭代跟踪结束； 否则，y₀←y₁，转到步骤（4）。

本发明的有益效果是：

1）提出了一种基于对数似然图像的多尺度目标跟踪方法，该方法能够在对数似然图像 上对目标进行椭圆拟合，从而准确计算出目标的真实尺度，更新Mean-Shift跟踪算法模型。

2）本发明中的方法计算速度快，能快速得到目标的尺度参数，并对其进行跟踪，算法 实现简单，整个过程自动完成，可以实现实时的尺度自适应目标跟踪。

附图说明

图1为基于对数似然图像的尺度自适应目标跟踪方法的总流程图；

图2为图1中的椭圆拟合和估算目标尺度参数的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发 明进行进一步详细说明。

本发明提出了一种基于对数似然图像的尺度自适应目标跟踪方法，首先，根据目标与背 景的颜色差异建立对数似然图像，并对图像进行数学形态学处理；其次，在前面获得的对数 图上进行椭圆拟合以得出目标的尺度；最后，根据目标尺度更新Mean-Shift算法的目标模型 和核函数窗宽，并通过不断迭代进行目标跟踪。

如图1和图2所示，基于对数似然图像的尺度自适应目标跟踪方法包含以下步骤：

1）用一个矩形图像像素集来表示目标O，目标O大小为h×w，选择目标O外围、宽度 大小为0.75×max{h,w}的矩形环状图像像素集来表示背景B；

2）根据目标O与背景B的颜色差异建立对数似然图像LI，并利用数学形态学中的膨胀 方法对对数似然图像LI进行处理；

3）计算对数似然图像LI的二阶中心矩，公式为：

${\mu }_{02}={\Sigma }_{i,{\mathrm{LI}}_i}(y_i-\bar{y})(y_i-\bar{y})$

${\mu }_{20}={\Sigma }_{i,{\mathrm{LI}}_i}(x_i-\bar{x})(x_i-\bar{x})$

${\mu }_{11}={\Sigma }_{i,{\mathrm{LI}}_i}(x_i-\bar{x})(y_i-\bar{y})$

其中，(x_i,y_i)表示目标O中像素i的坐标，LI_i表示对数似然图中像素i的似然值，

然后对目标O进行椭圆拟合，根据椭圆拟合的结果估算目标O的尺度参数；

4）根据目标O的新尺度更新Mean-Shift算法的目标模型，并更新目标模型中的核函数窗 宽，然后对目标O进行Mean-Shift迭代跟踪。

所述的步骤2）中，根据目标O与背景B的颜色差异建立对数似然图像LI的方法为：

（1）计算图像像素点的直方图特征值u在目标O中的概率p(u)和在背景B中的概率 q(u)，即

p(u)＝H_obj(u)/n_obj

q(u)＝H_bg(u)/n_bg

其中，n_obj和n_bg分别是目标O和背景B的像素总数，H_obj(u)为目标O中，直方图特征值为u的 像素点的个数，H_bg(u)为背景B中，直方图特征值为u的像素点的个数；

（2）计算特征值u的对数似然函数值L(u)，公式为：

$L\left(u\right)=\log \frac{\max \{p\left(u\right),ϵ\}}{\max \{q\left(u\right),ϵ\}}$

式中，ε是极小值，ε＝0.005；

（3）反向投影每个像素点的对数似然函数值到原图像中，获得对数似然图LI；

（4）利用数学形态学中的膨胀方法对对数似然图像LI进行处理。

所述的步骤3）中，用以下公式计算椭圆E的主轴a、b及倾斜角θ来对目标O进行椭圆 拟合，

$a=2\sqrt{{\mu }_{20}/N}$

$b=2\sqrt{{\mu }_{02}/N}$

$\theta =\arctan \left(\frac{2{\mu }_{11}}{{\mu }_{20}-{\mu }_{02}}\right)$

其中，N表示目标O中的对数似然图LI中正似然值的总数。

所述的步骤3）中，根据椭圆拟合的结果估算目标O的尺度参数的方法为：

（1）如图2所示，计算椭圆E的横坐标x和纵坐标y的最大值和最小值，并得到一个大 小为{w,h}的矩形，其中，w＝max(x)-min(x)，h＝max(y)-min(y)；

（2）计算目标O的尺度参数ρ_t，其中，ρ_t＝η×{w,h}，η是折中参数；

（3）对尺度参数ρ_t进行滤波：

ρ_t＝γρ_t+(1-γ)ρ_t-1

式中，ρ_t-1表示前一帧图像中目标的尺度参数，ρ_t表示从当前帧图像中获得的目标的尺度参 数，γ是滤波系数，取值在0到1之间。

所述的步骤4）为：

（1）初始化为目标O模型的彩色图像核直方图，

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\Sigma }}k\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)\delta [b\left(x_i\right)-u]$

式中，x_i为目标O的第i个像素坐标，y₀为目标O的初始中心位置坐标，k(x)为高斯核函数， h为高斯核函数窗宽，等于目标的尺度参数ρ_t，函数δ[b(x_i)-u]是判断x_i处的颜色值是否属 于特征值u，C是归一化常数，n是目标O的像素总数，m为特征值u的总数；

（2）计算为候选区域模型的彩色图像核直方图，

${\hat{p}}_u\left(y\right)=C_h\underset{i=1}{\overset{n_h}{\Sigma }}k\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)\delta [b\left(x_i\right)-u]$

式中，x_i为候选区域的第i个像素坐标，y为候选区域的中心像素坐标，k(x)为高斯核函数， h为高斯核函数窗宽，等于目标的尺度参数ρ_t，函数δ[b(x_i)-u]是判断x_i处的颜色值是否属 于特征值u，C是归一化常数，n_k是候选区域的像素总数，m为特征值u的总数；

（3）计算和的Bhattacharyya相似性

$\rho [\hat{p}\left(y_0\right),\hat{q}]=\underset{u=1}{\overset{m}{\Sigma }}\sqrt{{\hat{p}}_u\left(y_0\right){\hat{q}}_u}$

式中，m为特征值u的总数；

（4）计算权值系数w_i，

$w_i=\underset{u=1}{\overset{m}{\Sigma }}\sqrt{\frac{{\hat{q}}_u}{{\hat{p}}_u\left(y\right)}}\delta [b\left(x_i\right)-u]$

式中，表示目标模型，表示候选区域模型，m为特征值u的总数，x_i为第i个像素坐 标，函数δ[b(x_i)-u]是判断x_i处的颜色值是否属于特征值u；

（5）找到下一个候选位置点y₁，

$y_1=\frac{\underset{i=1}{\overset{n_h}{\Sigma }}{x}_i{w}_{i}g\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)}{\underset{i=1}{\overset{n_h}{\Sigma }}{w}_{i}g\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)}$

其中，x_i为候选区域的第i个像素坐标，g(x)＝-k′(x)，h为高斯核函数窗宽，等于目标的尺 度参数ρ_t，w_i为权值系数，y₀为目标区域的中心位置坐标，n_k是候选区域的像素总数；

（6）计算并评估Bhattacharyya相似性

（7）若那么继续评估Bhattacharyya相似性 重复该步骤，直到不等式不再成立；

（8）判断||y₁-y₀||＜ζ是否成立，ζ是极小值，如果成立，Mean-Shift迭代跟踪结束； 否则，y₀←y₁，转到步骤（4）。

以上所述仅为本发明的较佳实施例而已，并不以限制本发明，凡在本发明的精神和原则 之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。