一种基于立体视觉的视频场景变化检测方法

摘要

本发明公开了一种基于立体视觉的视频场景变化检测方法，包括以下步骤：(a)在当前时刻，利用变分法通过聚焦分别恢复双目相机所获取的左眼图像和右眼图像中的场景深度信息；(b)利用双目立体匹配方法获得当前场景深度，并利用(a)得到的场景深度信息对双目立体匹配方法无法获取深度的区域进行插值；(c)将(b)得到的当前场景深度与前一时刻获得的场景深度进行比较，得到对应的场景变化。本发明计算过程收敛快速、并可减少立体视觉致密匹配方法在重复纹理区域和遮挡区域容易产生的错误。

说明书

技术领域

本发明涉及视频内容分析技术，特别是涉及一种基于立体视觉的 视频场景变化的检测方法。

背景技术

检测视频场景的变化是视频监控领域中视频内容自动分析技术的 一个主要内容，对于在监控环境中及时发现入侵物或异物具有重要意 义。

现有的单目相机只能获得场景的二维信息，这种方式下异物目标 的检测最终还是需要采用目标外观建模的方式完成，因而需要事先采 集异物目标在各种情况下的图像作为异物模型的训练样本，如：不同 光照条件下，不同场景下的异物等。这种方式不仅费时费力而且难以 穷尽各种情况。另外，传统方法只能检测学习过的场景和目标对象， 当场景或目标发生外观、姿态或光照等变化时，系统就难以准确检测 到异物目标，造成漏报和误报。

为了提高检测的识别率和准确性，业内已经出现了基于双目视觉 的视频场景变化检测技术。从双目相机拍摄的左眼图像和右眼图像可 以获取深度信息，通过检测深度信息的变化来检测场景变化。然而， 现有的获取深度信息的方法，例如立体视觉致密匹配方法，对于重复 纹理区域和遮挡区域处理效果不佳，并且收敛速度较慢，不利于在实 时场合下的应用。

发明内容

针对现有技术的不足，本发明的目的在于提出一种基于立体视觉 的视频场景变化检测方法。该方法将基于变分法的、通过聚焦恢复深 度的方法与立体视觉致密匹配方法相结合，可以得到监控场景的深度 信息，并由此实现对于视频场景变化的检测。

为了实现以上发明目的，本发明采用的技术方案如下：

一种基于立体视觉的视频场景变化检测方法，包括以下步骤：

(a)在当前时刻，利用变分法通过聚焦分别恢复双目相机所获 取的左眼图像和右眼图像中的场景深度信息；

(b)利用双目立体匹配方法获得当前场景深度，并用(a)中得 到的场景深度信息对所述当前场景深度中遮挡部分的像素对应的深 度值进行插值优化，得到优化后的当前场景深度；

(c)将(b)得到的优化后的当前场景深度与前一时刻获得的场 景深度进行比较，计算深度差异，得到对应的场景变化。

本发明具有以下有益的效果：计算过程收敛快速、并可减少立体 视觉致密匹配方法在重复纹理区域和遮挡区域容易产生的错误。

附图说明

图1为本发明提出的基于立体视觉的视频场景变化检测方法的 整体流程示意图；

图2为基于变分法的通过聚焦恢复深度信息的方法的流程示意 图；

图3为基于变分法的通过聚焦恢复深度信息的方法中使用的拉 普拉斯算子示意图。

具体实施方式

以下结合附图对本发明的技术方案进行详细说明。

参见图1，本发明提出的基于立体视觉的视频场景变化检测方法 包括以下三个主要步骤：

(a)在当前时刻，利用变分法通过聚焦分别恢复双目相机所获 取的左眼图像和右眼图像中的场景深度信息；

(b)利用双目立体匹配方法获得当前场景深度，并用(a)中得 到的场景深度信息进行插值优化；

(c)将(b)得到的当前场景深度与前一时刻获得的场景深度进 行比较，得到对应的场景变化。

对于步骤(a)，在当前的t时刻，双目相机获取监控场景的左眼 图像和右眼图像。利用变分法通过聚焦分别恢复双目相机所获取的左 眼图像和右眼图像中的场景深度信息。物体深度信息的一个强线索是 其模糊程度，它随物体表面远离摄像机焦距而增加。连续调整摄像机 成像平面到透镜的距离，图像中同一点的清晰度会随之发生变化，通 过选取整个对焦过程中图像中每一点达到最大清晰度时对焦点的位 置，根据镜头法则1/z_0+1/z_i=1/f，就可以计算得到该点到镜头的 距离(也即深度信息)。

具体方法流程图图2所示。

首先，初始设置摄像机对焦位置为摄像机可达范围的最近点。在 本特定实施例中，摄像机最近对焦点位置为1.4米。连续调整摄像机 对焦位置，使摄像机对焦点距离匀速增大，并以预定帧率(例如每秒 30帧)的速度采集摄像机图像。

接着，利用拉普拉斯算子计算每幅图像每个像素点的清晰度。现 有方法通常使用一个区域内梯度平方的均值或者精心设计的有理多 项式滤波器对图像清晰度进行评价，这些方法难以包含所有朝向的边 缘响应，并且具有较高的计算复杂度。因此，本发明使用拉普拉斯算 子对图像清晰度进行评价，使用的拉普拉斯算子包含所有朝向的边缘 响应，并且可以利用积分图像进行快速计算，计算复杂度较低。本实 施例中，使用的拉普拉斯算子核为$\left(\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right).$在连续调整摄像机 对焦位置的过程中，对每个像素点利用设计的拉普拉斯核进行滤波， 得到每个像素点在时域上的清晰度变化曲线。如图3所示。

然后，根据所有图像的每个像素点的所述清晰度变化曲线，利用 变分法估计场景深度。在得到图像中每个像素点在连续调整摄像机成 像平面过程中清晰度的变化曲线后，现有技术通常通过选取整条变化 曲线的最大值的位置或曲线中清晰度较高的前几个位置的平均值作 为该点的准确对焦位置。这些方法速度较快但易受图像中噪声的影 响，并且缺乏图像中相邻点之间深度的局部一致性约束，在此引入变 分法来选取对焦点。

为了利用变分法完成对焦点的选取，需要进行以下两个假设：

1、准确的对焦点对应于最大的清晰度

2、相邻像素对应的深度是平滑的，即相邻像素的深度值不会发 生剧烈变化，可根据需要设置阈值来规定平滑。

基于以上两个假设，为每个图像中的像素点选取准确的对焦点位 置就等价于使以下能量公式最小

E=E_Data+αE_Smooth

其中E_Data是关于图像中每个点的清晰度的函数，每个点的对焦位 置选取越准确，该点对应的清晰度越大，E_Data值越小。E_Data的计算公 式如下所示：

$E_{\mathrm{Data}}=\underset{\Omega }{\int }F(x,y,d)\mathrm{dxdy}$

$F(x,y,d)=\underset{d_i\in D}{\max }\left(L(x,y,d_i)\right)-L(x,y,d)$

其中Ω表示图像中所有像素点位置的集合，F(x，y，d)表示位置 (x，y)∈Ω对焦点位置为d∈D时的模糊程度，通过计算该位置整个序 列所有对焦点位置d_i∈D的最大清晰度和对焦位置为 d时的清晰度的差得到。

另外，E_Smooth项用来约束相邻像素之间的深度平滑性，为深 度图梯度的平方，描述相邻像素深度差的大小，并引入关于每个点清 晰度L(x，y，d)的非线性函数g(L(x，y，d))来减弱平滑性约束对边缘部分的 影响，其中ε用来调整图像清晰度L(x，y，d)对平滑性约束影响的权重， α用来调整数据项和平滑项所占的比例。

$E_{\mathrm{Smooth}}\text{=}\underset{\Omega }{\int }g\left(L(x,y,d)\right){|▿d|}^2\mathrm{dxdy}$

$g\left(L(x,y,d)\right)=\frac{1}{\sqrt{1+\frac{L(x,y,d)}{ϵ}}}$

最后，上述能量公式的最小化可通过欧拉-拉格朗日方程求解完 成，求解结果为每个像素点对应的对焦点的位置，即该点的深度值。

对于步骤(b)，利用双目立体匹配方法计算左眼图像和右眼图像 之间的视差，从而计算左眼图像和右眼图像对应的深度图。在本实施 例中，作为示例，双目立体匹配方法可以采用文献[1]所提出的方法。 其中，计算每个像素p对应视差为disp时的代价 S(p，disp)＝∑_rL_r(p，disp)，其中r为方向，L_r(p，disp)为像素p对应视 差为disp时在方向r上的匹配代价和平滑代价之和：

$L_r(p,\mathrm{disp})=C(p,\mathrm{disp})+\min (L_r(p-r,\mathrm{disp}),L_r(p-r,\mathrm{disp}-1)+$$P_1,L_r(p-r,\mathrm{disp}+1)+P_1,\underset{i}{\min }{L}_r(p-r,i)+P_2)-\underset{k}{\min }{L}_r(p-r,k)$，其中P₁为深度差为1时的像素间深度平滑代价，P₂为深度差大于1 时的像素间深度平滑代价。C(p，disp)为像素p对应视差为disp时的匹 配代价，即左眼图像中像素p邻域内像素灰度值和与右眼图像中像素 p+disp邻域内像素灰度值和的差 C(p，disp)＝|∑_i∈N(p)I_left(i)-∑_{j∈N(p+disp)}I_right(j)|，N(p)与 N(p+disp)表示像素p和p+disp的邻域像素的集合，I_left(i)和I_right(j) 分别表示左眼图像像素i和右眼图像像素j对应的灰度值。对于像素p， 通过选取使S(p，disp)最小的视差disp，计算像素p对应的深度值 d＝B·f/disp，其中B为两个摄像机中心的距离，f为摄像机焦距长度。

需要指出，通常的双目立体匹配方法对于图像区域中产生遮挡的 部分很难获得准确的深度值，因此对于遮挡部分的像素点q，其对应 的深度值可通过(a)中得到的场景深度信息进行插值得到。对于左 眼图像或右眼图像中遮挡部分的像素q对应的深度值，可以实用公式 计算，其中，N为q邻域内可利用立体匹配方法 计算深度的像素集合，|N|表示N中像素点的数目，d_k为N中一点k利 用立体匹配方法计算得到的深度值，和分别为(a)中利用左眼 或右眼输入图像序列计算得到的深度图中像素q和k对应的深度值。

对于步骤(c)，将步骤(b)得到的当前场景深度与前一时刻(即， t-1时刻)获得的场景深度进行比较，计算深度差异，即得到对应的 场景变化。

以上利用具体个例对本发明的原理及实施方式进行了阐述，以上 实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时， 对于本领域技术人员，依据本发明的思想，在具体实施方式及应用范 围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明 的限制。