一种基于线性投影的监控视频鲁棒背景建模方法及装置

摘要

本发明实施例提供了一种基于线性投影的监控视频鲁棒背景建模方法及装置，属于监控视频图像处理技术领域。该方法包括获取监控视频中每一帧图像的各个像素点的中心像素强度值，并转化成一个向量；分别提取每个像素点在三个颜色通道上的强度值，并组合形成一预处理矩阵；根据预设的线性投影矩阵与所述预处理矩阵计算得到背景特征矩阵；分别计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数，并根据所述相关系数得到当前帧图像的每个像素点与下一帧图像的每个像素点之间的相似度；进而判断出每个像素点是否为背景像素点。本发明能够对视频中快速变化的亮度及背景运动进行自适应背景建模，以及快速准确地对运动目标进行检测。

说明书

技术领域

本发明涉及监控视频图像处理技术领域，具体而言，涉及一种基于线性投影的监控视频鲁棒背景建模方法及装置。

背景技术

在安全监控视频分析中，往往需要对运动目标进行检测，并从视频中提取出感兴趣的运动目标。这些运动目标是后续视频图像分类、识别和行为分析的基础。而如何从视频中快速准确地检测运动目标对于安全监控视频分析的应用至关重要。

常用的视频目标检测方法有帧差法、光流法和背景建模法。其中，背景建模法由于其高效性得到了广泛应用。在背景建模法中，场景中较为固定的部分被认为是背景，由于前景目标的存在，直接获取背景往往不可行，只有通过背景建模的方法来重建背景，因此背景建模是安全监控视频分析的一项关键技术。目前已经提出了大量的背景建模方法，当在复杂环境下，例如前景目标较多，背景有扰动以及光线发生突变等，以上背景建模方法得出的前景目标图像不太理想，进而直接导致前景目标的误检和漏检。现有的背景建模方法同时面临着光线变化和背景变化等问题，可以应对缓慢变化的背景数据，但是无法有效处理背景数据变化显著的情况。

发明内容

本发明提供了一种基于线性投影的监控视频鲁棒背景建模方法及装置，旨在有效对视频中快速变化的亮度及背景运动进行自适应背景建模，以及快速准确地对运动目标进行检测。

第一方面，本发明实施例提供的一种基于线性投影的监控视频鲁棒背景建模方法包括：

获取监控视频中每一帧图像的各个像素点的中心像素强度值，并将所述中心像素强度值转化成一个向量；

根据所述向量分别提取每个像素点在三个颜色通道上的强度值，并将获得的三个颜色通道上的强度值组合形成一预处理矩阵，其中，所述三个颜色通道包括红色通道、绿色通道和蓝色通道；

根据预设的线性投影矩阵与所述预处理矩阵计算得到背景特征矩阵，所述背景特征矩阵用于获取每一帧图像像素点的周围环境的特征信息，所述特征信息包括纹理信息和色彩信息；

根据所述特征信息分别计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数，并根据所述相关系数得到当前帧图像的每个像素点与下一帧图像的每个像素点之间的相似度；

根据所述相似度和预设的分类函数判断所述下一帧图像的每个像素点是否为背景像素点。

优选地，所述中心像素强度值通过以下公式获取：

μ＝αμ+(1-α)x

其中，x＝(x_r,x_g,x_b)^T是每一帧图像的任意一个像素点的颜色通道的强度值；常数α为更新平滑因子；μ为所述中心像素强度值。

优选地，所述背景特征矩阵为：

其中，中的元素只包含1,-1,0，所述中的元素的值随机分配，但满足每一列总和为零的条件，其次，对于一个中心像素强度值为μ的M×M区域，将其转化成一个向量，并提取三个颜色通道的强度值，形成一个3×M²的矩阵，代表该3×M²的矩阵，用于表示μ的背景周围区域。

优选地，所述计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数的步骤包括：

根据下式定义两个距离测量算子λ和γ：

$\gamma =\frac{\mathrm{cov}({\underset{‾}{v}}_{\underset{‾}{\mu }},{\underset{‾}{v}}_{\underset{‾}{x}})}{\mathrm{var}\left({\underset{‾}{v}}_{\underset{‾}{\mu }}\right)\mathrm{var}\left({\underset{‾}{v}}_{\underset{‾}{x}}\right)}$

其中，函数cov(.)用于计算协方差，var(.)用于计算方差，v_μ和v_x分别是和所有列总和的向量；

针对λ和γ，引入下式：

其中，c是一个与亮度变化相关的因子，是估计误差且假定作方差为σ²的零均值高斯分布，则有：

$\lambda \approx 1-\frac{{\Sigma }_{i=1}^3{\Sigma }_{j=1}^{M^2}{\left({\mathrm{\Delta p}}_{ij}\right)}^2}{{\Sigma }_{i=1}^3{\Sigma }_{j=1}^{M^2}{\left({\mathrm{\Delta p}}_{ij}\right)}^2+{\Sigma }_{i=1}^3{\Sigma }_{j=1}^{M^2}{\left({\mathrm{cp}}_{ij}\right)}^2}$

$\gamma \approx 1-\frac{{\Sigma }_{i=1}^3{\left({\Sigma }_{j=1}^{M^2}{\mathrm{\Delta p}}_{ij}\right)}^2}{{\Sigma }_{i=1}^3{\left({\Sigma }_{j=1}^{M^2}{\mathrm{\Delta p}}_{ij}\right)}^2+{\Sigma }_{i=1}^3{\left({\Sigma }_{j=1}^{M^2}{\mathrm{cp}}_{ij}\right)}^2}$

其中，Δp_ij和p_ij分别是中的元素。若一个像素点的像素强度值x是背景像素，那么由于上式中λ和γ的值都近似于1；λ对于和的结构变化很敏感，而γ对于颜色通道差异敏感。

优选地，所述分类函数为：

当所述分类函数的值为0时，判断所述下一帧图像的像素点为背景像素点，当所述分类函数的值为1时，判断所述下一帧图像的像素点为前景像素点；

其中：

第二方面，本发明实施例提供的一种基于线性投影的监控视频鲁棒背景建模装置，包括：

获取单元，用于获取监控视频中每一帧图像的各个像素点的中心像素强度值，并将所述中心像素强度值转化成一个向量；

提取单元，用于根据所述向量分别提取每个像素点在三个颜色通道上的强度值，并将获得的三个颜色通道上的强度值组合形成一预处理矩阵，其中，所述三个颜色通道包括红色通道、绿色通道和蓝色通道；

计算单元，用于根据预设的线性投影矩阵与所述预处理矩阵计算得到背景特征矩阵，所述背景特征矩阵用于获取每一帧图像像素点的周围环境的特征信息，所述特征信息包括纹理信息和色彩信息；以及根据所述特征信息分别计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数，并根据所述相关系数得到当前帧图像的每个像素点与下一帧图像的每个像素点之间的相似度；

判断单元，用于根据所述相似度和预设的分类函数判断所述下一帧图像的每个像素点是否为背景像素点。

优选地，所述中心像素强度值通过以下公式获取：

μ＝αμ+(1-α)x

其中，x＝(x_r,x_g,x_b)^T是每一帧图像的任意一个像素点的颜色通道的强度值；常数α为更新平滑因子；μ为所述中心像素强度值。

优选地，所述背景特征矩阵为：

其中，中的元素只包含1,-1,0，所述中的元素的值随机分配，但满足每一列总和为零的条件，其次，对于一个中心像素强度值为μ的M×M区域，将其转化成一个向量，并提取三个颜色通道的强度值，形成一个3×M²的矩阵，代表该3×M²的矩阵，用于表示μ的背景周围区域。

优选地，所述计算单元计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数的方式为：

根据下式定义两个距离测量算子λ和γ：

$\gamma =\frac{\mathrm{cov}({\underset{‾}{v}}_{\underset{‾}{\mu }},{\underset{‾}{v}}_{\underset{‾}{x}})}{\mathrm{var}\left({\underset{‾}{v}}_{\underset{‾}{\mu }}\right)\mathrm{var}\left({\underset{‾}{v}}_{\underset{‾}{x}}\right)}$

其中，函数cov(.)用于计算协方差，var(.)用于计算方差，v_μ和v_x分别是和所有列总和的向量；

针对λ和γ，引入下式：

其中，c是一个与亮度变化相关的因子，是估计误差且假定作方差为σ²的零均值高斯分布，则有：

$\lambda \approx 1-\frac{{\Sigma }_{i=1}^3{\Sigma }_{j=1}^{M^2}{\left({\mathrm{\Delta p}}_{ij}\right)}^2}{{\Sigma }_{i=1}^3{\Sigma }_{j=1}^{M^2}{\left({\mathrm{\Delta p}}_{ij}\right)}^2+{\Sigma }_{i=1}^3{\Sigma }_{j=1}^{M^2}{\left({\mathrm{cp}}_{ij}\right)}^2}$

$\gamma \approx 1-\frac{{\Sigma }_{i=1}^3{\left({\Sigma }_{j=1}^{M^2}{\mathrm{\Delta p}}_{ij}\right)}^2}{{\Sigma }_{i=1}^3{\left({\Sigma }_{j=1}^{M^2}{\mathrm{\Delta p}}_{ij}\right)}^2+{\Sigma }_{i=1}^3{\left({\Sigma }_{j=1}^{M^2}{\mathrm{cp}}_{ij}\right)}^2}$

其中，Δp_ij和p_ij分别是中的元素。若一个像素点的像素强度值x是背景像素，那么由于上式中λ和γ的值都近似于1；λ对于和的结构变化很敏感，而γ对于颜色通道差异敏感。

优选地，所述分类函数为：

当所述分类函数的值为0时，判断所述下一帧图像的像素点为背景像素点，当所述分类函数的值为1时，判断所述下一帧图像的像素点为前景像素点；

其中：

其中：R0是一个小增量，0.98是一个经验值。

本发明实施例提供的一种基于线性投影的监控视频鲁棒背景建模方法及装置，通过将获取的各个像素点的中心像素强度值转化成一个向量，并根据该向量获得每个像素点在三个颜色通道上的强度值，以及根据预设的线性投影矩阵得到背景特征矩阵，进而计算出当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数和相似度，最终结合预设的分类函数判断出下一帧图像的每个像素点是否为背景像素点。本发明能够有效对视频中快速变化的亮度及背景运动进行自适应背景建模，以及快速准确地对运动目标进行检测。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应该看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模装置的结构框图。

图2是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模装置的流程图。

图3是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模方法的计算结果对比图。

图4是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模方法的测试结果对比图。

图5是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模方法的另一种测试结果对比图。

图6是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模方法的另一种测试结果对比图。

图中标记分别为：

监控视频鲁棒背景建模装置100，获取单元101，提取单元102，计算单元103，判断单元104。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，是本发明实施例提供的一种基于线性投影的监控视频鲁棒背景建模装置100，所述监控视频鲁棒背景建模装置100可以应用于具有图像处理能力的计算终端，例如：个人电脑(personal computer，PC)和服务器等。其中，所述监控视频鲁棒背景建模装置100可以包括获取单元101、提取单元102、计算单元103和判断单元104等。所述获取单元101、提取单元102、计算单元103和判断单元104分别用于执行基于线性投影的监控视频鲁棒背景建模方法中不同的步骤，以完成对监控视频中快速变化的亮度及背景运动进行自适应背景建模，以及快速准确地对运动目标进行检测。

下面结合图2对上述各功能单元进行详细描述。如图2所示，是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模方法的流程图。该方法包括以下步骤。

所述步骤S101：获取监控视频中每一帧图像的各个像素点的中心像素强度值，并将所述中心像素强度值转化成一个向量。本实施例中，该步骤S101可由所述获取单元101执行。

具体地，所述监控视频中包括多帧图像。所述获取单元101用于实时获取所述监控视频中输入的每一帧图像的各个像素点的中心像素强度值，以及根据获取到的所述中心像素强度值对所述向量进行实时更新。

所述中心像素强度值可表示为以下公式：

μ＝αμ+(1-α)x

其中，x＝(x_r,x_g,x_b)^T是输入的每一帧图像的任意一个像素点的颜色通道的强度值。所述常数α为更新平滑因子，用于使得图像数据实现平滑更新，所述常数α的值可以为0.005。而μ为所述中心像素强度值。

步骤S102：根据所述向量分别提取每个像素点在三个颜色通道上的强度值，并将获得的三个颜色通道上的强度值组合形成一预处理矩阵。本实施例中，所述步骤S102可以由所述提取单元102执行。

具体地，根据所述向量提取每个像素点在三个颜色通道上的强度值。所述三个颜色的通道可以包括红色通道、绿色通道和蓝色通道。并将获得的三个颜色通道上的强度值组合形成一预处理矩阵。可选地，对于一个中心像素强度值为μ的M×M区域，将其转化成一向量，并提取三个颜色通道的强度值，形成一个3×M²的预处理矩阵。所述3×M²的预处理矩阵用表示，所述代表了μ的背景周围区域。

所述步骤S103：根据预设的线性投影矩阵与所述预处理矩阵计算得到背景特征矩阵，所述背景特征矩阵用于获取每一帧图像像素点的周围环境的特征信息，所述特征信息包括纹理信息和色彩信息。本实施例中，所述步骤S103可以由所述计算单元103执行。

其中，所述线性投影矩阵为一个N×3的矩阵。所述中的元素只包含1,-1,0，所述线性投影矩阵中的元素的值随机分配，但满足每一列总和为零的条件。可选地，所述背景特征矩阵可以由所述线性投影矩阵右乘矩阵而得到，即所述背景特征矩阵是一个N×M²的矩阵。根据所述背景特征矩阵可以获取每一帧图像像素点的周围环境的特征信息，所述特征信息包括纹理信息和色彩信息。

步骤S104：根据所述特征信息分别计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数，并根据所述相关系数得到当前帧图像的每个像素点与下一帧图像的每个像素点之间的相似度。本实施例中，所述步骤S104也可由所述计算单元103执行。

其中，所述计算单元103可根据下式定义两个距离测量算子λ和γ：

$\gamma =\frac{\mathrm{cov}({\underset{‾}{v}}_{\underset{‾}{\mu }},{\underset{‾}{v}}_{\underset{‾}{x}})}{\mathrm{var}\left({\underset{‾}{v}}_{\underset{‾}{\mu }}\right)\mathrm{var}\left({\underset{‾}{v}}_{\underset{‾}{x}}\right)}$

其中，函数cov(.)用于计算协方差；var(.)用于计算方差；v_μ和v_x分别是和所有列总和的向量。

根据以上定义的λ和γ，可以引入下式：

其中，所述c是一个与亮度变化相关的因子。是估计误差。所述可以假设为满足方差为σ²的零均值高斯分布的随机变量。则有以下计算公式：

$\lambda \approx 1-\frac{{\Sigma }_{i=1}^3{\Sigma }_{j=1}^{M^2}{\left({\mathrm{\Delta p}}_{ij}\right)}^2}{{\Sigma }_{i=1}^3{\Sigma }_{j=1}^{M^2}{\left({\mathrm{\Delta p}}_{ij}\right)}^2+{\Sigma }_{i=1}^3{\Sigma }_{j=1}^{M^2}{\left({\mathrm{cp}}_{ij}\right)}^2}$

$\gamma \approx 1-\frac{{\Sigma }_{i=1}^3{\left({\Sigma }_{j=1}^{M^2}{\mathrm{\Delta p}}_{ij}\right)}^2}{{\Sigma }_{i=1}^3{\left({\Sigma }_{j=1}^{M^2}{\mathrm{\Delta p}}_{ij}\right)}^2+{\Sigma }_{i=1}^3{\left({\Sigma }_{j=1}^{M^2}{\mathrm{cp}}_{ij}\right)}^2}$

其中，Δp_ij和p_ij分别是中的元素。若一个像素点的像素强度值x是背景像素，那么由于上式中λ和γ的值都近似于1。λ对于和的结构变化很敏感，而γ对于颜色通道差异敏感。

步骤S105：根据所述相似度和预设的分类函数判断所述下一帧图像的每个像素点是否为背景像素点。本实施例中，所述步骤S105可由所述判断单元104执行。

其中，所述分类函数为：

当所述分类函数的值为0时，判断所述下一帧图像的像素点为背景像素点。当所述分类函数的值为1时，判断所述下一帧图像的像素点为前景像素点。

其中：

其中，R0是一个小增量，所述R0的取值可以为0.0005。而0.98是一个据实际情况所取经验值。

进一步地，根据以上公式计算出的结果如图3所示。可以理解的是，图3所示的测试结果为更新平滑因子α，R₀，中的N和中的M在不同设置值下所对应的质量指标F值。可见，F值对于α，N以及R₀的变化不敏感。另一方面，提高M值会降低结果的准确性。因此，参数设置最佳值为：α＝0.005，N＝32，M＝7，R₀＝0.0005。

进一步地，通过使用感知测试图像序列对本发明所提出的方法进行评估。并将本发明实施例所提供的方法与目前最新的方法和经典算法在不同应用场景中的表现效果进行比较。其中，所述最新的方法和经典算法主要包括GMM法、Vibe法、CB法和PBPA法等。所述应用场景主要包括Shopping Mall,Bootstrapping,Camouflage,Foreground Aperture和Waving Trees and Time of Day等。其比较结果如图4所示。可见，本发明实施例所提供的方法表现出更好的检测结果。由于场景变化迅速，很难建立清晰的背景模型，而本发明实施例所提供的方法能够稳定地工作在干扰严重的背景中。对于所述Waving Trees应用场景，图4所示的结果显示了本发明实施例所提供的方法在动态背景下可以显著地抑制噪声。对于所述Time of Day应用场景，图4所示的结果显示了本发明实施例所提供的方法对于亮度变化有较好的鲁棒性。而在极端条件下，例如在灯亮及灯灭的瞬间，显示结果如图5所示，可见，本发明实施例提出的方法效果最佳。

进一步地，通过使用变化检测的测试中基线，动态背景和阴影变化检测的数据设置，各方法间的对比结果如图6所示。可以看出，在F值，查全率和准确率测量中本发明实施例所提出的方法都优于最新水平的方法。

本发明实施例提供的一种基于线性投影的监控视频鲁棒背景建模方法及装置，通过将获取的各个像素点的中心像素强度值转化成一个向量，并根据该向量获得每个像素点在三个颜色通道上的强度值，以及根据预设的线性投影矩阵得到背景特征矩阵，进而计算出当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数和相似度，最终结合预设的分类函数判断出下一帧图像的每个像素点是否为背景像素点。本发明能够有效对视频中快速变化的亮度及背景运动进行自适应背景建模，以及快速准确地对运动目标进行检测。

需要说明的是，在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。