基于时间梯度与空间梯度实现视频指纹提取的方法

摘要

本发明涉及一种基于时间梯度与空间梯度实现视频指纹提取的方法，其中包括利用场景分割技术将视频分割成多个场景并对各个场景提取关键帧；将各个关键帧及其前后帧转化为灰度图像；调整所述的灰度图像的大小并将调整大小后的灰度图像分块；计算每块灰度图像的空间梯度平均大小和质心梯度方向以及时间梯度平均大小作为视频指纹。采用该种基于时间梯度与空间梯度实现视频指纹提取的方法，实现了同时考虑视频的时间与空间特征，计算基于时间与基于空间的梯度，并利用梯度值计算提取视频指纹特征，提高视频指纹提取的稳定性，通过对于视频的视频指纹提取以及视频指纹比较，我们可以在视频经过手段处理过的情况下成功匹配源视频，具有更广泛应用范围。

说明书

技术领域

本发明涉及视频处理领域，尤其涉及视频指纹提取领域，具体是指一种基于时间梯度与 空间梯度实现视频指纹提取的方法。

背景技术

近些年来，视频数据的数字化生产，储存和分发在数量上大大增加了，数字视频的交互 越来越普遍。数字视频发展的同时，其版权保护也是一个日益重要的问题。数字视频的版权 保护，需要一个有效的保护，管理，索引视频内容的方法，以应对视频复制盗版事件。

视频指纹是数字视频版权保护的一个有效方法，视频指纹识别的目标是提供对内容进行 识别的快速和可靠的方法。视频指纹是将一个视频片断与其它视频片断区分开的唯一的特征 向量，视频指纹识别的目标是通过测量数据库中所要检索的指纹和数据库中各个指纹的距离 以确定一个给定的视频。视频指纹识别在文件共享业务、广播监控、大型视频数据库自动索 引等领域中得到广泛应用。

视频指纹需要满足以下性质：

（1）鲁棒性：即稳定性，从一段遭受了失真的视频片段中提取出的指纹应该与原始的视 频片段的指纹相似。

（2）独立性：两个感知上不同的视频，需要有不同的指纹。

（3）数据库检索效率：对于一个大规模的应用数据库，指纹应该是有利于进行高效的数 据库搜索。

利用视频指纹技术保护版权的实现方式如下所述：对于视频提取出指纹，然后将提取出 的指纹存储起来。当我们需要在一些需检测的视频中找出侵害版权的相似视频时，我们提取 出这些需检测视频的指纹，与存储起来的视频进行对比，以判断视频相似度。

在视频复制盗版事件中，复制视频通常会对原始视频进行一定的处理，例如缩放，拉伸， 剪切，插入等手段，而且可能同时采取多种手段。经过变换处理后的盗版视频的在像素值上 可能与源视频不具备相似性，但我们提取出的视频指纹仍然需要检测出他们之间的盗版关系， 即视频指纹需要鲁棒性。

在各种视频指纹技术提取技术中，文章“Sunil Lee,Yoo C.D.;Video Fingerprint Based on  Centroids of Gradient Orientations;Acoustics,Speech and Signal Processing,ICASSP;Volume:2; 2006”介绍了一种基于空间的质心梯度方向提取的视频指纹提取方法。该方法计算简便，而 且提取的特征鲁棒性很强。本发明是基于该文章的一种视频指纹提取改良，本发明不仅提取 基于空间的质心梯度方向，同时还提取基于空间和时间的梯度平均大小。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现不仅基于空间的质心 梯度方向、还提取基于空间和事件的梯度平均大小、提高视频指纹提取的稳定性、具有更广 泛应用范围的基于时间梯度与空间梯度实现视频指纹提取的方法。

为了实现上述目的，本发明的基于时间梯度与空间梯度实现视频指纹提取的方法具有如 下构成：

该基于时间梯度与空间梯度实现视频指纹提取的方法，其主要特点是，所述的方法包括 以下步骤：

（1）利用场景分割技术将视频分割成多个场景并对各个场景提取关键帧；

（2）将各个关键帧及其前后帧转化为灰度图像；

（3）调整所述的灰度图像的大小并将调整大小后的灰度图像分块；

（4）计算每块灰度图像的空间梯度平均大小和质心梯度方向以及时间梯度平均大小作为 视频指纹。

较佳地，所述的利用场景分割技术将视频分割成多个场景并对各个场景提取关键帧，包 括以下步骤：

（11）将视频以系统预设的固定帧速率重新采样；

（12）分别利用渐变场景变化检测和突变场景变化检测来检测所述的视频的场景变化处 并将视频分割为多个场景；

（13）在各个场景中提取关键帧。

更佳地，所述的在各个场景中提取关键帧，包括以下步骤：

（131）判断被提取的场景长度是否小于2L，其中L为系统预设帧数，如果是，则继续 步骤（132），否则继续步骤（133）；

（132）选择该场景中间的帧作为关键帧，然后继续步骤（2）；

（133）在该场景中每L帧选择一关键帧。

较佳地，所述的将各个关键帧及其前后帧转化为灰度图像，包括以下步骤：

（21）提取各个关键帧及各个关键帧前后的相邻帧；

（22）对各个关键帧及其前后帧进行灰度化处理获得灰度图像。

较佳地，所述的调整所述的灰度图像的大小并将调整大小后的灰度图像分块，包括以下 步骤：

（31）将所述的灰度图像调整为系统预设固定大小；

（32）将调整大小后的灰度图像分割为块状，各个调整大小后的灰度图像均被分为N× M的矩阵。

较佳地，所述的计算每块灰度图像的空间梯度平均大小和质心梯度方向以及时间梯度平 均大小作为视频指纹，包括以下步骤：

（41）对于每一块图像计算空间梯度平均大小和质心梯度方向以及时间梯度平均大小；

（42）将计算得到的空间梯度平均大小和质心梯度方向以及时间梯度平均大小作为视频 特征即视频指纹。

更佳地，所述的计算空间梯度平均大小和质心梯度方向以及时间梯度平均大小，包括以 下步骤：

（411）按照以下公式计算在视频第k帧的坐标（x,y）位置处的空间梯度Δp：

$\mathrm{\Delta p}=\left(\begin{array}{cc}{G}_x& G_y\end{array}\right)=\left(\begin{array}{cc}\frac{\partial p}{\partial x}& \frac{\partial p}{\partial y}\end{array}\right)$

G_x＝p[x+1,y,k]-p[x-1,y,k]

G_y＝p[x,y+1,k]-p[x,y-1,k]

其中，p[x,y,k]为视频第k帧的坐标（x,y）位置处点的亮度值；

（412）按照以下公式计算在视频第k帧第n行和第m列位置处的质心梯度方向c1[n,m,k]：

$c1[n,m,k]=\frac{\underset{(x,y)\in B_{n,m,k}}{\Sigma }m[x,y,k]\theta [x,y,k]}{\underset{(x,y)\in B_{n,m,k}}{\Sigma }m[x,y,k]}$

$m[x,y,k]=\sqrt{{G_x}^2+{G_y}^2}$

$\theta [x,y,k]={\tan }^{-1}\left(\frac{G_y}{G_x}\right)$

其中，Bn,m,k是第k帧中位于第n行和第m列的一块图像；

（413）按照以下公式计算在视频第k帧中位于第n行和第m列的一块图像的空间梯度 平均大小值c2[n,m,k]：

$c2[n,m,k]=\frac{1}{\mathrm{XY}}\underset{(x,y)\in B_{n,m,k}}{\Sigma }m[x,y,k];$

（414）按照以下公式计算在视频第k帧中位于第n行和第m列的一块图像的时间梯度 平均大小值c3[n,m,k]：

$c3[n,m,k]=\frac{1}{\mathrm{XY}}\underset{(x,y)\in B_{n,m,k}}{\Sigma }mt[x,y,k]$

mt[x,y,k]＝G_t

G_t＝p[x,y,k+1]-p[x,y,k-1]

其中，mt[x,y,k]为视频第k帧坐标（x,y）位置处的时间梯度。

更进一步地，所述的将计算得到的空间梯度平均大小和质心梯度方向以及时间梯度平均 大小作为视频特征即视频指纹，包括以下步骤：

（421）按照以下公式计算视频第k帧第n行第m列的视频指纹f[n,m,k]：

f[n,m,k]＝[w1×c1[n,m,k],w2×c2[n,m,k],w3×c3[n,m,k]]

其中，w1,w2,w3分别为质心梯度方向、空间梯度平均大小和时间梯度平均大小的权重值；

（422）按照以下公式计算视频第k帧的N×M维视频指纹向量f_k：

f_k=[f[1,1,k] f[1,2,k]…f[N,M,k]]

其中，N为第k帧的灰度图像所划分的总行数，M为第k帧的灰度图像所划分的总列数。

再进一步地，所述的步骤（4）之后，还包括以下步骤：

（5）通过对比两个视频的视频指纹相似度判断两个视频之间的相似度。

再进一步地，所述的通过对比两个视频的视频指纹相似度判断两个视频之间的相似度， 具体为：

按照以下公式计算两个视频之间的相似度值D(f1,f2)：

$D(f1,f2)=\frac{1}{\mathrm{NMK}}\underset{n=1}{\overset{N}{\Sigma }}\underset{m=1}{\overset{M}{\Sigma }}\underset{k=1}{\overset{K}{\Sigma }}\left(\frac{1}{3}\underset{d=1}{\overset{3}{\Sigma }}{\left(f1\right[n,m,k,d]-f2[n,m,k,d\left]\right)}^2\right)$

其中，f1,f2分别为从两段不同的视频片段中提取的视频指纹。

采用了该发明中的基于时间梯度与空间梯度实现视频指纹提取的方法，具有如下有益效 果：

实现了同时考虑视频的时间与空间特征，计算基于时间与基于空间的梯度，并利用梯度 值计算提取视频指纹特征，提高视频指纹提取的稳定性，采取相对灵活的视频指纹匹配方式， 通过对于视频的视频指纹提取以及视频指纹比较，我们可以在视频经过缩放，拉伸，剪切， 插入等手段处理过的情况下成功匹配源视频（此时视频差异值不大）。进而视频指纹技术可以 有助于视频版权的保护，当出现盗版的情况可以迅速搜索到源视频，具有更广泛应用范围。

附图说明

图1为本发明的基于时间梯度与空间梯度实现视频指纹提取的方法的流程图。

图2为本发明的基于时间梯度与空间梯度实现视频指纹提取的方法的详细流程图。

图3为本发明中视频场景长度超过2L帧时关键帧的提取方式。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明公开了一种视频指纹的提取方法，如图1所示，包括以下步骤：

（1）利用场景分割技术对于视频进行分割，对于不同段的视频提取关键帧。

（2）将关键帧及其前后帧灰度化获取灰度图像。

（3）对灰度图像调整大小并分块。

（4）对于每一小块灰度图像，计算空间的梯度的平均大小及质心方向，同时计算时间的 梯度平均大小，以提取每个关键帧的特征作为视频指纹。最后通过对比视频指纹以判断两个 视频的相似度。

本发明的目的在于设计一种鲁棒性更强的指纹提取系统。以更好的起到保护视频版权的 作用。

为达到上述目的，如图2所示，本发明的的指纹提取过程包括以下步骤：

（a）输入视频以一个固定的帧速率（每秒f帧）被重新采样，以应对帧速率的变化。

（b）分别利用渐变场景变化检测和突变场景变化检测来检测视频的场景变化处，进而将 视频分割为一个个场景。

（c）在分割后的场景之中提取视频关键帧。如果一个场景长度小于2L，则关键帧选择 场景中间的帧。如果场景的长度大于2L，则每L帧选择一关键帧，如图3所示。

（d）提取关键帧及其先后的相邻帧（重新采样后的相邻帧），并将这些帧转化为灰度图 像。

（e）调整灰度图像的大小，调整为固定的尺寸。使这些帧的宽度和高度分别规范化为两 个固定的值：W，H。

（f）将调整大小后的灰度图像分割为块状。每个调整后的帧被分成了N行和M列，形 成了N×M的矩阵。M，N的数值选择相对灵活，我们可以将分割数目进行不同的取值。

（g）对于N×M的矩阵中的每一块，计算空间的梯度的平均大小及质心方向，同时计算 时间的梯度平均大小。

在视频第k帧的坐标(x,y)位置处，用函数P(x,y,k)表示该点的亮度值。坐标(x,y)的空间梯 度定义为：

$\mathrm{\Delta p}=\left(\begin{array}{cc}{G}_x& G_y\end{array}\right)=\left(\begin{array}{cc}\frac{\partial p}{\partial x}& \frac{\partial p}{\partial y}\end{array}\right).$

坐标(x,y)的p函数变化最快的方向就是梯度方向。在实际计算过程中，，坐标(x,y)位置处 的G_x和G_y通过下式计算得出：

G_x＝p[x+1,y,k]-p[x-1,y,k]

G_y＝p[x,y+1,k]-p[x,y-1,k]

梯度矢量p的幅度函数m[x,y,k]和相位函数θ[x,y,k]如以下公式所示：

$m[x,y,k]=\sqrt{{G_x}^2+{G_y}^2}$

$\theta [x,y,k]={\tan }^{-1}\left(\frac{G_y}{G_x}\right)$

在我们的视频指纹方法中，我们在矩阵中的每一块计算质心梯度方向这个值：

$c1[n,m,k]=\frac{\underset{(x,y)\in B_{n,m,k}}{\Sigma }m[x,y,k]\theta [x,y,k]}{\underset{(x,y)\in B_{n,m,k}}{\Sigma }m[x,y,k]}$

B_n,m,k是第k帧中位于第n行和第m列的那一块图像，而c1[n,m,k]是从块B_n,m,k中取得的 梯度方向的质心。由于所有梯度大小的归一化，质心的取值在-pi/2到pi/2之间。

文章“Sunil Lee,Yoo C.D.;Video Fingerprint Based on Centroids of Gradient Orientations; Acoustics,Speech and Signal Processing,ICASSP;Volume:2;2006”就是一种基于空间的质心梯 度方向提取的视频指纹。但是其实空间梯度的大小是可以反映视频特征的，可以提取作为视 频指纹的一部分。另外我们可以提取空间梯度以提高视频指纹的鲁棒性。

我们的视频指纹方法不仅提取质心梯度方向，还提取基于空间和时间的梯度的平均大小 c2[n,m,k]。一个分割的视频块中，基于空间的梯度平均大小如下式所示。

$c2[n,m,k]=\frac{1}{\mathrm{XY}}\underset{(x,y)\in B_{n,m,k}}{\Sigma }m[x,y,k]$

其中X，Y为分割后的视频块的长度与宽度。

提取基于时间的梯度的平均大小需要计算每个像素点的时间梯度。

$G_t=\frac{\partial p}{\partial t}$

因为已经进行了场景分割，一个场景中的关键帧与周围的帧很相似。所以坐标(x,y)位置 处的时间梯度我们通过下式计算来代表。

G_t＝p[x,y,k+1]-p[x,y,k-1]

我们用mt[x,y,k]代表第k帧位置(x,y)处的时间梯度。

mt[x,y,k]＝G_t

一个分割的视频块中，基于时间的梯度平均大小如下式所示。

$c3[n,m,k]=\frac{1}{\mathrm{XY}}\underset{(x,y)\in B_{n,m,k}}{\Sigma }mt[x,y,k]$

我们利用加权后的时间梯度，空间梯度，以及空间梯度的质心作为视频指纹向量的三个 元素。第k帧中位于第n行和第m列的视频指纹用f[n,m,k]表示。

f[n,m,k]＝[w1×c1[n,m,k],w2×c2[n,m,k],w3×c3[n,m,k]]

f[n,m,k]包含3个元素，w1，w2，w3代表各个元素的权重。由于权重的存在，当进行视 频指纹的对比时，代表不同物理量的不同元素差异以一个统一的度量来表示视频差异度。

第k帧的N×M维指纹向量f_k是由下式获得的：

f_k=[f[1,1,k] f[1,2,k]…f[N,M,k]]

（h）将计算获得的值作为从视频志中提取的特征，也即视频指纹。视频指纹可以用于视 频对比。

进一步的，作为本发明的实施例，步骤（b）可以采取“Zhenyu Yu，Zhiping Lin；Scene  change detection using motion vectors and dc components of prediction residual in H.264  compressed videos；Industrial Electronics and Applications(ICIEA)；2012”来作为场景检测的 方式。

进一步的，作为本发明的实施例，步骤（f）可以将灰度图像分割为数目不同的块状。分 割数目取值越小，指纹鲁棒性越高，独立性越低；分割数目取值越大，指纹鲁棒性越低，独 立性越高。

进一步的，作为本发明的实施例，步骤（h）可以采取相对灵活的视频指纹对比方式。视 频A、B对比时，视频A中一帧的视频指纹可以对比视频B中相应序号的视频关键帧的视频 指纹，也可以对比视频B一定范围内的视频关键帧的视频指纹，寻找最接近的指纹。

以上描述了视频指纹的提取过程。视频指纹描述了一个视频的特征，如果需要对比两个 视频的相似度，我们还需要通过对比视频指纹来表达两个视频的相似程度。

我们可以采取如下公式计算两个视频的差异值以表达视频的差异程度：

$D(f1,f2)=\frac{1}{\mathrm{NMK}}\underset{n=1}{\overset{N}{\Sigma }}\underset{m=1}{\overset{M}{\Sigma }}\underset{k=1}{\overset{K}{\Sigma }}\left(\frac{1}{3}\underset{d=1}{\overset{3}{\Sigma }}{\left(f1\right[n,m,k,d]-f2[n,m,k,d\left]\right)}^2\right)$

这里的f₁和f₂代表着从两段不同的视频片段提取的指纹序列。D代表我们计算的这两段 视频的差异值。d取不同值时代表f[n,m,k]中的不同元素，我们将不同元素分别对比。

该公式将对应的关键帧进行对比，计算简单。但是因为对比的视频可能有插入删除视频 段的操作，经过处理后的对比视频提出的关键帧也未必与源视频一致，所以在实际处理中， 我们可以采取相对灵活的指纹对比方式，以判断两个视频是否相似。

$D(f1,f2)=\frac{1}{\mathrm{NMK}}\underset{n=1}{\overset{N}{\Sigma }}\underset{m=1}{\overset{M}{\Sigma }}\underset{1\le k\le K}{\min }\left(\frac{1}{3}\underset{d=1}{\overset{3}{\Sigma }}{\left(f1\right[n,m,k,d]-f2[n,m,k,d\left]\right)}^2\right)$

采用了该发明中的基于时间梯度与空间梯度实现视频指纹提取的方法，具有如下有益效 果：

实现了同时考虑视频的时间与空间特征，计算基于时间与基于空间的梯度，并利用梯度 值计算提取视频指纹特征，提高视频指纹提取的稳定性，采取相对灵活的视频指纹匹配方式， 通过对于视频的视频指纹提取以及视频指纹比较，我们可以在视频经过缩放，拉伸，剪切， 插入等手段处理过的情况下成功匹配源视频（此时视频差异值不大）。进而视频指纹技术可以 有助于视频版权的保护，当出现盗版的情况可以迅速搜索到源视频，具有更广泛应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种 修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限 制性的。