基于集群及H264的视频浓缩算法的海量视频摘要生成方法

摘要

本发明公开了一种基于集群及H264的视频浓缩算法的海量视频摘要生成方法，包括如下步骤：①选取原始视频，并对其进行切割，得到n个长度近似相等的片段，编码格式为H264，其中n为自然数；②对切割后的各片段进行视频解码，根据运动估计以及背景图来获取前景目标，并通过基于稀疏光流的误报删除及漏检修复算法，对各片段的检测率进行完善，并更新背景图；③将单个包含运动信息的片段视作浓缩单元，进行压缩，压缩完成后进行拼接，生成一段完整的视频摘要。

说明书

技术领域

本发明属于海量视频数据浓缩技术领域，特别是一种基于集群及H264的视频浓缩算法的海量 视频摘要生成方法。

背景技术

众所周知，视频监控系统正渗入到社会的各种场合之中，并在许多行业如安防、交通、工业 生产等环境下发挥着越来越重要的作用；随着监控摄像头的数量快速地增长，每天海量的视 频数据也随之产生，目前大多是以人工方式浏览这些视频，并提取其中有意义的信息。

一方面，视频越多，所需要的人员也越多；另一方面，人工处理效率也会因为越来越多的数 据变得低下，处理结果难免有所遗漏或出现差错；然而，其处理成本相当可观；视频摘要技 术应运而生，其能够自动地保留有意义视频数据，舍去无用信息，这样人工只需浏览有意义 的数据，成本得到有效降低。

视频摘要又称视频浓缩，该技术的处理过程通常是：首先通过背景建模，获取前景物体；随 后使用跟踪算法，保存运动轨迹；最后将物体的轨迹按照某种方式组合，并复制到背景图像 中，形成浓缩视频；然而，现有的视频浓缩技术浓缩后的视频长度一般远小于原视频，如果 有一段时长为10小时的高清视频，通常的背景建模算法，如GMM，其运行速度约等于实时播 放速度，倘若要浏览整个浓缩后的视频，同样要消耗10小时，效率却没有大幅提升。

发明内容

本发明所要解决的技术问题是，克服现有技术的缺点，提供一种基于集群及H264的视频浓缩 算法的海量视频摘要生成方法。

为了解决以上技术问题，本发明提供一种基于集群及H264的视频浓缩算法的海量视频摘要生 成方法，包括如下步骤：

①选取原始视频，并对其进行切割，得到n个长度近似相等的片段，编码格式为H264，其中 n为自然数；

②对切割后的各片段进行视频解码，根据运动估计以及背景图来获取前景目标，并通过基于 稀疏光流的误报删除及漏检修复算法，对各片段的检测率进行完善，并更新背景图；

③将单个包含运动信息的片段视作浓缩单元，进行压缩，压缩完成后进行拼接，生成一段完 整的视频摘要。

本发明进一步限定的技术方案是：

进一步的，前述的基于集群及H264的视频浓缩算法的海量视频摘要生成方法，所述n个长度 近似相等的片段为并行的进行步骤②及步骤③中的浓缩操作，相互独立。

前述的基于集群及H264的视频浓缩算法的海量视频摘要生成方法，所述步骤①具体包括如下 处理：

假设原始视频第i帧为用户设定的视频切割点，定义帧范围F∈[ik×fi+k×f]，k为迭代次 数，f为常数，在此范围内查找图像j，使得第j帧内无前景目标，且|ij|为最小；

在范围[ik×fi+k×f]内找到连续m帧的运动估计的数值若小于阈值Tmv，则认为无前景目 标，如果这m帧图像皆为背景图，这样获得了一幅背景图，若F中无背景图，k＝k+1，转到步 骤①；若第j帧为背景图(j∈[ik×fi+k×f])，计算|ij|并且使|ij|最小，则j为视频的 切割点，退出循环；

所述步骤②具体包括如下处理：

若运动估计数值小于阈值Tmv，则认为无前景目标，如果连续多帧无前景目标，这样获得了一 幅背景图；对于P帧或B帧，首先判断当前帧中的运动估计是否大于阈值Tmv，若大于Tmv，则 将当前图像及背景图两者灰度化并对应像素相减，相减后的绝对值若大于某阈值Tdiff则赋为 255，否则赋为0，这样就得到一幅二值图像M；若运动估计小于Tmv，则不作任何处理，进入 到下一帧继续计算；对于I帧，以同样的方法计算当前图像与背景图的差异值M；

去除噪声及目标提取，首先将二值图像M作闭运算，随后提取每个物体最外层的轮廓，用外接 矩形表示其大小及位置；若矩形的长、宽都大于阈值Tlen，则认为是一个前景目标，否则被 视为噪声；

目标跟踪，计算当前帧每个目标与下一帧每个目标两两之间的矩形重合度，若某目标与下一 帧的最大重合度大于阈值Toverlap，则认为这两个矩形是同一个目标，跟踪成功；若跟踪失 败，且物体已运动到图像边界附近，则物体在下一帧已移出视野(或感兴趣区域)，无需跟踪；

去除误报及修复漏检，若某目标在下一帧未跟踪成功，则认为发生了漏检；对于漏检，首先 计算矩形内的harris角点，若某harris角点在二值图M中对应的像素为0，则剔除该角点，其 次利用光流法对所有角点进行跟踪，计算角点在水平及垂直方向的平均位移dx和dy，将当前 目标在水平和水质方向分别平移dx和dy个像素，作为下一帧的位置；如果某目标连续多帧发 生了漏检，且连续漏检帧数大于Tm，则认为该目标是一个误报，将其删除；

背景图像Bg的更新，在以上处理步骤执行之后，确定图像中哪些区域属于前景，哪些属于背 景，背景更新只针对那些非目标区域内的点，具体步骤是，若当前帧Fcur的某像素pxl不在任 一目标矩形内，则该背景像素被替换为对应坐标的Fcur与Bg的均值；保存检测到的前景物体 坐标、大小、子图像以及运动片段信息；

所述步骤③的包括如下具体处理：

(1)基于H264的背景建模，保存检测到的前景物体坐标、大小、子图像以及运动片段的起 始帧、结束帧等信息；若内存中片段数目累计到Tsec或者已到达视频最后一帧且片段数大于 1，则转到步骤(2)；若到达最后一帧且片段数为0，则退出程序；

(2)将第一个片段加入到集合A并将该片段第一帧内所有目标图像复制到背景图；

(3)依次判断剩余的片段与集合A中的片段在物体平均、最大重合度两方面是否满足用户设 定的值，若满足，则把该片段加入集合A；

(4)将集合A中所有片段对应帧号内的目标图像复制到背景图；若某个片段已复制完最后一 帧，将其从集合A中删除；若集合A中所有片段都已复制完且无剩余片段，转到步骤(1)， 否则进入下一帧，转到步骤(3)。

本发明的有益效果是：

1.本发明所设计的基于集群及H264的视频浓缩算法的海量视频摘要生成方法利用并行处理 的方式，大幅提高了视频浓缩的效率；

2.本发明所设计的基于集群及H264的视频浓缩算法的海量视频摘要生成方法能够解决由漏 检、物体粘连引起的两类屏幕闪烁问题。

附图说明

图1为本发明中基于集群的视频摘要生成方法的总流程图；

图2为本发明中基于集群的视频摘要生成方法的详细流程图；

图3为本发明中基于集群的视频摘要生成方法的硬件装置示意图；

图4为本发明中基于集群的视频摘要生成方法的运动片段浓缩示意图；

图5为本发明中浓缩总时间与并行处理的进程数目之间的变化关系图。

具体实施方式

如图1-图4所示，本实施例提供的一种基于集群及H264的视频浓缩算法的海量视频摘要生 成方法，包括如下步骤：

①选取原始视频，并对其进行切割，得到n个长度近似相等的片段，编码格式为H264，其中 n为自然数；

②对切割后的各片段进行视频解码，根据运动估计以及背景图来获取前景目标，并通过基于 稀疏光流的误报删除及漏检修复算法，对各片段的检测率进行完善，并更新背景图；

③将单个包含运动信息的片段视作浓缩单元，进行压缩，压缩完成后进行拼接，生成一段完 整的视频摘要；所述n个长度近似相等的片段为并行的进行步骤②及步骤③中的浓缩操作，相 互独立。

所述步骤①具体包括如下处理：

假设原始视频第i帧为用户设定的视频切割点，定义帧范围F∈[ik×fi+k×f]，k为迭代次 数，f为常数，在此范围内查找图像j，使得第j帧内无前景目标，且|ij|为最小；

在范围[ik×fi+k×f]内找到连续m帧的运动估计的数值若小于阈值Tmv，则认为无前景目 标，如果这m帧图像皆为背景图，这样获得了一幅背景图，若F中无背景图，k＝k+1，转到步 骤①；若第j帧为背景图(j∈[ik×fi+k×f])，计算|ij|并且使|ij|最小，则j为视频的 切割点，退出循环；

所述步骤②具体包括如下处理：

若运动估计数值小于阈值Tmv，则认为无前景目标，如果连续多帧无前景目标，这样获得了一 幅背景图；对于P帧或B帧，首先判断当前帧中的运动估计是否大于阈值Tmv，若大于Tmv，则 将当前图像及背景图两者灰度化并对应像素相减，相减后的绝对值若大于某阈值Tdiff则赋为 255，否则赋为0，这样就得到一幅二值图像M；若运动估计小于Tmv，则不作任何处理，进入 到下一帧继续计算；对于I帧，以同样的方法计算当前图像与背景图的差异值M；

去除噪声及目标提取，首先将二值图像M作闭运算，随后提取每个物体最外层的轮廓，用外接 矩形表示其大小及位置；若矩形的长、宽都大于阈值Tlen，则认为是一个前景目标，否则被 视为噪声；

目标跟踪，计算当前帧每个目标与下一帧每个目标两两之间的矩形重合度，若某目标与下一 帧的最大重合度大于阈值Toverlap，则认为这两个矩形是同一个目标，跟踪成功；若跟踪失 败，且物体已运动到图像边界附近，则物体在下一帧已移出视野(或感兴趣区域)，无需跟踪；

去除误报及修复漏检，若某目标在下一帧未跟踪成功，则认为发生了漏检；对于漏检，首先 计算矩形内的harris角点，若某harris角点在二值图M中对应的像素为0，则剔除该角点，其 次利用光流法对所有角点进行跟踪，计算角点在水平及垂直方向的平均位移dx和dy，将当前 目标在水平和水质方向分别平移dx和dy个像素，作为下一帧的位置；如果某目标连续多帧发 生了漏检，且连续漏检帧数大于Tm，则认为该目标是一个误报，将其删除；

背景图像Bg的更新，在以上处理步骤执行之后，确定图像中哪些区域属于前景，哪些属于背 景，背景更新只针对那些非目标区域内的点，具体步骤是，若当前帧Fcur的某像素pxl不在任 一目标矩形内，则该背景像素被替换为对应坐标的Fcur与Bg的均值；保存检测到的前景物体 坐标、大小、子图像以及运动片段信息；

所述步骤③的包括如下具体处理：

(1)基于H264的背景建模，保存检测到的前景物体坐标、大小、子图像以及运动片段的起 始帧、结束帧等信息；若内存中片段数目累计到Tsec或者已到达视频最后一帧且片段数大于 1，则转到步骤(2)；若到达最后一帧且片段数为0，则退出程序；

(2)第一个片段加入到集合A并将该片段第一帧内所有目标图像复制到背景图；

(3)依次判断剩余的片段与集合A中的片段在物体平均、最大重合度两方面是否满足用户设 定的值，若满足，则把该片段加入集合A；

(4)将集合A中所有片段对应帧号内的目标图像复制到背景图；若某个片段已复制完最后一 帧，将其从集合A中删除；若集合A中所有片段都已复制完且无剩余片段，转到步骤(1)， 否则进入下一帧，转到步骤(3)。

在实际的试验中，选用一段时长为8分钟的监控视频，分辨率1280×720，分别用混合Gauss 背景建模、vibe背景建模以及本发明的建模算法(视频切割成5段，每一段用一个独立的 进程来浓缩)，本发明的总耗时包括以下几类：1、视频切割时间；2、每段视频浓缩时间；3、 浓缩后拼接每段视频所耗时间,性能对比见表1；

表1

GMM建模 Vibe建模 本发明算法 平均每帧耗时 41.46ms 22.45ms 12.24ms 总耗时 550.66s 316.44s 47.82s

由表1能够看出，采用办发明所设计的基于集群及H264的视频浓缩算法的海量视频摘要生成 方法与现有技术相比，能够大大提高效率达100％以上；图5是选用100分钟时长的视频进 行浓缩，浓缩总时间与并行处理的进程数目之间的变化关系。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明 提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。