基于帧差聚类的视频镜头切换检测方法及其装置

摘要

本发明提供一种基于帧差聚类的视频镜头切换检测方法及装置。本发明的视频镜头切换检测方法是在非固定相机的常规视频图像序列中，检测出镜头切换。该检测方法包括：接收器对非固定摄像机拍摄的常规视频预处理，得到连续的帧序列图像；图像转换器将帧图像转换成规格统一的灰度图像；将连续的三帧图像，每两帧之间的灰度值作差，生成三维向量；聚类器将生成的一组三维向量映射成空间坐标系中的点，根据设置参数生成一个包含球，通过球内外的点区分连续镜头帧或切换镜头帧，即是否有镜头切换。本发明可应用于视频镜头切换检测和连续帧渲染的异常检测。

说明书

技术领域

本发明涉及计算机视觉，包括视频处理、图像处理等对视频中镜头切 换检测的方法，具体涉及一种基于帧差聚类的视频镜头切换检测方法及其 装置。

背景技术

随着多媒体技术的发展，数字视频的存储和传输技术都取得了重大的 进展。在智能视频分割、视频检索、关键帧选取、人机交互接口的姿态识 别等计算机视觉应用方面，从视频的连续帧序列中检测跳转帧或镜头切换， 是一个非常关键的任务。而目前传统方法只能通过非常繁琐耗时的快进和 快退等方法人工查找，这显然已无法满足多媒体技术发展的需求。

发明内容

本发明针对上述现有技术存在的问题作出改进，即本发明要解决的技 术问题是提供一种基于帧差聚类的视频镜头切换检测方法及其装置，实现 自动地给出视频的镜头切换点。

为了解决上述技术问题，本发明提供了如下的技术方案：

一种基于帧差聚类的视频镜头切换检测方法，对给定的视频图像序列， 检测其中的镜头切换信息，找到其中的画面跳转帧。

包括如下步骤：

S1、视频接收器接收视频，并将视频读取，生成帧图像序列；

S2、图像转换器读取视频接收器生成的帧图像序列，并转换成规格统 一的灰度图像，然后将连续的三帧图像，每两者之间的灰度作差，生成三 维向量；

S3、聚类器根据缩放系数生成球半径并在空间坐标系中构造球，其中， 球内的点为连续帧图像，球外的点为镜头跳转帧图像；将图像转换器生成 的三维向量映射到空间坐标系；

S4、根据置信系数输出结果。

其中，所述缩放系数和置信系数是根据不同视频设置的参数。

所述S1的具体步骤为：

接收一个视频，生成连续的若干帧图像G₁，G₂，…，G_n，其中i＝1，2，…， n-2。

所述S2的具体步骤为：

计算G_i和G_i+1的灰度距离差d_i¹，G_i和G_i+2的灰度距离d_i²，G_i+1和G_i+2灰度距离d_i³，其中i＝1，2，…，n-2；

构造三维向量Vi＝(d_i¹，d_i²，d_i³)，i＝1，2，…，n-2，将这n-2个三维 向量看成是空间坐标系中的n-2个点，找到距离坐标系原点最近的点V_min， 到原点距离为S₁，最远的点V_max，到原点距离为S₂。

所述S3的具体步骤为：

定义球半径缩放系数μ，一般设为0.1，计算球半径公式为：r＝μ(S₁- S₂)+S₂；

构造球方程，计算所有三维向量Vi＝(d_i¹，d_i²，d_i³)在球内的个数m₁， 在球外的个数m₂。

所述S4的具体步骤为：

定义跳帧置信系数Ψ，可设为0.1，计算θ＝m₁/m₂,若θ＜Ψ，输出 所有球外向量对应的图像帧，置为画面跳转帧；若θ≥Ψ，则输出空。

一种实现权利要求1所述的基于帧差聚类的视频镜头切换检测方法的 基于帧差聚类的视频镜头切换检测装置，

包括视频接收器、图像处理器、差值器和聚类器；

所述视频接收器，用于读取待检测视频，并将视频转换成连续帧图像；

所述图像处理器，用于将连续帧图像转换成规格统一的灰度图像；

所述差值器，用于将连续的三张帧图像，每两者之间的灰度值作差， 生成一组三维向量。

所述聚类器，包括：

球半径生成器，根据半径缩放系数，生成球半径并构造球，将一组三 维向量分类；

球聚类器，将一组三维向量映射到空间坐标系中，根据半径在空间坐 标系中构造球，根据置信系数，输出结果。

本发明提供的基于帧差聚类的视频镜头切换检测方法及其装置，其有 益效果在于：在非固定相机的常规视频图像序列中，检测出镜头切换。该 检测方法包括：接收器对非固定摄像机拍摄的常规视频预处理，得到连续 的帧序列图像；图像转换器将帧图像转换成规格统一的灰度图像；将连续 的三帧图像，每两帧之间的灰度值作差，生成三维向量；聚类器将生成的 一组三维向量映射成空间坐标系中的点，根据设置参数生成一个包含球， 通过球内外的点区分连续镜头帧或切换镜头帧，即是否有镜头切换。本发 明可应用于视频镜头切换检测和连续帧渲染的异常检测。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与 本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图 中：

图1是本发明检测视频镜头切换的运行总图；

图2是本发明获取视频序列差示意图；

图3是本发明检测方法模型球半径获取流程图；

图4是本发明球模型结构示意图；

图5是基于置信判断的球外点输出流程图。

具体实施方式

如图1-5所示，本发明公开一种基于帧差聚类的视频镜头切换检测方 法，对给定的视频图像序列，检测其中的镜头切换信息，找到其中的画面 跳转帧。

包括如下步骤：

S1、视频接收器接收视频，并将视频读取，生成帧图像序列；

S2、图像转换器读取视频接收器生成的帧图像序列，并转换成规格统 一的灰度图像，然后将连续的三帧图像，每两者之间的灰度作差，生成三 维向量；

S3、聚类器根据缩放系数生成球半径并在空间坐标系中构造球，其中， 球内的点为连续帧图像，球外的点为镜头跳转帧图像；将图像转换器生成 的三维向量映射到空间坐标系；

S4、根据置信系数输出结果。

其中，所述缩放系数和置信系数是根据不同视频设置的参数。

下面结合实施例对本发明作进一步的说明：

如图1，展示了检测视频中镜头切换的过程：

视频接收器将视频读取并生成帧图像序列；图像转换器读取帧图像并 转换成规格统一的灰度图像，然后将连续的三帧图像，每两者之间的灰度 作差，生成三维向量；聚类器根据缩放系数生成球半径并在空间坐标系中 构造球，将生成的一组三维向量映射到空间坐标系；根据置信系数输出结 果。其中缩放系数和置信系数是根据不同视频设置的参数。

如图2，是对灰度图像序列作差的示意图，设灰度图像序列G₁，G₂，…， G_n，对其中连续三帧图像G_i、G_i+1、G_i+2，计算G_i和G_i+1的灰度距离差d_i¹，G_i和G_i+2的灰度距离d_i²，G_i+1和G_i+2灰度距离d_i³，构造三维向量Vi＝(d_i¹，d_i²， d_i³)。(其中i＝1，2，…，n-2)

如图3是计算球半径流程图，对图像作灰度差所得的一组三维向量， 并将该组向量映射到空间坐标系进行聚类，根据球半径在空间坐标系中构 造球模型。球半径的计算由距原点最近的向量和距原点最远的向量与原点 之间距离乘缩放系数所得，计算公式为：r＝μ(S₁-S₂)+S₂。其中r为半径， μ是设置的缩放系数，S₁为向量距原点最远距离，S₂为向量距原点最近距离。

如图4是对三维向量聚类结果进行集群划分的球模型示意图，由求得 的球半径r在空间坐标系中构造球模型，对所有的三维向量的聚类结果进 行划分集群。

图5是根据球模型划分情况输出结果的流程图，计算球内的点数量m₁， 计算球外的点数量m₂，计算θ＝m₁/m₂，根据设置的置信参数判断θ与的大小，若大于θ，输出球外的点作为跳转帧点；否则，输出空。

综上，本发明在非固定相机的常规视频图像序列中，检测出镜头切换。 接收器对非固定摄像机拍摄的常规视频预处理，得到连续的帧序列图像； 图像转换器将帧图像转换成规格统一的灰度图像；将连续的三帧图像，每 两帧之间的灰度值作差，生成三维向量；聚类器将生成的一组三维向量映 射成空间坐标系中的点，根据设置参数生成一个包含球，通过球内外的点 区分连续镜头帧或切换镜头帧，即是否有镜头切换。

因此，本发明可应用于视频镜头切换检测和连续帧渲染的异常检测。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管 参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说， 其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分 技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、 等同替换、改进等，均应包含在本发明的保护范围之内。