一种利用标志检测进行电视节目内部自动分割的方法

摘要

本发明涉及图像处理和模式识别技术领域，提出了一种利用标志检测进行电视节目内部自动分割的方法。目前，电视节目的内部分割具有迫切需求；节目中标志的时间不连续性使得节目具有良好的结构性。本发明所述方法主要包括以下步骤：(1)对节目视频分割镜头，在每个镜头关键帧上提取标志所在区域的子图；(2)提取子图的特征向量，利用针对此标志检测的SVM分类器进行分类；(3)统计分类结果，标定每个镜头的标志属性；(4)在相邻镜头的标志属性切变点分割视频。本发明在标志检测过程中，只对关键帧做处理，从而提高了方法的效率；另外，本发明的应用对象是节目中标志具有不连续性的电视节目，对节目内容类型无要求，增强了方法应用的普适性。

说明书

技术领域

本发明属于图像处理和模式识别技术领域，具体涉及一种利用标志检测进行电视节目内部自动分割的方法。

背景技术

目前，广播电视每天都在产生海量的视频，并且给出了电子节目菜单。随着网络电视和数字电视的广泛普及，为了提供更佳的观赏感受，许多电视节目尝试通过内部段落分割，给出节目内部收视指导。同时，节目的内部分割也是进一步内容分析与检索的前提。面对海量的视频，人工标注分割已经不能满足时效要求，机器完成的自动分割成为迫切需求。视频结构化分析是指对视频流进行镜头分割、关键帧提取和场景分割等处理，从而得到视频的结构化信息。场景分割主要集中在场景聚类，重复视频检测，镜头相似度比对等方法上，往往比较复杂。当前，越来越多的电视节目在使用台标或节目自有标志时十分注意知识产权：在节目内部的非自有产权的视频段落，如广告，引用的电影片段等，将不会加载这些标志；而使用标志的视频段落通常是片头片尾，访谈部分，或其他由本节目自己录制的片段。标志在时间序列上的不连续性使得电视节目具有很强的结构性，为电视节目的内部分割提供了依据。

发明内容

针对电视节目，其台标或节目标志，下面统称为标志，具有时间上的不连续性，本发明提供一种对此种电视节目内部自动分割方法，达到准确快速的分割效果。

本发明所述的电视节目内部自动分割方法的主要步骤如下：

步骤一，利用一种现有镜头分割技术对电视节目视频进行镜头分割，获得时间连续的镜头序列信息；

步骤二，对每个镜头按时间平均方式取5帧关键帧，并提取所有关键帧中标志所在位置的矩形区域的子图；

步骤三，提取训练集所有子图的图像特征向量，含有标志的子图为正样本，不含标志的子图为负样本，训练得到用于标志检测的SVM分类器；

步骤四，将待分割的本节目视频，经过步骤一和步骤二得到所有子图，提取与步骤三相同的图像特征向量，利用步骤三中得到的SVM分类器进行分类，得到子图的分类结果；

步骤五，标记镜头标志属性，如果一个镜头中至少有3帧子图被判定为存在标志，则标记这一镜头为标志镜头，否则标记为非标志镜头；

步骤六，节目视频内部分割，将视频中具有不同标志属性的相邻镜头的边界作为分割点，把视频分割成段落。

附图说明

图1是本发明所述的电视节目结构示例图。

图2是本发明所述方法的基本流程图。

具体实施方式

如图2流程图所示，本发明所述方法包含两个阶段：离线训练分类器与在线处理待分割视频。两个阶段共同的步骤是镜头分割，提取5帧关键帧及其标志区域子图。以下为方法具体实施方式。

(1)镜头分割步骤是利用现有的一种镜头分割算法，如基于直方图、基于运动以及针对压缩视频的算法，将电视节目视频切分成时间连续的镜头序列。

(2)将每一个镜头按时间平均分成6段，取相邻段的5帧图像作为关键帧；针对此电视节目，对已知的标志确定其所在的矩形区域，此矩形恰好将标志完全包围，矩形坐标为(x，y，w，h)，其中x，y分别为矩形左上角点的横纵坐标，w，h分别为矩形的宽和高；对所有关键帧提取此矩形，称为子图。

(3)提取所有子图的三种图像特征向量：HSV空间颜色直方图，边缘梯度直方图，基于词袋模型的SIFT特征点直方图；然后将三种特征连接，形成最后的图像特征向量。具体特征提取方法如下：

1.颜色直方图提取

对子图提取HSV空间颜色统计直方图，其中H空间分为8个区间，S空间分为3个区间，V空间分为3个空间，将直方图归一化，形成72维的特征向量；

2.边缘梯度直方图提取

对子图提取边缘梯度直方图，每5度为一个区间，累加各个区间范围内的梯度，将直方图归一化，形成72维的特征向量；

3.基于词袋模型的SIFT特征点直方图提取

提取所有子图SIFT特征向量；使用K均值聚类算法对训练集数据的SIFT特征向量聚类，得到64个聚类中心，作为词袋模型的码本；将每个子图的所有SIFT特征向量投影到码本，形成64维的直方图并做归一化，得到特征向量；

4.将以上三种特征向量串连，形成最后的208维的特征向量。

(4)离线训练用于标志检测的SVM分类器，将训练集的正负样本的图像特征向量输入SVM工具进行训练，此处，正负集样本数目均大于1000，SVM选择基于卡方距离的核函数。

(5)对待分割视频的子图提取与步骤(3)相同的图像特征向量，共208维；其中，形成SIFT的直方图特征向量的需要的码本是步骤(3)中使用的码本，由训练集经K均值方法聚类得到。

(6)利用步骤(4)得到的SVM分类器对步骤(5)得到的特征向量进行分类，分类结果标定各个子图是否存在标志。

(7)由步骤(6)结果检查每个镜头中含有标志的关键帧数目，如果大于等于3，则标记此镜头为标志镜头，否则标记此镜头为非标志镜头。

(8)逐镜头检查待分割视频的镜头标记，如果相邻两个镜头标记不同，则将这两个镜头的边界作为一个分割点，直到顺序检查完所有相邻镜头，最后此节目视频内部分割完成。