一种检测足球比赛视频精彩片段的方法

摘要

本发明针对现有体育比赛视频检测精彩片段方法中不能判断片段所属的类型，提出了一种检测足球视频精彩片段的方法，包括如下步骤：首先对数据库中足球比赛的压缩视频通过解码器进行解码；接下来进行视频镜头边界检测，然后对镜头类型中的其它镜头进行特征提取，在相应特征提取的基础上进行足球视频镜头分类；然后根据镜头分类结果进行视频镜头片段边界检测，并提取每个片段中的观测矢量；再从一个片段中所提取的观测矢量来判断该片段所属的类型，接下来对确定的精彩片段进行划分，最后将划分后的精彩片段进行摘录并存储到数据库中。

说明书

技术领域

本发明涉及对一种检测体育比赛视频中精彩片段的方法，特别涉及一种检测足球比赛视频中精彩片段的方法。

背景技术

足球运动是人们所喜爱的一种运动，足球视频节目是人们乐于欣赏的节目之一。高清晰数字电视出现、高速视频传输网络的建立，为足球视频节目的传播提供了重要手段。每天不同频道都有大量的足球视频在同一时间内播出。对于足球爱好者来说，其不可能不错过任何一场足球比赛节目。因此对足球比赛提供精彩片段的摘要和浏览方案，能够节省人们大量宝贵的时间，并且又不缺乏对足球赛况的了解。为了达到此目的就需要对足球比赛视频内容进行基于精彩片段的检测方法。

中国专利ZL02156973.8中公开了一种体育比赛视频中检测精彩片段的方法。在该专利中发明人运用摄像机的运动信息，判断是否发生慢速的重放镜头来进行体育比赛精彩片段判断的，并认为重播是来自同一个摄像机。然而，具体到足球比赛，在足球视频中的犯规、射门、定位球和进球都需要给出相应的重播镜头。这种按照是否发生重播的精彩片段检测的方法就不能对精彩片段进行分类，从而也不能判断片段所属的类型。由于不同的用户对足球精彩片段的关注程度不同，这种方法无法给用户提供一种所需要的足球比赛中的特定精彩片段的浏览。

发明内容

本发明为了解决现有体育比赛视频精彩片段检测方法不适合于足球比赛镜头的精彩片段分类及判断，提出了一种检测足球比赛视频中精彩片段的方法。

为达到以上目的，本发明是采用如下技术方案予以实现的：

一种检测足球比赛视频精彩片段的方法，其特征是，包括下述步骤：

步骤1，先对数据库中足球比赛的压缩视频通过解码器进行解码；

步骤2，进行视频镜头边界检测，用于检测出视频中镜头的边界，并按照镜头的类型来划分成重播标志、其它镜头、重播镜头三部分；

步骤3，对镜头类型中的其它镜头进行特征提取，用于对压缩域和象素域中进行特征选择和特征分析，提取特征包括：主颜色特征、摄像机运动特征，纹理特征和字幕特征；主颜色特征提取中，对其中的每一帧计算两个特征：主颜色连通区域中的绿色区域占整个画面的比例G_R和主颜色连通区域中运动对象区域所占整个画面的比例G_P；摄像机运动特征中采用基于全局运动矢量场GMVF来进行摄像机运动模式判断；在纹理特征提取中，提取每一帧中的纹理强度信息为Tx；

步骤4，根据步骤3所提取的主颜色、摄像机运动、纹理以及字幕特征来对足球比赛视频镜头进行分类；

步骤5，根据步骤4的足球比赛视频镜头分类结果进行视频镜头片段边界检测，以确定足球视频中片段之间的边界；并提取每个片段中的观测矢量；

步骤6，进行片段类型判断，从一个片段中所提取的观测矢量来判断该片段所属的类型，按照基于隐马尔可夫模型HMM片段类型的分类方法。将该片段划分到以下5种类型中的一种，分别为：射门片段、犯规片段、进球片段、定位球片段和普通片段；其中，选择射门片段、进球片段、定位球片段为精彩片段；

步骤7，对确定的精彩片段进行划分，即将步骤6中检测出的精彩片段按照摄像机的主运动方向来划分到足球比赛中的两个球队中，以获得两个球队在精彩片段数目上的对比以及对进球类型进行判断；

步骤8，将分类后的精彩片段进行摘录并存储到数据库中。

上述方案中，所述的步骤3中，在提取摄像机运动特征中，所述的采用基于全局运动矢量场GMVF来进行摄像机运动模式判断的具体方法是，根据公式(3)-公式(6)中来描述摄像机的全局运动的相关特征：

${\theta }_{\mathrm{var}}=\frac{1}{N\times M}\underset{\mathrm{xi}=1}{\overset{N}{\Sigma }}\underset{\mathrm{yi}=1}{\overset{M}{\Sigma }}{|{\theta }_{(\mathrm{xi},\mathrm{yi})}-\bar{\theta }|}^2---\left(3\right)$

$\left(\begin{array}{c}\mathrm{GMVx}=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}\mathrm{GMVxi}\\ \mathrm{GMVy}=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}\mathrm{GMVyi}\end{array}\right)---\left(4\right)$

$\left(\begin{array}{c}\mathrm{AGMVx}=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}\left|\mathrm{GMVxi}\right|\\ \mathrm{AGMVy}=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}\left|\mathrm{GMVyi}\right|\end{array}\right)---\left(5\right)$

$\left(\begin{array}{c}\mathrm{GMVDx}=\mathrm{var}\left(\right|\mathrm{GMVxi}\left|\right)\\ \mathrm{GMVDy}=\mathrm{var}\left(\right|\mathrm{GMVyi}\left|\right)\end{array}\right)---\left(6\right)$

其中，θ_(xi、yi)，和θ_var代表运动矢量(GMVxi，GMVyi)所对应的角度值，全局运动矢量场中所有运动矢量所对应的评价角度和整个图像中运动矢量的角度方差。(GMVx，GMVy)，(AGMVx，AGMVy)和(GMVDx，GMVDy)分别表示平均的运动矢量、运动矢量幅值的平均值以及相应的运动矢量幅值的方差矢量。

所述的步骤4中，视频镜头分类步骤使用了两个分类器：通过粗分类器先对镜头进行粗分类，然后再通过细分类器对粗分类镜头中的全景镜头进行细分类；其中，镜头粗分类是将步骤3提取的颜色纹理特征矢量<G_R，G_P，Tx>划分成特写镜头、看台镜头、全景镜头和中等镜头；镜头细分类是按照公式(3)到公式(6)中所提取的矢量θ_var，GMVx，GMVy，AGMVx，AGMVy，GMVDx，和GMVDy所构成的一个7维的全局运动特征矢量再次将镜头粗分类中的全景镜头分成缩放镜头、跟踪镜头和静止镜头。

所述步骤5中，所述的片段边界检测的方法是判断片段的全景镜头和非全景镜头的边界，一个片段的起始位置和终止位置都为非全景镜头到全景镜头的切换位置。

在步骤6中，所述的基于隐马尔可夫模型HMM片段类型的分类方法是，将一个片段按照其相应的观测向量O＝O₁，…O_n，O_n+1，O_n+2，O_n+3和相应的射门、犯规、进球、定位球和普通片段的HMM模型参数λ_i＝(A_i，B_i，π_i)来判断该片段属于上述5种类型的哪一种，判断的方法是计算一个片段中的观测矢量在上述的5个HMM模型参数λ_i＝(A_i，B_i，π_i)的概率P(O|λ_i)并根据公式(7)判断其中的最大值所对应的类别S：

$S=\arg \underset{i}{\max }P\left(O\right|{\lambda }_i)---\left(7\right)$

然后将该片段划分到最大值所对应的那个类型中。

在步骤7中，所述的进球类型包括四类：任意球进球，角球进球，点球进球，普通进球。

本发明相比现有技术的优点是：按照主颜色、纹理、摄像机运动和字幕特征将足球比赛视频镜头进行分类，在镜头分量的基础上来进行片段边界检测和片段中的观测矢量提取；在此基础上进行片段类型判断，将一个片段用基于隐马尔可夫模型的方法分成射门片段、犯规片段、进球片段、定位球片段和普通片段；并对足球比赛视频中的精彩片段：射门片段、进球片段、定位球片段进行精彩片段划分，以将足球比赛中的精彩片段划分到比赛中的两个球队中并将所进球类型按照其进球方式划分成任意球进球，角球进球，点球进球，普通进球。这样我们不仅可以检测出一个足球比赛视频中的精彩片段还可以确定精彩片段所属的球队以及进球的类型。

附图说明

图1为本发明方法的步骤流程图。

图2为图1中步骤4中对视频镜头进行分类的具体流程。

图3为图1中步骤5进行足球视频片段边界定位示意图。

图4为图1中步骤5进行足球视频片段中观测矢量提取示意图。

图5为图1中步骤8中对足球比赛视频精彩片段浏览主窗口，其中W0为浏览足球视频文件打开按钮，W1是精彩片段内容浏览窗口，W2是精彩片段内容的定位窗口，W3和W4是进行浏览内容选择的按钮。

图6为图5中点击W3按钮进入的足球比赛视频精彩内容浏览窗口。

图7为图5中点击W4按钮进入的足球比赛视频进球内容浏览窗口。

具体实施方式

以下结合附图及实施例对本发明作进一步的详细说明。

图1给出了本发明中对足球比赛视频中的精彩片段进行检测的步骤结构框图。包括步骤1，先对数据库中足球比赛的压缩视频通过解码器进行解码；然后执行步骤2进行视频镜头边界检测，用于检测出视频中镜头的边界，并按照镜头的类型来划分成重播标志、其它镜头、重播镜头三部分；执行步骤3，对镜头类型中的其它镜头进行特征提取，用于对压缩域和象素域中进行特征选择和特征分析，主要提取出主颜色特征、摄像机运动特征，纹理特征和字幕特征；再执行步骤4，根据步骤3所提取的主颜色、摄像机运动、纹理以及字幕特征来对足球比赛视频镜头进行分类；接着执行步骤5，对足球视频精彩片段边界检测，以确定足球视频中精彩片段与非精彩片段以及他们之间的边界；并提取每个片段中的观测矢量；然后执行步骤6，进行片段类型判断，从一片段中所提取的观测矢量来判断一个片段所属的类型，按照似然度的大小将该片段划分到以下5种类型中的一种，这5种类型分别对应为：射门片段、犯规片段、进球片段、定位球片段和普通片段；然后执行步骤7，对确定的精彩片段进行划分，即将步骤6中检测出的精彩片段：射门、进球和定位球片段划分到足球比赛中的两个球队中，以获得两个球队在精彩片段数目上的对比；最后执行步骤8，将分类后的精彩片段进行摘录并存储到数据库中。

在步骤2中，进行镜头边界检测，可采用文献H.Pan，B.Li，和M.Sezan，“Automatic detection of replay segments in broadcast sports programsby detecting of logos in scene transitions，”in Proc.IEEE ICASSP，Orlando，FL，May 2002，vol.4，pp.3385-3388中所描述的方法：采用基于隐马尔可夫模型的方法检测重播镜头，并在重播镜头周围的帧检测重播标志图象，就可以将足球比赛视频分成重播标志以及相应的重播镜头和其它镜头。

在步骤3中，对其他镜头进行特征提取时，选用并提取主颜色特征中，我们对其中的每一帧计算两个特征：主颜色(画面中的绿色)区域占整个画面的比例G_R和主颜色连通区域中运动对象区域所占整个画面的比例G_P，具体的计算方法在本领域内是公知的。

在提取摄像机运动特征中，执行全局运动估计并提取相应的特征以利用其进行步骤4中的细分类。全局运动的估计方法可以采用X.Qian，和G.Liu，“Global motion estimation from randomly selected motion vector groupsand GM/LM based applications，”Signal，Image and Video Processing中所描述的方法来估计全局运动参数m＝[m₀，m₁，…，m₅]。当我们估计出全局运动参数之后，为了消除压缩域中的MVF对于摄像机运动模型判断的影响，我们在这里采用全局运动矢量场(GMVF)来进行摄像机运动模式判断。GMVF中在坐标(x_i，y_i)处相应的全局运动矢量(GMVxi，GMVyi)的计算方法如公式(1)所示

$\left(\begin{array}{c}{\mathrm{GMVx}}_i=x_i^{\prime }-x_i\\ {\mathrm{GMVy}}_i=y_i^{\prime }-y_i\end{array}\right)---\left(1\right)$

其中(x_i，y_i)和(x_i′，y_i′)分别表示当前帧和参考帧中的经过全局运动所对应的位置

$\left(\begin{array}{c}{x}_i^{\prime }=m_0{x}_i+m_1{y}_i+m_2\\ y_i^{\prime }=m_3{x}_i+m_4{y}_i+m_5\end{array}\right)---\left(2\right)$

在GMVF的基础上我们采用公式(3)-公式(6)中的相关特征来描述摄像机的全局运动模式：

${\theta }_{\mathrm{var}}=\frac{1}{N\times M}\underset{\mathrm{xi}=1}{\overset{N}{\Sigma }}\underset{\mathrm{yi}=1}{\overset{M}{\Sigma }}{|{\theta }_{(\mathrm{xi},\mathrm{yi})}-\bar{\theta }|}^2---\left(3\right)$

$\left(\begin{array}{c}\mathrm{GMVx}=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}\mathrm{GMVxi}\\ \mathrm{GMVy}=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}\mathrm{GMVyi}\end{array}\right)---\left(4\right)$

$\left(\begin{array}{c}\mathrm{AGMVx}=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}\left|\mathrm{GMVxi}\right|\\ \mathrm{AGMVy}=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}\left|\mathrm{GMVyi}\right|\end{array}\right)---\left(5\right)$

$\left(\begin{array}{c}\mathrm{GMVDx}=\mathrm{var}\left(\right|\mathrm{GMVxi}\left|\right)\\ \mathrm{GMVDy}=\mathrm{var}\left(\right|\mathrm{GMVyi}\left|\right)\end{array}\right)---\left(6\right)$

其中，θ_(xi，yi)，和θ_var代表运动矢量(GMVxi，GMVyi)所对应的角度值，全局运动矢量场中所有运动矢量所对应的评价角度和整个图像中运动矢量的角度方差。(GMVx，GMVy)，(AGMVx，AGMVy)和(GMVDx，GMVDy)分别表示平均的运动矢量、运动矢量幅值的平均值以及相应的运动矢量幅值的方差矢量。

在纹理特征提取中，我们来获得其它镜头12中每一帧中的纹理强度信息Tx，关于纹理信息的计算方法在本领域是已知的。

字幕特征提取中的特征在于判断足球比赛视频中手动添加的短期字幕的有无以及该类字幕的出现帧和消失帧。这里的手动添加的短期字幕指的是在足球比赛中犯规、进球等发生后视频中所给出的字幕。这种类型的字幕检测以及出现帧和消失帧的确定可采用X.Qian，G.Liu，H.Wang和R.Su，“Text Detection，Localization and Tracking in Compressed Videos”，Signal Processing：Image Communication中所描述的方法：使用压缩视频中的I帧的每个块中AC系数表示的纹理来进行字幕的检测和定位，以及采用每帧中字幕区域DC图象差异值来判断每个字幕的起始和终止帧。

图2为图1中的根据提取的特征进行视频镜头分类步骤4的子步骤，其特点在于使用了两个分类器：通过粗分类器先对镜头出分类4-1，然后再通过细分类器对粗分类镜头中的全景镜头进行细分类4-2。其中，镜头粗分类是将其它镜头按照图1中所提取的颜色纹理特征矢量<G_R，G_P，Tx>划分成图2中所示的特写镜头、看台镜头、全景镜头和中等镜头；镜头细分类4-2是按照公式(3)到公式(6)中所提取的由θ_var，GMVx，GMVy，AGMVx，AGMVy，GMVDx，和GMVDy所构成的一个7维的全局运动特征矢量再次将镜头粗分类中的全景镜头划分成缩放镜头、跟踪镜头和静止镜头。在此基础上，结合摄像机运动的幅值AGMVx和方向特征再次对上面划分的结果进行细分。例如对于缩放镜头我们可以分成放大镜头和缩小镜头；对于静止镜头分成一般静止镜头和静止于球门镜头；对于跟踪镜头按照幅值可以分成快速的跟踪镜头和慢速的跟踪镜头。还可以再结合摄像机的运动方向可以分成从左到右的快速跟踪，右到左的快速跟踪，左到右的慢速跟踪和右到左的慢速跟踪。

图2中的粗分类器和细分类器的特征都是采用支持向量机(SVM)，具体的应用在本领域内是公知的(C.J.C.Burges，“A tutorial on supportvector machines for pattern recognition”Data.Mining and KnowledgeDiscovery.No.2，vol.2，1998，pp.121-167.)。粗分类器是从其它镜头中手动选取其它镜头中的若干特写镜头、看台镜头、全景镜头和中等镜头中并提取<G_R，G_P，Tx>以进行模型参数学习。细分类器是从全景镜头中手动选取其它镜头中的若干缩放镜头、跟踪镜头和静止镜头，并提取由θ_var，GMVx，GMVy，AGMVx，AGMVy，GMVDx，和GMVDy所构成的一个7维的全局运动特征矢量以进行模型参数学习。

执行上述由粗到精的镜头分类的步骤4最终可以将整个视频序列划分成：看台，特写镜头，中等镜头，重播标志，重播镜头，放大，缩小，从左到右的快速跟踪，从右到左的快速跟踪，从左到右的慢速跟踪，从右到左的慢速跟踪，一般的静止，和静止于球门等13种类别。

图3示出了步骤5中片段边界检测中进行片段边界确定方法。其目的是对于视频镜头分类步骤4中所划分镜头归类到不同的片段中。片段边界检测的方法是判断全景镜头和非全景镜头的边界。一个片段的起始位置和终止位置都为非全景镜头到全景镜头的切换位置。

图4示出了在足球视频片段经过边界检测中的一个片段中如何提取观测矢量的示意图。其特征在于对于每个片段我们按照时间上(temporal)以及总体概括上(overall)两个方面来提取该片段所对应的观测矢量。假设一个片段由n个镜头构成，其中每个镜头对应于上述13种类别中的一种，则观测矢量为：O＝O₁，…，O_n，O_n+1，…，O_n+k的维数为n+k。观测序列O中前n个观测值对应于该片段的镜头也即temporal部分，其中的每个观测值是上述类别中的一种。后k个观测值O_n+1，…，O_n+k是对该片段的总体概括。在这里可以融合多种形态的特征，本发明中k＝3。其中O_n+1为判断当前片段以及下个片段中的全局部分是否出现短期字幕，该观测值的输出是根据字幕提取的检测判断得出的，其中O_n+2表示是否存在长时间的停顿，如果片段中非全景镜头的个数大于5我们认为该片段中存在长时间的停顿，否则认为不存在。其中O_n+3表示片段中是否存在感兴趣的回放，如果有重播则认为是，否则认为不是。

在片段边界检测和片段中观测矢量提取步骤5的基础上，执行片段类型判断6，在划分片段边界基础上，进行片段的类型识别才能很好地将一个片段中的因果联系考虑在内。在这里我们对于足球比赛视频片段分成公众所熟悉的5个类别：射门片段(shoot)、犯规片段(foul)、进球片段(goal)、定位球片段(placed kick)和普通片段(normal kick)。其中定位球片段包括角球片段(corner kick)、任意球片段(free kick)和点球片段(penalty)三种类型。一个足球视频序列可以由上面5个类别的片段完备的表示出来。这种方式可以反映所定义的5种类型的片段且不会产生遗漏的情况。

上述片段类型的判断是采用基于隐马尔可夫模型(HMM)片段类型的分类方法。具体是将一个片段按照其相应的观测向量O＝O₁，…O_n，O_n+1，O_n+2，O_n+3和相应的射门、犯规、进球、定位球和普通片段的HMM模型参数λ_i＝(A_i，B_i，π_i)(其中i＝1、2、3、4、5对应表示未射门、犯规、进球、定位球和普通片段)来判断该片段属于上述5种类型的哪一种。判断的方法是计算一个片段中的观测矢量在上述的5个HMM模型参数λ_i＝(A_i，B_i，π_i)的概率P(O|λ_i)并根据公式(7)判断其中的最大值所对应的类别S：

$S=\arg \underset{i}{\max }P\left(O\right|{\lambda }_i)---\left(7\right)$

然后将该片段划分到最大值所对应的那个类型中。比如，从公式(7)中我们计算得出一个片段的P(O|λ₂)为最大值，也即：$\arg \underset{i}{\max }P\left(O\right|{\lambda }_i)=2,$那么我们判断当前片段的类型是犯规。

其中HMM模型的参数在分类前需要进行学习(L.R.Rabiner，“Atutorial on hidden markov models and selected applications in speechrecognition，”Proceedings of the IEEE，vol.77，no.2，pp.257-285，1989.)。在HMM参数学习中，从训练视频中手动的选取用于训练的普通片段集合，用于训练的射门片段集合，用于训练的犯规片段集合，用于训练的进球片段集合，以及用于训练的定位球片段集合。标记这些训练片段所属的类型以及执行片段观测矢量提取。在HMM参数学习中我们采用6状态的各态历经的拓扑结构。

在执行上述片段类型判断6中，其中，选择射门片段、进球片段、定位球片段为精彩片段；如果一个给定的片段被确定为定位球，我们可以按照该片段中球员分布情况以及边界的方向特征将定位球可以再分成任意球、角球和点球。如采用J.Assfalg，M.Bertini，C.Colombo，A.D.Bimbo，和W.Nunziati，“Semantic annotation of soccer videos：automatic highlightidentification，”Computer Vision and Image Understanding，vol.6，No.4，pp.285-305，Aug.2003中的所描述的方法。

在执行片段类型判断步骤6之后，对于一个给定的足球比赛视频，我们将其划分成一系列具有明确类型的片段序列。在此基础上，执行精彩片段划分步骤7，其特征在于实现对精彩片段划分到足球比赛中的两个球队中以及对进球类型进行判断。精彩片段所属球队划分的方法是按照摄像机的主运动方向来划分。例如，精彩片段的主运动方向是从左到右，则将这个精彩片段划分到属于左边的那支球队；反之将这个精彩片段划分到属于右边的那支球队。进球类型判断是按照片段在时间上的顺序关系来确定的，例如一个进球片段前面的片段是角球，则将该进行片段划分为由角球引起的进球(角球进球)。这样，执行精彩片段划分步骤7可以将进球类型划分成如下四类：由任意球引起的进球(任意球进球)，角球引起的进球(角球进球)，点球引起的进球(点球进球)，以及普通射门进球(普通进球)。

在执行精彩片段类型划分步骤7之后，接着可以执行精彩片段生成步骤8，其特征是将精彩片段存储到视频数据库中并可以给出相应的精彩片段浏览。

图5到图7给出了按本发明方法得到的足球比赛精彩片段的浏览效果图。可以按照如下三个方面来浏览所摘录的足球比赛中的精彩片段：

(1)基于整个视频中所有射门、进球的精彩片段的视频浏览和摘要方案；

(2)基于球队的精彩片段的视频浏览和摘要方案；

(3)基于所有角球进球，任意球进球，点球进球，普通进球等精彩片段的视频浏览和摘要方案等。

图5显示足球比赛视频精彩内容浏览主窗口。其中W0是选择浏览视频文件按钮，W5是关闭浏览窗口的按钮，W1是显示精彩内容的视频画面播放窗口，W2是精彩内容的在视频中出现位置等数据列表，W3显示精彩内的窗口，W4是显示精彩进球的窗口。当按下W0是，我们可以选择所要浏览的足球视频。选定文所要浏览文件后，我们可以点击W3进入如图6所示的画面或者点击W4进入如图7所示的画面。在图6中，窗口W33中显示了比赛中两支球队精彩内容的总体概括性对比数据，并且在窗口W34中给出了可供选择的球队(球队A或者球队B或者两者)和相应的精彩内容选项，在点击浏览按钮之后会在窗口W31中播放精彩片段，并在窗口W32中给出了片段中在整个视频出现的时间。在图7中，窗口W43中显示了比赛中两支球队具体进球类型的总体概括性对比数据，并且在窗口W44中给出了可供选择的球队(球队A或者球队B或者两者)和相应的进球内容选项，在点击浏览按钮之后会在窗口W41中播放精彩片段，并在窗口W42中给出了所选的进球片段中在整个视频出现的时间。