用来对视频流所载的运动视频节目编索引的方法

摘要

本发明提供一种用来对视频流所载的运动视频节目编索引的方法。该方法包含有：通过由进行镜头检测来对该视频流的多个镜头暂时地编索引；至少依据该镜头检测过程中被编索引的镜头中的至少一部分的低阶视觉特征，从该至少一部分提取该运动视频节目的多个镜头，通过让被提取的镜头仍暂时地维持着被编索引的状态；以及通过比较被提取的镜头中的一镜头与至少被提取的镜头中的其它镜头来确认多个镜头，通过被确认的镜头仍维持着被编索引的状态，用于该运动视频节目的至少一部分的回放。

说明书

技术领域

本发明涉及视频处理(video processing)，尤其涉及一种用来对视频流(video stream)所载的运动视频节目(sports video program)编索引(indexing)的方法。

背景技术

在运动视频节目中，某些片段(segment)或镜头(shot)相较于其它部分特别地引人兴趣，例如：一场篮球赛中篮球队员投篮的时刻，或是一场棒球赛中击球手挥棒出击的时刻。为了准备或制作该运动视频节目的精华版(highlight version)，可能必须在视频编辑(video editing)上耗费许多时间。

虽然当今用来执行于个人电脑(personal computer，PC)的数位视频编辑应用软件(application tools)已在市面上买得到，但利用这种应用软件的使用者仍需要耗费许多时间、精神来手动地进行视频编辑，这是因为这类的应用软件的典型作法只不过是提供一种使用者界面让使用者指示应用软件该做什么(例如：将使用者所裁切与选择的多个片段加以组合)，而非提供一种自动编辑功能。

发明内容

因此本发明的目的的一在于提供用来一种对视频流所载的运动视频节目编索引的方法。

本发明的较佳实施例中提供一种用来对视频流所载的运动视频节目编索引的方法。该方法包含有：通过由进行镜头检测(shot detection)来对该视频流的多个镜头暂时地编索引；至少依据该镜头检测过程中被编索引的镜头中的至少一部分的低阶视觉特征(low level visual feature)，从该至少一部分提取(extracting)该运动视频节目的多个镜头，通过让被提取的镜头仍暂时地维持着被编索引的状态；以及通过比较被提取的镜头中的一镜头与至少被提取的镜头中的其它镜头来确认(validating)多个镜头，通过被确认的镜头仍维持着被编索引的状态，以用于该运动视频节目的至少一部分的回放(playback)。

附图说明

图1为本发明一实施例中所提供的一种用来对视频流所载的运动视频节目编索引的方法的流程图。

图2为图1所示的提取步骤在本发明一实施例中的实施细节的流程图。

图3为图1所示的确认步骤在本发明一实施例中的实施细节的流程图。

图4为图1所示的提取步骤于在发明一实施例中的实施细节的流程图。

图5为图1所示的提取步骤于在发明一实施例中的实施细节的流程图。

主要元件符号说明

900                                      方法

900S，900E，910，920，930，940，950，    步骤

930S，930E，932，934，936，

934’，936’

F₁，F₂，...，F_N                          图框/钥框

C_1，1，C_1，2，...，C_N，N                 比较结果

S₁，S₂，...，S_N                          总和

具体实施方式

请参考图1与图2，图1为本发明一实施例中所提供的一种用来对视频流所载的运动视频节目编索引的方法900的流程图，其中图2为图1所示的步骤930于本实施例中的实施细节的流程图。通过由将方法900应用于该视频流，该运动视频节目可被自动地编索引，其中当该视频流所载的视频资料被筛选超过一次时，被编索引的镜头的数量可被改变。于是，本发明的目的，例如自动地产生该运动视频节目的精华版，可以通过由利用方法900来达成。

在步骤910中，通过由进行镜头检测来对该视频流的多个镜头暂时地编索引。依据本实施例，镜头检测是通过由检测镜头变化来实施，例如检测图框(frame)之间的亮度差异(luminance difference)。另外，由每一镜头的多个图框中可选出一钥框(key frame)来代表该镜头，例如：每一镜头的第一图框可被选为该镜头的钥框。由于镜头检测技术为同业所熟知，故不赘述步骤910的实施细节。在此，在步骤910中被暂时地编索引的镜头被视为供后续步骤使用的候选镜头。

在步骤920中，进行广告检测(commercial detection)以将在步骤910中所进行的镜头检测过程中被编索引的其它镜头中筛出(sieve out)该运动视频节目的多个镜头。由于进行广告检测的结果，该视频流所载的广告内容均被滤除。依据本发明的某些实施例，步骤920可为某些状况下选用的步骤，尤其是在该视频流不存在广告内容的状况下。在步骤920中所进行的广告检测可通过由同业所熟知的广告检测技术来实施，故不赘述其细节。在此，这样被滤除的镜头已被解除上述被编索引的状态，而这样被筛出的镜头仍暂时地维持着上述被编索引的状态，因此，这样被筛出的镜头被视为可供下一步骤(于本实施例即步骤930)使用的候选镜头。

在步骤930中，至少依据该镜头检测过程中被编索引的镜头中的至少一部分的低阶视觉特征，例如色阶统计数据(histogram data)，从该至少一部分提取该运动视频节目的多个镜头，通过让被提取的镜头仍暂时地维持着上述被编索引的状态。依据本实施例的不同实施选择，该等低阶视觉特征可为色彩色阶统计(color histogram)或亮度色阶统计(luminance histogram)的色阶统计数据。依据本发明的不同实施例，该等低阶视觉特征可为上述该至少一部分的像素差异比较结果(pixel difference comparison result)或离散余弦转换系数(discrete cosine transform coefficient，DCT coefficient)。

依据图1所示的实施例，由于有进行该广告检测，该镜头检测过程中被编索引的镜头中的该至少一部分在此被定义为该等被筛出的镜头。在本实施例中，步骤930包含有详细步骤，例如步骤932、934、与936，用来进行稳定片段提取(stable segment extraction)以及低复杂度片段提取(low complexitysegment extraction)，如图2所示。

在步骤932中，该稳定片段提取是依据多个色阶统计差异(histogramdifference，HDs)来进行。依据本实施例，首先通过由对每一镜头中的多个色阶统计差异求和(summing)以产生该镜头的一色阶统计差异总和，来进行该稳定片段提取，其中每一色阶统计差异系对应于每一镜头中的两图框的色阶统计之间的差异。接着，通过排除(excluding)具有较大的色阶统计差异总和的镜头，使这些具有较大的色阶统计差异总和的镜头不被提取，来完成该稳定片段提取。也就是说，在本实施例中，具有较小的色阶统计差异总和的镜头被视为稳定(stable)，也因此在步骤932中被提取。这样被提取的镜头仍暂时地维持着上述被编索引的状态，而这样被排除的镜头则从此可被忽略(例如：通过由去除其索引来实现)。在此，暂时地维持着上述被编索引的状态的这样被提取的镜头被视为可供下一步骤(在本实施例即步骤934)使用的候选镜头。

依据本实施例的一实施选择，在步骤932中，一色阶统计差异总和是否被视为较小或较大，可通过利用一预定阈值来决定。依据本实施例的另一实施选择，在步骤932中，一色阶统计差异总和是否被视为较小或较大，可通过利用有关于该色阶统计差异总和的等级(ranking)的预定百分比来决定。

在步骤中934，该低复杂度片段提取系依据多个色阶统计平方总和(histogram square sum，HSS)来进行。依据本实施例，首先通过对除了具有较大的色阶统计差异总和的镜头之外的每一镜头的一钥框的多个色阶统计平方值(histogram square value)求和，以产生该钥框的一色阶统计平方总和，来进行该低复杂度片段提取的第一程序(procedure)。也就是说，对于步骤932中所提取的每一镜头，在第一程序中首先计算其对应的色阶统计平方总和。接着，通过排除具有较小的色阶统计平方总和的钥框所属的镜头，使这些具有较小的色阶统计平方总和的钥框所属的镜头不被提取，来完成该低复杂度片段提取的第一程序。也就是说，在本实施例中，具有较大的色阶统计平方总和的钥框所属的镜头被视为具有低复杂度，并因此在步骤934中被提取。这种被提取的镜头仍暂时地维持着上述被编索引的状态，而被排除的镜头则从此可被忽略(例如：通过去除其索引来实现)。在此，暂时地维持着上述被编索引的状态的该等被提取的镜头被视为可供下一步骤(在本实施例即步骤936)使用的候选镜头。

依据本实施例的一实施选择，在步骤934中一色阶统计平方总和是否被视为较小或较大，可通过利用一预定阈值来决定。依据本实施例的另一实施选择，在步骤934中一色阶统计平方总和是否被视为较小或较大，可通过利用有关于该色阶统计平方总和的等级的预定百分比来决定。

在步骤936中，该低复杂度片段提取另外依据步骤934中被提取的镜头的钥框的变异(variance)来进行。依据本实施例，首先通过计算除了具有较小的色阶统计平方总和的钥框所属的镜头之外的每一镜头的钥框的变异，来进行该低复杂度片段提取的第二程序。接着，通过排除具有较大的变异的钥框所属的镜头，使这些具有较大的变异的钥框所属的镜头不被提取，来完成该低复杂度片段提取的第二程序。也就是说，在本实施例中，具有较小的变异的钥框所属的镜头被视为具有低复杂度，并因此在步骤936中被提取。这种被提取的镜头仍暂时地维持着上述被编索引的状态，而这样被排除的镜头则从此可被忽略(例如：通过去除其索引来实现)。在此，暂时地维持着上述被编索引的状态的这种被提取的镜头被视为可供下一步骤(在本实施例即步骤940)使用的候选镜头。

依据本实施例的一实施选择，在步骤936中一变异是否被视为较小或较大，可利用预定阈值来决定。依据本实施例的另一实施选择，在步骤936中一变异是否被视为较小或较大，可通过利用有关于该变异的等级的预定百分比来决定。依据本实施例，图2所示的步骤936中所提取的镜头被视为图1所示的步骤930中所提取的镜头。

在步骤940中，针对步骤930中所提取的镜头(即上述可供步骤940使用的候选镜头)，通过比较一镜头与其它镜头来确认多个镜头，通过被确认的镜头仍维持着被编索引的状态，用于该运动视频节目的至少一部分的回放。尤其是，上述被确认的镜头仍维持着被编索引的状态，用于该运动视频节目的该至少一部分的重新排列回放(rearranged playback)。例如：通过由在后续步骤中对被确认的镜头进行排序(sorting)，被确认的镜头可通过重新排列的顺序来回放。

依据本实施例，关于比较一镜头(即可供步骤940使用的候选镜头中的一镜头)与其它镜头的实施方式说明如下。首先可从步骤930所提取的镜头中选择一最具代表性镜头(most significant shot)，然后再依据该最具代表性镜头与其它镜头的比较结果来确认多个镜头。例如：该最具代表性镜头可以是具有最小的色阶统计差异总和(HD sum)的钥框所属的镜头。

请注意，每一镜头的钥框可在步骤910中被选出。另外，该最具代表性镜头的钥框的色阶统计以及步骤930所提取的其它镜头中的一镜头的钥框的色阶统计之间的差异所对应的色阶统计差异，可依据步骤930中所利用的色阶统计数据来取得，尤其可依据步骤932中所利用的色阶统计数据来取得。于是，从步骤930所提取的镜头中选出该最具代表性镜头的实施不会耗费许多运算资源，这是因为该色阶统计数据在步骤940中是已存在并且立即可用的资料。

另外，在最具代表性镜头被选出的后，最具代表性镜头的钥框的色阶统计以及步骤930所提取的其它镜头的钥框的色阶统计之间的差异所对应的色阶统计差异，亦为立即可用的资料，立即可供互相比较。在比较步骤940所计算的色阶统计差异的后，在步骤930中所提取的镜头当中、对应于较小的色阶统计差异的镜头就被确认，成为上述的被确认的镜头。被确认的镜头仍维持着被编索引的状态，而其它对应于较大的色阶统计差异的镜头则从此可被忽略(例如：通过由去除其索引来实现)。

依据本实施例的一实施选择，在步骤940中一色阶统计差异是否被视为较小或较大，可通过利用预定阈值来决定。依据本实施例的另一实施选择，在步骤940中一色阶统计差异是否被视为较小或较大，可通过利用有关于该色阶统计差异的等级的预定百分比来决定。

在步骤950中，对维持着被编索引的状态的被确认的镜头进行排序，以进行该运动视频节目的该至少一部分的重新排列回放。依据本实施例，通过比较得自步骤940的被确认的镜头的动作(motion)，来对被确认的镜头进行排序。尤其是，被确认的镜头系依据动作的变化来进行排序。

依据本发明的不同的实施例，步骤950可依据不同时间的不同的排序要求被执行超过一次，例如依据各种预定参数或使用者所指示的各种要求来执行，以进行该运动视频节目的至少一部分的不同顺序的重新排列回放。

依据图1所示的实施例的一变化例，被确认的镜头可依据相似度(similarity)来进行排序。

依据本实施例的另一变化例，若确定该视频流中没有广告片段或镜头，则步骤920可被忽略。依据该变化例，在步骤930中，该镜头检测过程中被编索引的镜头中的该至少一部分的实质上包含在步骤910中所进行的该镜头检测过程中被编索引的所有镜头。

依据本发明的另一实施例，方法900可应用于该视频流超过一次。

参考图3，图3为图1所示的步骤940所进行的确认在本发明一实施例中的实施细节的流程图。将图3所示的实施细节应用于图1所示的实施例，步骤940进一步说明如下：

图3所示的图框F₁、F₂、...、与F_N分别代表可供步骤940使用的候选镜头的钥框。依据本实施例，图3所示的比较结果C_i，j(i＝1、2、...、N；j＝1、2、...、N)代表图框F_i与图框F_i之间的色阶统计差异，其中若i＝j，则比较结果C_i，j等于零。总和S₁、S₂、...、与S_N分别代表图3所示的表格中相对应行(column)内的比较结果的总和。也就是说，S_k＝C_1，k+C_2，k+...+C_N，k(k＝1，2、...、N)。在总和S₁、S₂、...、与S_N当中，最小的总和接着就被辨识出来，例如：最小的总和系为S_k0。于是，钥框F_k0所属的镜头就被选为最具代表性镜头。

依据本实施例，第k0行的比较结果(即C_1，k0、C_2，k0、...、与C_N，k0)或第k0列的比较结果(即C_k0，1、C_k0，2、..、.与C_k0，N)可被用来确认候选镜头。例如：第k0行的比较结果系被用来确认候选镜头。通过由比较这些比较结果(于本实施例即第k0行的比较结果)与上述的预定阈值，这些比较结果中的较小的比较结果可被辨识出来。于是，在可供步骤940使用的候选镜头当中，对应于较小的比较结果(在本实施例即较小的色阶统计差异)的镜头就被确认，这是因为这些对应于较小的比较结果的镜头被视为与最具代表性镜头相似。

依据本发明的另一实施例，其为图1所示的实施例的一变化例，其中步骤940可被替换为步骤940’，如以下所示：

步骤940’：  针对步骤930中所提取的镜头，通过比较一镜头与至少其它镜头来确认多个镜头，通过被确认的镜头仍维持着被编索引的状态，以供运动视频节目的至少一部分的播放的用。

在本变化例中，关于比较一镜头(即可供步骤940’使用的候选镜头中的一镜头)与至少其它镜头的实施方式说明如下。首先可如图1所示的实施例所述，从步骤930所提取的镜头中选择最具代表性镜头，然后再依据最具代表性镜头与该镜头检测(其系在步骤910中所进行)过程中被编索引的镜头中的该至少一部分的比较结果，来确认该镜头检测过程中被编索引的镜头中的该至少一部分的多个镜头。依据该变化例，该镜头检测过程中被编索引的镜头中的该至少一部分系被定义为上述的该等被筛出的镜头，即图1所示的实施例中可供步骤930使用的候选镜头。该变化例与前述的实施例相似的处不在此重复赘述。

依据本发明的另一实施例，其为图1所示的实施例的另一变化例，步骤940系被代换为上述的步骤940’，其中关于比较一镜头(即可供步骤940’使用的候选镜头中的一镜头)与至少其它镜头的实施方式说明如下。首先可如图1所示的实施例所述，从步骤930所提取的镜头中选择最具代表性镜头，然后再依据最具代表性镜头与该镜头检测过程中被编索引的所有镜头的比较结果，来确认该镜头检测过程中被编索引的所有镜头中的多个镜头。该变化例与前述的实施例相似的处不在此重复赘述。

依据本发明的不同的实施例，步骤930的实施方式可依据不同种类的运动视频节目的特性而加以变化。请参考图4，图4为图1所示的步骤930于本发明一实施例中的实施细节的流程图，其中本实施例是图2所示的实施例的一变化例。该变化例中，图2所示的步骤934系被代换为步骤934’，其中步骤934，依据多个色阶统计平方总和来进行高复杂度片段提取(highcomplexity segment extraction)。依据该变化例，进行该高复杂度片段提取的一第一程序时，首先如前面所述，对除了具有较大的色阶统计差异总和的镜头的外的每一镜头的钥框的该多个色阶统计平方值求和，以产生该钥框的该色阶统计平方总和。然而，该高复杂度片段提取的第一程序接下来的实施方式，通过由排除具有较大的色阶统计平方总和的钥框所属的镜头，使这些具有较大的色阶统计平方总和的钥框所属的镜头不被提取，来完成高复杂度片段提取的第一程序。也就是说，在本实施例中，具有较小的色阶统计平方总和的钥框所属的镜头被视为具有高复杂度，也因此在步骤934’中被提取。在此，暂时维持着上述被编索引的状态的被提取的镜头被视为可供下一步骤(于本变化例即步骤936)使用的候选镜头。

图5为图1所示的步骤930在本发明一实施例中的实施细节的流程图，其中本实施例系为图2所示的实施例的一变化例。在本变化例中，图2所示的步骤934与936系分别被代换为步骤934’(其系揭露于图4)与步骤936’，其中步骤936，系依据步骤934’所提取的镜头的钥框的变异来进行该高复杂度片段提取的第二程序。依据该变化例，首先通过由计算除了具有较大的色阶统计平方总和的钥框所属的镜头的外的每一镜头的钥框的变异，来进行该高复杂度片段提取的该第二程序。接着，通过由排除具有较小的变异的钥框所属的镜头，使这些具有较小的变异的钥框所属的镜头不被提取，来完成该高复杂度片段提取的第二程序。也就是说，在本实施例中，具有较大的变异的钥框所属的镜头被视为具有高复杂度，并因此在步骤936’中被提取。在此，暂时地维持着上述被编索引的状态的该等被提取的镜头被视为可供下一步骤(于本实施例即步骤940)使用的候选镜头。

依据图2所示的实施例的一变化例，  步骤936被替换为上述的步骤936’，而步骤934则如图2所示维持不变，其中步骤936’的运作已于图5所示的实施例中说明。该变化例与前述的实施例相似的处不在此重复赘述。

依据本发明的另一实施例，其为图1所示的实施例的一变化例，一类型(genre)决定步骤，例如步骤905，可被插入图1所示的步骤900S与步骤910的间，其中步骤905可说明如下：

步骤905：决定该运动视频节目的视频类型(video genre)。

依据本实施例的一实施选择，步骤905的实施方式，通过进行该运动视频节目的类型检测(genre detection)以取得该视频类型来实施。依据本实施例的另一实施选择，步骤905的实施方式，通过透过网际网路(internet)从该运动视频节目的一服务提供者检索(retrieve)该视频类型来实施。依据本实施例的另一实施选择，步骤905的实施方式，通过从该运动视频节目的一电子节目指南(electronic program guide，EPG)检索该视频类型来实施。依据本实施例的又一实施选择，步骤905的实施方式，通过透过一使用者界面(例如：用来实施本发明的方法的一视频播放装置的使用者界面)检索一使用者的决定以决定该视频类型来实施。

由于将步骤905应用于本实施例，步骤930的实施方式可依据在步骤905中所决定的视频类型而加以变化。例如：步骤930可通过选择不同的工作流程(例如：图2、图4、与图5所示的工作流程)中的工作流程来实施。

相较于现有技术，本发明的方法可用来自动地编辑该运动视频节目。通过由利用依据本发明所实施的一硬体装置或软体程式(例如：应用软件)，使用者(例如：运动视频节目播报员或运动迷)不需要耗费许多时间、精神，即可轻易地准备或制作该运动视频节目的精华版。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。