一种确定在视频帧序列中的场优势的方法

摘要

本方法涉及一种确定在视频帧序列中的场优势的方法。一种确定在视频帧序列中的场优势的方法，该方法包括：从第一视频帧产生顶部场和底部场；对顶部和底部场插值以分别产生插值的顶部场帧和插值的底部场帧；使插值的顶部场帧和插值的底部场帧中的每一个与在视频帧序列中的第一视频帧之前紧跟着出现的第二视频帧相关联以及与在视频帧序列中的第一视频帧之后紧跟着出现的第三视频帧相关联；以及从关联的结果确定视频帧序列的场优势。

说明书

技术领域

本发明涉及在视频帧序列中确定场优势(field dominance)的方法。

背景技术

视频帧可以被分类为逐行扫描或者隔行扫描，这取决于用来显示它们的方法。在逐行扫描帧中，从顶部(top)到底部(bottom)逐行地显示构成帧的像素的水平线。相反，通过依次显示两个场来创建隔行扫描帧，一个场(被称为顶部场)包括帧的顶部线和每个第二后继线，而另一个场(底部场)包括从顶部起的第二线和每个后继线，从而包括帧的底部线。隔行扫描帧依据如下事实，显示的像素的第一场从显示装置中衰减要花费时间，在该时间期间显示第二场，以便创建包括所有像素的线的单个帧的幻影(illusion)。

顺序地获取隔行扫描视频帧的场，这意味着在待获取的第一场和待获取的第二场之间存在小的时间延迟。在场景中包含的信息可能在该时间间隔中改变并且由于此原因期望按正确的次序显示视频帧的场。

隔行扫描视频帧被描述为“顶部场优先”或“底部场优先”，这取决于意在首先显示构成帧的场中的哪一个。由于在显示第一场和显示第二场之间存在小的延迟，意在其次显示的场可能包括与包括在意在首先显示的场中的信息不同的信息，例如，如果在显示第一场和第二场之间的延迟中在帧中已发生移动。在意在首先显示的场和意在其次显示的场之间的这种不同被称为“场间运动(inter-field motion)”。如果按错误的次序显示包括场间运动的场，则在显示的帧中可能出现失真。在隔行扫描显示中，例如当信息出现得比其本应出现的要早时，视频通常变得抖动或摇晃。在逐行扫描显示中，由于场被置于一起并且被以每秒N个帧而不是每秒2N个场的速率显示，场的反转(reversal)将不引起这种抖动或摇晃，但不管场的次序，场间运动将导致梳状伪像(combing artefact)，即出现线行的帧的区域，给出了“梳状(combed)”外观。

通过其序列可被描述为“顶部场优先”或“底部场优先”的视频帧序列的属性被称为场优势(或场极性(field polarity))并且一般由视频序列根据其来被记录或要被显示的视频标准来规定。例如，最普及的欧洲广播标准是PAL(逐行倒相(phase alternating line))并且具有顶部场优先场优势，然而美国广播标准是NTSC(国家电视标准委员会(national television system committee))，其具有底部场优先场优势。如果通过被配置成显示相反场优势的视频序列的视频系统来回放具有特定场优势的视频序列，或者换句话说如果场次序被反转，则可能产生若干视觉伪像，例如视频序列中的任何运动可能具有颤动和抖动的外观。这种伪像仅当视频序列被显示于隔行扫描显示器时出现，并且当被显示于逐行扫描显示器时将不可见，这是因为在这样的显示器中连续的场被组合在一起来形成用于显示的帧。尽管与视频流相关联的可采取在视频流中编码的标志的形式的理想元数据将表示特定的视频序列应当是顶部场优先还是底部场优先，然而元数据可能或者未被正确地设置(这可能是由于编辑过程的结果)，或者有意的回放设备(例如在数字机顶盒内的视频解码器)未被配置以便能够读元数据或考虑到元数据。因此，视频生产商和广播公司受益于能够快速且容易地确定视频序列中的场优势。

发明内容

依据本发明的第一方面，提供了一种确定在视频帧的序列中的场优势的方法，该方法包括：从第一视频帧产生顶部场和底部场；对顶部和底部场插值以分别产生插值的顶部场帧和插值的底部场帧；使插值的顶部场帧和插值的底部场帧中的每一个与在视频帧序列中的第一视频帧之前紧跟着出现的第二视频帧相关联以及与在视频帧序列中的第一视频帧之后紧跟着出现的第三视频帧相关联；对关联的结果应用度量；以及根据所应用的度量确定视频帧序列的场优势。

可以通过平均顶部场的邻近的线来产生插值的顶部场帧以及通过平均底部场的邻近的线来产生插值的底部场帧。

当插值的顶部场帧与先前帧的关联大于与后继帧的关联并且插值的底部场帧与后继帧的关联大于与先前帧的关联时，则场优势优选地被确定为顶部场优先。

类似的，当插值的顶部场帧与后继帧的关联大于与先前帧的关联并且插值的底部场与先前帧的关联大于与后继帧的关联时，则场优势优选地被确定为底部场优先。

在执行确定步骤之前方法可以还包括：计算在插值的顶部场帧与先前帧的关联及插值的顶部场帧与后继帧的关联的关联结果之间的第一差值；计算在插值的底部场帧与先前帧的关联及插值的底部场帧与后继帧的关联的关联结果之间的第二差值；以及仅当第一和第二差值大于预定的阈值时确定场优势。

此外，优选地通过对静态帧的已知序列计算第一和第二差值来确定阈值。

方法可以还包括：在关联步骤之后，计数像素数，对于该像素来说在插值的顶部场帧和插值的底部场帧中的每一个中的像素和第一参考帧中的相应像素之间的像素值差小于在该像素和第二参考帧中的相应像素之间的像素值差，其中当第一参考帧包括先前帧且第二参考帧包括后继帧时以及当第一参考帧包括后继帧且第二参考帧包括先前帧时，对插值的顶部和底部场帧中的每一个计数像素数。

依据本发明的进一步方面，还提供了用于执行本发明的第一方面的方法的计算机程序。

附图说明

借助于非限制性仅例示性的实例，参考所附附图，将在以下描述本发明的实施例，其中：

图1示意性地例示了隔行扫描视频帧；

图2示意性地例示了从隔行扫描视频帧产生一对视频场；

图3示意性地例示了一对插值的顶部和底部场帧；以及

图4示意性地例示了在帧及先前或后继帧的独立(individual)场之间的时间关联(correlation)的原理。

具体实施方式

参见图1，视频帧10被示意性地例示为包括构成图像的水平线12、14。通常，遵照PAL标准的帧包括625条这样的像素线，而遵照US NTSC标准的帧包括525条线。如先前所提及的，每个视频帧10包括两个不同的场。一个场将包含顶部像素线和每个后继的第二线，即其将包含在图1的表示中例示的所有虚线。该场被称为顶部场。另一个场将包含第二像素线和每个后继的第二线，这样它包括视频帧中的底部像素线，即在图1中表示的实像素线。该场被称为底部场。

尽管将用恒定、单个场优势来记录独立的(indivisual)视频序列，多个这种独立视频序列很可能被编辑在一起来形成最终的广播视频，并且由于可采用能够获得和应用的不同广播标准来获取和整理(collate)独立视频序列所以不同的独立视频序列会有不同的场优势。如先前所描述的，如果按反转的场次序来显示视频帧序列，则当在逐行扫描显示器上查看编辑的序列时将趋向于产生严重的视觉伪像。因此，当编辑多个视频序列时知道每个视频序列的场优势以便确保场优势被保存在最终编辑的视频序列中，这是非常有用和所期望的。

依据本发明的实施例来确定场优势，独立视频帧10必须被划分成顶部和底部场。通过从帧10中提取顶部像素线12和每个后继的第二像素线并且在顶部场30中将这些线存储在从帧10中提取它们的位置来产生顶部场30。类似的，通过提取第二像素线14和每个后继的第二像素线并且在底部场30中将这些线存储在从帧10中提取它们的位置来产生底部场40。

顶部和底部场30、40每个仅包括包含在从中产生它们的视频帧10中的信息的一半。因此，顶部和底部场必须被插值以产生每个包含与视频帧10一样多的信息的顶部和底部场帧。任何插值方法可被用于本发明的实施例，然而在图2中例示的实施例中，待插值的场中的邻近的像素线被插值和平均(average)。从而，例如，如在图3中的50处所示，为产生插值的顶部场帧的第二线，顶部场30的顶部线32的每个像素的值被与顶部场30的第二线34的相应像素的值求和并且除以2以获得平均像素值并且从用这种方法计算的平均像素值来建立顶部场30的“缺失的”第二线。

类似地，如在图3中的60所示，为产生插值的底部场帧的第二线，底部场40的第一线42中的每个像素的值被与底部场40的第二线44的相应像素的值求和并且得到的像素值和被除以2以获得平均像素值并且从用这种方法计算的平均像素值来建立底部场40的“缺失的”第二线。该过程被重复以便从顶部和底部场30、40产生插值的顶部和底部场帧50、60，顶部和底部场帧50、60中的每一个都包含与从中产生顶部和底部场30、40的帧10同样多的信息。插值的顶部和底部场帧50、60是有效逐行扫描帧，其表示在顶部和底部场30、40中的每一个被显示在隔行扫描系统中时可以看到的信息。

随后，将插值的顶部和底部场帧50、60每个与在视频序列中在从中产生插值的场帧的帧之前的帧相关联并且还与在视频序列中的下一帧相关联。用于执行该关联过程的基本原理得自在视频序列中的两个帧之间的时间差与它们之间的关联成反比的认识。该原理还可以被应用于构成每个帧的不同的场。在特定帧中要首先显示的场将与视频序列中的在先帧具有更近(closer)的联系，而要第二显示的场将与随后的帧具有更近的关联。该原理的图解表示被示出于图4中，其中例示了视频帧序列70，其中每个帧包括顶部和底部场20。在图4中例示的序列中，场优势是顶部场优先。可以看出，第N帧的顶部场(以及因此由其得到的插值的顶部场帧)与在先的N-1帧具有更近的时间和空间关联，而第N帧的底部场与在后的N+1帧具有更近的时间和空间关联。

如先前所提及的，插值的顶部场帧(X_T)和插值的底部场帧(X_B)二者都与先前帧(X_p)和下一将来帧(X_f)相关联以便对于视频序列中的每个帧来说四个不同的关联(correlation)值可被获得：

a＝correlation(X_T，X_P)

b＝correlation(X_B，X_f)

c＝correlation(X_T，X_f)

d＝correlation(X_B，X_p)

任何合适的度量可被用于测量关联，例如峰值信噪比(PSNR)、均方的误差(MSE)或平均绝对误差(MAE)。

在优选实施例中，计算关联差因子(correlation differencefactor)Δ并且采用关联差因子Δ来如下执行检查：

Δ＝Abs(a-c)

Δ＝Abs(b-d)

Δ＞阈值

关联差因子Δ表示必须为其计算关联的帧之间的相似性。关联差因子的高的值表示在帧之间存在低的相似性并且因此对于处理来说可获得更多的有效(active)运动信息，从而改善方法的可靠性。关联差因子Δ的低的值表示帧是相似的并且因此可能导致假阳性(falsepositive)，这是因为在帧之间没有发生明显的活动(activity)。因此，对于已知的静态帧来说，优选地根据关联差因子结果来确定关联差因子Δ的阈值。如果该关联差因子小于预定阈值，则帧的场次序被认为是不确定的。如果该关联差因子大于阈值，则所附表格示出了关联检查的可能结果及其解释。

  编号  情况  解释  1  a＞c并且b＞d  场次序＝顶部场优先  2  a＜c并且b＜d  场次序＝底部场优先  3  其它情况  不确定结果

参考该表格可以看出，对于情况3来说所取得的结果是不确定的，即，不可能从关联结果推理出场优势是哪个并且按次序首先显示底部和顶部场二者存在同等的概率。通常在相邻的帧之一是静态时或者相反地在帧之间存在明显的纹理(texture)改变时发生该不确定的情况。在本发明的进一步实施例中执行帧的进一步处理以便试图解决源自帧关联过程的那些不确定结果。在本发明的进一步实施例中所应用的进一步的处理技术包括通过在插值的场帧中的每一个和视频序列内的先前及将来帧之间逐像素用亮度值确定关联水平。该度量逐像素地确定插值的场帧的像素值与第二参考帧(reference frame)中的相应像素的值相比是否更接近于第一参考帧中的相应像素的值。依据结果，计数器递增或者递减并且最终的计数器值表示关联计算的结果。对于每个场帧来说，两个关联计算被执行：第一计算，其中第一参考帧是视频序列中的先前帧而第二参考帧是将来帧；以及第二计算，其中第一参考帧是将来帧而第二参考帧是先前帧。在以下表示了每对插值帧的四种可能的关联计算，其中关联度量被称为光流(optical flow)。

Oa＝optical flow(X_T，X_P，X_f)

Ob＝optical flow(X_T，X_f，X_p)

Oc＝optical flow(X_B，X_P，X_f)

Od＝optical flow(X_B，X_f，X_p)

光流度量有效地着眼于在连续帧之间的移动(或光流)方向，而不是简单地着眼于像素亮度值改变的大小。这减少了只在图像帧的小区域上发生的亮度值较大改变的可能的掩蔽效应(其趋向于在以上所描述的初始的关联计算中产生假阳性)。四种光流关联确定的结果随后被解释如下：

  编号  情况  解释  1oa＞ob并且oc＜od  顶部场优先  2oa＜ob并且oc＞od  底部场优先  3其它情况  不确定结果

如可以从以上情况表所看出的，在进一步的处理之后场次序确定的结果仍然可能是不确定的，在该情况下该帧的结果是不考虑的或者被记录为不确定。

然而，依据本发明的用于检测场优先的上述方法提供了跨过不同位速率、分辨率和质量的视频数据流的稳健的输出。本发明的方法的特定优点在于其不产生逐行扫描帧的假阳性，这是因为场优势不影响这种帧使得本发明的方法将产生这种逐行扫描帧的不确定结果。