电视录象系中影片画格的识别设备

摘要

一种在隔行扫描电视录象中识别被录制原影片系画格的设备，包括：鉴定装置，对每一连续成对的场估算出可测定从该场对的第一第二场提取的相邻奇偶图象线间相互关系的函数；比较装置，将各场对的相关函数与该场对系中的至少一个相邻对的相关函数进行比较；和识别装置，识别其相关性比来自同一画格的相邻场对更大的场对。画格经改造送到MPEG电影编码器中以获取优质压缩图象。还设有场景剪接部分自动检测装置，使编码器可以自适应工作。

说明书

本发明涉及用以在隔行扫描的电视录象中识别被录制的原电影胶片系画格的一种设备。

本发明还涉及装有这种设备的视频转换器，并涉扩一种电影编码器。

电影胶片转换成电视录象之后（借助所谓电视电影摄象），由于影片标准和电视标准不同，因而电视画面与影片画格之间通常是不能形成简单的1∶1的对应关系的。尤其是从大多数电视画面格式的隔行扫描特性来看，更是如此，因此各画面的奇数图象扫描行和偶数图象扫描行要分开用两个场传送。即使理论上存在图形正规的对应关系，这个对应关系也是未知的，要不然就是因电视领域中不断进行的剪辑作业而被破坏。

发明人认识到，在许多应用中如果能有一个能从电视录象的各场中识别出且，可能的话，重显原来影片画格的设备，则极为有利。

这种技术极其重要的应用可能是用在诸如经ISO标准化了的MPEG系统之类的数据压缩电视编码系统。这种系统利用电影系各连续画格内和画格之间的高度相干性来消除多余的信息，同时保持目标图象的良好质量。若被编码的图象系是电视电影制成的电视录象，则经编码的画面可能是取自不同影片画格的多个场的混合场，这些场缺乏原画面中存在的相干性。这样，编码器的输出质量就严重下降了。

上述设备另一个可能用途是在WO    92/09172的国际专利申请中所提出的那一种，该文献介绍了一种在隔行扫描的图象场的各行之间内插有另外一些行的显示系统。该专利文献中所述的系统按不同的方式工作，这取决于原图象源是电视图象源还是电视电影图象源。遗憾的是，WO    92/09172提出的唯一解决办法是依赖电视电影机所产生的标志信号，该信号包含在视频信号中，表示图象源是来自电视摄象机还是电视电影机。当然，目前有许多影片无需这些特殊标志信号就已能转换成电视图象，而在大多数情况下再将其还原到原来的影片图象源是不现实的。

本发明提供了一种用以在隔行扫描的电视录象中识别被录制的原电影胶片系的画格的设备，该设备包括：

接收装置，用以接收构成电视录象的一系列图象场;

鉴定装置，用以对每一对连续成对的场估算出一个可测定从该场对的第一和第二场分别提取的相邻奇偶图象线之间相互关系的函数;

比较装置，用以将各场对的相关函数与该场对系中的至少一个相邻对的相关函数进行比较;

识别装置，用以识别其相关性比来自同一个原影片画格的相邻场对更大的那些场对。

自动识别哪些场是来自同一影片画格的这种能力，特别是作为为了进行数字传输或存储而进行的电影图象系压缩的初始步骤，大有帮助。

在一个实施例中，对每一场对的相关函数进行了两次估算，其中对调了第一和第二场的作用。这一点在用电视电影机进行诸如“3∶2抓片（Pull-down）”之类的作业和/或录象在所谓场控制中易产生误差时很有用。

本发明的设备可以这样工作：要识别原影片的各画格时，先选取由三个连续场组成的核心场，估算其相关函数，并就该核心场中的第一对和第二对场进行比较，然后将相关性较大的那对场鉴定为可判定成影片画格的“最佳”选择对象，同时将核心场按电视画面的接收顺序往前途，以识别下一个影片画格。

核心场往前送可以按每一步至少两个场的较佳步进量进行，这种较佳步进量适用于电视录象专用的抓片方式。

这种设备还可以包括用来检测专用抓片作业中断情况的装置和用以按不同于较佳步进量的步进量使核心场往前送直到专用抓片方式恢复为止的装置。

较佳步进量还可用来确定“较佳”的备用场对，抓片作业中断情况的检测装置这时则检测“最佳”备用场对何时与“较佳”备用场对不同。

对于一般的“3∶2”抓片作业方式，在识别各连续的影片画格之后，较佳步进量可在两个和三个场之间选择。

本发明的设备还可以包括用以检测所收到的图象场数与所识别的影片画格数之间偏差以及用以按需要去除和插入画格标识符号从面校正该偏差的装置。这有助于使电影图象系统总的放映持续时间始终保持正确，且可避免例如图象与声迹之间失去同步。

本发明的的设备还可包括画面输出系发生装置，这种装置通过隔行扫描来自经识别的场对的图象线以产生电视画面对应于所识别影片画格的输出系。这个输出系使本设备可应用于视频比率转换器中。

本发明进一步提供了装有上述设备的电影编码器，该编码器还具有一个编码装置，用以对所产生的输出画面系进行编码，以供传输或储存之用。在可与MPEG兼容或类似的实施例中，电影编码器履行帧间预测性编码的功能。本发明的设备还包括场景剪接部分检测装置，该装置用以对其相关性小于相邻场对相关性的备用场对进行检测。

本发明的又一方面是提供了一种进行帧间预测性编码的电影编码器，其特征在于，它包括场景剪接部分自动检测装置，该装置用以对相邻的各场或帧进行自动比较，且构制成使其可以根据所检测出的场景剪接部分来中止或修正帧间预测性编码。

现在参照附图举例说明本发明的一些实施例，附图中：

图1    示出了电视电影机以3∶2抓片作业方式进行的工作过程，还示出了作为本发明设备一个实施例的画面检测器的应用;

图2    示出了本发明设备一个实施例的结构和工作原理方框图;

图3    示出了本发明的设备根据一系列具有一般3∶2抓片作业方式的图象场进行的工作顺序;

图4    示出了在图2的设备中自动检测场景剪接部分的过程。

图1    的左侧举例说明了影片转换成录象磁带的过程。电视电影机100用以顺次扫描电影胶片的各画格，从而产生视频信号由磁带录象机（VTR）102录下来。视频信号按惯例确定出两个隔行扫描场中的连续图象画面，第一场中含有奇数图象扫描线，第二场中含有偶数图象扫描线。由于全世界电影和电视技术的惯例不同，因而电视电影机按下列方式工作来适应帧频比率。

将24赫影片转换成欧洲标准电视图象（25帧/秒，50场/秒）时，通常电视电影机只将每一个影片画格扫描成两个连续的图象场。以后，电视图象以25帧/秒重放时看电视的人能忍受重放时的4%的增速幅度。若该所谓“场控”调定得适当，则各电视画面的两场（奇数场加其后的偶数场）始终会从同一个影片画格中出来。

转换成美国标准电视图象（30帧/秒，60场/秒）时，同样的过程会引起人注目的增速。因此，公认的作法是，电视电影机100以“3∶2抓片”的顺序对各影片画格进行取样，如图1下左部分所示。

3∶2抓片时，原影片画格A、B、C、D等以24赫的频率到达。得出的60赫频率的电视画面由奇数（“0”）场和偶数（“E”）场以下列3∶2的顺序组成：AO    AE    AO    BE    BO    CE    CO    CE    DO    DE    EO    EE    EO    FE    FO    GEGO    GE    HO    HE…换句话说，影片画格A产生三个图象场，下一个影片画格B产生两个图象场，C产生三个场，D两个，E三个，如此类推。这种作业方式每五个电视画面重复10个图象场或4个影片画格。

在图1的右侧，我们看到与上述相反的过程在进行中，其中在102录制的电视录象在另一个VTR机104上重放，然后通过比率转换器106产生不同比率的电视画面或场。这样做的具体目的是为获取24赫的数字化帧，以提供给MPEG或类似的编码器108，编码器108则采用数据压缩技术将完全活动的电视图象储存在光盘CD-ROM上。或者，也可以只按需要将其录制成不同帧比率的新录象磁带。

为达到这些目的，最好是用比率转换器106将录下的电视画面改造成一系例密切对应于真实影片画格A、B、C的画面A′、B′、C′。举例说，画面BO/CE可能会含有起干扰作用的人为的动作缺陷，因为奇数图象线和偶数图象线来自不同的影片画格。这些人为缺陷不仅看起来剌眼，而且在MPEG编码器中“偷窃”真实图象信息的带宽，因而经编码的信息其质量低于要求。

不幸的是，改造原影片的画格并不是轻而易举的事。一般说来，在102录制的电视录象由于是由电视电影机产生的，因而要在图象领域中进一步处理和剪辑，因此会中断3∶2抓片的顺序。此外，可能会采用与正宗的3∶2抓片作业方式不同的方案，例如象美国专利4，786，979（Claus等人）所述的方案。即使25赫电视录象是以简单的2∶1关系进行，也会出现类似的问题：场控在电视电影机中并不总是调得挺好的，或者是在这个程序中因复制或剪辑录象带时出现的误差而使场控制情况可能变化。实际上，据发现，从影片录制出的1%25赫电视图象都莫明其妙地会带来不正确的场控。

图2示出了根据图象顺序正确改造原影片画格A′、B′、C′等用的比率转换器的方框原理图。本技术领域的专业人士不难理解本设备是如何实施的，无论用硬件、软件或者两者结合起来都行。

在200处表示出了有代表性的图象场AO、AE等的场序列。该场序列陆续从VTR机104到达。在分步控制器220的控制下，选用流动的由三个场X、Y、Z组成的核心场进行处理。虽然对本设备无从知道这一点，但从图示的阶段来看，X、Y、Z分别为对胶片序列A、B、C等进行的3∶2抓片形成的场BE、BO和CE。对本设备确实知道的是，X、Y、Z中的起码两个场是从同一个影片画格中获得的，但改造这个画格有四种可能的结果：一个画格可能是由头两个场X和Y构成的，且/或一个画格是由Y和Z构成的。在这两种情况下，每一种情况的头一个场可能含有奇数图象线，也可能含有偶数图象线。因此该设备在222-228处构制出两对作为选择对象的画格XY，YX和YZ，ZY。

各选择的备用画格只是通过交替地从有关的两个图象场取图象线而构成。例如，选择对象YX由场Y的第一图象、场X的第一图象线、场Y的第二图象线、场X的第二图象线等组成。这些备用画格由鉴定器230检验，选择其中“最佳”的备用画格，并由鉴定器230控制选择器232，使最佳备用画格加入到输出画格系A′、B′、C′等里面。当然，从我们知道的输入顺序可看出，选择对象YX适当地将场面BO和BE混合起来，产生了所要求的画格B′。设备本身就不知道这一点，但工作起来却能识别正确的选择对象。

鉴定器230取每一备用画格的各图象线，并计算该线和下一条线各象素之间的差值。然后以这些差值为阈值而去除大多数真正的差值，也就去除了偶然来的干扰。阈值以上的全部差值都计入，以求出各选择对象在整个画面中的相邻各行的各象素之间相关性的大小C（XY）等。不是来自同一影片画格的两个场的选择对象（例如图中所示的ZY），其计数值C（ZY）必然较大。各场交叠得不恰当的选择对象其计数值也会较大，这是因为这时原图象线4在图象线1下面，而图象线6这时在图象线3下面等所致。因而计数值最小的选择对象是四个选择对象中“最好”的一个。

显然，当核心场中的所有三个场都来自同一画面（AO-AE-AO或CE-CO-CE）时，则会有两个好的选择对象。分步控制器220用它所知道的图象源类型（例如来自电视电影机的3∶2抓片）实现“飞轮”特性，在这些选择对象之中进行判断，而且还确保核心场精确遵循3∶2顺序。图象系中的动作幅度不大时，飞轮特性也很重要，即使“不对头”的选择对象的计数差值非常小时也是如此。同时，当输入顺序包括3∶2顺序的中断时，飞轮效应能自动克服。

图3示出了输入方式为3∶2的各场输入顺序用的分步控制器的工作情况。应该指出的是，这种输入方式中断，是因为场对“F”与“H”之间理应有三个场“G”所致。核心场X-Y-Z的分步动作示于输入顺序下面，且各核心场位置都注明了鉴定器230选取哪一对场（X和Y或Y和Z）来形成哪一个输出场（A′，B′等）。为简明起见，图3中没有将奇数和偶数场区别开。

我们发现，对某些输出画面（A′，C′，E′，I′等），核心场（Y和Z）中的第二对为最佳的画面选择对象，换句话说，象素差值的最小计数属于选择对象YZ和ZY。在这些情况下，下一个核心场位置的步进量取3。至于其它的输出画面（B′，D′，F′，G′，H′等），选取第一对（选择对象XY或YX）并取步进量为2。当然，当步进量仅为2时，为选择对象YZ和ZY确定的计数值可以再使用，因为这些选择对象在该步骤之后是与选择对象XY和YX相同的。这节省了许多时间，特别是节省了软件作业时间。

考虑到所期望的3∶2输入方式，为了在步进量3-2-3-2-3-2等中保持类似的方式，鉴定器对某些选择对象比对其它选择对象要偏重一些。举例说，找出3∶2顺序A-A-A-B-B之后，鉴定器检验其中全部三个场都是来自画面C的核心场X-Y-Z。显然，C′会有两个好的画面选择对象，例如YX和YZ。当然，由于干扰，差值的计数值可能会稍偏重于选择对象XY，但尽管如此，步进量最好还是取3，同时选取选择对象YZ继续采用最新确定的3∶2方式。只有当这样做会导致选取特别坏的选择对象（象素差值的计数值特别大）时，鉴定器才会引起偏离该方式的偏差，这一点可从图3中的例如画面G′和H′看出。这里步进量用（2＊）表示，以表明与较佳3∶2方式的差别。

下面的“伪码（pseudo-code）列表”示出了选择准备使用的适当选择对象同时使飞轮效应约相当于3∶2抓片的一个方法：

设变量LAST_STEP＝-1;

START

写入3个场X、Y和Z，

计算象素差值计数值C（XY），C（YX），C（YZ），C（ZY）;

设SM1＝C（XY）和C（YX）两者中较小的一个;

设SM2＝C（YZ）和C（ZY）两者中较小的一个;

若四个计数值中最小的一个为C（XY）或C（YX），

则取变量THIS_STEP＝2;

或取变量THIS_STEP＝3;

结束条件（endif）;

若THIS_STEP等于LAST_STEP（拆除3∶2顺序），则：

若THIS_STEP等于2，则

取TDIFF＝SM1/5;

或者

取TDIFF＝SM2/5;

结束条件;

若TDIFF小于150，则取TDIFF＝150;

若｜SM1-SM2｜小于TDIFF，则

改变THIS_STEP以保留3∶2顺序;

结束条件;

结束条件;

根据THIS_STEP的值选择输出画面;

设LAST_STEP＝THIS_STEP;且

返回到START直到识别出合乎要求的画面数为止。

上述列表的意义对本技术领域的专业人士来说大部分是不言自明的，但下面几个特殊点还是值得一提的。THIS_STEP等于LAST_STEP的情况表明只选取差值C（…）计数值最小的画面选择对象可能会违犯所期望的3∶2顺序的情况。若遇到这种情况，就要进一步调查以确定是否应将该方式拆除，这取决于“最佳”选择对象的计数值与“较佳”选择对象的计数值之间的差值（｜SM1-SM2｜）的大小。只有当该差值的大小超过某一阈值TDIFF，才应拆除该方式。否则就要改变步进量THIS_STEP以保留3∶2方式。

从上述列表可以看出，阈值TDIFF是自适应确定的，取两计数值SM1和SM2中较小一个的1/5。换句话说，阈值取得应使在“最佳”选择对象的计数值比“较佳”选择对象的计数值小20%时会选取“最佳”的选择对象。之所以需要这样做是因为各计数值随场景内容的不同而有很大变化。TDIFF的最小值取150，为的是在场景几乎恒定且计数值都非常小时避免得出不合逻辑的结果。

应该指出的是，当搞乱抓片方式时，如图示顺序中的G-G-H-H，输出画面A′-B′-C′等顺序总的持续时间就再也不会与输入顺序一致。这是我们不希望有的，举例说，因为这样，声迹会失去同步。因此图2的设备有一个递加/递减计数器240将以5/4倍率所产生的输出画面数与所收到的输入图象场数相比较。若差值累积到使输出系的整个画面不同步的程度，计数器就产生去除或插入信号，分别使某一画面从输出系中去除，或使得有额外的输出画面插入。

去除和插入画面有许多种可采取的方法。“去除”当然是件简单的事（例如有意识地将画面B′遗漏掉），同样，插入画面只要重复输出画面（A′-B′-B′-C′）其中一个就能实现。应该指出的是，若已知附近有场景剪接部分（见下面），则观看的人往往觉察不到紧挨场景剪接部分的去除或插入的画面。

在没有场景剪接部分可利用来掩饰插入/去除部分时，简单地去除整个画面或重复某一画面会在映出的动作中产生引人注目的突变现象。为缓和这种现象，图2的设备装有一个均衡器242，可用以产生其象素值为输出系（图示情况为A′和B′）的两相邻画面中象素值的平均值的画面。去除信号由计数器产生时，该设备会去除两个画面并取代经均衡的画面。在插入信号的情况下，该设备就只把经均衡的画面加在两画面之间。

图4示出了鉴定器230如何还可以自动检测出输出电视画面A′-B′-C′系中的场景剪接部分（图象内容突然变化，不慢的“交叉叠象渐变（cross-fade）”或“划变（wipe）”）。MPEG编码器108（图1）能改善数据压缩和图象的质量，办法是在场景剪接之后选择用“内部”编码对画面进行编码，就是说无须根据对前一个画面的动作的估计结果来进行预测。普通的MPEG编码器要求工程技术人员控制电视图象的转变过程以便凭视觉识别想如此处理的任何场景剪接部分。只要数一数一般故事片中包含的场景剪接部分的数目就不难理解自动检测的好处。

图4中，纵轴表示所检测出的画面的象素差值的计数值，场数则由左至右增加。检测是根据这样的原理进行的，即从场景剪接部分两侧的影片画格得出的两个场，其象素值之间的相关性通常都非常小，因此象素差值的计数值极高，可以认为表示出有场景剪接部分存在。然而，即使没有场景剪接部分，计数值实际上会大幅度变化，这视乎场景中快速动作的多寡而定，因而只凭简单的阈值检测器来检测场景剪接部分是不可靠的。

为检测场景剪接部分，鉴定器230储存有最新的31个备用场对，并维持平均运行速度（线502-AVG）。于是该鉴定器将各场对的计数值与涉及周围31个场对的现行平均计数值的一个阈值（线504）进行比较。实验证明，五倍于现行平均计数值的阈值可以使检测机构高度可靠。当然，不同类型的电视器材可以采用其他适当的阈值，而且还可以采用不同的检测方法。采用实时编码器时，在决定现行场对是否表明有场景剪接部分之前要等待16个以上的场对是很不方便的。在这种情况下，最好只参照过去的场对来确定阈值。

采用上述技术，适当考虑图象场源，可以大大提高影象质量。举例说，用简单的2∶1抓片作业方式将影片转换成50场/秒的电视影象需用不同的飞轮效应。两个场的步进量最好取常数，但这种方式在差值计数值因剪辑、场控误差等而变得过大时会受到损坏。

如前面的序言中所述的那样，这里所述的设备在简化电视录象的MPEG编码方面特别有好处，同时还保证了优质的MPEG编码输出。由于所编码的画面是原影片的画格，其自相关性能达到最高程度，从而使图象质量和MPEG数据流的数据压缩得以最佳配合。除了各画面的质量外，其他方面也得到全面改善，因为编码器不会接收多于传送信息内容所绝对需要的画面。

应该指出的是，MPEG编码器通常是对数量等于各输出画面行数一半的图象线的图象进行编码的，因此原则上只能对每幅识别出的画面的一个场进行编码。但最好还是将整个画面加以改造，然后筛选出那些解象度较低的部分进行MPEG编码。这样就提高了图象的质量，从而可以用现有的带宽来对实际图象信息编码而不使干扰因素混进来。实践证明，加到MPEG编码器的图象中即使有少量的干扰因素也会在经编码的图象中带来质量上的不相称的损失，因为干扰因素没有相干性，且从真实图象内容中“盗窃”不相称的带宽。

当然，专业读者还会设想上述技术的其它用途和上述原理的许多其它实施方案，所有这一切应属于本发明的范围。