有高场景成本检测的视频代码转换系统及其使用的方法

摘要

本公开涉及一种有高场景成本检测的视频代码转换系统及其使用的方法。具体公开了一种用于将视频信号代码转换成代码转换后的视频信号的系统，包括用于检测对应于所述视频信号的至少一个图像的高场景成本的高场景成本检测模块。编码器部件产生所述代码转换后的视频信号，其中，当检测到所述高场景成本时，分配提高的质量给至少一个中心区域。

说明书

技术领域

本发明涉及在诸如视频处理设备之类的设备中使用的视频代码转换。

背景技术

视频编码对于现代视频处理设备已经变成一个重要问题。健壮的编码算法允许视频信号以降低的带宽被传输以及被保存在更小的存储空间中。许多编码方法的标准已经被公布，其中包括H.264标准，它也被称为MPEG-4 Part 10或者高级视频编码(AVC)。虽然标准提出了许多强有力的技术，但是进一步提高这些方法的性能以及实现速度是可能的。此外，多种格式的颁布已经导致其中以一个格式的视频信号必须被代码转换为另一个格式以便在特定的设备上使用、用于传输或用于存储的情况。这些代码转换方法的精确度面临习惯于高分辨率和更好图像质量的用户的详细审查。

通过比较常规和传统系统和本发明，常规和传统方法的更多局限性和缺点对本领域普通技术人员将变得显而易见。

附图说明

图1呈现根据本发明实施例的视频处理设备125的框图表示。

图2呈现根据本发明实施例的视频代码转换系统102的框图表示。

图3呈现根据本发明实施例的图像300的图示性表示。

图4呈现根据本发明实施例的视频分发系统175的框图表示。

图5呈现根据本发明实施例的视频存储系统179的框图表示。

图6呈现根据本发明实施例的方法的流程图表示。

图7呈现根据本发明实施例的方法的流程图表示。

具体实施方式

图1呈现根据本发明实施例的视频处理设备125的框图表示。具体地，视频处理设备125包括能够从一个或多个诸如广播电缆系统、广播卫星系统、因特网、数字视频盘播放器、数字视频记录器或其它视频源之类的源接收视频信号110的接收模块100，诸如机顶盒、电视接收器、个人计算机、有线电视接收器、卫星广播接收器、宽带调制解调器、3G收发器、或其它信息接收器或收发器。视频代码转换系统102被耦接到接收模块100，以便对视频信号110进行代码转换以形成代码转换后的视频信号112。

在本发明的实施例中，所述视频信号110可以包括已经经由无线介质直接地或通过一个或多个卫星或其它中继站或通过有线电视网、光网络或其它传输网络传输的广播视频信号，诸如电视信号、高清电视信号、增强的高清电视信号或其它广播视频信号。此外，视频信号110可以由存储的视频文件来生成，从诸如磁带、磁盘或光盘的记录介质重放，以及可以包括经由诸如局域网、广域网、城域网或因特网的公共或私有网络传输的流视频信号。

可以根据如下格式分别编码视频信号110以及代码转换后的视频信号112，所述格式是诸如H.264、MPEG-4 part 10高级视频编码(AVC)的数字视频格式或诸如运动图像专家组(MPEG)格式(诸如MPEG1、MPEG-2或MPEG4)、Quicktime格式、Real媒体格式、Windows媒体视频(WMV)或音频视频交错(AVI)，或另一种标准或专有的数字视频格式的其它数字视频格式。

视频代码转换系统102包括高场景成本(high scene cost)检测模块150，将结合下面根据图2-7描述的许多可选功能和特征来更详细地描述该模块。

图2呈现根据本发明实施例的视频代码转换系统102的框图表示。特别地，视频代码转换系统102根据H.264标准、MPEG-4标准、VC-1(SMPTE标准421M)、MPEG-2或其它标准的许多功能及特征而运行，以便将经由信号接口198接收的视频输入信号110进行代码转换成为另一种数字视频格式并作为代码转换后的视频信号112输出。

视频代码转换系统102包括代码转换器部件103、信号接口198、处理模块230、以及高场景成本检测模块150。处理模块230可以利用单个处理设备或多个处理设备来实现。该处理设备可以是微处理器、协处理器、微型控制器、数字信号处理器、微型计算机、中央处理单元、现场可编程门阵列、可编程逻辑器件、状态机、逻辑电路、模拟电路、数字电路、和/或基于存储在诸如存储器模块232之类的存储器中的操作指令来处理信号(模拟和/或数字)的任何设备。存储器模块232可以是单个存储器设备或多个存储器设备。该存储器设备可以包括硬盘驱动器或其它盘驱动器、只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪速存储器、高速缓冲存储器、和/或存储数字信息的任何设备。应注意的是，当所述处理模块经由状态机、模拟电路、数字电路、和/或逻辑电路执行一个或多个其功能时，存储相应的操作指令的存储器可以被嵌入到包括状态机、模拟电路、数字电路、和/或逻辑电路的电路之内或在其外部。

处理模块230和存储器模块232经由总线250被耦接到信号接口198以及多个其它的模块，诸如高场景成本检测模块150、解码模块240以及编码模块236。根据处理模块230的特定实现方式，视频代码转换系统102的模块可以以软件、固件或硬件的方式来实现。还应注意的是，本发明的软件实现可以被存储在诸如磁盘或光盘、只读存储器或随机存取存储器之类的有形的存储介质上并且可以被生产为制造产品。虽然示出的是一种特定的总线结构，但是依照本发明，同样可以实现利用一个或多个模块之间的直接连接和/或附加总线的可替换架构。

代码转换器部件103可以这样工作，即，经由解码模块240解码视频信号110，以及经由编码模块236重新编码所述解码结果来产生代码转换后的视频信号112。然而可替换地，解码模块240以及编码模块236也可以合作以利用视频信号110的参数来将所述视频信号110转换成代码转换后的信号112的格式。特别地，可以平衡(leverage)视频信号110的格式和代码转换后的视频信号112的格式之间的相似性，以减少所需的计算量以及避免完全解码和重新编码。

在工作时，高场景成本检测模块150检测诸如视频信号110的帧或场(field)之类的图像中的高场景成本。当检测到高场景成本时，代码转换器部件103生成代码转换后的视频信号112，其中至少一个中心区域被分配以提高的质量。设想视频信号110具有例如流水和泼水的场景的示例，其可能需要比目标比特率多得多的比特来编码，尤其是如果所述场景持续超过几秒钟的话。不论代码转换后的视频信号112是可变比特率(VBR)还是恒定比特率(CBR)信号，这种棘手的场景的存在都可能需要特别注意以保持比特率不过多地偏离期望或目标比特率。特别地，严苛的比特分配约束会迫使在这类场景中采用大的量化参数，从而导致差的视觉质量。

本发明是这样工作的，即，基于高场景成本来检测棘手的场景以及提高屏幕的一个或多个中心区域的质量，从而对更关注屏幕中心的人类视觉模式加以充分利用。生成代码转换后的信号112，其中，与外围部分相比更着重于图像中心部分的质量。特别地，即使图像的棘手的部分延伸到图像中心区域外面的外围部分中，该图像中心区域的质量也可以被提高。自然地，观众将他或者她的注意集中到具有提高的质量的图像中部。则结果可以是使观众具有更佳感知质量的代码转换后的视频信号112。

在本发明的一个实施例中，视频信号110是MPEG-2信号。高场景成本检测模块150可以使用诸如基于MPEG-2的统计数据之类的编码参数来估计即将到来的场景的场景成本和检测潜在的即将到来的高场景成本。源自于实际图像的观测表明，在MPEG-2中，与容易的场景相比，具有相当好的质量的困难场景往往要为图像的一些或所有宏块使用多得多的比特b并具有更高的方差值var。对于困难或棘手的场景，量化步长值(QP)也倾向于相对更高。可以通过以函数f的形式有效地组合这些参数来确定场景成本C：

C＝f(b，var，QP)

可以采用这三个参数的加权线性函数，其中选择加权系数以归一化特定参数，或者是基于实验结果来生成加权系数。可替换地，也可以采用非线性函数。

在此例子中，高场景成本检测模块150通过将为诸如视频信号110的MPEG-2帧之类的图像所计算的场景成本与场景成本阈值相比较，来检测高场景成本。如果场景成本与场景成本阈值相比是不利的，诸如当场景成本超出所述阈值时，检测到高场景成本。如果场景成本与场景成本阈值相比是有利的，诸如当场景成本不超过所述阈值时，没有检测到高场景成本(“容易的”场景)。也可以基于对具有不同复杂度的实际场景——包括被预先确定为“棘手(tough)”的一些场景——的分析，用实验方法确定场景成本阈值。

一旦如所述的那样检测到对应于特定图像的高场景成本，就可以通过提高图像的一个或多个中心区域的质量——与在这一个或多个中心区域外面的其它区域相比——来提高整个视觉质量。在本发明的一个实施例中，代码转换器部件103调整QP的值来相对于所述图像的外围提高所述一个或多个中心区域的质量。例如，可以基于MPEG-2宏块QP与该帧的平均MPEG-2QP的相对差值，针对不同宏块不同地降低中心区域中的QP。在此例子中，可以基于下式得到对于所述第n个宏块QPR_n的QP减小系数：

QPR_n＝f(MQP_n-MQP_Av)

其中，MQP_n是所述第n个宏块的基于MPEG-2的QP，MQP_Av是整个图像的平均MPEG-2QP。特别是为了维持CBR操作，在中心区域外面的区域中的QP可能增加，导致这些区域中的质量降低。诸如在VBR操作中，中心区域外面的区域中的QP可以不改变，仍然具有低于中心区域的提高的质量的质量。

此外，在应用QP重新分配来提高棘手场景中的视觉质量之前，可以评估缓冲区填充度(buffer fullness)。如果缓冲区填充度在通过比较缓冲区填充度和缓冲区阈值B而确定的限制范围之内，则可以应用QP调整。如果缓冲区填充度与缓冲区阈值相比是不利的，则不应用QP调整。此外，可基于缓冲区填充度来选择性地设置宏块QP的上限。通过考虑缓冲区填充度，这种QP动态修改有助于维持质量并且确保比特率一致。QP的重新分配以及从而比特重新分配的机制在包括泼水或流水的启用比特率约束的棘手场景中可非常有用。

图3呈现根据本发明实施例的图像300的图示性表示。具体地，图像300可以是诸如视频信号110之类的视频信号的帧或场。区域302被呈现在帧300的中心。当检测到高场景成本时，将相对地降低区域302内的宏块的QP，如同在结合图2给出的各种示例中论述的那样。如同结合图2所论述的，根据实现方式，可以不改变或升高区域302外面的区域304中的宏块的QP。虽然区域302被显示为单个矩形区域，但是也可以采用多个可变形状及大小的区域，其取决于例如当人眼浏览图片或诸如视频信号110之类的视频时通常会聚焦到的一个或多个区域。

在本发明的一个实施例中，高场景成本检测模块150可以改变中心区域302的大小和/或形状。例如，中心区域的大小还可以随着缓冲区填充度而扩展和收缩。如果缓冲区填充度在通过比较缓冲区填充度和缓冲区阈值B2而确定的限制范围之内，则可以采用较大的中心区域302。如上所述的，还可以动态地调整中心区域的形状。在本发明的一个实施例中，中心区域形状302可以缺省为矩形，而高场景成本检测模块150然后能够从所述中心区域中消除具有低方差的宏块。在另一个实施例中，可以采用形态学操作来扩展或收缩中心区域302的边界。

图4呈现根据本发明实施例的视频分发系统175的框图表示。具体地，经由传输路径122将代码转换后的视频信号112传输到视频解码器104。然后视频解码器104可操作以解码所述代码转换后的视频信号112以便显示在诸如电视10、计算机20之类的显示设备或其它显示设备上。

所述传输路径122可包括无线路径，其根据诸如802.11协议之类的无线局域网协议、WIMAX协议、蓝牙协议等运行。此外，所述传输路径可以包括有线路径，其根据诸如通用串行总线协议、以太网协议或其它高速协议之类的有线协议运行。

图5呈现根据本发明实施例的视频存储系统179的框图表示。具体地，设备11是具有嵌入式数字视频记录器功能的机顶盒、独立的数字视频记录器、DVD记录器/播放器、或其它存储代码转换后的视频信号112以便显示在诸如电视12之类的视频显示设备上的设备。虽然视频代码转换器102被显示为单独的设备，但是它也可以被结合到设备11里。虽然举例说明的是这些特定的设备，但是视频存储系统179可以包括硬盘驱动器、闪存设备、计算机、DVD刻录机、或能够根据结合此处所述的本发明特征与功能所描述的方法和系统来生成、存储、解码和/或显示合成视频流220的任何其它设备。

图6呈现根据本发明实施例的方法的流程图表示。具体地，提供了一种与结合图1-5描述的一个或多个功能和特征一起使用的方法。在步骤500，所述方法确定在图像中是否检测到高成本场景。如果检测到高成本场景，则如步骤504所示，将提高的质量分配给所述图像的至少一个中心区域，以及如步骤506所示，生成代码转换后的图像。

在本发明的一个实施例中，步骤500包括基于视频信号的至少一个编码参数来生成场景成本。所述至少一个编码参数可以包括用于编码所述至少一个图像的比特数、所述至少一个图像中的多个宏块的平均方差、和/或量化步长值。步骤500还可以包括比较场景成本与场景成本阈值、以及在场景成本与所述场景成本阈值相比是不利的时候检测到高场景成本。

在本发明的一个实施例中，代码转换后的视频信号可以是恒定比特率信号，并且步骤504可以分配降低的质量给所述至少一个图像的在所述至少一个中心区域外面的区域。可替换地，代码转换后的视频信号可以是可变比特率信号，并且步骤504可以包括把低于所述提高的质量的质量分配给所述至少一个图像的在所述至少一个中心区域外面的区域。所述视频信号可以是MPEG-2信号，所述代码转换后的视频信号可以是AVC信号。

图7呈现根据本发明实施例的方法的流程图表示。具体地，提供了一种与结合图1-6描述的一个或多个功能和特征一起使用的方法。特别地，该方法包括与图6所示的方法相同的单元，其由相同的附图标记表示。不过，如步骤502所示，该方法检测何时缓冲区填充度与缓冲区填充度阈值相比是不利的，并且只有当缓冲区填充度与缓冲区填充度阈值相比是有利的时候，步骤506才是基于步骤504的。

在优选实施例中，所述各种电路元件是使用0.35微米或更小的CMOS技术来实现的。然而，假设也可以在本发明的宽范围内使用其它电路技术，集成的或非集成的均可。

虽然此处已经明确地描述了本发明的各种功能和特征的特定组合，但是这些特征和功能的其它组合也是有可能的，其不限于在此公开的特定示例，并且明显包括在本发明的范围内。

本领域技术人员将理解，如同可能在这里使用的，术语“基本上”或“大约”给其相应的术语和/或在各项之间的相对性提供行业内接受的容差。这种行业内接受的容差范围从低于百分之一到百分之二十，并且对应于但不局限于元件值、集成电路处理变化、温度变化、上升和下降时间、和/或热噪声。这种各项之间的相对性的范围从几个百分比的差异到量级的差异。本领域技术人员还将理解，如同可能在这里使用的，术语“耦接”包括直接耦接和经由其他组件、元件、电路、或模块的间接耦接，其中，对于间接耦接，居间的组件、元件、电路或模块不改变信号的信息，但可能调整它的电流水平、电压水平和/或功率水平。本领域技术人员还将理解，推断的耦接(即，通过推断得知：一个元件耦接到另一个元件)包括在两个元件之间以跟“耦接”相同的方式进行的直接和间接耦接。本领域技术人员还将理解，如同可能在这里使用的，术语“相比是有利的(compare favorably)”表示在两个或更多元素、项、信号等之间进行的比较提供所期望的关系。例如，如果所期望的关系是信号1的幅度比信号2的大，则当信号1的幅度大于信号2的幅度时或者当信号2的幅度小于信号1的幅度时，可以得到有利的比较。

在本发明各种实施例的描述里使用了术语“模块”，模块包括功能块，其以执行一个或多个诸如处理输入信号以产生输出信号之类的功能的硬件、软件和/或固件实现。如此处所使用的，模块可包含其本身是模块的子模块。因此，此处已经描述了用于实现视频代码转换编码系统和与其一起使用的高场景成本检测模块的装置、方法以及几个实施例，其包括优选实施例。在此描述的本发明的各种实施例具有使本发明区别于现有技术的特征。

因此，根据以上公开，在一些实施例中，公开了一种用于将视频信号代码转换成代码转换后的视频信号的系统，所述视频信号包括至少一个图像，所述系统包括：高场景成本检测模块，用于检测对应于所述至少一个图像的高场景成本；以及耦接到所述高场景成本检测模块的代码转换器部件，用于生成所述代码转换后的视频信号，其中当检测到所述高场景成本时，分配提高的质量给至少一个中心区域。

在另一些实施例中，在所述系统中，所述高场景成本检测模块基于视频信号的至少一个编码参数来生成场景成本。

在另一些实施例中，在所述系统中，所述至少一个编码参数包括用于编码所述至少一个图像的比特数。

在另一些实施例中，在所述系统中，所述至少一个编码参数包括所述至少一个图像中的多个宏块的平均方差。

在另一些实施例中，在所述系统中，所述至少一个编码参数包括量化步长值。

在另一些实施例中，在所述系统中，所述高场景成本检测模块比较所述场景成本和场景成本阈值，并且当所述场景成本与所述场景成本阈值相比是不利的时候，所述高场景成本检测模块检测到所述高场景成本。

在另一些实施例中，在所述系统中，所述代码转换器部件检测何时缓冲区填充度与缓冲区填充度阈值相比是有利的，并且编码器部件只有在所述缓冲区填充度与所述缓冲区填充度阈值相比是有利的时候才分配所述提高的质量给所述至少一个图像的所述中心区域。

在另一些实施例中，在所述系统中，所述代码转换后的视频信号是恒定比特率信号，并且编码器部件分配降低的质量给所述至少一个图像的在所述至少一个中心区域外面的区域。

在另一些实施例中，在所述系统中，所述代码转换后的视频信号是可变比特率信号，并且编码器部件分配低于所述提高的质量的质量给所述至少一个图像的在所述至少一个中心区域外面的区域。

在另一些实施例中，在所述系统中，所述视频信号是MPEG-2信号，而所述代码转换后的视频信号是AVC信号。

因此，根据以上公开，在一些实施例中，公开了一种用于将视频信号代码转换成代码转换后的视频信号的方法，所述视频信号包括至少一个图像，所述方法包括：检测对应于所述至少一个图像的高场景成本；以及生成所述代码转换后的视频信号，其中当检测到所述高场景成本时，分配提高的质量给至少一个中心区域。

在另一些实施例中，在所述方法中，检测高场景成本的步骤包括：基于视频信号的至少一个编码参数来生成场景成本。

在另一些实施例中，在所述方法中，所述至少一个编码参数包括用于编码所述至少一个图像的比特数。

在另一些实施例中，在所述方法中，所述至少一个编码参数包括所述至少一个图像中的多个宏块的平均方差。

在另一些实施例中，在所述方法中，所述至少一个编码参数包括量化步长值。

在另一些实施例中，在所述方法中，检测高场景成本的步骤包括：比较所述场景成本和场景成本阈值，以及当所述场景成本与所述场景成本阈值相比是不利的时候，检测到所述高场景成本。

在另一些实施例中，在所述方法中，还包括：检测何时缓冲区填充度与缓冲区填充度阈值相比是有利的；其中生成所述代码转换后的视频信号的步骤包括：只有在所述缓冲区填充度与所述缓冲区填充度阈值相比是有利的时候才分配所述提高的质量给所述至少一个图像的所述中心区域。

在另一些实施例中，在所述方法中，所述代码转换后的视频信号是恒定比特率信号，并且生成所述代码转换后的视频信号的步骤包括：分配降低的质量给所述至少一个图像的在所述至少一个中心区域外面的区域。

在另一些实施例中，在所述方法中，所述代码转换后的视频信号是可变比特率信号，并且生成所述代码转换后的视频信号的步骤包括：分配低于所述提高的质量的质量给所述至少一个图像的在所述至少一个中心区域外面的区域。

在另一些实施例中，在所述方法中，所述视频信号是MPEG-2信号，而所述代码转换后的视频信号是AVC信号。

对于本领域技术人员显而易见的是，所公开的发明可以以许多方式修改，并且可以采用除上面所特别陈述和描述的优选形式以外的许多实施例。因此，意欲通过所附的权利要求书覆盖落在本发明实际精神和范围内的本发明的所有修改。