用于无线系统中的无压缩视频通信的累进速率适配的方法和系统

摘要

无压缩视频信息通过无线通信介质从无线发送器装置被发送到无线接收器装置。对原始无压缩视频像素信息执行累进传输数据速率适配。对选择的像素信息执行累进传输数据速率适配以获得速率降低的像素信息。速率降低的像素信息需要比原始帧更低的传输数据速率。速率降低的像素信息通过无线通信介质被发送到无线接收器装置。在接收器，执行逆向操作以恢复原始无压缩视频像素信息。

说明书

技术领域

本发明总体涉及无线通信，更具体地说，涉及无线视频通信。

背景技术

随着高质量视频的增多，越来越多的电子装置(例如，消费电子装置) 使用高清(HD)视频。传统地，大多数装置将可能占大约若干Gbps(千兆 比特每秒)带宽的HD视频压缩到其大小的几分之一，以允许在装置之间进 行传输。然而，随着视频的每次压缩和随后的解压，一些视频信息会丢失， 并且图像质量下降。

在许多无线通信系统中，帧结构用于无线基站(诸如发射器和接收器) 之间数据传输。例如，IEEE 802.11标准在媒体访问控制(MAC)层和物理 (PHY)层中使用帧结构。在典型的发射器中，MAC层接收MAC服务数据 单元(MSDU)，并将MAC头添加到MAC服务数据单元，从而构造MAC 协议数据单元(MPDU)。MAC头包括诸如源地址(SA)和目的地址(DA) 的信息。MPDU是PHY服务数据单元(PSDU)的一部分，并被传送到发射 器中的PHY层以将PHY头(即，PHY前同步码)添加到MPDU，来构造PHY 协议数据单元(PPDU)。PHY头包括用于确定传输方案的参数，所述传输方 案包括编码/调制方案。在作为包从发射器发送到接收器之前，前同步码被添 加到PPDU，其中，所述前同步码可包括信道估计和同步信息。

在这样的无线通信系统中，在发送视频流之前，进行连接设置和信道带 宽保留。在理想情况下，可分配足够的信道带宽，并且在流设置控制之后， 可流畅地传输视频流。然而，由于在相同信道上的其它正在进行的传输，所 述流可能无法接收足够的信道带宽。另外，通常而言，无线信道的质量时常 动态改变。具体地，对于使用波束成形传输的60GHz无线信道，所述信道甚 至会受正在移动的人的影响。当无线信道的质量下降时，MAC/PHY层通常 将调制和编码方案(MCS)自动改变为较低级别以保持相同的BER(误码率) 性能。在较低MSC级别的情况下总的数据吞吐量被降低。由于MCS模式切 换到较低模式导致原来为视频流保留的带宽不能适应视频数据。

发明内容

技术方案

本发明的实施例提供了用于无线系统中的无压缩视频通信的累进速率适 配。

附图说明

图1示出根据本发明的实施例的用于通过无线通信介质的无压缩视频传 输的累进速率适配通信系统的框图。

图2示出根据本发明的实施例的图1的通信系统的更详细的示图。

图3示出根据本发明的实施例的像素的示例二维无压缩视频图像帧的代 表。

图4到图9示出根据本发明的实施例的包括对无压缩视频图像帧的视频 信息连续应用像素差分变换模式的累进速率适配的示例。

图10到图22示出根据本发明的实施例的包括对视频图像帧的视频信息 连续应用像素丢弃模式的累进速率适配的示例。

图23示出根据本发明的实施例的在从发送器装置发送无压缩视频信息 的过程中的累进速率适配的处理的流程图。

图24示出根据本发明的实施例的在接收器装置从接收的速率降低的视 频信息中接收并重构无压缩视频信息的处理的流程图。

最佳实施方式

一个实施例包括一种无线通信系统，所述无线通信系统通过获得原始无 压缩视频像素信息并执行累进传输数据速率适配来实现用于从无线发送器装 置通过无线通信介质发送视频信息的处理。对选择的像素信息执行累进传输 数据速率适配来获得速率降低的视频像素信息。速率降低的视频像素信息需 要比原始视频像素信息更低的传输数据速率。通过无线通信介质将速率降低 的视频像素信息发送到无线接收器装置以在接收器装置进行恢复来重构无压 缩视频像素信息。

参照以下描述、权利要求和附图，将理解本发明的这些和其它特征、方 面和优点。

具体实施方式

本申请要求通过引用合并于此的在2009年4月15日提交的第61/169,647 号美国临时专利申请的优先权。

本发明提供了一种用于无线系统中的无压缩视频通信的累进传输数据速 率适配的方法和系统。所述视频包括视频信息的像素。一个实施例包括一种 实现通信处理的通信系统，其中，视频流的传输数据速率动态地适应无线通 信介质(例如，射频信道)可提供的可用通信带宽。所述通信系统提供一种 一般的传输数据速率适配方案，其中，传输数据速率可基于可用通信带宽顺 利地适应期望的速率，而视频质量下降最小。这里，这被称为累进传输数据 速率适配(或简称为累进速率适配)。

根据本发明的实施例的这样的累进传输数据速率适配通信系统被配置用 于：(1)执行累进像素差分变换，其中，视频像素的差值被系统地压缩并被 发送以进行累进速率适配，(2)如果数据速率对于可用信道带宽来说太高， 则执行累进像素丢弃，其中，在不同位置的像素被系统地均匀丢弃以进行累 进速率适配。通信系统维持一组像素差分变换模式和像素丢弃模式，并在这 些模式中提供系统切换以完成累进速率适配。

累进速率适配通信系统的一个实施方案被配置用于利用简单空域处理的 从无线发射器到无线接收器的无压缩视频传输。以这样的方式执行累进像素 差分变换：视频像素的差值被系统地呈现以进行累进速率适配。可通过逐步 改变携带差值而非原始值的像素的数量，以粒度级别调整数据速率。

携带差值的像素(即，目标像素)的位置被选择以降低或最小化视觉质 量下降，并且还使在接收器侧容易进行误差恢复。

如果在累进像素差分变换之后数据速率高于可用信道带宽，则以这样的 方式执行累进像素丢弃(抛弃)：在不同位置的像素被系统地均匀丢弃以进行 累进速率适配。可通过逐步改变将被丢弃的像素的数量，以粒度级别调整数 据速率。将被丢弃的像素的位置被选择以最小化视觉质量下降，并且还使在 接收器侧容易进行误差恢复。

一个实施方案通过以下方式提供经由无线通信介质发送视频信息：获得 无压缩视频像素的原始像素信息，对选择的像素信息执行累进传输数据速率 适配来获得速率降低的像素信息，其中，速率降低的像素信息需要比原始像 素信息更低的传输数据速率。速率降低的像素信息经由无线通信介质从无线 发送器装置被发送到无线接收器装置。

累进传输数据速率适配包括：对选择的像素的像素信息执行连续数据速 率适配操作以降低其像素信息的传输数据速率，其中，每个连续数据速率适 配操作进一步降低所述像素信息的传输数据速率，以适应无线通信介质的可 用带宽。执行连续数据速率适配操作的步骤可包括：执行连续像素差分变换 模式，从而每个像素差分传输模式进一步降低选择的像素信息的传输数据速 率。

此外，对选择的像素执行每个数据速率适配操作的步骤可包括：对选择 的像素的块中的像素执行像素差分变换模式，其中，选择的像素的块包括初 始像素和最近的空间相关像素。执行像素差分变换模式的步骤可包括：对所 述块中的选择的参考像素和目标像素对的像素信息执行像素差分变换模式。

对参考像素和目标像素进行的像素差分变换模式包括执行像素差分操 作，其中，像素差分操作包括：确定包括参考像素的当前像素信息和目标像 素的当前像素信息之间的差的像素差分信息；使用所述像素差分信息来代替 所述目标像素的当前像素信息。选择的像素位置均匀地分布在每个块中以最 小化视觉质量下降。

图1示出根据本发明的实施例的用于通过无线信道从发送器装置11到接 收器装置12的无压缩视频传输的累进速率适配通信系统10的框图。在发送 器装置11，无压缩视频输入模块13(例如，视频解码器或无压缩HD视频解 码器)经由有线接口(诸如HDMI(高清晰度媒体接口))将包括无压缩视频 的信息提供给无线发射器14。发射器14使用毫米波无线(mm波)技术通过 无线信道来将所述信息发送到接收器装置12处的无线接收器15。对于更低 的视频格式(诸如480p)，可使用其它无线技术(诸如UWB(超宽带)或 802.11n)。在接收器装置12，无线接收器15经由另一有线接口将接收的信息 提供给无压缩视频重放模块16(例如，可以是HDTV(高清晰度TV)、监视 器、投影机等)。

发送器11包括：速率适配模块，被配置用于对无压缩视频像素的原始像 素信息的选择的像素信息执行累进传输数据速率适配，以产生速率降低的像 素信息，其中，速率降低的像素信息需要比原始像素信息更低的传输数据速 率。发送器11还包括：通信模块，被配置用于通过无线通信介质将速率降低 的像素信息发送到无线接收器装置。接收器12包括：通信模块，用于无线通 信；恢复模块，被配置用于执行发送器的逆向操作以恢复原始无压缩视频像 素信息。

图2更详细地示出根据本发明的实施例的用于包括无线网络的系统10中 的无压缩视频传输的累进速率适配实施方案。在发送器侧11，视频输入模块 13包括处理模块，其中，处理模块包括应用&PAL(协议适配层)层，所述 应用&PAL层将视频流连续流传输到无线发射器14中的媒体访问控制 (MAC)层14M。MAC层将视频流打包为MAC包，并将所述包下移到物 理(PHY)层14P以通过无线信道发送到接收器装置12。

在接收器侧，无线接收器15的PHY层15P接收所述包，并将所述包提 供给MAC层15M。MAC层15M对所述包进行解包，并随后将视频信息提 供给视频重放模块16，其中，视频重放模块16包括处理模块，所述处理模 块包括应用&PAL层。在系统10中采用包括累进速率适配的动态速率适配， 以满足终端用户的稳定的视频流需求。以下根据本发明的实施例描述系统10 的操作。

根据本发明的实施例，在发送器装置11的MAC层14M，基于用于像素 分区的像素块(或子块)格式，从由视频输入模块13提供的视频信息创建视 频包。M×N的像素块表示具有N行M列像素的一组相邻数字图像像素。在 处理期间，在像素块中的所有像素被分离并被放置入不同的像素分区。

图3示出像素21的示例二维无压缩视频图像帧20的代表。由符号“○” 来图形表示像素21。在这个示例中，2×2像素块22被用于将装置存储器中 的像素映射到4个像素分区23(例如，分区0、分区1、分区2、分区3)。 所述分区在发送器MAC层14M被放置入包，并经由发送器PHY层14P通 过无线介质被无线发送到接收器。在接收器，由接收器MAC层15M对在接 收器PHY层15P的接收的包进行解包，并且由接收器应用层16对所述包进 一步处理以恢复为无压缩视频。

根据发送器装置存储器缓冲能力和视频格式/内容来确定像素块大小。例 如，如果由于延迟需求和片内缓冲大小的限制，仅有8行(排)的无压缩视 频可被缓冲用于信号处理，则最大像素块大小为8×M(M＞＝1)。视频内容和 视频分辨率格式也影响像素块大小的选择。

在同一像素块中的像素通常具有相似值。对于高视频分辨率(诸如1929 ×1080)，在8×8像素块中的像素通常具有非常相似的值。然而，对于低视 频分辨率(诸如800×600)，在4×4像素块中的像素通常具有相似的值，8 ×8作为像素块大小可能太大。块中的像素是空间相关的。像素块中的不同 的像素被放置到不同的分区。

根据本发明的实施例，如果实际分配的无线信道带宽可适应来自输入模 块13的输入(原始)视频流所需要的传输数据速率，则可利用像素块22中 的每个像素的原始值。图3示出在具有相应值Ynm(即，Y00、Y01、...)的 直角坐标(n，m)的视频像素21的示例帧20。像素值表示视频信息。整数 值n＞＝0且m＞＝0，分别表示像素行坐标和列坐标。

图3示出累进速率适配处理的1×1像素差分变换模式。在这个模式中， 对于从发送器装置到接收器装置的传输，在分区23中使用每个像素块中的所 有像素的原始值。

累进速率适配

根据本发明的实施例，如果实际分配的无线信道带宽不能适应来自输入 模块13的输入(原始)视频流所需要的传输数据速率，则对于更低的传输数 据速率，利用累进速率适配。在一个实施方案中，累进速率适配包括累进像 素差分变换(PPDT)处理和累进像素丢弃(PPDR)处理，其中，PPDT和 PPDR处理可被单独地应用或可被结合地应用，如在下文中更具体地描述。

累进像素差分变换

例如，图4示出2×1像素差分变换模式。在每个2×1像素子块22中， 对于目标像素(诸如在坐标(n＝i，m＝2j+1)的像素)，基于参考像素(诸如 同一行上的在坐标(n＝i，m＝2j)的先前像素)的值Y_i(2j)由值差D来代替相 应的像素值Y_i(2j+1)，从而D＝Y_i(2j+1)-Y_i(2j)。在这里的描述中，i＞＝0，为整数， j＞＝0，为整数。此外，在附图中，圆形符号“○”表示原始像素值，三角符 号“△”表示差值D。

根据累进像素差分变换处理，在发射器侧，以减少来自参考像素的误差 传播的方式来选择携带计算的差分值的每个目标像素。此外，当目标像素可 用作下一目标像素的下一次计算的参考像素时，该目标像素的每个计算的差 分值随后在用于进一步的差分计算的累进中被使用。这提供了差值的系统和 迭代计算，其中，在一个像素差分变换模式中的先前计算的差值被用于在下 一像素差分变换模式中计算进一步的差值，以降低发送视频信息所需要的数 据速率。相似地，在接收器侧，逆向处理被用于恢复原始像素值，减少计算 开销。可基于包括例如发送器/接收器缓冲能力、计算延迟和像素块大小的因 素来选择应用的像素差分变换模式的数量。

例如，在图4中，对于i＝0，j＝0，由在帧位置(0，0)的参考像素的像素 值和在帧位置(0，1)的目标像素的像素值之间的差D来代替目标像素值Y₀₁， 其中，D＝Y₀₁-Y₀₀。相似地，对于i＝0，j＝1，由差D＝Y₀₃-Y₀₂来代替目标 像素值Y₀₃，其中，在帧位置(0，2)的像素是参考像素，等等。

在图4中，在一行中的一对像素之间的每个箭头25从参考像素指向目标 像素，其中，所述箭头表示包括确定参考像素的当前像素信息和目标像素的 当前像素信息之间的差D的像素差分计算。在D被确定之后，使用确定的差 D来代替目标像素的像素信息，其中，作为该代替的结果，随后目标像素携 带像素差分信息D作为目标像素的当前像素信息。在图5到图9中，相同的 定义应用到一对像素之间的每个箭头(逐行和逐列)。

在完成差分变换模式之后，对于计算了差D的每个目标像素，差值D被 存储在与所述原始像素相应的分区23中的位置，而不是存储目标像素的原始 像素值。

根据本发明的实施例，为了进一步降低数据速率(即，使需要的数据速 率逐步适应分配的无线信道带宽)，可如图5中的像素差分变换模式所示，应 用2×2差分模式。在每个2×2像素子块22中，从以上2×1差分模式的结 果，在每列2j中，像素值Y_(2i+1)(2j)被来自同一列的先前像素的差值D＝Y_(2i+1)(2j)-Y_(2i)(2j)代替。在图5中，向下的箭头指示对2×1差分模式增加的操作。

根据本发明的实施例，为了进一步降低数据速率(即，逐步调整需要的 数据速率)，可如图6中的像素差分变换模式所示，应用4×2差分模式。在 每个4×2像素子块22中，从以上2×2差分模式的结果，在每行2i中，像 素值Y_(2i)(4j+2)被来自同一行的先前像素的差值Y_(2i)(4j+2)-Y_(2i)(4j+1)代替。由于在 Y_(2i)(4j+1)的像素位置的值为Y_(2i)(4j+1)-Y_(2i)(4j)，因此对在位置Y_(2i)(4j+2)的值的值计 算具有两个步骤：Y_(2i)(4j)+(Y_(2i)(4j+1)-Y_(2i)(4j))＝Y_(2i)(4j+1)，随后用于在位置 Y_(2i)(4j+2)的值的值为差D＝Y_(2i)(4j+2)-Y_(2i)(4j+1)。在这个示例中，Y₀₁用于在帧位 置(0，1)的参考像素，D用于在帧位置(0，2)的目标像素。在图6中，加粗 箭头指示对2×2差分模式增加的操作。

根据本发明的实施例，在图7到图9中按顺序分别示出针对用于逐步调 整需要的数据速率的4×4、8×4和8×8像素差分变换模式的其它示例数据 速率降低(每个附图中的加粗箭头指示对紧接前面的先前差分模式增加的操 作)。

因此，图4到图9分别示出根据本发明的一个实施例的对视频帧20的连 续像素差分模式2×1、2×2、4×2、4×4、8×4、8×8的累进应用。例如， 对包括第一速率降低的帧(需要比原始帧更低的传输数据速率的帧)的图4 中的帧20的2×1像素差分变换模式应用的输出被用作图5中的2×2像素差 分模式应用的输入。对包括第二速率降低的帧(需要比第一速率降低的帧更 低的传输数据速率)的图5中的帧20的2×2像素差分模式应用的输出被用 作图6中的4×2像素差分模式应用的输入，等等。

每个像素块22包括保持原始像素值的初始像素21i。根据本发明的实施 例，对于每个像素差分变换模式，在每个像素块22中，基于三个标准来选择 携带差值的目标像素。

第一，选择的像素均匀地分布在像素块中(以及视频帧中)以最小化视 觉质量下降。

第二，选择的像素减小(并且优选地最小化)从初始像素21i到携带差 值的像素的整体平均依赖长度以及最大依赖长度。在图4到图22中，像素块 22中的两个像素之间的依赖长度是这两个像素之间的箭头25的数量的计数。 例如，在图6中，在每个像素块中，距像素块中的初始21i的最大依赖长度 为4(即，Y₀₀-＞Y₀₁-＞Y₀₂-＞Y₁₂-＞Y₁₃)，平均依赖长度为2，这使相关像素块的 依赖长度最小化(这相应地使传播误差最小化)。每个像素块中的整体平均依 赖长度是像素块中的全部依赖长度的和对该块中的像素的数量的比。

第三，选择的像素允许从图4到图9的累进像素差分变换模式的系统和 自动的迭代，其中，首先逐行(水平)选择像素，再逐列(垂直)选择像素。 逐行和逐列的选择从一个像素差分模式到下一像素差分模式交替进行。

累进像素差分变换处理的每个模式提供了速率降低的帧，在累进中所述 速率降低的帧需要比先前的速率降低的帧更低的传输数据速率。

在像素差分变换之后，携带所述差值的特定像素值可变得非常小。例如， 如果原始像素值是230，则由于相邻像素之间的值差通常非常小，因此差值 可以仅为2。如果在一个分区23中，大多数像素具有非常小的值，则像素值 的高阶位平面(例如，最高有效位(MSB))将大部分具有“0”。由于目标像 素中的差值包含比目标像素的先前值更少的将被发送的信息，因此这降低了 视频帧的需要的传输速率。此外，可执行差值的压缩。例如，无损压缩方案 (诸如霍夫曼编码或游程长度编码(RLC))可被应用到像素分区23以减少 用于每个像素分区23的比特量。随后，RLC可被应用到高阶位平面以压缩分 区中的信息(即，分区压缩)。

在一个示例中，可使用针对2×1、2×2、4×2、4×4、8×4、8×8像素 块的差分模式来逐步降低将从发送器装置发送到接收器装置的无压缩视频数 据速率，同时基本保持视频质量。此外，可单独执行多个像素差分变换模式。 例如，在2×2像素差分变换模式之后，可直接应用8×8像素差分变换模式。 如果无线信道条件改善并且较高数据速率可用，则可逆向执行使用像素差分 变换的速率适配。

累进像素丢弃

根据本发明的实施例，如果实际分配的无线信道带宽仍然不能适应在对 发送器装置处的无压缩视频信息执行具有像素压缩的累进速率适配之后所需 要的传输数据速率，则一个或多个像素分区可被逐步丢弃以进一步降低所述 数据速率，并且保持稳定的和可接受的视频质量。优选地，丢弃的像素均匀 分布在每个像素块22中，从而在接收器侧保持可接受的视觉视频质量以及简 单的像素恢复和误差恢复(error resilience)。

在发送器装置的一个实施方案中，像素丢弃模式N×M:k表示在视频帧 20中的N×M块22中，k个像素被丢弃。在每个像素丢弃模式中，通常基于 目标像素距子块的第一像素的距离来丢弃目标像素。首先丢弃具有距像素块 的参考像素(例如，在位置(0，0)的第一像素)最长距离的目标像素。换句 话说，首先丢弃具有距像素块中的参考像素最长误差传播路径的目标像素。 在附图中，任何两个像素之间的路径包括一组连接两个像素的箭头，其中， 由在所述路径中的箭头的数量来表示所述路径的长度。对于在接收器装置处 的视频质量，丢弃这样选择的目标像素减少了对其它像素的影响。

图10示出根据本发明的示例像素丢弃模式8×8:1，其中，子块大小22 是8×8，像素丢弃模式是k＝1。因此，在像素丢弃模式8×8:1中，像素 Y_(8i+7)(8j+7)被丢弃。在这个示例中，N＝8，M＝8，k＝1，在每个8×8像素子 块中被识别为Y_(8i+7)(8j+7)的像素被丢弃。在图11中所示的另一示例像素丢弃模 式中，为了进一步降低数据速率，在像素丢弃模式8×4:1下，像素Y_(4i+3)(8j+7)被丢弃。

根据本发明的实施例，在图12到图22中示出其它示例像素丢弃模式， 其中，由在像素上的“×”标记指示丢弃的像素。具体地，图12示出4×4: 1像素丢弃模式，图13示出4×2:1像素丢弃模式，图14示出2×2:1像 素丢弃模式，图15示出2×2:2像素丢弃模式，图16示出2×2:3像素丢 弃模式，图17示出4×4:13像素丢弃模式，图18示出4×4:14像素丢弃 模式，图19示出4×4:15像素丢弃模式，图20示出8×8:61像素丢弃模 式，图21示出8×8:62像素丢弃模式，图22示出8×8:63像素丢弃模式。 像素丢弃模式是按照丢弃的像素数增加的顺序。例如，2×2:3表示从8×8 像素块中的64个像素中丢弃48个像素，8×8:61表示从64个像素中丢弃 61个像素，因此，2×2:3的丢弃通常在8×8:61像素丢弃模式之前进行。 也可按照相同的模式执行累进像素丢弃，诸如4×4:13到4×4:14到4×4: 15到8×8:61到8×8:62到8×8:63。

图10到图22分别示出对视频帧20进行的连续像素丢弃模式8×8:1、 8×4:1、4×4:1、4×2:1、2×2:1、2×2:2、2×2:3、4×4:13、4 ×4:14、4×4:15、8×8:61、8×8:62、8×8:63的累进应用，其中， 先前已根据图4到图9中的像素差分变换应用对所述视频帧20进行过处理。 例如，包括第一像素减少的帧的图9中的8×8像素差分变换模式的输出被用 作图10中的8×8:1像素丢弃模式应用的输入。包括第二像素减少的帧的图 10中的8×8:1像素丢弃模式应用的输出被用作图11中的8×4:1像素丢 弃模式应用的输入，等等。

如果将被丢弃的像素在像素差分变换应用中被用作用于其它像素的参考 像素以计算差值，则在丢弃处理期间执行差值的重算。例如，在2×2:2像 素丢弃模式(图15)中，当在坐标(1，0)的具有值Y₁₀的像素被丢弃时，在 坐标(2，0)的差值Y₂₀从Y₂₀-Y₁₀改变为Y₂₀-Y₀₀，针对在位置(2，0)的像素， 如下执行重算：D＝(Y₁₀-Y₀₀)+(Y₂₀-Y₁₀)＝Y₂₀-Y₀₀，其中，D代替在 位置(2，0)的像素的现有值Y₂₀。如果无线信道条件改善并且更高的数据速率 可用，则总可逆向进行使用像素丢弃的速率适配。

根据本发明的实施例，对于像素丢弃模式中的每个像素丢弃模式，在每 个像素块22中，基于两个标准选择将被丢弃的目标像素。第一，选择的像素 均匀地分布在像素块中(以及视频帧中)以最小化视觉质量下降。第二，首 先选择丢弃具有距像素块中的初始像素21i最大依赖长度的像素。

累进像素丢弃处理的每个模式提供像素减少的帧，在累进中所述像素减 少的帧需要比先前的像素减少的帧更低的传输数据速率。

根据本发明的实施例，还可在预先执行任何像素差分变换模式的情况下 使用像素丢弃处理。例如，图10到图22示出在8×8像素差分变换模式之后 的不同的像素丢弃模式。

根据本发明的实施例，可在不预先执行任何像素差分变换模式的情况下 应用像素丢弃处理。在那种情况下，帧20(图3)中的原始像素值被丢弃， 而不是像素的差值被丢弃。

在一个示例中，每个原始视频帧包括与二维空间中的图像相应的无压缩 视频像素。无压缩视频像素信息的帧的示例包括1080p视频格式，其中，每 个视频帧包括1080行，每行具有1920个像素。每个像素包括三个颜色元素： Y、Cb、Cr或R、G、B。每个颜色元素包括固定数量的比特，例如，8比特 或10比特或12比特。

在像素差分变换和像素丢弃中的颜色元素的区分

每个像素具有三个颜色元素(未示出)。在像素分区之前根据RGB颜色 空间或YCbCr颜色空间执行颜色元素分区(颜色元素分区是指将Y、Cb、Cr 元素或R、G、B元素分离)。每个颜色元素具有相应的位平面。根据本发明 的实施例，累进速率适配包括：在颜色元素中的差分变换的应用或在位平面 中的差分变换的应用。

根据本发明的实施例，由于像素的不同颜色元素对视频质量的贡献不同， 因此，不同的像素差分变换和像素丢弃模式可被应用到像素的不同的颜色元 素。例如，对于亮度(亮度)Y，可利用2×2像素差分变换模式，而对于Cb (即，蓝色减去亮度(B-Y))和Cr(即，红色减去亮度(R-Y))，可利用 4×4像素差分变换模式。在另一示例中，对于Y，不利用像素丢弃，而对于 Cb和Cr，利用2×2:2像素丢弃。在这种情况下，视频格式从4:4:4被改 变为4:2:2。在另一示例中，对于Y，不使用像素丢弃，而对于Cb和Cr， 使用2×2:3像素丢弃。在这种情况下，视频格式被改变为4:2:0。对于 不同的颜色元素，颜色深度下降也可不同。例如，Y可总保持比Cb和Cr更 多的位平面。

根据本发明的实施列的颜色元素的区分的示例包括：

示例1：

Y使用2×2像素差分变换，而Cb和Cr使用4×4像素差分变换。

示例2(4:4:4到4:2:2)：

Y不使用像素丢弃，而Cb和Cr使用2×2:2像素丢弃。

示例3(4:4:4到4:2:0)：

Y不使用像素丢弃，而Cb和Cr使用2×2:3像素丢弃。

示例4(颜色深度下降)：

Y可总保持比Cb和Cr更多的位平面。

行和列处理的不同顺序

在以上示例中，对于像素的图像帧，总是在与列有关的处理之前，首先 执行与行有关的处理。本发明的实施例对于行和列处理的不同顺序组合是有 用的。在一个示例中，像素差分变换从模式1×1到模式2×1到模式2×2到 模式4×2等进行累进。在另一示例中，像素差分变换模式从模式1×1到模 式1×2到模式2×2到模式2×4等进行累进，其中，总是在与行有关的处理 之前，首先执行与列有关的处理。

图23示出根据本发明的实施例的在发送器装置(诸如装置11(图2)) 的累进速率适配处理110的流程图，包括：

处理块111：对于无压缩视频信息的帧，对像素颜色元素进行分区，并 选择像素块大小。

处理块112：确定足够的无线带宽是否可用于发送视频帧？如果否，则 进行块113，否则进行块119。

处理块113：选择用于执行累进像素差分变换的像素压缩方案。

处理块114：计算差值。

处理块115：将原始值和差值放置到不同的像素分区中。

处理块116：通过去除差值的较高的位平面来压缩放置有差值的像素分 区。

处理块117：对于可用的无线带宽，经过处理的像素分区的无线传输所 需要的数据速率足够低？如果是，则进行块120，否则进行块118。

处理块118：通过像素丢弃来执行累进像素丢弃。进行块120。

处理块119：将原始值放置入不同的像素分区中。进行块120。

处理块120：对像素分区进行打包，并通过无线信道从发送器装置发送 到接收器装置。

在本发明的一个实施例中，处理110的若干个处理块(例如，至少处理 块113-115和118-119)在发送器装置11的应用和PAL层13(或音频视频 控制(AVC)层)被执行。特定操作(诸如打包)还涉及到发送器装置11的 MAC层14M。

图24示出根据本的实施例的在接收器装置(诸如装置12(图2))的相 应的累进速率适配处理130的流程图，包括：

处理块131：接收包，并将不同的分区分离。在发送器侧，不同的分区 被放置到一个包中。当接收器接收到所述包时，接收器识别所述包的哪个部 分属于哪个分区。

处理块132：对于每个分区，如果该分区中的信息被压缩，则进行到块 133。否则，进行到块134。

处理块133：对分区中的信息进行解压。

处理块134：如果分区携带像素的差值，则进行到块135。否则，进行到 块136。

处理块135：对携带差值的每个分区计算原始像素值。这与在发送器侧 的累进像素差分变换相反。在一个示例中，在接收器12的应用层模块16执 行这样的计算，并且这样的计算通过从差值计算原始像素值，包括与在发送 器11的累进像素差分变换模式的顺序相反的累退操作(regression operation)。 例如，在图4到图9中，与在参考像素和目标像素之间的每个箭头有关的操 作被逆向进行，其中，用参考像素值和差值的和来代替由目标像素携带的差 值(例如，在图4到图9中，基于所述计算，使用圆形符号来代替三角符号)。 用于确定原始像素值的逆向操作按顺序从最近应用的像素差分变换模式(例 如，图9)开始，并按反方向顺序地继续进行到首先应用的像素差分变换模 式(例如，图4)。逆向操作包括加法和减法操作以逐步恢复像素的原始值。 例如，从图9到图8，如下进行计算：在位置Y_(4i)(8j)的像素值被改变为其原始 像素值，如下：

Y_(4i)(8j)＝(Y_(4i)(8j)-Y_(4i-1)(8j))+(Y_(4i-4)(8j))+(Y_(4i-3)(8j)-Y_(4i-4)(8j))+(Y_(4i-2)(8j)-Y_(4i-3)(8j))+(Y_(4i-1)(8j)-Y_(4i-2)(8j))。

处理块136：如果任何分区像素丢失(例如，被发送器丢弃)，则进行到 块137。否则，进行到块138。

处理块137：诸如通过使用相邻像素的像素值的平均值，从相邻分区像 素恢复丢失的分区像素。恢复操作也是与发送器侧的累进像素丢弃相反的累 退操作。这在顺序上与以上在块135中描述的累退像素差分变换相似，使用 相邻像素的值来恢复丢弃的像素，诸如通过使用相邻像素代替或使用相邻像 素的平均值代替。

处理块138：通过将不同的分区的像素进行组合来对像素去分区，以恢 复视频序列的图像中的像素的原始位置顺序，从而恢复无压缩视频。

在本发明的一个实施例中，通过在接收器装置12的应用和PAL层16(或 AVC层)的重构模块来执行处理130的至少若干个处理块(例如，至少处理 块135、137)。通过在接收器装置12的MAC层15M的解包模块来执行诸如 解包的特定操作。

以下的表1示出根据本发明的实施例的根据霍夫曼编码或游程编码的不 同编码率的每个像素差分变换模式的数据速率比的示例。

表1：在像素差分变换之后的平均数据速率比

表2示出根据本发明的实施例的根据霍夫曼编码或游程编码的不同编码 率的在像素差分变换之后的每个像素丢弃模式的数据速率比的示例。

表2：在像素差分变换和像素丢弃之后的平均数据速率比

本发明的实施例利用简单的信号处理实施方案，为无线系统中的无压缩 视频通信提供累进速率适配，减少了计算开销，降低了能耗，减少了速率适 配延迟，降低了视频质量损失或视觉质量损失，并简化了在接收器的误差恢 复和帧重构。

虽然这里描述的示例涉及无压缩视频像素信息的帧经过累进速率适配以 进行传输，但是可基于可用的无线信道带宽选择帧大小(尺寸)。此外，根据 本发明的实施例，发送器和/或接收器不需要对整个视频帧进行缓冲，其中， 视频帧的一些部分可经过累进速率适配，并从发送器被发送到接收器。

如本领域的技术人员所知，可以以多种方式实现根据本发明的上述示例 架构，诸如在无线装置中、无线发射器/接收器中、无线网络等中由处理器执 行的程序指令、软件模块、微码、计算机可读介质上的计算机程序产品、逻 辑电路、专用集成电路、固件、消费电子装置等。此外，本发明的实施例可 采取全硬件实施例、全软件实施例或包含硬件和软件元件两者的实施例的形 式。

术语“计算机程序介质”、“计算机可用介质”、“计算机可读介质”和“计 算机程序产品”一般用于表示诸如主存储器、辅助存储器、可移除存储驱动 器、安装在硬盘驱动器中的硬盘以及信号的介质。这些计算机程序产品是用 于向计算机系统提供软件的工具。计算机可读介质允许计算机系统从计算机 可读介质读取数据、指令、消息或消息包以及其它计算机可读信息。计算机 可读介质(例如)可包括非易失性存储器，诸如软盘、ROM、闪存、盘驱动 器存储器、CD-ROM和其它永久性存储器。这对于例如在计算机系统之间传 输信息(诸如数据和计算机指令)是有用的。此外，计算机可读介质可包括 过渡状态介质(诸如包括有线网络或无线网络的网络链路和/或网络接口)中 的计算机可读信息，其中，所述过渡状态介质允许计算机读取这样的计算机 可读信息。计算机程序(也被称为计算机控制逻辑)被存储在主存储器和/或 辅助存储器中。计算机程序还可经由通信接口被接收。当这样的计算机程序 被执行时，这样的计算机程序使计算机系统能够执行如这里讨论的本发明的 特征。具体地，当所述计算机程序被执行时，所述计算机程序使处理器或多 核处理器执行计算机系统的特征。因此，这样的计算机程序代表计算机系统 的控制器。

虽然已经参照了本发明的特定版本描述了本发明，但是其它版本也是可 行的。因此，权利要求的精神和范围不应受限于这里包含的优选版本的描述。