用于图像和视频编码的错误恢复率失真优化

摘要

错误恢复率失真优化（ERRDO）用于在例如流送应用中通过有限带宽网络来传送高质量图像和视频。描述了通过降低计算复杂性来传送高质量图像和视频。

说明书

对相关申请的引用

本申请要求2010年10月20日提交的美国临时专利申请第61/405,025 号的优先权，其全部内容通过引用合并于此。

技术领域

本发明的实施例一般涉及对图像和视频数据进行编码。更具体地，本 发明的实施例涉及用于图像和视频编码的错误恢复率失真优化。

背景技术

近年来，图像和视频流送（streaming）应用的流行度增加。这些应 用的范围从实现内容到用户的按需流送的软件和装置到点对点视频流送、 在线视频广播以及用户家庭网络内的图像和视频共享。这些应用可能需要 通过有线以及无线网络来传送图像和视频。例如，可以记录和回放图像和 视频数据的移动多媒体装置（诸如智能电话）的增长已导致对实现高质量 无线图像和视频传送的技术、以及实现这样的装置与其它互连的多媒体装 置之间的无缝连接的技术的兴趣增加。视频的新发展（诸如3D立体视觉 和多视图视频以及高动态范围成像和视频的涌现）也将增加对高质量图像 和视频传送的需要，同时进一步增加了带宽要求。因此，通过有限带宽网 络提供高质量图像和视频的能力是对于所有这样的流送应用的主要因素。

然而，两个因素可以影响对高质量图像和视频数据进行流送的能力。 这两个因素是信道中的带宽限制和随机不可预测损失。

附图说明

并入本说明书并构成本说明书的一部分的附图示出了本公开内容的 一个或多个实施例，并且连同示例实施例的描述一起用于说明本公开的原 理和实现。

图1示出了具有率失真优化块的视频编码器的框图。

图2示出了视频解码器的框图。

图3示出了使用传送失真的一阶矩和二阶矩的分析计算的率失真优 化系统的框图。

具体实施方式

根据本公开的第一方面，提供了一种用于图像或视频数据的失真优化 的方法，该方法包括：提供编码图像或视频数据；根据图像或视频数据的 传送失真而评估编码图像或视频数据的失真；以及在对图像或视频数据进 行编码的同时执行图像或视频数据的失真优化。

根据本公开的第二方面，提供了一种被适配成接收图像或视频数据的 编码器，该编码器包括：输入，用于接收图像或视频数据；参考画面缓冲 器单元，该参考画面缓冲器单元包含所存储的图像或视频数据；率失真优 化单元，该率失真优化单元被适配成接收来自输入的图像或视频数据；运 动估计单元，该运动估计单元被适配成接收来自输入和率失真优化单元的 图像或视频数据，并且被适配成接收来自参考画面缓冲器单元的所存储的 图像或视频数据；运动补偿单元，该运动补偿单元被适配成接收来自运动 估计单元的图像或视频数据和来自参考画面缓冲器单元的所存储的图像 或视频数据；变换单元；以及量化单元，该量化单元和变换单元被适配成 接收来自输入和运动补偿单元的组合图像或视频数据。

错误恢复率失真优化（ERRDO）是可以用于缓解信道中的带宽限制 和随机不可预测损失的影响的一种方法。在视频压缩中使用率失真优化以 使得对经受比特率约束的视频失真的估计最小化。通常，这通过对运动矢 量、宏块模式、参考画面等的认真选择来执行，以减少比特流中可能存在 的冗余，从而使得将适合在规定约束内。然而，尽管比特流中的较少冗余 与压缩效率有关，但是也减少了其对不可预测错误的恢复力。

视频压缩技术包括用于改进错误恢复力的一些技术，诸如FMO（可 变宏块排序）、ASO（任意切片排序）和冗余切片。然而，由于在视频编 码器和解码器中的实现复杂度均较高，因此这些具有有限的实际应用。

用于增加错误恢复力的较不复杂途径是随机帧内更新（例如，在比特 流中随机地插入帧内编码画面或帧内宏块）（参见[参考文献1]）。这减少 了新画面/宏块对先前的解码画面/宏块的依赖性，从而减少了解码视频中 的错误传播。然而，用于帧内编码宏块的额外比特增加了带宽，结果也增 加了比特流对错误的敏感度。

其它方案选择最可能受错误不利地影响的图像或视频的区域，并且选 择性地仅在这些区域中插入帧内编码块。除了帧内编码块的选择之外，还 可以修改通常在率失真优化期间执行的其它模式判定（诸如参考画面的选 择（包括长期参考画面的使用））以考虑信道损失的影响，从而改进比特 流的错误恢复力，同时仍保持在约束带宽内。另外，也可为包含更重要信 息的源数据分组提供不等的错误保护，诸如在可伸缩视频编码的情况下， 其中，为了进行解码，一个层可依赖于先前解码的因此更重要的层。因此， 错误恢复率失真优化可以以公式表示为：

$\underset{s}{\min }J\left(s\right)=E\left[D(s,c)\right]+\mathrm{\lambda R}\left(s\right),---\left(1\right)$

其中，s表示根据以上段落而选择的模式（这里也称为源参数），c表示信 道状况，E[D(s,c)]表示在给定所选择的源参数和当前信道状况的情况下的 预期失真，并且R(s)表示在给定所选择的源参数的情况下的比特率。术语 “所选择的模式”（源参数）表示用于编码的方法（诸如帧内编码块、块 大小/形状的选择、参考画面的选择），并且术语“信道状况”表示比特流 从编码器移动到解码器的介质的质量（诸如分组或比特错误率）。比特率 R(s)可作为对源数据进行编码的真实比特率而获得（这可能增加了模式判 定处理的复杂性）或者作为估计比特率而获得。

等式（1）与传统率失真优化（RDO）方案之间的差别在于，在给定 源参数和信道状况的情况下的预期失真的计算或估计。这种差别是由于失 真的估计不再是确定的而是也依赖于传送期间的随机损失而导致的。

在[参考文献2至6]中示出了ERRDO过程中用于估计预期失真的方 法。在[参考文献2]中提出的方法是基于多假设解码器的方案，该方案对 信道误差进行模拟并且对编码器内的解码处理进行仿真，而不需要实际上 对整个比特流进行解码。每个假设解码器经历由所指定的信道状况确定的 不同随机损失实现。所有解码器中的平均失真然后用作在给定源参数和信 道参数的情况下的预期失真的估计，并且用在率失真优化构架中。

在[参考文献3]中提出并且在[参考文献4]中进一步加强的方法是与基 于多解码器的方案相比存储器较不密集的递归方案，该方法通常称为 ROPE（递归最优像素失真估计）。为了计算特定帧k处的预期失真，该 方法使用对于帧k-1的在解码器处的重构像素值和一阶矩和二阶矩（假设 帧k依赖于帧k-1）。该方案可以被扩展到使用多个参考帧时的情况（参见 [参考文献5]）。

[参考文献6]中的方法假设在编码器处使用整数像素精度用于运动估 计，并且不执行环路滤波。诸如H.264/AVC的现有技术的视频压缩标准 （参见[参考文献7]）通常使用子像素内插、环路滤波、双预测等等，其 中，在编码器处采用整数像素精度用于运动估计不是最优的。

当使用在多个重构像素样本中具有附加滤波的特征时，错误隐藏之后 的解码样本值也受到滤波的影响，并且这可以在估计失真时纳入考虑。

本公开提出了对该方案的增强，其将应用扩展到如下情况：编码器使 用子像素运动估计、环路滤波、双预测等等，以使得[参考文献6]中的方 法也可以用于错误恢复率失真优化构架。

图1至2分别是视频编码器和解码器架构的高级图。在图1所示的编 码器图中，空间位置u和时间k处的输入样本值被表示为f(u，k)（100）。 在变换/量化和逆量化/变换之后的编码器处的预测残差被表示为e_c(u,k) （110）。预测残差是在编码阶段所预测的、解码器处所预期的残差。该残 差与时间预测f_c(u+mv(u，k)，k-1)（120）相加，然后被剪切和滤波以获得编码 器处以f_c(u，k)（140）表示的最终重构图像样本，其中，mv(u,k)表示估计运 动矢量。在更一般的情况下，不一定是先前帧k-1的时间邻居（被表示为 j）可用作参考来生成时间预测。另外，图1中示出了率失真优化块（160）， 这将在稍后参照图3来讨论。

在图2所示的解码器图中，接收可包含随机错误或分组损失的输入比 特流（230）并且对该比特流执行熵解码。也可在熵解码之前执行错误校 正步骤，以便从信道中的一些损失复原。当这种试图从信道中的损失进行 复原不足以进行错误校正时，错误隐藏步骤试图从比特流恢复损失的信息 （例如，宏块模式、运动矢量、残差信息等）。错误隐藏使用从来自同一 帧（帧内错误隐藏）或先前帧（帧间错误隐藏）的其它像素获得的信息对 给定帧中的损坏像素进行校正。错误隐藏步骤可作为在对图像或区域的所 有正确接收的部分都进行了解码之后的后处理而发生。

解码器处的隐藏残差被表示为e_d(u，k)(200），并且隐藏运动矢量被表 示为mv_d(u，k)（210）。由于比特流中的错误，因此这两个值可能均与在编 码器处算出的相应值不同。隐藏运动矢量与来自参考画面缓冲器（240） 的帧k进行组合，以创建被表示为f_d(u+mv_d(u，k)，k-1)（250）的时间估计。时 间估计f_d(u+mv_d(u，k),k-1)（250）与隐藏残差e_d(u,k)（200）相加，然后被剪切 和滤波以获得解码器处的被表示为f_d(u,k)（220）的最终重构样本。

由于失真是输出处的样本质量的度量，因此，在给定特定输入的情况 下，以E[D(u，k)]表示的、画面k中的位置u处的像素的预期失真可以被计 算为：

其中，失真被表示为编码器的输入处的样本f(u,k)和解码器的输出处的样 本f_d(u,k)的平方差。以上等式可以被重写为：

E[D(u，k)]=E[{(f(u，k)-f_c(u，k))+(f_c(u，k)-f_d(u，k))}²]

，(3)

通过相加和减去项f_c(u,k)以获得等式（3）的左手侧的、编码器的输入与输 出之间的差、以及等式的右手侧的、解码器的输入与输出之间的差。编码 器处的差可以被重写为编码器的失真D_c(u，k)，并且解码器处的差可以被重 写为解码器的失真D_d(u，k)，被表示为：

E[D(u，k)]=E[(D_c(u，k)+D_d(u，k))²]

，(4)

通过对等式（4）应用简单代数学，我们得到：

E[D(u,k)]＝[D_c(u，k)]²+D_c(u,k)E[D_d(u，k)]+E[(D_d(u,k))²]，⁽5)

其中，D_c(u，k)表示编码器处的失真（由量化、剪切等引起的），并且D_d(u，k) 表示解码器处的传送失真（由信道误差、剪切等引起的）。D_c(u，k)是确定的 并且在编码器处是已知的，因此去除了“预期”。

基于等式（5），为了计算预期失真，首先计算E[D_d(u，k)]（一阶矩）和 E[(D_d(u，k))²]（二阶矩）。假设画面k的位置u处的像素依赖于作为参考的画 面j，可以根据包含与位置u处的像素有关的运动矢量信息和残差的分组 的丢失概率以及E[D_d(u+mv_d(u，k)，j)]、E[D_d(u+mv(u，k)，j)]、E[（D_d(u+mv_d(u，k)，j))²]和 E[(D_d(u+mv(u，k)，j))²]来计算E[D_d(u，k)]和E[(D_d(u，k))²]。

这样的假设的基础由图2来提供，从图2可以看出，在错误隐藏期间 提供的时间估计量是解码器处的失真的度量。特别地，位置(u+mv_d(u，k)，j)表 示在解码器重构画面j中的像素的位置，其将用于在相应分组丢失的情况 下利用错误隐藏来隐藏画面k中的位置u处的像素。类似地，(u+mv(u，k)，j) 表示解码器重构画面j中的像素的位置，其将用于在接收到相应分组的情 况下预测画面k中的位置u处的像素。

由于画面j用作画面k的参考，因此已对画面j执行了错误恢复率失 真优化，然后对其进行了编码。因此，在运动矢量mv(u，k)和mv_d(u，k)表示整 数像素位置的情况下，E[D_d(u+mv_d(u，k)，j)]、E[D_d(u+mv(u，k)，j)]、 E[(D_d(u+mv_d(u，k)，j))²]和E[(D_d(u+mv(u，k)，j))²]的值将已在画面j的错误恢复率失 真优化期间算出。因此，所得到的E[D_d(u+mv_d(u，k)，j)]、E[D_d(u+mv(u，k)，j)]、 E[(D_d(u+mv_d(u，k)，j))²]和E[(D_d(u+mv(u，k)，j))²]的值可以被存储并且从存储器读 出。

然而，在先进视频编解码器中，mv(u，k)和mv_d(u，k)可表示子像素位置， 于是，通常在基于来自画面j的整数像素位置的可用信息对画面k的率失 真优化期间重新计算以上值。甚至对于子像素运动矢量，一阶矩、 E[D_d(u+mv(u，k)，j)]和E[D_d(u+mv_d(u，k)，j)]的计算也是相对直接的。然而，二阶矩 （平方值）的计算可能是较复杂的。本公开描述了对于子像素情况下的二 阶矩的计算使用低复杂度途径的方法。

可以假设，用于生成子像素位置u处的像素的内插包括对画面j中的 整数像素位置u_i（i=0、…、N-1）处的像素所施加的N抽头有限脉冲响应 （FIR）滤波器。对于每个位置u_i，施加权重w_i。因此，运动补偿之后的 预期失真的二阶矩可以被写为：

$E\left[{\left(D_d(u,j)\right)}^2\right]=E\left[{\left(\underset{i=0}{\overset{N-1}{\Sigma }}\left(w_i{D}_d(u_i,j)\right)\right)}^2\right],---\left(6a\right)$

其中，w_i表示像素位置u_i处的滤波器抽头。将等式（6）写为：

$E\left[X^2\right]=E\left[{\left(\underset{i=0}{\overset{N-1}{\Sigma }}\left(w_i{X}_i\right)\right)}^2\right],---\left(6b\right)$

并且假设，则获得以下表达式：

$E\left[X^2\right]=\underset{i=0}{\overset{N-1}{\Sigma }}{w}_{i}E\left[{\left(X_i\right)}^2\right]-\underset{i=0}{\overset{N-2}{\Sigma }}\underset{j=i+1}{\overset{N-1}{\Sigma }}\left(w_i{w}_{j}E\right[{(X_i-X_j)}^2\left]\right),---\left(7\right).$

根据本公开的一个实施例，可以假设，由于i和j表示极近的像素位 置，因此由X_i和X_j表示的失真是高度相关的。因此，等式（7）的右手侧 的第二项可忽略。这允许以与一阶矩的复杂度相同的复杂度来执行二阶矩 的计算，以使得：

$E\left[X^2\right]\approx \underset{i=0}{\overset{N-1}{\Sigma }}{w}_{i}E\left[{\left(X_i\right)}^2\right],---\left(8\right).$

根据另一实施例，项E[(X_i-X_j)²]可被建模为像素位置i与j之间的距 离的函数（例如，线性函数或指数函数），从而允许对这样的项的低复杂 度估计。

在另一实施例中，可针对每个子像素精确地计算该项一次，然后将其 存储在存储器中。每次来自同一帧的宏块用作未来帧中的参考时，存储在 存储器中的算出值可以用于预期失真计算，从而降低了未来帧的计算复杂 度。因此，尽管执行了一次复杂计算，但是简化了未来的计算。

图3所示的框图示出了可以在ERRDO构架内使用上述方法的方式， 其中，所示出的整个处理可以例如发生在图1中的编码器的率失真优化块 （160）内。在图3中，模式选择器块（300）测试每种可能的编码模式（诸 如帧间编码、帧内编码、用于运动估计的各种块大小/形状等等）。对于每 种模式，计算块（340,350,360,370）计算画面j（即，所选择的模式的相 应参考画面）的传送失真的一阶矩和二阶矩，并且模式选择器块（300） 使用这些算出的传送失真的一阶矩和二阶矩的值来获得当前画面的估计 失真。对于每种模式，还计算估计比特率。然后，由模式选择器块（300） 例如通过使用诸如等式（1）所示的方法来选择期望模式，然后通过将来 自模式选择器块（300）的所选择的模式的估计运动参数发送到图1的运 动估计单元（170）和运动补偿单元（180）来使用该期望模式进行编码。 所选择的模式的失真的一阶矩和二阶矩也可存储在一阶矩缓冲器（320） 和二阶矩缓冲器（330）中，以用于对随后的画面进行编码。丢弃未选择 的模式。

根据本公开的另外的实施例，等式（7）也可以应用在除子像素内插 之外的情况下（诸如，例如，加权预测或加权解块），以基于用于滤波的 样本的预期失真来确定线性滤波后样本的预期失真。一般地，等式（7） 及其上述简化也可以用在其它应用中，这些其它应用可以得益于对作为一 组随机变量的加权和的随机变量的二阶矩的简化计算。

总之，本公开的实施例将用于估计视频的传送失真的现有方法（等式 6）扩展为可以用于错误恢复模式判定处理的形式（等式7）。这些实施例 还改进了失真估计算法对现有技术的视频编码标准的适用性。

本公开中描述的方法和系统可以以硬件、软件、固件或其组合来实现。 被描述为块、模块或部件的特征元件可在一起（例如，以诸如集成逻辑装 置的逻辑装置）或分开（例如，作为分开连接的逻辑装置）实现。本公开 的方法的软件部分可包括计算机可读介质，该计算机可读介质包括指令， 该指令当被执行时，至少部分执行所描述的方法。计算机可读介质可包括 例如随机存取存储器（RAM）和/或只读存储器（ROM）。指令可由处理 器（例如，数字信号处理器（DSP）、专用集成电路（ASIC）或现场可编 程门阵列（FPGA））来执行。

提供以上阐述的示例以向本领域普通技术人员给出如何实现和使用 本公开的用于图像和视频编码的、用于ERRDO的方法和系统的实施例的 完全公开和描述，并且不旨在限制发明人视为其公开的范围。本领域技术 人员可使用用于执行本公开的上述模式的变型，并且该变型旨在为所附权 利要求的范围内。如这里所描述的，本发明的实施例可涉及在以下表1 中列举的示例实施例中的一个或多个。

表1

列举示例实施例

EEE1.一种用于图像或视频数据的失真优化的方法，包括：

提供编码图像或视频数据；

根据所述图像或视频数据的传送失真而评估所述编码图像或视频 数据的失真；以及

在对所述图像或视频数据进行编码的同时执行所述图像或视频数 据的失真优化。

EEE2.根据列举示例实施例1所述的方法，其中，所述图像或视 频数据的传送失真是编码之前的输入图像或视频数据与编码之后的相应 输出图像或视频数据之间的差。

EEE3.根据列举示例实施例2所述的方法，其中，所述编码之前 的输入图像或视频数据是已知值。

EEE4.根据列举示例实施例2所述的方法，其中，所述编码之后 的输出图像或视频数据是未知随机变量。

EEE5.根据列举示例实施例1或2中任一项所述的方法，其中， 所述传送失真是信道损失的函数。

EEE6.根据前述列举示例实施例1-5中任一项所述的方法，其中， 评估失真包括评估关于线性项和二次项的失真，所述线性项和所述二次项 中的每个均表示所述图像或视频数据的传送失真。

EEE7.根据列举示例实施例6所述的方法，其中，评估失真包括 计算解码器处预期的失真。

EEE8.根据列举示例实施例7所述的方法，其中，计算所述解码 器处预期的失真包括计算所述传送失真的一阶矩。

EEE9.根据列举示例实施例7所述的方法，其中，计算所述解码 器处预期的失真包括计算所述传送失真的二阶矩。

EEE10.根据前述列举示例实施例中任一项所述的方法，其中，在 错误隐藏步骤期间通过运动矢量来执行所述失真优化。

EEE11.根据列举示例实施例10所述的方法，其中，所述运动矢 量表示整数像素位置。

EEE12.根据列举示例实施例10所述的方法，其中，所述运动矢 量表示子像素位置。

EEE13.根据列举示例实施例12所述的方法，其中，所述子像素 位置是通过对整数像素位置应用滤波器而生成的。

EEE14.根据列举示例实施例13所述的方法，其中，所述滤波器 是有限脉冲响应（FIR）滤波器。

EEE15.根据列举示例实施例13或14中任一项所述的方法，其中， 当评估所述二次项时，假设接近像素位置之间的失真是相同的。

EEE16.根据列举示例实施例13或14中任一项所述的方法，其中， 当评估所述二次项时，将接近像素位置之间的失真的平方差的估计建模为 函数。

EEE17.根据列举示例实施例16所述的方法，其中，所述所述函 数是线性函数或指数函数。

EEE18.根据列举示例实施例13或14中任一项所述的方法，其中， 当评估所述二次项时，计算接近像素位置之间的失真的平方差的估计。

EEE19.根据列举示例实施例18所述的方法，其中，将算出的估 计存储在存储器中。

EEE20.根据列举示例实施例15-19中任一项所述的方法，其中， 通过加权预测来确定所述失真。

EEE21.根据列举示例实施例15-19中任一项所述的方法，其中， 通过加权解块来确定所述失真。

EEE22.根据列举示例实施例1-21中任一项所述的方法，其中，所 述失真优化发生在编码器的率失真优化块中。

EEE23.一种被适配成接收图像或视频数据的编码器，所述编码器 包括：

输入，用于接收所述图像或视频数据；

参考画面缓冲器单元，所述参考画面缓冲器单元包含所存储的图像 或视频数据；

率失真优化单元，所述率失真优化单元被适配成接收来自所述输入 的图像或视频数据；

运动估计单元，所述运动估计单元被适配成接收来自所述输入和所 述率失真优化单元的图像或视频数据，并且被适配成接收来自所述参考画 面缓冲器单元的所存储的图像或视频数据；

运动补偿单元，所述运动补偿单元被适配成接收来自所述运动估计 单元的图像或视频数据以及来自所述参考画面缓冲器单元的所存储的图 像或视频数据；

变换单元；以及

量化单元，所述量化单元和所述变换单元被适配成接收来自所述输 入和所述运动补偿单元的组合图像或视频数据。

EEE24.根据列举示例实施例23所述的编码器，其中，所述率失 真优化单元被适配成接收来自所述运动补偿单元的反馈。

EEE25.根据列举示例实施例23-24中任一项所述的编码器，其中， 所述率失真优化单元进一步包括：

传送失真一阶矩计算单元；

传送失真一阶矩缓冲器单元，所述传送失真一阶矩缓冲器单元被适 配成接收来自所述传送失真一阶矩计算单元的、所计算的传送失真一阶矩 的值；

传送失真二阶矩计算单元；

传送失真二阶矩缓冲器单元，所述传送失真二阶矩缓冲器单元被适 配成接收来自所述传送失真二阶矩计算单元的、所计算的传送失真二阶矩 的值；以及

模式选择器单元，所述模式选择器单元被适配成接收所计算的传送 失真一阶矩的值和传送失真二阶矩的值、所述图像或视频数据输入以及来 自所述运动补偿单元的反馈。

EEE26.根据列举示例实施例25所述的编码器，还包括两个传送 失真一阶矩计算单元和两个传送失真二阶矩计算单元。

EEE27.根据列举示例实施例25-26中任一项所述的编码器，其中， 所述传送失真一阶矩计算单元和所述传送失真二阶矩计算单元被适配成 执行根据列举示例实施例15-18中任一项所述的方法的计算。

EEE28.根据列举示例实施例25-27中任一项所述的编码器，其中， 所述模式选择器单元被适配成对选自以下的分组的编码模式进行测试和 选择：帧间编码、帧内编码以及用于运动估计的各种大小/形状。

EEE29.根据列举示例实施例23-28中任一项所述的编码器，其中， 所述率失真优化单元被适配成减少解码器处的传送失真。

EEE30.根据列举示例实施例23-28中任一项所述的编码器，其中， 所述编码器被适配成减少解码器处的传送失真。

EEE31.一种用于根据在列举示例实施例1-30中的一项或多项中 所述的方法对图像或视频信号进行编码的编码器。

EEE32.一种用于根据在列举示例实施例1-30中的一项或多项中 所述的方法对图像或视频信号进行编码的设备。

EEE33.一种用于根据在列举示例实施例1-30中的一项或多项中 所述的方法对图像或视频信号进行编码的系统。

EEE34.一种包括一组指令的计算机可读介质，所述一组指令使得 计算机执行在列举示例实施例1-33中的一项或多项中所述的方法。

EEE35.一种使用在列举示例实施例1-34中的一项或多项中所述 的方法来对图像或视频信号进行编码的用途。

注意，如在表1中所使用的，所有的数字序号是包括性的列表。另 外，如在表1中的指示上下文中所使用的，术语“是（is）”和“是（are）” 可分别对应于含义“包括（comprises）”和“包括（comprise）”。

因此，本发明可以以这里所述的任意形式来实现，包括但不限于描 述了本发明的一些部分的结构、特征和功能的列举示例实施例（EEE）。 此外，本说明书中提及的所有专利和公开可表示本公开所属领域的技术人 员的技能水平。本公开中所引用的所有参考文献以就像每个参考文献的全 部内容都单独地通过引用而合并一样相同的程度通过引用而合并。

应理解，本公开不限于特定方法或系统，这些方法或系统当然可以变 化。还应理解，这里所使用的术语仅为了描述了特定实施例的目的，而不 旨在为限制性的。如在本说明书和所附权利要求中所使用的，单数形式“一 （a）”、“一个（an）”和“所述（the）”包括复数的所指事物，除非内容 明确相反规定。术语“多个”包括两个或更多个所指事物，除非内容明确 相反规定。除非相反地定义，否则这里所使用的所有技术和科学术语具有 与本公开所属领域的普通技术人员通常所理解的含义相同的含义。

描述了本公开的多个实施例。然而，应理解，在不背离本公开的精神 和范围的情况下，可进行各种修改。因此，其它实施例在所附权利要求的 范围内。

参考文献列表

[1]T.Stockhammer，M.M.Hannuksela，and T.Wiegand,“H.264/AVC in Wireless  Environments，”IEEE Trans.on Circuits and Systems for Video Technology，vol。13，no. 7，pp.657-673，July2003.

[2]T.Stockhammer，T.Wiegand，and S.Wenger，“Optimized Transmission of H.26L/JVT  Coded Video Over Packet-Lossy Networks，”Proc.of the International Conference on  Image Processing(ICIP)，2002.

[3]R.Zhang，S.L.Regunathan，and K.Rose，“Video Coding with Optimal Intra/Inter-Mode  Switching for Packet Loss Resilience，”IEEE Journal on Selected Areas in  Communications，vol.18，no 6，pp.966-976，June 2000.

[4]H.Yang，and K.Rose，“Advances in Recursive Per-Pixel End-to-End Distortion  Estimation for Robust Video Coding in H.264/AVC,”IEEE Trans.on Circuits and  Systems for Video Technology，vol.17，no.7，pp.845-856，July 2007.

[5]A.Leontaris，and P.C.Cosman，“Video Compression for Lossy Packet Networks with  Mode Switching and a Dual-Frame Buffer，”IEEE Trans.on Image Processing，vol.13, no.7,pp.885-897，July 2004.

[6]Z.Chen,D.Wu,“Study of video distortion for real-time video transmission over  wireless channels，”Proceedings of SPIE Defense & Security Symposium2009,Orlando，, FL，UsA，April 13-17，2009.

[7]Advanced video coding for generic audiovisual services， http://www.itu.int/rec/recommendation.asp？type＝folders & lang＝e & parent＝T-REC-H.264，March2009.