视频译码中的与自适应环路滤波器合并的样本自适应偏移

摘要

本发明揭示用于在视频译码过程中执行样本自适应偏移SAO以及自适应环路滤波器ALF过程的技术。可将所述SAO和ALF过程进行组合。在一个实例中，对SAO滤波器过程的偏移值的确定可基于ALF过程中所使用的分类。在一个实例中，可使用指示视频块的特定方向特性的ALF分类来确定如何以及是否将SAO滤波器过程应用于所述视频块内的每一样本。

说明书

相关申请案

本申请案主张以下申请案的权益：

2011年10月13日申请的第61/546,925号美国临时申请案，

其在此以全文引用的方式并入。

技术领域

本发明涉及视频译码，且更特定来说，涉及用于在视频译码过程中执行样本自适应 偏移以及自适应环路滤波器过程的技术。

背景技术

数字视频能力可并入到大范围的装置中，包含数字电视、数字直播系统、无线广播 系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、数码相机、数字记 录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、 所谓的“智能电话”、视频会议装置等等。数字视频装置实施视频压缩技术，例如由 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、 目前在开发中的高效率视频译码(HEVC)标准定义的标准和所述标准的扩展部分中所描 述的那些视频压缩技术，从而更高效地发射、接收以及存储数字视频信息。

视频压缩技术包含空间预测和/或时间预测以减少或移除视频序列中所固有的冗余。 对于基于块的视频译码，可将一视频帧或切片分割成若干块。可进一步分割每一块。使 用空间预测相对于同一帧或切片中的相邻块中的参考样本来编码经帧内译码(I)帧或切 片中的块。经帧间译码的(P或B)帧或切片中的块可使用关于同一帧或切片中的相邻块 中的参考样本的空间预测或关于其它参考帧中的参考样本的时间预测。空间或时间预测 产生对待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素 差。

根据指向形成预测性块的参考样本块的运动向量以及指示经译码块与所述预测性 块之间的差的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编码经帧 内译码块。为了进一步压缩，可将残余数据从像素域变换为变换域，从而产生残余变换 系数，所述残余变换系数随后可被量化。起初布置在二维阵列中的经量化变换系数可以 特定次序扫描以产生变换系数的一维向量以用于熵译码。

发明内容

一般来说，本发明描述用于对视频数据进行译码的技术。具体来说，本发明描述用 于在视频译码过程中执行样本自适应偏移(SAO)以及自适应环路滤波器(ALF)过程的技 术。所述自适应环路滤波器可与偏移值的SAO确定合并，使得SAO偏移值至少部分基 于与自适应环路滤波器的AC系数相关联的值。

根据本发明的一个实例，一种对视频数据进行滤波的方法包括：接收视频数据块， 其中所述视频数据块包含多个样本值；确定所述视频数据块的一个或一个以上滤波器系 数；至少部分基于与所述一个或一个以上滤波器系数相关联的值来确定所述多个样本值 中的每一者的相应偏移值；以及基于所述所确定的一个或一个以上滤波器系数以及所述 所确定的相应偏移值对所述视频数据块进行滤波。

根据本发明的另一实例，一种经配置以对视频数据进行滤波的设备包括：用于接收 视频数据块的装置，其中所述视频数据块包含多个样本值；用于确定所述视频数据块的 一个或一个以上滤波器系数的装置；用于至少部分基于与所述一个或一个以上滤波器系 数相关联的值来确定所述多个样本值中的每一者的相应偏移值的装置；以及用于基于所 述所确定的一个或一个以上滤波器系数以及所述所确定的相应偏移值对所述视频数据 块进行滤波的装置。

根据本发明的另一实例，一种装置包括视频译码器，所述视频译码器经配置以：接 收视频数据块，其中所述视频数据块包含多个样本值；确定所述视频数据块的一个或一 个以上滤波器系数；至少部分基于与所述一个或一个以上滤波器系数相关联的值来确定 所述多个样本值中的每一者的相应偏移值；以及基于所述所确定的一个或一个以上滤波 器系数以及所述所确定的相应偏移值对所述视频数据块进行滤波。

根据本发明的另一实例，一种非暂时性计算机可读存储媒体，其具有存储于其上的 指令，所述指令在执行后即刻致使视频译码装置的一个或一个以上处理器：接收视频数 据块，其中所述视频数据块包含多个样本值；确定所述视频数据块的一个或一个以上滤 波器系数；至少部分基于与所述一个或一个以上滤波器系数相关联的值来确定所述多个 样本值中的每一者的相应偏移值；以及基于所述所确定的一个或一个以上滤波器系数以 及所述所确定的相应偏移值对所述视频数据块进行滤波。

一个或一个以上实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从 描述及附图和从权利要求书中显而易见。

附图说明

图1是展示用于SAO滤波的四个可能的边缘偏移分类的概念图。

图2是展示用于SAO滤波的两个可能的边缘偏移分类的概念图。

图3是展示用于SAO滤波的实例性频带偏移类型的概念图。

图4是展示用于自适应环路滤波器的基于区的分类的概念图。

图5是展示用于自适应环路滤波器的基于块的分类的概念图。

图6为说明实例性视频编码及解码系统的框图。

图7为说明实例性视频编码器的框图。

图8A到8B是说明经分割的图片或视频帧的实例的概念图。

图9为说明视频编码器中所包含的实例性SAO/ALF模块的框图。

图10是说明根据本发明的技术的对视频数据进行滤波的实例的流程图。

图11为说明实例性视频解码器的框图。

图12为说明视频解码器中所包含的实例性SAO/ALF模块的框图。

图13是说明根据本发明的技术的对视频数据进行滤波的实例的流程图。

具体实施方式

一般来说，本发明描述用于对视频数据进行译码的技术。本发明描述用于在视频译 码过程中执行样本自适应偏移以及自适应环路滤波器过程的技术。在一些情况下，ALF 中的DC系数偏移可为冗余的，因为SAO已经使用DC偏移。此外，因为SAO通常在 应用ALF之前执行，所以可产生额外的编码器帧延迟。鉴于此，本发明提出用于将SAO 滤波技术与ALF滤波技术进行组合的若干技术。

数字视频装置实施视频压缩技术以更有效地编码和解码数字视频信息。视频压缩技 术可弓锯视频译码标准来界定。视频译码标准的实例包含ITU-T H.261、ISO/IEC MPEG-1 视觉、ITU-T H.262或ISO/IEC MPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉以及 ITU-T H.264(还被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)以及多视图 视频译码(MVC)扩展。另外，存在正由ITU-T视频译码专家组(VCEG)以及ISO/IEC运 动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的新的视频译码标准，即高 效率视频译码(HEVC)。

HEVC标准化工作是基于被称作HEVC测试模型(HM)的视频译码装置模型。HM假 设相对于在开发其它先前视频译码标准(例如，ITU-T H.264/AVC)的开发期间可用的视频 译码装置的当前视频译码装置的能力上的提高。举例来说，尽管H.264提供九种帧内预 测编码模式，但HEVC提供多达三十五种帧内预测编码模式。被称作“HEVC工作草案 4(HEVC Working Draft4)”或“WD4”的HEVC的最近的工作草案(WD)还描述于布洛斯 (Bross)等人的文献JCTVC-F803_d2“WD4：高效率视频译码(HEVC)的工作草案4(WD4： Working Draft4of High-Efficiency Video Coding(HEVC))”，ITU-T SG16WP3和ISO/IEC  JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)第6次会议：2011年7月意大利托 里诺。此外，HEVC的另一最近的工作草案(工作草案8)描述于布洛斯(Bross)等人的文献 HCTVC-J1003_d7“高效率视频译码(HEVC)文本规范草案8(High Efficiency Video Coding (HEVC)Text Specification Draft8)”中，ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11 的视频译码联合合作小组(JCT-VC)第10次会议：2012年7月11日到20日，瑞典斯德 哥尔摩。HEVC标准还被称作ISO/IEC23008-HEVC，其既定为HEVC的递交版本的标 准编号。

根据视频译码标准(例如，HEVC WD4)而操作的典型视频编码器将原始视频序列的 每一帧分割为被称为“块”或“译码单元”的邻接矩形区。这些块可通过应用空间(帧内) 预测和/或时间(帧间)预测技术进行编码，以减少或移除视频序列中所固有的冗余。空间 预测可被称作“帧内模式”(I模式)，且时间预测可被称作“帧间模式”(P模式或B模 式)。

对于帧间模式，编码器首先搜索“参考帧”(通过F_ref表示)以寻找类似于待译码的 块的块。帧内的待译码的块的位置可通过(x，y)来表示。搜索一般被约束于不多于与待编 码的块的某一空间移位。当已识别最佳匹配(即，预测性块或“预测”)时，其可以二维 (2D)运动向量的形式表达(Δx，Δy)，其中Δx是参考帧中的预测性块的位置相对于待译码 的块的位置的水平移位，且Δy是垂直移位。运动向量与参考帧一起用于如下建构所预测 块F_pred：

F_pred(x，y)＝F_ref(x+Δx，y+Δy)

对于以帧内模式编码的块，使用空间预测从与待译码的块相同的帧内的先前经编码 相邻块来形成所预测块。

对于I模式以及P或B模式两者，将预测误差(即，正被编码的块与所预测块中的 像素值之间的差)表示为某一离散变换(例如，离散余弦变换(DCT))的一组经加权基础函 数。可基于不同的块大小，例如4×4、8×8或16×16以及更大，来执行变换。矩形变换 块还可与(例如)16×4、32×8等的变换块大小一起使用。可随后对权重(即，变换系数)进 行量化。经量化系数可具有比原始变换系数低的精度。因此，量化可引入信息的损失。 量化参数(QP)可确定经量化系数的精度水平。

这些经量化系数以及语法元素(例如运动向量)加上某一控制信息可形成视频序列的 经译码表示。此外，经量化系数、语法元素以及控制信息还可被熵译码，进而进一步减 少用于其表示所需的位的数目。熵译码是旨在基于概率分布(即，基于符号出现的频率对 符号进行译码)使表示所发射或所存储的符号所需的位的数目最少化的无损操作。压缩比 率(即，用于表示原始序列的位的数目对用于表示经译码视频序列的位的数目的比率)可 通过调整在量化变换系数时所使用的QP的值来控制。然而，调整值QP可影响经译码 视频序列的视觉质量。压缩比率还可取决于所使用的熵译码方法。在解码器处，可通过 将预测误差添加到所识别的预测性块来重构待解码的当前帧中的块。归因于译码过程中 的信息损失，在一些情况下，经重构的帧可不同于原始帧。经重构的帧与原始帧之间的 差异被称为重构误差。

对于根据HEVC的视频译码，作为一个实例，可将视频帧分割为译码单元。译码单 元(CU)一般指代用作向其应用各种译码工具以进行视频压缩的基本单元的图像区。CU 通常具有亮度分量(表示为Y)，以及两个色度分量，表示为U和V。所述两个色度分量 还可通过C_b和C_r来表示。视频取样格式可相对于亮度样本的数目来界定色度样本的数 目。在一些视频取样格式中，色度样本的数目可与亮度样本的数目相同或不同。CU通 常是正方形的，且可被视为类似于在例如ITU-T H.264等其它视频译码标准中所描述的 所谓的“宏块”。将在此申请案中出于说明的目的来描述根据开发HEVC标准的目前提 出的方面中的一些方面的译码。然而，本发明中所描述的技术还可用于且应用于其它视 频译码过程，例如根据ITU-T H.264或其它标准或私有视频译码过程而界定的视频译码 过程。

根据HEVC，CU可包含一个或一个以上预测单元(PU)和/或一个或一个以上变换单 元(TU)。位流内的语法数据可界定最大译码单元(LCU)，其为在像素数目方面的最大CU。 一般来说，CU具有与H.264的宏块类似的目的，只不过CU不具有大小区别。因此， LCU可被分裂成若干子CU，且每一子CU可进一步被分裂成若干子CU。此外，可将 CU分割为预测PU以用于预测的目的。PU可表示对应CU的全部或一部分，且可包含 用于检索PU的参考样本的数据。PU可具有正方形或矩形形状。TU表示可经变换以产 生变换系数的一组像素差值或像素残差。位流的语法数据可界定LCU可被分裂的最大 倍数，被称作CU深度。因此，位流还可界定最小译码单元(SCU)。本发明还使用术语 “块”、“分区”或“部分”来指代CU、PU或TU中的任一者。一般来说，“部分”可指 代视频帧的任何子组。

此外，HEVC WD4描述样本自适应偏移(SAO)译码技术。已提出额外的SAO译码 技术以供可能包含在HEVC标准中。一个实例性SAO译码技术描述于C.-M.付、C.-Y. 陈、C.-Y.蔡、Y.-W.黄、S.雷的“CE13：具有LCU独立解码的样本自适应偏移(CE13：Sample  Adaptive Offset with LCU-Independent Decoding)”，JCT-VC贡献、E049，日内瓦，2011 年3月(下文称为“JCT-VC E049”)。一般来说，SAO译码技术是将偏移值添加到视频 帧中的像素的滤波技术。在一些情况下，可将偏移值添加到经重构视频帧中的像素。具 有偏移值的经重构帧可进一步用作参考视频帧和/或输出到显示器。可在视频编码器或解 码器的“环路内”滤波器块中结合其它滤波技术来执行SAO技术。

如上文所描述，预测性译码可导致重构误差。将偏移值添加到经重构视频帧中的像 素可提高视频序列的帧之间的照明改变期间(例如，在闪光、变暗的天空，或帧之间的其 它类型的照明改变期间)的译码。此照明改变可跨帧中的像素区添加相对均匀的强度改 变。SAO技术可将偏移值应用于所预测视频块的像素，以便偏置预测性视频块的值，从 而补偿提高SAO技术的使用的照明改变或其它视频译码条件。SAO技术可确定偏移值 且通过分类度量对像素进行分类而将偏移值应用于像素。分类度量还可被称作像素分类 或偏移类型。此外，弓锯分类度量对像素进行分类的结果还可被称作偏移类型、像素偏 移类型、类别或像素类别。可能的分类度量包含例如边缘度量和频带度量等活动性度量。

一些SAO技术包含多种像素分类技术。一些视频译码标准可限制可针对每个帧应 用的不同像素分类的数目(例如，每个帧一种技术)，而其它标准可通过允许基于逐块地 或逐像素地应用不同的像素分类来实现更多的灵活性。应注意，允许应用的像素分类类 型的数目以及在视频帧中允许应用不同像素分类的频率可影响译码效率。

HEVC WD4描述一种用于HEVC的可能的SAO实施方案，其中每一分区(其由一组 LCU组成)可具有三个像素分类中的一者：无偏移、基于边缘分类的类型，以及基于频 带分类的偏移类型。此外，基于边缘分类的类型包含四个边缘偏移分类：1D0度边缘(还 被称作分类零的SAO边缘偏移或SAO_EO_0)、1D90度边缘(还被称作分类一的SAO 边缘偏移或SAO_EO_1)、1D135度边缘(还被称作分类二的SAO边缘偏移或SAO_ EO_2)，以及1D45度边缘(还被称作分类三的SAO边缘偏移或SAO_EO_3)。基于频带 分类的偏移类型包含两个频带偏移类型分类：中心频带和边频带。

基于边缘分类的类型SAO技术基于边缘信息对分区内的每一像素进行分类。图1 是展示用于四个可能的边缘偏移分类的概念图。JCT-VC E049描述边缘分类技术的一个 实例，其包含上文所描述的四个边缘偏移类型分类。对于图1中所示的给定边缘分类， 通过将当前像素的值(C)与相邻像素(1和2)的值进行比较来计算当前像素的边缘类型。 在一些实例中，像素值可为包含256个可能值的8位字串或包含1024个可能值的10位 字串。对于SAO_EO_0，将当前像素与左边和右边相邻像素进行比较。对于SAO_EO_1， 将当前像素与顶部和底部相邻像素进行比较。对于SAO_EO_2，将当前像素与左上和右 下相邻像素进行比较。对于SAO_EO_3，将当前像素与左下和右上相邻像素进行比较。

起初，假设当前像素的边缘类型是零。如果当前像素C的值等于左边和右边相邻像 素(1和2)的值，那么边缘类型保持于零。如果当前像素C的值比相邻像素的值大1，那 么边缘类型增加一。如果当前像素C的值比相邻像素的值小1，那么边缘类型减小一。 同样，如果当前像素C的值比相邻像素的值大2，那么边缘类型增加一，且如果当前像 素C的值比相邻像素的值小2，那么边缘类型减小1。

因此，当前像素C可具有边缘类型-2、-1、0、1或2，其中(1)如果当前像素C的值 小于相邻像素1和2的值两者，那么边缘类型为-2；(2)如果当前像素C的值小于一个相 邻像素，那么边缘类型为-1；(3)如果当前像素C的值与两个相邻像素相同，或如果当前 像素C的值大于一个相邻像素但小于另一相邻像素，那么边缘类型为0；(4)如果当前像 素C的值大于一个相邻像素但等于另一相邻像素，那么边缘类型为1；且(5)如果当前像 素C的值大于相邻像素1和2的两个值，那么边缘类型为2。应注意，当相邻像素1和 2中的一者不可用时(即，当前像素C位于帧或分区的边缘处)，可界定默认边缘类型。

鉴于以上描述，对于每一边缘偏移分类，可用以下等式计算边缘类型值：

EdgeType＝0；

if(C＞Pixel1)EdgeType＝EdgeType+1；

if(C＜Pixel1)EdgeType＝EdgeType-1；

if(C＞Pixel2)EdgeType＝EdgeType+1；

if(C＜Pixel2)EdgeType＝EdgeType-1；

一旦确定当前像素的边缘类型，便可确定当前像素的偏移值。偏移值是基于原始视 频帧与经重构视频帧之间的差异。在一个实例中，每一非零边缘类型值(即，-2、-1、1 和2)具有通过取得属于分区中的每一类别的原始和经重构像素的值之间的差异的平均 值而计算的一个偏移值。可将四个偏移值表示为eoffset_-2、eoffset_-1、eoffset₁和eoffset₂。 因为eoffset_-2、eoffset_-1、eoffset₁和eoffset₂中的每一者是基于在视频解码器处不可得的 原始视频帧，所以视频解码器包含用以在不依赖原始视频帧的情况下导出四个偏移值的 机制。

除了图1中所说明的四个偏移分类之外，可结合图1中所说明的边缘偏移分类来使 用额外的边缘偏移分类或作为其替代。图2说明可用作图1中所说明的偏移分类的补充 或替代的两个额外偏移分类。图2中所说明的额外偏移分类可分别被称作大于135度的 1D边缘(SAO_EO_4)和小于45度的1D边缘(SAO_EO_5)。因此，图1和图2中所说明 的边缘偏移分类的任一组合可用于边缘偏移滤波。如下文更详细地描述，边缘偏移分类 的组合可与基于频带分类的偏移类型一起使用。对于图2中所说明的每一边缘偏移分类， 可根据上文关于图1中所说明的边缘偏移分类来提供根据等式而计算的边缘类型值。

基于频带分类的偏移类型基于其强度将像素分类为不同的频带。如上文所描述，基 于频带分类的偏移类型可包含两个频带偏移类型分类：中心频带和边频带。图3是展示 包含中心频带和边频带的基于实例性频带分类的偏移类型的概念图。如图3中所示，可 将像素强度0到MAX中的每一者分类为32个频带中的一者。在一个实例中，像素可具 有8位强度值，且MAX可等于255。在图3的实例中，中心中的16个频带被分类为第 一群组，且剩余边频带被分类为第二群组。以类似于边缘类型频带偏移的方式，一旦确 定当前像素的频带类型，那么便可基于原始视频帧与经重构视频帧之间的差异来确定当 前像素的偏移值。在一个实例中，每一频带类型值(即，0到31)具有通过取得属于分区 中的每一频带类型类别的原始和经重构像素的值之间的差异的平均值而计算的一个偏 移值。因此，对于每一频带群组(即，第一群组和第二群组)，确定16个偏移值。可将每 一群组的16个偏移值表示为boffset₀，...，boffset₁₅。与eoffset_-2、eoffset_-1、eoffset₁和eoffset₂一样，boffset₀，...，boffset₁₅中的每一者是基于原始视频帧，且视频解码器包含用以导出 16个偏移值的机制。通常，经编码视频位流包含指示视频帧的每一分区的六个像素分类 类型以及对应组偏移(即，eoffset_-2，...，eoffset₂以及boffset₀，...，boffset₁₅)中的一者的信息。 在一些实例中，一组偏移值中的每一偏移值基于逐分区地使用带正负号的一元译码在位 流中被独立地译码和用信号发送。在其它实例中，可由视频解码器使用位流中的其它偏 移值来预测偏移值。举例来说，视频解码器可从eoffset₂预测eoffset_-2的值。以此方式， 可减少用信号发送一组偏移值所需的位数目。在2012年9月26日申请的第13/627,457 号共同待决的美国专利申请案中描述了用信号发送偏移值的实例，所述申请案在此以引 用的方式并入。

此外，如上文所描述，可结合额外的滤波技术来执行SAO技术。额外的滤波技术 可包含(例如)维纳(Weiner)滤波技术。类似于SAO技术的偏移值的计算，额外的滤波技 术可基于原始帧与经重构帧之间的差异来计算滤波器系数。举例来说，可基于原始图片 与经重构图片之间的差异来确定维纳滤波器的滤波器系数。与偏移值一样，所计算的系 数也可包含在位流中以供视频解码器使用。

用于HEVC的其它协议描述自适应环路滤波器(ALF)过程。在一个实例性ALF过程 中，提出两个调适模式(即，块和区调适)。对于基于区的自适应模式，将帧划分为16个 区，且每一区可具有一组线性滤波器系数(多个AC系数和一个DC系数)，且一个区可 与其它区共享相同的滤波器系数。图4是展示用于自适应环路滤波器的基于区的分类的 概念图。如图4中所说明，将帧划分为16个区，其中每一区根据索引值来编制索引， 即0，...，15。如图4中所说明，根据所说明的样式将索引指派给帧的区。在其它实例 中，可基于其它样式(例如，光栅扫描、z形等)将索引值指派给帧的区。在一些实例中， 索引值0，...，15可与对区执行操作的次序相关联。

图5是展示用于自适应环路滤波器的基于块的分类的概念图。在一个实例性基于块 的模式中，每一4×4块通过使用方向和活动性信息计算度量而导出类别。方向、活动性 和对应类别可根据以下等式来计算。在以下等式中，(i，j)表示根据水平和垂直坐标的像 素的位置。

■方向

■Ver(i，j)＝abs(X(i，j)＜＜1-X(i，j-1)-X(i，j+1))

■Hor(i，j)＝abs(X(i，j)＜＜1-X(i-1，j)-X(i+1，j))

■H_B＝∑_i＝1，2Σ_j＝1，2Hor(i，j)

■V_B＝∑_i＝1，2Σ_j＝1，2Ver(i，j)

■方向＝0，1(H_B＞2V)，2(V_B＞2H)

■活动性

■L_B＝H_B+V_B

■活动性＝0，1，2，3，4

■度量

■活动性+5*方向

■15classes(0，1，...，14，15)

对于每一类别(即，0，1，...，14，15)，可使用一组线性滤波器系数(多个AC系数和一 个DC系数)。此外，在一个实例中，可允许一类别与其它类别共享滤波器系数。

因此，在基于区的分类中，每一区可具有一组AC和DC滤波器系数。同样，在基 于块的分类中，每一块可具有一组AC和DC滤波器系数。此外，在实例性ALF过程中， 通过取得视频块的分区内的当前和相邻像素的经调整值的总和来导出经滤波像素值，其 中通过将所计算的AC系数相乘且将DC系数添加到当前和相邻像素来调整当前和相邻 像素的值。以此方式，可将AC系数描述为乘数或权重。通过将所述总和的结果除以包 含于分区中的总像素数目来进一步将所述总和的值规格化。以下等式提供用于使用AC 和DC系数来计算经滤波像素的实例性等式，其中像素包含于大小为l乘m的分区中， 且bit_shift是规格化因数：

经滤波像素(x，y)＝(sum_l，m(经预滤波的像素(x+l，y+m)*AC系数(l，m))+DC系数)＞＞ bit_shift。

因为SAO过程将偏移值添加到像素，所以在一些情况下，将DC系数添加到经SAO 滤波的像素可为冗余的。此外，因为SAO通常在应用ALF之前执行，所以可能由于在 每一滤波过程中应用DC系数/偏移而产生额外的编码器帧延迟。鉴于以下内容，本发明 提出用于将SAO滤波技术与利用AC和DC系数的基于区和块的滤波技术(例如，ALF) 进行合并的技术。

图6为说明可经配置以利用用于使用ALF和SAO技术的组合对视频进行滤波的技 术的实例性视频编码和解码系统10的框图。如图6中所示，系统10包含源装置12和 目的地装置14。源装置12可经配置以经由通信信道16将经编码视频发射到目的地装置 14，或者发射到文件服务器36，目的地装置14可在需要时存取所述文件服务器。源装 置12和目的地装置14可包括广泛多种装置中的任一者，包含桌上型计算机、笔记本(即， 膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话)、电视、 相机、显示装置、数字媒体播放器、视频游戏控制台等。在许多情况下，此些装置可被 装备用于有线和/或无线通信。因此，通信信道16可包括任何无线或有线通信媒体，例 如射频(RF)频谱或者一个或一个以上物理传输线，或无线媒体与有线媒体的任何组合。 通信信道16可形成例如局域网、广域网或例如因特网的全球网络等基于包的网络的部 分。通信信道16一般表示用于将视频数据从源装置12发射到目的地装置14的任何合 适的通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。通信信道 16可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任 何其它设备。

类似地，文件服务器36可由源装置12和目的地装置14通过任何标准数据连接(包 含因特网连接)进行存取。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、 缆线调制解调器，以太网、USB等等)，或适合于存取存储于文件服务器36上的经编码 视频数据的以上两者的组合。文件服务器36可为能够存储经编码视频数据和将经编码 视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器 (例如，对于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器，或能够存 储经编码视频数据和将所述经编码视频数据发射到目的地装置的任何其它类型的装置。 经编码视频数据从文件服务器36的传输可为流式传输、下载传输，或两者的组合。

源装置12还可经配置以将经编码视频数据存储于存储媒体34上。存储媒体34可 包含蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频的任何其它合适 的数字存储媒体。当经编码视频数据被存储到存储媒体34或文件服务器36时，视频编 码器20可将经译码视频数据提供给另一装置，例如网络接口、压缩光盘(CD)、蓝光或 数字视频光盘(DVD)烧录器或压印设施装置，或用于将经译码视频数据存储到存储媒体 的其它装置。同样，与视频解码器30分开的装置(例如，网络接口、CD或DVD读取器 等)可从存储媒体检索经译码视频数据且将所检索的数据提供给视频解码器30。

根据本发明的实例的用于使用ALF和SAO技术的组合对视频数据进行滤波的技术 可应用于支持多种多媒体应用(例如，无线电视广播、有线电视传输、卫星电视传输、流 式视频传输(例如，经由因特网))中的任一者的视频译码、供存储于数据存储媒体上的数 字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中， 系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视 频广播和/或视频电话等应用。

在图6的实例中，源装置12包含视频源18、视频编码器20、调制器/解调器22和 发射器24。视频源18可包含例如视频俘获装置(例如，摄像机、含有先前俘获的视频的 视频存档、用以从视频内容提供者接收视频的视频馈送接口)的源，和/或用于产生计算 机图形数据以作为源视频的计算机图形系统的源，或此些源的组合。在一个实例中，如 果视频源18为摄像机，则源装置12与目的地装置14可形成所谓的相机电话或视频电 话。然而，一般来说，本发明中所描述的技术可适用于视频译码，且可适用于无线及/ 或有线应用，或其中将经编码视频数据存储于本地磁盘上的应用。视频编码器20可对 所俘获的、预先俘获的或计算机产生的视频进行编码。经编码视频信息可由调制解调器 22根据通信标准(例如，无线通信协议)来调制，且经由发射器24而发射到目的地装置 14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其 它组件。发射器24可包含经设计以用于发射数据的电路，包括放大器、滤波器及一个 或一个以上天线。视频编码器20可将经编码视频信息存储到存储媒体34或文件服务器 36上以供稍后消耗。存储在存储媒体34上的经编码视频随后可由目的地装置14存取以 进行解码和回放。

图6的实例中的目的地装置14包含接收器26、调制解调器28、视频解码器30和 显示装置32。目的地装置14的接收器26在信道16上接收信息，且调制解调器28解调 所述信息以产生用于视频解码器30的经解调位流。在信道16上传送的信息可包含由视 频编码器20产生的多种语法信息，以供视频解码器30在解码视频数据中使用。此语法 还可与存储于存储媒体34或文件服务器36上的经编码视频数据包含在一起。视频编码 器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器 (CODEC)的部分。

显示装置32可与目的地装置14一起集成，或在所述目的地装置外部。在一些实例 中，目的地装置14可包含集成式显示装置，且还经配置以与外部显示装置介接。在其 它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视 频数据，且可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子体显示 器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可实质上根据例如HEVC等视频压缩标准而操作， 且可符合HM。或者，视频编码器20和视频解码器30可根据例如ITU-T H.264标准或 此类标准的扩展等其它专有或产业标准而操作。然而，本发明的技术不限于任何特定译 码标准。

尽管图6中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音 频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处 置对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用， MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其 它协议。

视频编码器20和视频解码器30各自可经实施为例如一个或一个以上微处理器、数 字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软 件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当所述技术部分地在 软件中实施时，一装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中， 且在硬件中使用一个或一个以上处理器来执行所述指令以执行本发明的技术。视频编码 器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中，所述视 频编码器和视频解码器中的任一者可在相应装置中被集成为组合式编码器/解码器 (CODEC)的一部分。

视频编码器20可实施本发明的用于在视频译码过程中对样本自适应偏移值和滤波 器系数进行译码和用信号发送的技术中的任一者或全部。同样，视频解码器30可实施 用于在视频译码过程中对用于ALF的样本自适应偏移值和AC系数进行译码的这些技术 中的任一者或全部的互逆版本。如本发明中所描述的视频译码器可指代视频编码器或视 频解码器。类似地，视频译码单元可指代视频编码器或视频解码器。同样，视频译码可 指代视频编码或视频解码。以此方式，视频编码器20和视频解码器30表示经配置以确 定视频数据块的一个或一个以上滤波器系数且至少部分基于所述一个或一个以上滤波 器系数来确定所述多个样本值中的每一者的相应偏移值的视频译码器的实例。

图7为说明可经配置以使用用于使用如本发明中所描述的ALF和SAO技术的组合 对视频数据进行滤波的技术的视频编码器20的实例的框图。将出于说明的目的在HEVC 的上下文中描述视频编码器20，但本文中所描述的技术可同等地适用于其它视频译码标 准。视频编码器20可执行对视频帧内的CU的帧内译码和帧间译码。如上文所描述，帧 内译码依赖于空间预测以减少或移除给定视频帧内的视频数据中的空间冗余。帧间译码 依赖于时间预测以减少或移除视频序列的当前帧与先前经译码帧之间的时间冗余。帧内 模式(I模式)可指代若干基于空间的视频压缩模式中的任一者。帧间模式(例如单向预测 (P模式)和或双向预测(B模式))可指代若干基于时间的视频压缩模式中的任一者。

如图7所示，视频编码器20接收视频帧内的待编码的源视频块。在图7的实例中， 视频编码器20包含模式选择模块40、运动估计模块42、运动补偿模块44、帧内预测模 块46、参考帧缓冲器64、求和器50、变换模块52、量化模块54以及熵编码模块56。 为了视频块重构，视频编码器20还包含反量化模块58、反变换模块60、求和器62、解 块模块43和/或SAO/ALF模块45。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。运动估计模块42和 运动补偿模块44相对于一个或一个以上参考帧中的一个或一个以上块执行对所接收的 视频块的帧间预测译码以提供时间压缩。帧内预测模块46可相对于在与待译码的块相 同的帧或切片中的一个或一个以上相邻块执行对所接收视频块的帧内预测译码，以提供 空间压缩。

如上文所描述，为了根据HEVC的视频译码，可将帧或切片划分为多个视频块(即， LCU、CU、TU和PU)。LCU可与四叉树数据结构相关联。一般来说，四叉树数据结构 每个CU包含一个节点，其中根节点对应于LCU。如果将CU分裂为四个子CU，那么 对应于CU的节点包含四个叶节点，所述四个叶节点中的每一者可对应于子CU中的一 者。所述四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中 的节点可包含分裂旗标，从而指示对应于所述节点的CU是否被分裂为子CU。可递归 地界定CU的语法元素，且所述语法元素可取决于CU是否被分裂为子CU。如果CU未 进一步分裂，那么其被称作叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU， 虽然不存在对原始叶CU的明确分裂。举例来说，如果16×16大小的CU未进一步分裂， 那么四个8×8子CU也将被称作叶CU，虽然16×16的CU从未分裂。

另外，叶CU的TU还可与相应的四叉树数据结构相关联。也就是说，叶CU可包 含指示叶CU如何被分割为TU的四叉树。本发明涉及指示LCU如何被分割为CU四叉 树的四叉树以及指示叶CU如何被分割为TU以作为TU四叉树的四叉树。TU的根节点 一般对应于叶CU，而CU四叉树的根节点一般对应于LCU。TU四叉树的未分裂的TU 被称作叶TU。

叶CU可包含一个或一个以上预测单元(PU)。一般来说，PU表示对应CU的全部或 一部分，且可包含用于检索PU的参考样本的数据。举例来说，在对PU进行帧间模式 编码时，PU可包含界定PU的运动向量的数据。界定运动向量的数据可描述(例如)运动 向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或 八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考列表(例如，列表0 或列表1)。界定PU的叶CU的数据还可描述(例如)将CU分割为一个或一个以上PU。 分割模式可取决于CU是未被译码、被帧内预测模式编码还是被帧间预测模式编码而不 同。对于帧内译码，可将PU视为与下文所描述的叶变换单元相同。

作为一实例，HE支持按各种PU大小的预测。假定特定CU的大小为2N×2N，HM 支持按2N×2N或N×N的PU大小的帧内预测，以及按2N×2N、2N×N、N×2N或N×N 的对称PU大小的帧间预测。HM还支持用于按2N×nU、2N×nD、nL×2N和nR×2N的 PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未被分割，而另一 方向被分割为25％和75％。CU的对应于25％分区的部分由“n”继之以“向上”、“向下”、 “左边”或“右边”的指示来指示。因此，例如，“2N×nU”指代被水平地分割成在顶部 具有2N×0.5N PU且在底部具有2N×1.5N PU的2N×2N CU。

在本发明中，“N×N”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面 指代视频块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块将具有 在垂直方向上的16个像素(y＝16)和在水平方向上的16个像素(x＝16)。同样地，N×N 块一般具有在垂直方向上的N个像素和在水平方向上的N个像素，其中N表示非负整 数值。一块中的像素可布置在若干行和若干列中。此外，块无需一定在水平方向上具有 与在垂直方向上相同数目的像素。举例来说，块可包括N×M个像素，其中M不一定等 于N。

模式选择模块40可(例如)基于对每一模式的速率失真分析而选择译码模式(帧内或 帧间)中的一者，且将所得的经帧内译码或经帧间译码的块(例如，预测单元(PU))提供到 求和器50以产生残余块数据，且提供到求和器62以重构经编码块以用于参考帧。求和 器62将所预测块与来自反变换模块60的用于所述块的经反量化、反变换的数据进行组 合，以重构经编码块，如下文更详细地描述。可将一些视频帧标示为I帧，其中I帧中 的所有块在帧内预测模式中编码。在一些情况下，帧内预测模块46可例如当由运动估 计模块42执行的运动搜索未产生对块的充分预测时执行对P帧或B帧中的块的帧内预 测编码。

运动估计模块42与运动补偿模块44可高度集成，但出于概念上的目的而分开予以 说明。运动估计(或运动搜索)是产生估计视频块的运动的运动向量的过程。运动向量(例 如)可指示当前帧中的预测单元相对于参考帧的参考样本的移位。运动估计模块42通过 将预测单元与参考帧缓冲器64中存储的参考帧的参考样本进行比较来计算经帧间译码 帧的预测单元的运动向量。参考样本可为被发现在像素差方面与CU的包含正被译码的 PU的部分紧密匹配的块，其可通过绝对差和(SAD)、平方差和(SSD)或其它差度量来确 定。参考样本可出现在参考帧或参考切片内的任何地方，且不一定在参考帧或切片的块 (例如，译码单元)边界处。在一些实例中，参考样本可出现在分数像素位置处。

运动估计模块42将所计算的运动向量发送到熵编码模块56和运动补偿模块44。参 考帧的由运动向量识别的部分可称作参考样本。运动补偿模块44可例如通过检索由PU 的运动向量识别的参考样本来计算当前CU的预测单元的预测值。

帧内预测模块46可对所接收的块进行帧内预测，以作为由运动估计模块42和运动 补偿模块44执行的帧间预测的替代方案。帧内预测单元46可相对于相邻的先前经译码 块(例如，当前块的上方、右上方、左上方，或左边的块(假设块的从左到右、从上到下 的编码次序))来预测所接收的块。可用多种不同帧内预测模式来配置帧内预测模块46。 举例来说，帧内预测模块46可基于正被编码的CU的大小而用某一数目的方向预测模式 来配置，例如三十五种方向预测模式。

帧内预测模块46可通过(例如)计算各种帧内预测模式的误差值且选择产生最低误 差值的模式来选择帧内预测模式。方向预测模式可包含用于组合空间上相邻的像素的值 且将经组合值应用于PU中的一个或一个以上像素位置的功能。一旦已计算PU中的所 有像素位置的值，帧内预测模块46可基于PU与待编码的所接收块之间的像素差来计算 预测模式的误差值。帧内预测模块46可继续测试帧内预测模式，直到发现产生可接受 的误差值的帧内预测模式为止。帧内预测模块46可随后将PU发射到求和器50。

视频编码器20通过从正经译码的原始视频块减去由运动补偿模块44或帧内预测模 块46计算的预测数据而形成残余块。求和器50表示执行此减法运算的组件。残余块可 对应于像素差值的二维矩阵，其中残余块中的值的数目与对应于残余块的PU中的像素 的数目相同。残余块中的值可对应于PU中以及待译码的原始块中位于同一地点的像素 的值之间的差，即，误差。所述差可为色度或亮度差，其取决于被译码的块的类型。

变换模块52可从残余块形成一个或一个以上变换单元(TU)。变换模块52从多个变 换中选择变换。可基于一个或一个以上译码特性(例如，块大小、译码模式等)来选择所 述变换。变换模块52随后将选定的变换应用于TU，从而产生包括变换系数的二维阵列 的视频块。变换模块52可根据本发明的上文所描述的技术来选择变换分区。另外，变 换模块52可在经编码视频位流中用信号发送选定的变换分区。

变换模块52可将所得的变换系数发送到量化模块54。量化模块54可随后对变换系 数进行量化。熵编码模块56可随后根据扫描模式执行对矩阵中的经量化变换系数的扫 描。本发明将熵编码模块56描述为执行所述扫描。然而，应理解，在其它实例中，例 如量化模块54等其它处理模块可执行所述扫描。一旦将变换系数扫描为一维阵列，熵 编码模块56可对系数应用熵译码，例如CAVLC、CABAC、基于语法的上下文自适应二 进制算术译码(SBAC)，或另一熵译码方法。

为了执行CAVLC，熵编码模块56可针对待发射的符号选择可变长度码。可将VLC 中的码字建构成使得相对较短的码对应于更有可能的符号，而较长的码对应于较不可能 的符号。以此方式，与(例如)针对待发射的每一符号使用相等长度的码字相比，使用VLC 可实现位节省。为了执行CABAC，熵编码模块56可选择要应用于某些上下文的上下文 模型以编码待发射的符号。所述上下文可涉及(例如)相邻值是否为非零。熵编码模块56 还可对语法元素进行熵编码，所述语法元素例如为表示选定的变换和滤波器语法元素的 信号，下文更详细地描述。根据本发明的技术，熵编码模块56可基于(例如)帧内预测模 式的帧内预测方向、对应于语法元素的系数的扫描位置、块类型和/或变换类型，以及用 于上下文模型选择的其它因素来选择用于对这些语法元素进行编码的上下文模型。在由 熵编码模块56熵译码之后，可将所得的经编码视频发射到另一装置(例如，视频解码器 30)或存档以供随后发射或检索。

在一些情况下，除熵译码之外，视频编码器20的熵编码模块56或另一模块可经配 置以执行其它译码功能。举例来说，熵编码模块56可经配置以确定CU和PU的经译码 块样式(CBP)值。而且，在一些情况下，熵编码模块56可执行对系数的游程长度译码。

反量化模块58和反变换模块60分别应用反量化和反变换以在像素域中重构残余 块，(例如)以用于随后用作参考块。运动补偿模块44可通过将残余块加到参考帧缓冲器 64的帧中的一者的预测块来计算参考块。运动补偿模块44还可将一个或一个以上内插 滤波器应用于经重构的残余块以计算子整数像素值以在运动估计中使用。求和器62将 经重构的残余块添加到由运动补偿模块44产生的经运动补偿的预测块以产生经重构的 视频块。

解块模块43可接收多个经重构视频块从而形成经重构视频的切片或帧，且对块边 界进行滤波以从切片或帧移除成块性假影。在一个实例中，解块模块43评估视频块的 所谓的“边界强度”。基于视频块的边界强度，可相对于相邻视频块的边缘像素对视频 块的边缘像素进行滤波，使得来自一个视频块的转变让观看者更难感知。应注意，由解 块滤波器使用的变量通常可从经重构视频块导出，而不需要将经重构视频块与原始源视 频块进行比较。因此，视频编码器20和视频解码器30可各自经编程以在关于被译码到 位流中的原始视频帧的最少额外信息的情况下对经重构视频块执行相同的解块过程。然 而，应注意，在一些情况下，视频编码器20可在位流中包含用以指示是否应执行解块 和/或是否应执行特定类型的解块模式中的一者的语法元素。

SAO/ALF模块45从解块模块43接收经重构视频块，且可将SAO和其它滤波技术 应用于经重构视频块。经滤波经重构视频块可随后存储于参考帧缓冲器64中。经重构 视频块可由运动估计模块42和运动补偿模块44用作用以对后续视频帧中的块进行帧间 译码的参考块。如上文所描述，SAO译码技术可将偏移值添加到经重构视频帧中的像素， 其中所述偏移值是基于源视频帧来计算。此外，其它滤波技术可包含ALF过程和/或维 纳滤波技术，其基于源视频帧与经重构视频帧之间的差来计算AC和DC系数。因此， 如图7中所说明，除了将经SAO/ALF调整的视频块输出到参考帧缓冲器64之外， SAO/ALF模块45将滤波器语法元素输出到熵编码模块56以供视频解码器稍后使用。除 了包含关于应执行哪些滤波过程的信息之外，在一个实例中，滤波器语法元素可包含一 组偏移值和滤波器系数。在其它实例中，滤波器语法元素可包含信息以使得视频解码器 可确定一组偏移和/或系数值。

在一个实例中，SAO/ALF模块45可经配置以执行以下滤波技术的任一组合：

(1)具有块适应性的ALF技术。ALF技术可为已在HEVC的提议中所描述的ALF技 术。块适应性可包含上文关于图4和图5所描述的块和/或区调适。

(2)不具有块适应性的ALF技术。ALF技术可为已在HEVC的提议中所描述的ALF 技术。当ALF技术不包含块适应性时，可使用单个滤波器来用于视频数据的分区。

(3)SAO滤波技术。SAO滤波技术可包含频带偏移分类技术或利用图1和图2中所 说明的边缘偏移分类的任一组合的边缘偏移技术。

(4)包含具有块适应性的ALF技术与SAO滤波技术的组合的滤波技术。具有块适应 性的ALF技术与SAO滤波技术的实例性组合在下文关于图9更详细地描述。

(5)包含不具有块适应性的ALF技术与SAO滤波技术的组合的滤波技术。

(6)其中不应用滤波或偏移的滤波技术。

视频编码器20可经配置以将视频帧划分为若干分区，且可针对每一分区选择滤波 技术。图8A到8B说明被划分为分区以用于将滤波技术指派给分区的视频帧的实例。图 8A说明其中帧被划分为不同大小的分区(P₀到P₂)的实例。图8B说明其中帧被划分为不 同大小的分区(P₀到P₃)的实例。在一个实例中，视频帧的分区(P₀-P₂)和(P₀-P₃)可对应于 整数数目的视频数据切片或CU。在一个实例中，图8A和8B中的分区中的每一者可被 指派上文所描述的六种滤波技术中的一者。举例来说，可根据SAO技术对P₀进行滤波， 可不对P₁进行滤波，且可使用作为具有块适应性的ALF滤波技术与SAO滤波技术的组 合的滤波技术对P₃进行滤波。

图9为说明可包含于视频编码器中的实例性SAO/ALF模块的框图。SAO/ALF模块 45说明可经配置以将SAO滤波技术与利用AC和DC系数的滤波技术进行合并的 SAO/ALF模块的实例。上文关于图1和图2来描述SAO滤波技术的实例。利用AC和 DC系数的滤波技术的实例包含上文关于图4和图5所描述的基于区和块的滤波技术。 在针对HEVC提出的ALF技术中，存在CU层级ALF开/关图。也就是说，可针对每一 CU选择性地应用ALF。SAO/ALF模块45可经配置以使得SAO信令可在其中组合ALF 与SAO的技术中与ALF的CU层级开/关图同步。也就是说，可针对每一CU选择性地 应用经组合滤波技术。

如图9中所说明，SAO/ALF模块45包含滤波器系数计算模块402，SAO模式选择 模块404、像素分类模块406、偏移值分类模块408以及视频块滤波器模块410。滤波器 系数计算模块404经配置以接收源视频块和经重构视频块，且计算用于对经重构视频块 进行滤波的滤波器系数。可使用上文关于图4和图5所描述的基于区或基于块的技术来 计算视频数据块的滤波器系数。如上文所描述，两种技术可包含基于分类来确定一个或 一个以上系数。滤波器系数计算模块404可经配置以使用上文关于图4所描述的基于区 的分类对视频数据块进行分类，或使用上文关于图5所描述的基于块的技术对视频数据 块进行分类。举例来说，滤波器系数计算模块404可通过根据上文所提供的等式来计算 方向和活动性信息而导出4×4块的类别。

滤波器系数计算模块404可经配置以基于所确定的分类来确定AC和/或DC滤波器 系数。在一个实例中，滤波器系数计算模块402可经配置以基于源视频帧与经重构视频 帧之间的差来计算AC和/或DC滤波器系数。在另一实例中，AC和/或DC滤波器系数 可预先计算，且滤波器系数计算模块402可经配置以基于与区或块相关联的分类来查找 滤波器系数。如图9中所说明，滤波器系数计算模块402将分类信息输出到SAO模式 选择模块404且将滤波器系数输出到视频块滤波器模块410。

此外，在一个实例中，当使用基于块的分类时，可将每一类别识别为class_i，其中 i＝0，...，L-1且L是类别的编号。在一个实例中，可将可被识别为f_i(m)(其中m＝0，...，M) 的一个滤波器指派给每一类别，其中f_i(M)提供类别的AC和DC系数。以类似的方式， 在一个实例中，当使用基于区的分类时，将每一类别识别为region_i，其中i＝0，...，P-1 和P，且P是帧的区的编号，且可将可被识别为f_i(m)(其中m＝0，...，M)的一个滤波器指 派给每一类别，其中f_i(M)提供类别或区的AC和DC系数。

然而，如上文所描述，因为SAO过程将偏移值添加到像素，所以在一些情况下， DC系数可为冗余的。因此，在替代性实例中，可修改f_i(M)，使得其不提供DC系数， 且替代地，可使用上文所描述的偏移分类方法(即，边缘偏移0/1/2/3或频带偏移0/1)来 计算块或区的多个偏移。举例来说，对于4×4块，可使用活动性和方向度量来确定块的 一个AC滤波器系数，且可使用边缘偏移分类来确定16个像素中的每一者的SAO偏移 值。以此方式，可组合ALF滤波技术与SAO滤波技术。因此，滤波器系数计算模块402 可经配置以计算块或区的仅AC系数(例如，当SAO与ALF组合时)，块或区的AC和 DC系数(例如，当单独执行ALF时)。

SAO模式选择模块404可经配置以接收类别信息、源视频块以及经重构视频块，且 在各种SAO技术之间进行选择以用于视频块的分区。在一个实例中，SAO模式选择模 块404经配置以在以下各者之间进行选择：不应用SAO滤波器、应用1D0度边缘滤波 器、应用1D90度边缘滤波器、应用1D135度边缘滤波器、应用1D45度边缘滤波器、 应用图2中所说明的SAO滤波器中的任一者、应用中心频带滤波器或应用边频带滤波 器。在一个实例中，SAO模式选择模块404可经配置以基于源视频帧的性质、经重构视 频帧的性质、重构误差，和/或源视频块与经重构视频块之间的差来选择模式。在其它实 例中，模式选择模块404可经配置以基于其中执行多个SAO技术的迭代过程来选择SAO 技术，且SAO模式选择模块404基于速率失真分析来选择SAO技术。

此外，在一个实例中，SAO模式选择模块404可经配置以基于ALF的基于块或基 于区的分类来选择SAO模式。以此方式，可另外组合ALF与SAO滤波技术。举例来说， 在上文关于图5所描述的基于块的分类技术中，类别(即，0，1，...，14，15)中的每一者是 基于与块相关联的活动性和方向计算。活动性和方向计算可提供边缘偏移技术中的哪一 者可提供更佳的滤波结果的指示。在一个实例中，SAO模式选择模块404可经配置以基 于与块相关联的类别来区分可能的偏移分类方法的优先级(即，增加选择特定偏移模式的 概率)或限制用于块的可能偏移分类方法的数目。

举例来说，类别5，6，..，9指示强水平方向活动性。因此，SAO模式选择模块404可 经配置以在类别等于5，6，..，9中的任一者时将对使用水平方向像素的边缘偏移0的选择 列入优先。作为在类别等于5，6，..，9中的任一者时将对边缘偏移0的选择列入优先的补 充或替代，SAO模式选择模块404可进一步经配置以在类别等于5，6，..，9中的任一者时 消除使用垂直方向像素的边缘偏移1。此外，类别10，11，..，14指示强垂直方向活动性。 因此，SAO模式选择模块404可经配置以在类别等于10，11，..，14中的任一者时将对使 用垂直方向像素且/或消除边缘偏移0的边缘偏移1的选择列入优先。

此外，应注意，SAO模式选择模块404可经配置以使得基于区的分类中的视频帧的 每一区可通过在区内使用基于块的分类而具有一个以上偏移分类模式。举例来说，对于 region_0，可对区内的具有class_5到class_9的所有4×4块应用边缘offset₀，且对区内 的具有class_10到class_14的类别的所有4×4块应用边缘offset₁。

此外，SAO/ALF模式选择模块404还可经配置以跳过对具有特定class_i的4×4块 执行SAO滤波，即使对那些块应用ALF也如此。举例来说，对于具有class_0的4×4 块，可跳过SAO，因为class_0意味着那些块上存在较少的方向和拉普拉斯算子活动性。 以此方式，可组合基于区和基于块的分类技术。

像素分类模块406可经配置以从SAO模式选择模块404接收SAO技术的指示，且 相应地对像素进行分类。举例来说，如果所指示的SAO技术是SAO_EO_4，如上文关 于图2所描述，那么像素分类模块406可基于图2中的被识别为1和2的像素的值来计 算块或区像素内的像素中的每一者的边缘类型-2、-1、0、1或2。当被识别为1或2的 像素中的一者不可用于计算当前像素的边缘类型时，像素分类模块406可将默认边缘类 型值(例如，边缘类型0)指派给当前像素。此外，像素分类模块406可经配置以在选择 频带偏移时将像素分类为频带。

偏移值计算模块408可经配置以接收视频数据的分区的一组边缘类型值或频带分类 且确定一组对应偏移值。如上文所描述，偏移值可基于原始视频帧与经重构视频帧之间 的差异。此外，如上文所描述，在边缘分类的情况下，在一个实例性SAO技术中，每 一非零边缘类型值(即，-2、-1、1和2)可具有一个偏移值(即，eoffset_-2、eoffset_-1、eoffset₁ 和eoffset₂)。然而，在一个其它实例中，偏移值计算模块408还可经配置以在EdgeType ＝0时确定边缘偏移值。因此，偏移值计算模块408可确定每一边缘类型值(即，-2、-1、 0、1和2)的一个偏移值(即，eoffset_-2、eoffset_-1、eoffset₀、eoffset₁、eoffset₂)。此外，偏 移值计算模块408可经配置以基于SAO滤波技术是否与ALF合并来确定在EdgeType＝ 0的情况下的边缘偏移值。举例来说，偏移值计算模块408可经配置以基于滤波系数计 算模块402是否计算DC系数来确定在EdgeType＝0的情况下的边缘偏移值。

此外，偏移值计算模块408可经配置以产生可由视频解码器用于重构偏移值的偏移 值语法。此外，偏移值计算模块408可将偏移值输出到模式选择模块404，以作为迭代 模式选择过程的一部分。在一个实例中，偏移值计算模块408可产生指示SAO模式和 对应的偏移值的偏移值语法，其中使用二进制串来表示所述对应的偏移值中的每一者(例 如，五个二进制值用于五个偏移值)。此外，在一个实例中，偏移值计算模块406可通过 利用偏移值群组内的偏移值之间的相关性来减少发送所述群组所需的位数目。因此，作 为个别地表示每一偏移值的替代，偏移值计算模块406可输出允许视频解码器确定/预测 偏移值群组的语法元素。

在一个实例中，偏移值计算模块406可经配置以通过两种方式中的一者用信号发送 上文所描述的五个边缘偏移值(即，eoffset_-2、eoffset_-1、eoffset₀、eoffset₁、eoffset₂)：独 立地或使用预测技术。预测技术可包含使用已知操作来修改一组偏移值内的一个或一个 以上偏移值，使得视频解码器可通过执行互逆操作来产生所述组偏移值。当使用截断一 元译码技术对边缘偏移值进行译码时，预测技术可为特别有用的。在一个实例中，所述 偏移值中的一者可减去另一偏移值，且可在位流中用信号发送所述偏移值中的一者以及 所述减法的结果。在此情况下，视频解码器可通过将所述结果添加到已知偏移值来确定 所述偏移值。在一个实例中，可从一组边缘偏移值内的其它偏移值减去eoffset₀。在此实 例中，偏移值计算模块可经配置以在经编码位流中包含以下值：eoffset_-2-eoffset₀； eoffset_-1-eoffset₀；eoffset₀；eoffset₁-eoffset₀；以及eoffset₂-eoffset₀。

在一个实例中，偏移值计算模块406可进一步经配置以独立地或使用预测技术来用 信号发送上文所描述的16个频带偏移值(即，boffset₀，...，boffset₁₅)。在一个实例中，预 测技术可包含从boffset₀，...，boffset₁₅中的每一者计算boffset₀，...，boffset₁₅的平均值，且 在经编码位流中包含以下值：M_b＝Mean(boffset₀，...，boffset₁₅)；boffset₀-M_b；boffset₁- M_b；...；boffset₁₅-M_b。应注意，预测技术可与上文所描述的基于区和基于块的分类技 术结合使用。

滤波器模块410可经配置以接收经重构视频块、偏移值以及滤波器系数，且输出经 滤波视频块和滤波器系数语法。滤波器模块410可经配置以使用滤波系数执行滤波技术， 例如维纳滤波技术或在对HEVC的提议中描述的ALF技术。此外，滤波器模块410可 经配置以将偏移值添加到经重构视频块。滤波器模块410可经配置以使用视频数据的区 或块内的每一像素的单组系数将滤波技术应用于所述区或块，且将相应偏移值添加到所 述区或块的每一像素。如上文所描述，可基于与视频数据的区或块相关联的分类来确定 偏移值。

以此方式，视频编码器20、SAO/ALF模块45、滤波器系数计算模块402，SAO模 式选择模块404、像素分类模块406、偏移值分类模块408和/或滤波器模块410可经配 置以：接收视频数据块，其中所述视频数据块包含多个样本值；确定所述视频数据块的 一个或一个以上滤波器系数；至少部分基于所述一个或一个以上滤波器系数来确定所述 多个样本值中的每一者的相应偏移值；以及基于所述所确定的一个或一个以上滤波器系 数以及所述所确定的相应偏移值对所述视频数据块进行滤波。

图10是说明根据本发明的技术的应用滤波技术以及编码滤波器语法的实例的流程 图。虽然图10中的过程在下文是关于SAO/ALF模块45进行描述，但所述过程可由视 频编码器20、SAO/ALF模块45、滤波器系数计算模块402，SAO模式选择模块404、 像素分类模块406、偏移值分类模块408和/或滤波器模块410的任何组合来执行。

如图10中所说明，SAO/ALF模块45接收经重构视频块(1002)。可根据预测技术来 产生经重构视频块。在一些情况下，可在SAO/ALF模块45接收经重构视频块之前将解 块滤波器应用于经重构视频块。SAO/ALF模块45确定视频块的滤波器系数(1004)。滤 波器系数可包含AC系数、DC系数或AC和DC系数。滤波器系数可对应于维纳滤波器， 且可根据上文所描述的技术来产生ALF滤波器过程。SAO/ALF模块45确定视频块的样 本的偏移值(1006)。偏移值可对应于边缘偏移分类或频带偏移分类，且可使用上文所描 述的技术来确定。SAO/ALF模块45使用所产生的滤波器系数和偏移值对经重构视频块 进行滤波(1008)。对经重构视频块进行滤波可包含将SAO偏移添加到经重构视频块中的 像素值且/或使视频块内的所有像素值乘以一组滤波器系数。SAO/ALF模块45输出经滤 波经重构视频块(1010)。可将经滤波经重构视频块输出到参考帧缓冲器以用于后续预测。 SAO/ALF模块45产生滤波器语法(1012)。滤波器语法可包含上文所描述的语法元素中 的任一者且可进一步包含允许视频解码器确定滤波技术和与所述滤波技术相关联的滤 波器值的任何语法元素。SAO/ALF模块45输出所产生的滤波器语法(1014)。SAO/ALF 模块45可将滤波器语法输出到熵编码器，例如上文所描述的熵编码器56。

图11是说明对经编码视频序列进行解码的视频解码器30的实例的框图。在图11 的实例中，视频解码器30包含熵解码模块70、运动补偿模块72、帧内预测模块74、反 量化模块76、解块模块77、反变换模块78、参考帧缓冲器82、SAO和ALF模块79以 及求和器80。视频解码器30在一些实例中可执行一般与关于视频编码器20(查看图7) 所描述的编码回合互逆的解码回合。

熵解码模块70对经编码位流执行熵解码过程以检索变换系数的一维阵列。所使用 的熵解码过程取决于视频编码器20所使用的熵译码(例如，CABAC、CAVLC等)。由编 码器使用的熵译码过程可在经编码位流中用信号发送或可为预定过程。

一些实例中，熵解码模块70(或反量化模块76)可使用镜射由视频编码器20的熵编 码模块56(或量化模块54)使用的扫描模式的扫描来扫描所接收的值。虽然可在反量化模 块76中执行对系数的扫描，但将出于说明的目的将扫描描述为由熵解码模块70执行。 另外，虽然为了易于说明而展示为单独的功能模块，但熵解码模块70、反量化模块76 以及视频解码器30的其它模块的结构和功能性可彼此高度集成。此外，熵解码模块70 可对语法元素(例如，上文所描述的滤波器语法元素)进行熵解码。

反量化模块76将提供于位流中且由熵解码模块70解码的经量化变换系数反量化 (即，解量化)。反量化过程可包含常规的过程，例如，类似于针对HEVC所提出或由H.264 解码标准界定的过程。反量化过程可包含使用由视频编码器20针对CU计算的量化参数 QP，以确定应应用的量化程度以及同样的反量化程度。反量化模块76可在将系数从一 维阵列转换为二维阵列之前或之后将变换系数反量化。

反变换模块78将反变换应用于经反量化变换系数。在一些实例中，反变换模块78 可基于来自视频编码器20的信令或通过从一个或一个以上译码特性(例如，块大小、译 码模式等)推断变换来确定反变换。在一些实例中，反变换模块78可基于在包含当前块 的LCU的四叉树的根节点处的用信号发送的变换来确定要应用于当前块的变换。或者， 可在LCU四叉树中的叶节点CU的TU四叉树的根处用信号发送所述变换。在一些实例 中，反变换模块78可应用级联反变换，其中反变换模块78将两个或两个以上反变换应 用于正被解码的当前块的变换系数。

帧内预测模块74可基于用信号发送的帧内预测模式以及来自当前帧的先前经解码 块的数据来产生当前帧的当前块的预测数据。基于所检索的运动预测方向、参考帧索引 以及所计算的当前运动向量，运动补偿模块72产生当前部分的经运动补偿的块。这些 经运动补偿的块实质上重新产生用于产生残余数据的预测性块。运动补偿模块72可产 生经运动补偿的块，可能执行基于内插滤波器的内插。待用于具有子像素精度的运动估 计的内插滤波器的识别符可包含在语法元素中。运动补偿模块72可使用如由视频编码 器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。 运动补偿模块72可根据所接收的语法信息来确定由视频编码器20使用的内插滤波器且 使用所述内插滤波器来产生预测性块。

另外，在HEVC实例中，运动补偿模块72和帧内预测模块74可使用一些语法信息 (例如，由四叉树提供)来确定用于对经编码视频序列的帧进行编码的LCU的大小。运动 补偿模块72和帧内预测模块74还可使用语法信息来确定分裂信息，所述分裂信息描述 经编码视频序列的帧的每一CU如何分裂(且同样地，子CU如何分裂)。语法信息还可 包含指示如何对每一分裂进行编码的模式(例如，帧内预测或帧间预测，且对于帧内预测， 帧内预测编码模式)、用于每一经帧间编码PU的一个或一个以上参考帧(和/或含有参考 帧的识别符的参考列表)，以及其它信息，以对经编码视频序列进行解码。求和器80将 残余块与由运动补偿模块72或帧内预测模块74产生的对应预测块进行组合以形成经解 码块。

解块模块77可接收多个经重构视频块从而形成经重构视频的切片或帧，且对块边 界进行滤波以从切片或帧移除成块性假影。解块模块77可以类似于上文所描述的解块 模块43的方式进行操作。在一个实例中，解块模块77评估视频块的所谓的“边界强度”。 基于视频块的边界强度，可相对于相邻视频块的边缘像素对视频块的边缘像素进行滤 波。

SAO/ALF模块79接收滤波器语法和经重构视频块，且输出经滤波经重构视频块。 SAO/ALF模块79根据上文关于(例如)图9所描述的滤波器技术来操作。SAO/ALF模块 79可将经滤波视频块输出到参考帧缓冲器82和/或显示器(例如，图6的显示装置32)。 当经滤波视频块存储于参考帧缓冲器82中时，其可用作参考块以供后续运动补偿。

图12为说明视频解码器中所包含的实例性SAO/ALF模块的框图。SAO/ALF模块 79接收经重构视频块和滤波器语法(例如，模式语法、偏移值以及滤波器系数)以作为输 入，且输出经滤波视频块。SAO/ALF模块79可通过单独地使用SAO滤波技术、单独地 使用其它滤波技术(例如，维纳滤波技术或在HEVC的提议中所描述的ALF过程)，或通 过如上文所描述组合地使用SAO滤波技术与其它滤波技术，而产生经滤波视频块。在 大多数情况下，SAO/ALF模块79将执行与由视频编码器执行的滤波器过程一致的滤波。 因此，SAO/ALF模块79可经配置以使得其可执行上文关于SAO/ALF模块45所描述的 实例性滤波器技术中的任一者。出于简明起见，将不重复关于SAO/ALF模块45所描述 的滤波技术的详细描述。然而，应注意，SAO/ALF45可在确定滤波模式且执行滤波过 程时参考原始视频帧，而SAO/ALF模块79依赖于包含在经编码位流中的信息。图12 中所说明的实例性SAO/ALF模块79包含区/块分类模块702、像素分类模块704、滤波 器参数模块706以及滤波器模块708。

在一个实例中，区/块分类模块702可经配置以接收视频帧的分区以及分类的指示(例 如，基于块的分类或基于区的分类)，且基于与分区相关联的值对分区进行分类。举例来 说，区/块分类模块704可基于上文关于图4和5所描述的技术对像素进行分类。举例来 说，区/块分类模块702可接收4×4视频块，且使用上文所描述的方向和活动性计算将所 述块分类为类别0到15中的一者。应注意，在一些情况下，所述分类值可包含于滤波 器语法中。

在一个实例中，像素分类模块704可经配置以从滤波器语法接收SAO技术的指示， 且基于经重构视频块的像素值对像素进行分类。在一个实例中，像素分类模块704可基 于上文关于图1到3所描述的技术对像素进行分类。此外，如上文所描述，可基于与视 频数据的区或块相关联的分类来确定像素分类。因此，在一些情况下，像素分类模块704 可接收基于块的分类且基于所述分类来确定SAO技术。应注意，在一些情况下，所述 像素分类值可包含于滤波器语法中。

滤波器参数模块706可经配置以接收分区的一组偏移类型值以及分类，且确定对应 的滤波器系数和偏移值以及滤波器系数。滤波器参数模块706可经配置以基于所确定的 分类来确定AC和/或DC滤波器系数。在另一实例中，AC和/或DC滤波器系数可包含 于经编码位流中的滤波器语法中。此外，滤波器系数可预先计算，且滤波器系数计算模 块706可经配置以基于与区或块相关联的分类来查找滤波器系数。

此外，如上文关于图9的实例中所描述，偏移值语法可基于显式地用信号发送每一 偏移值的信令技术或利用偏移值之间的相关性的技术。滤波器参数模块706可经配置以 通过执行与上文所描述的译码过程中的任一者互逆的译码过程来确定偏移值。

滤波器模块708可经配置以接收经重构视频块、偏移值、滤波器系数、偏移值且输 出经滤波视频块。滤波器模块708可经配置以使用滤波系数执行滤波技术，例如维纳滤 波技术或在HEVC的提议中描述的ALF技术。此外，滤波器模块708可经配置以将偏 移值添加到经重构视频块。滤波器模块708可经配置以使用视频数据的区或块的单组系 数将滤波技术应用于所述区或块，且将相应偏移值添加到所述区或块的每一像素。

以此方式，视频解码器30、SAO/ALF模块79、区/块分类模块702，像素分类模块 704、滤波器参数模块706和/或滤波器模块708可经配置以：接收视频数据块，其中所 述视频数据块包含多个样本值；确定所述视频数据块的一个或一个以上滤波器系数；至 少部分基于所述一个或一个以上滤波器系数来确定所述多个样本值中的每一者的相应 偏移值；以及基于所述所确定的一个或一个以上滤波器系数以及所述所确定的相应偏移 值对所述视频数据块进行滤波。

图13是说明根据本发明的技术的应用滤波技术的实例的流程图。虽然图13中的过 程在下文是关于SAO/ALF模块79进行描述，但所述过程可由视频解码器30、SAO/ALF 模块79、区/块分类模块702，像素分类模块704、滤波器参数模块706和/或滤波器模块 708的任何组合来执行。

如图13中所说明，SAO/ALF模块79接收经重构视频块(1302)。可根据预测技术来 产生经重构视频块。在一些情况下，可在SAO/ALF模块79接收经重构视频块之前将解 块滤波器应用于经重构视频块。SAO/ALF模块79接收视频块的滤波器系数(1304)。滤 波器系数可包含AC系数、DC系数或AC和DC系数。滤波器系数可对应于维纳滤波器， 且可根据上文所描述的技术来产生ALF滤波器过程。SAO/ALF模块79接收视频块的样 本的偏移值(1306)。偏移值可对应于边缘偏移分类或频带偏移分类，且可使用上文所描 述的技术来确定。SAO/ALF模块45使用所接收的滤波器系数和偏移值对经重构视频块 进行滤波(1308)。对经重构视频块进行滤波可包含将SAO偏移添加到经重构视频块中的 像素值且/或使视频块内的所有像素值乘以一组滤波器系数。SAO/ALF模块79输出经滤 波经重构视频块(1310)。可将经滤波经重构视频块输出到参考帧缓冲器以用于后续预测。

视频编码器20可实施本发明的用于在视频译码过程中执行样本自适应偏移和自适 应环路滤波器过程的技术中的任一者或全部。同样，视频解码器30可实施用于在视频 译码过程中执行样本自适应偏移和自适应环路滤波器过程的这些技术中的任一者或全 部。如本发明中所描述的视频译码器可指代视频编码器或视频解码器。类似地，视频译 码单元可指代视频编码器或视频解码器。同样，视频译码可指代视频编码或视频解码。

在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实 施。如果以软件实施，那么所述功能可作为一个或一个以上指令或代码存储在计算机可 读媒体上或经由计算机可读媒体进行传输且由基于硬件的处理单元执行。计算机可读媒 体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通 信媒体包含促进(例如)根据通信协议将计算机程序从一处传递到另一处的任何媒体。以 此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如 信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以 上处理器存取以检索指令、代码和/或数据结构来用于实施本发明中所描述的技术的任何 可用媒体。计算机程序产品可包含计算机可读媒体。

举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM 或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储 呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可 适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双 绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其 它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微 波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒 体不包含连接、载波、信号或其它瞬时媒体，而是针对于非瞬时的、有形存储媒体。如 本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘 (DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地重现数据，而光盘使用激光光学地重 现数据。以上各者的组合也应包含在计算机可读媒体的范围内。

可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路 (ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上 处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合 于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中 所描述的功能性可提供于经配置以用于编码及解码的专用硬件模块和/或软件模块内，或 并入组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元 件中。

本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或 IC组(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示 的技术的装置的若干功能性方面，但不一定需要通过不同的硬件单元来实现。而是，如 上文所描述，各种单元可联合合适的软件和/或固件而组合于编解码器硬件单元中或通过 互操作的硬件单元的集合(包含如上文所描述的一个或一个以上处理器)来提供。

已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。