提升硬件效率的环路滤波方法以及环路滤波装置

摘要

供视讯编码系统进行重建视讯资料的环路滤波器处理的装置或方法。视讯系统接收一影像单元的重建视讯资料。环状滤波器用于当前编码树单元一去区块边界上方重建像素。为了降低行缓冲器需求以及/或减少影像单元的环路滤波器切换，样值偏移补偿(SAO)参数边界以及亮度以及色度内容的空间环路滤波器限缩边界经全面考量后决定。在一种实施方式中，SAO参数边界以及空间环路滤波器限缩边界分亮度以及色度内容对齐。另一种实施方式中，亮度以及色度内容的SAO参数边界以及空间环路滤波器限缩边界全数对齐。

说明书

技术领域

本发明关于视讯编码系统。特别是，本发明关于环路滤波(loop filter)方法与装置，其中包括去块滤波器(Deblocking Filter，缩写DF)、样值偏移补偿(Sample AdaptiveOffset，缩写SAO)、样本滤波补偿(Adaptive Loop Filter，缩写ALF)或其他环路滤波器的结合，提升视讯编码系统的重建视讯资料的视觉质量。

背景技术

动作估算(motion estimation)是一种有效的帧间编码(Inter-frame coding)技术，利用视讯序列中的时间冗余信息(temporal redundancy)。动作补偿(motioncompensation)的帧间编码已广泛应用在各种国际视讯编码标准。应用在各种编码标准的动作估算常是以区块(block)为基础，使用的动作信息(motion information)(如，编码模式(coding mode)以及动作矢量(motion vector))对应每一宏块(macroblock)或类似区块结构判断得出。此外，帧内编码(Intra-coding)也是适应性采用(adaptively applied)，其中图片的处理不参考其他图片。帧间预测或帧内预测残值(Inter-predicted or Intra-predicted residues)通常进一步进行转换(transformation)、量化(quantization)以及熵编码(entropy coding)，以产生压缩的视讯位元流。在编码过程中，编码损伤(codingartifacts)发生，特别是在量化程序中。为了降低编码损伤，较新的编码系统需在重建的视讯上进行额外的处理，以提升图片质量。额外的处理常设计成环路内操作(in-loopoperation)，以使得编码器和解码器可导出同样的参考图片，提升系统效能。

图1A为结合环路内处理的帧间/帧内视讯编码系统的一种实施方式。对于帧间预测(Inter prediction)而言，动作估算(Motion Estimation，缩写ME)/动作补偿(MotionCompensation，缩写MC)112用于基于其他单一画面或多个画面提供预测资料。切换器114选择帧内预测(Intra Prediction)110或帧间预测资料，且选定的预测资料供应至加法器116形成预测误差(prediction error)，又称残值(residues)。预测误差再由转换器(Transformation，缩写T)118以及其后的量化器(Quantization，缩写Q)120处理。转换以及量化后的残值再由熵编码器(Entropy Encoder)122编码，以形成对应压缩的视讯资料的视讯位元流。转换参数(transform coefficients)相关的位元流再填入辅助信息(sideinformation)(如，动作(motion)、模式(mode)、或其他与影像区域先关的信息)。辅助信息亦可用于熵编码，以减少频宽需求。因此，辅助信息相关的资料可如图1A所示供应给熵编码器122。使用帧间预测模式时，单一参考图片或多个参考图片也必须于编码器端重建。因此，转换以及量化后的残值交由反量化器(Inverse Quantization，缩写IQ)124以及反转换器(Inverse Transformation，缩写IT)126处理，使残值复原(recover)。复原后的残值再由重建器(Reconstruction，缩写REC)128加回预测资料136，以重建视讯资料(reconstructvideo data)。重建的视讯资料可存入参考图片缓冲器(Refernce Picture Biffer)134、且用于预测其他画面。

如图1A所示，接收的视讯资料在编码系统内经一连串的处理。来自重建器128的重建视讯资料可能因一连串的处理有多种损坏(impairment)。因此，重建的视讯资料在存入参考图片缓冲器134之前，更被施以多种环路内处理，提升视讯质量。在高效视讯编码(HighEfficiency Video Coding，缩写HEVC)标准的发展中，去块滤波器(Deblocking Filter，缩写DF)130、样值偏移补偿(Sample Adaptive Offset，缩写SAO)131、以及样本滤波补偿(Adaptive Loop Filter，缩写ALF)132已发展来提升图片质量。环路内滤波器信息(in-loop filter information)可能需并入位元流中，使得译码器可适当地复原所需信息。因此，出自样值偏移补偿(SAO)以及样本滤波补偿(ALF)的环路内滤波器信息将供应给熵编码器122，结合至位元流。图1A中，去块滤波器130首先施用于重建视讯(reconstructedvideo)，样值偏移补偿(SAO)131再施用于去块滤波(DF)处理后的视讯，样本滤波补偿(ALF)132再施用于样值偏移补偿(SAO)处理后的视讯。然而，去块滤波器(DF)、样值偏移补偿(SAO)、以及样本滤波补偿(ALF)的顺序可调。图1A所示系统可对应高效视讯编码(HEVC)系统(样本滤波补偿(ALF)除外)、或视讯编码标准AVS2(此由中国团队发展的视讯与音讯编码标准)。高效视讯编码(HEVC)发展中已评估过样本滤波补偿(ALF)，但样本滤波补偿(ALF)在目前高效视讯编码(HEVC)尚未被采用。

图1B为系统方块图，其对应包括去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)的视讯译码器。由于编码器可包括用于视讯资料重建的本地译码器(localdecoder)，因此部分译码器元件(除了熵译码器142)已经使用在编码器中。此外，译码器端尚需求动作补偿144。切换器146选择帧间预测或帧内预测，且选定的预测资料用于重建器(REC)128，以与复原的残值结合。除了对压缩视讯资料执行熵译码，熵译码器142也负责辅助信息的熵译码，为对应区块提供辅助信息。例如，帧内模式信息供应至帧内预测110、帧间模式信息供应至动作补偿144、调适偏移信息供应至样值偏移补偿(SAO)131、样本滤波补偿信息供应至样本滤波补偿(ALF)132、且残值供应至反量化器(IQ)124。残值经反量化(IQ)124、反转换(IT)126以及接续的重建程序处理，重建出视讯资料。再一次地，重建器(REC)128提供的重建视讯资料是经过如图1B所示的包括反量化(IQ)124、反转换(IT)126的一连串处理后，存在强度偏移(intensity shift)。重建视讯资料更由去块(DF)130、样值偏移补偿(SAO)131、以及样本滤波补偿(ALF)132处理。

高效视讯编码(HEVC)的编码程序系根据最大编码单元(Logic Coding Unit，缩写LCU，又称编码树单元(Coding Tree Unit，缩写CTU))施行。最大编码单元采四分树(quadtree)适应性地分割成(adaptively partitioned)多个编码单元。高效视讯编码(HEVC)中，去块滤波(DF)作用在8x8区块范围。对每个8x8区块，跨垂直区块边界的水平滤波首先施行，接着施行跨水平区块边界的垂直滤波。图2A举例说明高效视讯编码(HEVC)亮度(luma)部分的去块(DF)滤波处理。区块边界210两侧各需考虑4个边界像素。边界可对应垂直边界或水平边界。边界像素标号为q0、q1、q2与q3以及p0、p1、p2与p3。q0与p0两个像素紧邻该边界。亮度区块边界的处理过程中，各侧的四个像素用于滤波参数推导，且各侧多达3个像素(即，p0、p1、p2或q0、q1、q2)可经滤波修正。关于跨垂直区块边界的水平滤波，未滤波的重建像素用于滤波器参数推导，且也用作滤波的原始像素。关于跨水平区块边界的垂直滤波，去块滤波(DF)处理过的中继像素(即，水平滤波后的像素)于滤波器参数推导，且也用作滤波的原始像素。高效视讯编码(HEVC)色度(chroma)部份的去块滤波(DF)处理中，区块边界各侧使用到两个边界像素，且各侧仅一像素(即，p0或q0)被修正。

图2B举例说明视讯编码标准AVS2亮度内容(luma component)的去块滤波(DF)处理，其中涉及区块边界220各侧三个边界像素。边界像素标号为q0、q1、q2以及p0、p1与p2，两个像素q0与p0紧邻该边界。至于色度区块边界的去块滤波(DF)处理，各侧的两个像素用于滤波器参数推导。对应视讯编码标准AVS2，去块滤波(DF)程序可修正涉及的所有边界像素。换句话说，区块边界各侧的三个亮度像素以及两个色度像素可被调整。

根据高效视讯编码(HEVC)以及视讯编码标准AVS2所作的样值偏移补偿(SAO)型式图解于第3图，有四种样值偏移补偿(SAO)型式对应0度、90度、135度以及45度四种指向。样值偏移补偿(SAO)对每个像素作环路内滤波(per-pixel in-loop filtering)。样值偏移补偿(SAO)参数系对应各最大编码单元(LCU)或编码树单元(CTU)作更新。对应取样适应偏移(SAO)的指向型式，首先实施像素分类，将像素归类为多组(groups，又称为种类(categories)或等级(classes))，如根据表格1的分类状况。分类后，每个重建并去块滤波(DF)的像素基于选定的指向型式以及分类结果由一偏移数值补偿。

表格1

种类状况1C<两个相邻像素2C<其一相邻像素&&C＝＝另一邻像素3C>其一邻像素&&C＝＝另一邻像素4C>两个相邻像素0不为上述任一状况

如表格1所示，样值偏移补偿(SAO)分类状况的实施可将中央像素(C)与两个相邻像素分开比较。分类状况检查中央像素是否大于、小于或等于所对应的相邻像素。三阶比较结果可用两位元(2-bit)数据表示。

样值偏移补偿(SAO)参数(如，像素偏移数值(pixel offset)以及样值偏移补偿型式(SAO type))可对应各编码树单元(CTU)适应决定。对于高效视讯编码(HEVC)而言，样值偏移补偿(SAO)参数范围与编码树单元(CTU)相同。参数边界(parameter boundary)内，所有像素的样值偏移补偿(SAO)程序共享同样的样值偏移补偿(SAO)型式以及偏移数值。因为样值偏移补偿(SAO)应用于去块滤波(DF)后的像素，当前编码树单元(CTU)的样值偏移补偿程序(SAO process)必须等到当前编码树单元(CTU)的去块滤波(DF)程序完成后。然而，编码树单元(CTU)边界周遭的像素不能作去块滤波(DF)处理，直至编码树单元(CTU)边界旁位于该编码树单元(CTU)边界另一侧的重建视讯资料备妥。基于如此资料相依性，视讯编码标准AVS2使用偏移的样值偏移补偿(SAO)参数边界。图4根据视讯编码标准AVS2举例说明样值偏移补偿(SAO)参数边界的偏移。样值偏移补偿(SAO)参数边界的实施例410对应高效视讯编码(HEVC)，对应编码树单元(CTU)边界。样值偏移补偿(SAO)参数边界420对应视讯编码标准AVS2，其中样值偏移补偿(SAO)参数边界相对编码树单元(CTU)边界向左位移xS、且向上位移yS。进一步而言，视讯编码标准AVS2中，xS＝4且yS＝4。

样本滤波补偿(ALF)132为视讯编码工具，用于提升图片质量。样本滤波补偿(ALF)已在高效视讯编码(HEVC)发展阶段做过评估。然而，样本滤波补偿(ALF)并未使用在目前高效视讯编码(HEVC)标准上，却已被结合入视讯编码标准AVS2。特别是如图5所示，17抽头(17-tap)对称样本滤波补偿(ALF)用于视讯编码标准AVS2。17抽头对称样本滤波补偿(ALF)意味当前像素的滤波操作可能需要下方三行(lines)的资料。若该些行来自另一个编码树单元(CTU)(特别是接续的编码树单元列(CTU row)的该编码树单元(CTU))，样本滤波补偿(ALF)程序必须延迟，直至获得后续的相关资料。以上特征意味着需配置行缓冲器(linebuffer)，以瞬时储存当前编码树单元(CTU)的相关资料，供接续程序使用。为了应付资料相依议题，视讯编码标准AVS2采用样本滤波补偿(ALF)虚拟边界(virtual boundary)，以限制样本滤波补偿(ALF)程序不跨越该虚拟边界。图6根据视讯编码标准AVS2举例说明亮度内容的样本滤波补偿(ALF)虚拟边界，其中是关于选定像素(如，像素a、b、c与d)的样本滤波补偿(ALF)程序。行(line)610为编码树单元(CTU)X与编码树单元(CTU)Y之间的编码树单元(CTU)边界。行620为亮度的样本滤波补偿(ALF)虚拟边界(即yC-4)，根据视讯编码标准AVS2位于编码树单元(CTU)边界(即yC)上方，距离四行(即位于yC-4)。关于色度内容，根据视讯编码标准AVS2(参阅：Information Technology–Advanced Media Coding Part2:VideoFinal Committee Draft,Audio and Video Coding Standard Workgroup of China,Feb.7,2015,Document:N2120.D3)，样本滤波补偿(ALF)虚拟边界位于编码树单元(CTU)边界上方，距离3行(即位于yC-3)。像素a、b与c的样本滤波补偿(ALF)程序在编码树单元(CTU)X处理阶施行。此外，像素a、b与c的样本滤波补偿(ALF)程序仅使用虚拟边界上方的信息。至于虚拟边界下方的像素d，其样本滤波补偿(ALF)程序是在编码树单元(CTU)Y处理阶实施，且仅使用虚拟边界下方的信息。虚拟边界的使用将抑制资料相依性，降低行缓冲的容量需求。

如上述内容，去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序涉及邻资料。在高效视讯编码(HEVC)以及视讯编码标准(AVS2)，编码树单元(CTU)已用作编码程序单元。去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序跨编码树单元(CTU)边界施行时，资料相依性必须被谨慎管理，最小化行缓冲器。因为去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序相继施行在各跨编码树单元(CTU)，对应的硬件实践必须设计为管线化(pipeline)型式。图7对应视讯编码标准AVS2译码器，举例说明去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序的资料相依性。采用编码树单元(CTU)的程序顺序700图解于图7，且编码树单元(CTU)X以及编码树单元(CTU)Y之间的编码树单元(CTU)边界标号705。如第7图所示，来自重建方块710的重建视讯由去块滤波器(DF)720、样值偏移补偿(SAO)730以及样本滤波补偿(ALF)740处理。样本滤波补偿(ALF)740的输出储存于译码画面缓冲器。

去块滤波器(DF)720、样值偏移补偿(SAO)730以及样本滤波补偿(ALF)740程序对应的处理状态分别标号725、735以及745。图形725显示编码树单元(CTU)X的去块滤波器(DF)处理阶结束时的去块滤波(DF)处理状态。行722上方的亮度像素以及行724上方的色度像素已完成去块滤波(DF)。行722下方的亮度像素以及行724下方的色度像素无法在编码树单元(CTU)X的去块滤波器(DF)处理阶中被处理，因为区块边界另一侧的像素(即编码树单元(CTU)边界以下)尚不可得。图形735显示编码树单元(CTU)X的样值偏移补偿(SAO)处理阶结束时的样值偏移补偿(SAO)处理状态。行732上方的亮度像素以及行734上方的色度像素已完成样值偏移补偿(SAO)，其中行732与行734对齐。图形745显示编码树单元(CTU)X的样本滤波补偿(ALF)处理阶结束时的样本滤波补偿(ALF)处理状态。类似地，行732下方的亮度像素以及行734下方的色度像素尚无法作编码树单元(CTU)X的样值偏移补偿(SAO)，因为其中涉及编码树单元(CTU)Y标志的样值偏移补偿(SAO)参数，其尚未由可变长度译码(variable length decode，VLD)处理。行742(亮度的样本滤波补偿(ALF)虚拟边界)上方的亮度像素经样本滤波补偿(ALF)处理。行744(色度的样本滤波补偿(ALF)虚拟边界)上方的色度像素基于视讯编码标准AVS2草案可经样本滤波补偿(ALF)处理。然而，色度内容的样本滤波补偿(ALF)不能在编码树单元(CTU)X处理阶中对色度行A至D执行。例如，像素746的样本滤波补偿(ALF)程序将使用像素748。因为像素748位在样值偏移补偿(SAO)边界734下方，色度像素748在编码树单元(CTU)X处理阶尚未作样值偏移补偿(SAO)处理。因此，虽然位于色度的样本滤波补偿(ALF)虚拟边界上方，色度像素746仍无法作样本滤波补偿(ALF)处理。因此，像素748上方(即行D上方)已作过样值偏移补偿(SAO)处理的六行必须储存至缓冲器，稍后在编码树单元(CTU)Y处理阶作行A至D的样本滤波补偿(ALF)程序时使用，其中，行A上方三行已经在编码树单元(CTU)X处理阶作过样本滤波补偿(ALF)，但也需要使用在行A的样本滤波补偿(ALF)程序。

硬件实践上，图片宽度的六行色度取样必须储存于行缓冲器，一般使用嵌入式存储器实现，且如此应用可能需要高芯片成本。因此，期望发展一种方法与装置，用于降低环路滤波程序(如去块滤波器(DF)、样值偏移补偿(SAO)、样本滤波补偿(ALF)程序、其他环路滤波程序或其组合)需要的行缓冲器数量。此外，针对不同的样值偏移补偿(SAO)参数边界，系统将在不同的样值偏移补偿(SAO)参数间切换。如此一来会增加系统复杂度以及耗电量。因此，期望发展出具有适当系统参数设计的环路滤波程序(去块滤波器(DF)、样值偏移补偿(SAO)、样本滤波补偿(ALF)程序其他环路滤波程序或其组合)，降低行缓冲需求、系统复杂度以及系统耗电量或获得以上任何改良的结合好处。在另一观点中，本领域期望发展出一种方法与装置，以高效以及节省成本的方式作包括去块滤波器(DF)、样值偏移补偿(SAO)、样本滤波补偿(ALF)、其他环路滤波程序或其组合的环路滤波处理，供结合如此环路滤波处理的视讯编码系统应用。

发明内容

供视讯编码系统进行重建视讯资料的环路滤波器处理的方法以及装置。视讯编码系统接收影像单元对应的重建视讯资料、并逐一影像单元地对重建视讯资料作环路滤波处理。环状滤波器处理施行在当前影像单元一去块边界上方的重建像素。去块滤波器(DF)程序施行在重建像素上。去块滤波(DF)处理在两个影像单元之间的一影像单元边界对应的一水平边线的各侧修正多达M个亮度像素以及N个色度像素。根据样值偏移补偿(SAO)参数，对去块滤波(DF)处理过的亮度像素以及去块滤波(DF)处理过的色度像素进行样值偏移补偿(SAO)处理。样值偏移补偿(SAO)参数边界内的全数或部分像素共享同样的样值偏移补偿参数(SAO)。当前影像单元的亮度样值偏移补偿(SAO)参数边界由当前影像单元的底边向上位移yS行，且当前影像单元的色度样值偏移补偿(SAO)参数边界由当前影像单元的底边向上位移ySC行。根据一或多个亮度空间环路滤波器参数，对一亮度空间环路滤波器限缩边界上方已经样值偏移补偿处理(SAO)过的亮度像素作空间环路滤波器处理。亮度空间环路滤波器限缩边界自当前影像单元的底边向上位移yV行。根据一或多个色度空间环路滤波器参数对一色度空间环路滤波器限缩边界上方已经样值偏移补偿(SAO)处理过的色度像素作空间环路滤波器处理。该色度空间环路滤波器限缩边界自当前影像单元的底边向上位移yVC行。为了降低样值偏移补偿(SAO)参数切换的计算复杂度、并减少行缓冲器需求，yS、ySC、yV以及yVC系根据M与N设定，yS与yV大于M，ySC与yVC大于N，yS等于yV，且ySC等于yVC。

各影像单元可对应一编码树单元(CTU)。空间环路滤波器程序可对应样本滤波补偿(ALF)程序。

在一种实施方式中，yS与yV等于(M+1)且ySC与yVC等于(N+1)。在另一种实施方式中，yS、yV、ySC以及yVC等于(Max(M,N)+1)。在更另一种实施方式中，yS以及yV等于(M+m)且ySC以及yVC等于(N+n)，且m以及n为大于1的整数。在更另一种实施方式中，yS、yV、ySC以及yVC等于(Max(M,N)+m)且m为大于1的整数。例如，以下以M＝3以及N＝2为例。一种实施方式中，yS以及yV等于4且ySC以及yVC等于3。另一种实施方式中，yS、yV、ySC以及yVC等于4。更另一种实施方式中，yS以及yV等于(3+m)且ySC以及yVC等于(2+n)，且m以及n为大于1的整数。更另一种实施方式中，yS、yV、ySC以及yVC等于(3+m)，且m为大于1的整数。

附图说明

图1A举例说明一帧间/帧内视讯编码系统，其中结合环路滤波器，所述环路滤波器包括去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)用以处理重建的视讯资料；

图1B为系统方块图，图解包括去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)的视讯译码器；

图2A图解根据高效视讯编码(HEVC)对亮度内容作去块滤波器(DF)处理所涉及的一区块边界两侧的像素；

图2B图解根据视讯编码标准AVS2对亮度内容作去块滤波器(DF)处理所涉及的一区块边界两侧的像素；

图3图解基于3x3视窗所作的像素分类，有四种指向形式，对应0度、90度、135度以及45度；

图4根据视讯编码标准AVS2举例说明样值偏移补偿(SAO)边界位移；

图5图解用于视讯编码标准AVS2的17抽头(17-tap)对称样本滤波补偿(ALF)；

图6根据视讯编码标准AVS2图解亮度内容的样本滤波补偿(ALF)虚拟边界；

图7根据视讯编码标准AVS2举例说明去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)的资料相依性；

图8举例说明去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序的处理状态，其中标示环路滤波器相关的边界参数；

图9根据本案第一种实施方式举例说明一当前编码树单元(CTU)处理阶结束时去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序的处理状态；

图10根据本案第二种实施方式举例说明一当前编码树单元(CTU)处理阶结束时去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序的处理状态；

图11根据本案第三种实施方式举例说明一当前编码树单元(CTU)处理阶结束时去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序的处理状态；

图12根据本案第四种实施方式举例说明一当前编码树单元(CTU)处理阶结束时去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序的处理状态；以及

图13结合本案一种实施例举例说明一视讯编码系统的流程图，所述视讯系统系对齐环路滤波器相关边界，以降低行缓冲器需求。

图中，

110～帧内预测；112～动作估算/动作补偿；

114～切换器；116～加法器；

118～转换；120～量化；

122～熵编码；124～反量化；

126～反转换；128～重建器；

130～去块滤波(DF)；131～样值偏移补偿(SAO)；

132～样本滤波补偿(ALF)；134～参考图片缓冲器；

136～预测资料；142～熵译码；

144～动作补偿；210、220～区块边界；

410、420～样值偏移补偿(SAO)参数边界；

610～编码树单元(CTU)边界；

620～亮度样本滤波补偿(ALF)虚拟边界；

700～采用编码树单元(CTU)的程序顺序；

705～编码树单元(CTU)边界；710～重建；

720～去块滤波(DF)；722、724～边界；

725～去块滤波(DF)后处理状态；

730～样值偏移补偿(SAO)；732、734～边界；

735～样值偏移补偿(SAO)后处理状态；

740～样本滤波补偿(ALF)； 742、744～边界；

745～样本滤波补偿(ALF)后处理状态；

746、748～像素；

805～编码树单元(CTU)边界； 822、824～边界；

825～去块滤波(DF)后处理状态； 832、834～边界；

835～样值偏移补偿(SAO)后处理状态；

842、844～边界；

845～样本滤波补偿(ALF)后处理状态；

925～去块滤波(DF)后处理状态； 934～边界；

935～样值偏移补偿(SAO)后处理状态；

945～样本滤波补偿(ALF)后处理状态；

1025～去块滤波(DF)后处理状态；

1035～样值偏移补偿(SAO)后处理状态；

1044～边界；1045～样本滤波补偿(ALF)后处理状态；

1125～去块滤波(DF)后处理状态；

1132、1134～边界；1135～样值偏移补偿(SAO)后处理状态；

1142、1144～边界；1145～样本滤波补偿(ALF)后处理状态；

1225～去块滤波(DF)后处理状态；

1232、1234～边界；1235～样值偏移补偿(SAO)后处理状态；

1242、1244～边界；1245～样本滤波补偿(ALF)后处理状态；

1310…1360～步骤；

a、b、c、d～像素；

A…G～行A…G；M、N～像素量；

p0…p3、q0…q3～像素；以及

yS、ySC、yV、yVC～～位移量。

具体实施方式

以下叙述列举本发明的较佳实施方式。以下叙述目的是介绍本发明的基本概念，并非意图限制本发明内容。实际发明范围应依照申请专利范围来界定。

为了方便讨论不同环路处理阶之间的资料相依性，本揭露书介绍边界参数相关的环路滤波器。图8再现图7的去块滤波器(Deblocking Filter，DF)、样值偏移补偿(SampleAdaptive Offset，SAO)以及样本滤波补偿(Adaptive Loop Filter，ALF)程序相关处理状态，其中环路滤波器相关的边界参数标示其中。去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)的处理状态分别标号825、835以及845。图形825显示编码树单元(CTU)X于去块滤波器(DF)处理阶末端的去块滤波(DF)处理状况。行822(即亮度去块滤波器边界)上方的亮度像素以及行824(即色度去块滤波器边界)上方的色度像素经去块滤波器(DF)处理。区块边界各侧可在去块滤波器(DF)程序中更新的亮度像素最大数量为M，区块边界各侧可在去块滤波器(DF)程序中更新的色度像素最大数量为N。图8中，编码树单元(CTU)界线805也是区块边界。图形835显示编码树单元(CTU)X于样值偏移补偿(SAO)处理阶末端的样值偏移补偿(SAO)处理状况。行832(即亮度的样值偏移补偿(SAO)边界)上方的亮度像素以及行834(即色度的样值偏移补偿(SAO)边界)上方的色度像素经样值偏移补偿(SAO)处理。基于视讯编码标准AVS2提出的样值偏移补偿(SAO)参数边界位移技术，行832与行834对齐。为了避免在各编码树单元(CTU)的处理阶中发生样值偏移补偿(SAO)参数切换，样值偏移补偿(SAO)参数边界在亮度部分位移(xS，yS)，且在色度部分位移(xSC，ySC)。换句话说，对应左上方点为(xC，yC)的编码树单元(CTU)，样值偏移补偿(SAO)参数的上方边界为亮度内容位移至(yC-yS)、并为色度内容位移至(yC-ySC)，详细参阅第8图。类似地，样值偏移补偿(SAO)参数边界位移也实施在x方向。图形845显示编码树单元(CTU)X于样本滤波补偿(ALF)处理阶末端的样本滤波补偿(ALF)处理状况。行842(即亮度的样本滤波补偿(ALF)虚拟边界)上方的亮度像素经样本滤波补偿(ALF)处理。行844(即色度的样本滤波补偿(ALF)虚拟边界)上方的色度像素可经样本滤波补偿(ALF)处理。然而，色度行D无法在编码树单元(CTU)X处理阶实施色度部分的样本滤波补偿(ALF)处理。对应亮度部分的样本滤波补偿(ALF)虚拟边界为(yC-yV)、对应色度部分的样本滤波补偿(ALF)虚拟边界为(yC-yVC)，其中，yV与yVC分别对应亮度及色度内容的边界垂直位移。对视讯编码标准AVS2草案而言，亮度以及色度内容的边界像素数量(即M与N)分别更新为3与2。亮度以及色度部分的样值偏移补偿(SAO)参数边界垂直位移皆设为4。另一方面，亮度以及色度内容的样本滤波补偿(ALF)虚拟边界的垂直位移(即yV与yVC)分别设为4与3。

以下叙述第一实施例。为了同时调降行缓冲器的尺寸需求、并调降一编码树单元的处理阶中样值偏移补偿(SAO)参数切换的运算复杂度，环路滤波器相关边界需要作以下式(1)与(2)全面考量：

xS＝yS＝yV＝M+1，且 (1)

xSC＝ySC＝yVC＝N+1。 (2)

换句话说，关于样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序，对应亮度内容的边界垂直位移是(M+1)、且对应色度内容的边界垂直位移是(N+1)。编码树单元X处理阶末端的去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序的处理状态分别在图9标号为925、935以及945。环路处理边界大致与图8相同，除了色度内容的样值偏移补偿(SAO)参数边界934在图8色度内容的样值偏移补偿(SAO)参数边界834下方一行。与图8相同的环路滤波器相关边界采同样标号。如图9所示，相对于第8图色度部分的样值偏移补偿(SAO)参数边界834，色度部分的样值偏移补偿(SAO)参数边界934向下位移一行。因此，色度行A至D的色度样本滤波补偿(ALF)处理可被执行，色度行D为根据图9设计作样值偏移补偿(SAO)处理。由于色度行D的该行的样值偏移补偿(SAO)处理资料不可得问题解决，因此不再需要原本配置来储存样值偏移补偿(SAO)处理后资料的六行空间。此外，编码树单元(CTU)之中的样值偏移补偿(SAO)参数切换频率也被降低。

在以上讨论中，一影像划分为多个编码树单元，且各编码树单元划分为一或多个编码单元(CUs)。去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序施行在区块边界内，降低区块边界上、或附近的伪像(artifacts)。对其中编码树单元(CTUs)以水平扫描顺序作处理编码系统而言，编码树单元(CTU，又称区块范围)为界的去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序将需要行缓冲器储存跨编码树单元列(CTU row)边界的信息。然而，影像也可被划分作其他影像单元，如宏块(macroblock)或磁砖状(tile)，以作编码程序。影像单元边界(image unit boundary)同样面临编码树单元(CTU)边界面临的行缓冲器议题。

如上述的样本滤波补偿(ALF)使用例子，本发明可应用在任何空间环路滤波器(spatial loop filter)。例如，具有一组空间环路滤波器参数的二维有限冲激响应(finite impulse response，缩写FIR)滤波器可用于取代样本滤波补偿(ALF)。为了降低空间环路滤波处理的行缓冲器需求，限缩的空间环路滤波边界可用于限制空间环路滤波处理仅使用一影像单元处理阶的限缩空间环路滤波边界中经样值偏移补偿(SAO)处理过的资料。例如，限缩的空间环路滤波器边界可位于编码树单元(CTU)边界上方，距离y行。空间环路滤波器将应用于限缩的空间环路滤波器边界上方经样值偏移补偿(SAO)处理过的像素，且将仅会使用限缩的空间环路滤波器边界上方经样值偏移补偿(SAO)处理过的像素作为空间环路滤波器的输入。

以下叙述第二种实施方式。常见的视讯编码系统中，环路滤波器获得的结果可输出至外部存储器，作为参考画面或显示画面。为了利于一般存储器存取行为，更提升存储器存取效能，倾向采以下式(3)设定环路滤波器：

xS＝yS＝yV＝xSC＝ySC＝VC＝MAX(M,N)+1 (3)

换句话说，无论亮度或色度内容，样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序的边界垂直位移均设定为(MAX(M,N)+1)。其中，MAX(M,N)指的是M、N中数值较大者。去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序的处理状态分别在图10标号1025、1035以及1045。环路滤波器相关边界与图8所示内容大致相同，除了色度内容的样本滤波补偿(ALF)虚拟边界1044位于图8色度内容的色度样本滤波补偿(ALF)虚拟边界844上方一行。与图8所示相同的环路滤波器相关边界也采同样编号。如图10所示，亮度以及色度内容的样值偏移补偿(SAO)参数边界以及样本滤波补偿(ALF)虚拟边界彼此对齐。因此，为了应付色度行D不可得的样值偏移补偿(SAO)处理资料而配置来储存样值偏移补偿(SAO)处理资料的六行空间没有存在的必要，且编码树单元(CTU)内的样值偏移补偿(SAO)切换次数也将减少。此外，对齐的亮度与色度边界可导向规律的存储器存取，提升存储器存取效能。

以下描述第三种实施例，用作进阶样值偏移补偿(SAO)程序，为一处理像素的各侧采用越来越多邻行，回路滤波器相关边界如以下式(4)、(5)设定：

xS＝yS＝yV＝M+m，其中m>1，且 (4)

xSC＝ySC＝yVC＝N+n，其中n>1。 (5)

第三种实施例为第一种实施例变形。替代xS＝yS＝yV＝M+1，环路处理边界位移对应亮度内容扩大为xS＝yS＝yV＝M+m，m>1。替代xSC＝ySC＝yVC＝N+1，环路处理边界位移对应色度内容扩大为xSC＝ySC＝yVC＝N+n，其中n>1。第一种实施例中，m＝1、且n＝1，在处理像素的各侧仅采用一个邻像素作样值偏移补偿(SAO)处理。图11所示实施例对应m＝2以及n＝2。去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序的处理状态分别标号1125、1135以及1145。亮度方面，样值偏移补偿(SAO)参数边界1132对齐样本滤波补偿(ALF)虚拟边界1142。色度方面，样值偏移补偿(SAO)参数边界1134对齐样本滤波补偿(ALF)虚拟边界1144。因此，为了应付不可得的样值偏移补偿(SAO)处理后资料而配置来储存样值偏移补偿(SAO)处理后资料的六行空间没有存在的必要。此外，编码树单元(CTU)内的样值偏移补偿(SAO)切换也将抑制。

以下描述第四种实施例。为了更提升第三种实施例的存储器存取效能，回路滤波器相关边界设定如以下式(6)：

xS＝yS＝yV＝xSC＝ySC＝yVC＝MAX(M,N)+m，m>1(6)

第四种实施例为第二实施例变形。取代xS＝yS＝yV＝xSC＝ySC＝yVC＝MAX(M,N)+1，亮度与色度内容的环路滤波器相关边界位移扩大到xS＝yS＝yV＝xSC＝ySC＝yVC＝MAX(M,N)+m，其中m>1。第二实施例是m＝1。图12图例为m＝2。去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序的处理状态分别标号1225、1235以及1245。亮度与色度内容的样值偏移补偿(SAO)参数边界1232以及1234以及样本滤波补偿(ALF)虚拟边界1242以及1244全数对齐。因此，为了应付不可得的样值偏移补偿(SAO)处理后资料而配置来储存样值偏移补偿(SAO)处理后资料的六行空间没有存在的必要。此外，编码树单元(CTU)内的样值偏移补偿(SAO)切换也将抑制。此外，外接式存储器存取效能可提升。

表格2比较视讯编码标准AVS2以及本发明实施例的行缓冲器需求。如前述内容，以上所有实施方式对亮度与色度内容各需要三行储存资料，紧邻去块滤波器(DF)的编码树单元(CTU)边界上方。对应样值偏移补偿(SAO)处理，所有系统需要储存去区块滤波(DF)结果的两亮度行以及两色度行，作下一个编码树单元列(CTU row)的处理阶的第一行样值偏移补偿(SAO)处理。根据传统的视讯音讯编码标准AVS2，样值偏移补偿(SAO)处理后的六行结果应该加以储存，用作色度内容的样本滤波补偿(ALF)处理。包含任何本案实施例的系统可不再需要为色度内容的样本滤波补偿(ALF)而设的六条行缓冲器。在表2例子中，传统视讯编码标准AVS2的样本滤波补偿(ALF)色度虚拟边界为yC-3，样值偏移补偿(SAO)位移像素量(由参数SAO_SHIFT_PIX_NUM表达)为4；第一实施例对色度采用的样值偏移补偿(SAO)位移像素量(由参数SAO_SHIFT_PIX_NUM表达)为3；且第二实施例的样本滤波补偿(ALF)色度虚拟边界为yC-4。

表格2

对应传统视讯编码标准AVS2、第一实施例以及第二实施例，去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)所需要的行缓冲器总数分别为16、9与10。换句话说，第一与第二实施例可分别缩减7与6条行缓冲器。

图13结合本案一种实施例举例说明一视讯编码系统的流程图，所述视讯系统系对齐环路滤波器相关边界，以降低行缓冲器需求。步骤1310，视讯系统接收对应一影像单元的重建资料。重建的视讯资料可取自存储器(例如，计算机存储器、缓冲器(随机存取存储器(RAM)或动态随机存取存储器(DRAM)或其他媒体)，或取自处理器。步骤1320，去块滤波器(DF)程序接着施行在影像单元的去块边界上方的重建像素。去块滤波器(DF)程序修正两个影像单元之间的一影像单元边界对应的一水平边界各侧多达M个亮度像素以及N个色度像素。步骤1330，基于样值偏移补偿(SAO)参数，样值偏移补偿(SAO)程序施行在去块滤波器(DF)处理过的亮度像素以及去块滤波器(DF)处理过的色度像素，其中样值偏移补偿(SAO)参数边界内的像素全数或部分共享同样的样值偏移补偿(SAO)参数，且当前影像单元的亮度样值偏移补偿(SAO)参数边界自当前影像单元的底边向上位移yS行，且当前影像单元的色度样值偏移补偿(SAO)参数边界自当前影像单元的底边向上位移ySC行。步骤1340，根据一或多个亮度的空间环路滤波器参数，对亮度空间环路滤波器的限缩边界上方经样值偏移补偿(SAO)处理过的亮度像素施行空间环路滤波器程序，其中自当前影像单元的底边向上位移yV行获得所述亮度空间环路滤波器的限缩边界。步骤1350，根据一或多个色度的空间环路滤波器参数，对色度空间环路滤波器的限缩边界上方经样值偏移补偿(SAO)处理过的色度像素施行空间环路滤波器程序，其中自当前影像单元的底边向上位移yVC行获得所述色度空间环路滤波器的限缩边界。为了降低行缓冲器需求且/或减少环路滤波器处理切换，步骤1360，环路滤波器相关边界为根据正整数M、N、yS、ySC、yV以及yVC设定，yS、ySC、yV以及yVC是根据M与N设定，且yS与yV大于M，ySC与yVC大于N、yS等于yV、且ySC等于yVC。

上面所示的流程图旨在根据本发明来说明环路滤波器处理的例子。本领域的技术人员可以修改各步骤，重新排列步骤顺序，分割步骤，或结合步骤来实施本发明而不脱离本发明的精神实质。在本公开，特定的语法和语义已被用来说明实施例。本领域技术人员可通过等效替换语法和语义不脱离本发明的精神的前提实施本发明。

以上说明使本技术领域人员得以依照所揭露的特定应用的内文以及条件实现本发明。本案技术人员当可以多种方式变动以上实施例内容，且本说明书定义的一般原则可能应用在其他实施例中。因此，本案并不意图限定于以上显示与描述的特定实施例，而应符合所描述的原理以及新颖特征授予最广范围。以上详细说明中，多种具体细节的描述用于帮助彻底理解本案。本领域技术人员应理解本发明可以实践。

如上述的本发明的实施例可由各种硬件、软件代码、或两者的组合来实现。例如，一个本发明的实施例可以是一个或一个以上电子电路集成到一个视频压缩芯片、或程序代码集成到视频压缩软件来执行此处描述的处理程序。本发明的一个实施方案也可以是程序代码，由数位信号处理器(DSP)执行，以执行本文描述的处理程序。本案也可能涉及若干数量的功能方快，由计算机处理器、数位信号处理器、微处理器、或场效可编程逻辑阵列(FPGA)执行。这些处理器可根据本案被配置来执行特定任务，其中执行机器可读软件代码、或执行定义由本发明所体现的具体方法的韧体代码。软件代码或韧体代码可由不同的编程语言和不同的格式或样式开发。该软件代码也针对不同的目标平台作编译。然而，根据本案技术执行任务的不同的编码格式，风格和的软件代码语言和其他编码装置将不脱离本发明的精神和范围。

本发明可以以其它具体形式实施，不背离其精神或本质特征。实施例在所有方面都仅是说明性的而不是限制性描述。因而，本发明的范围由所附申请专利范围界定、而非前面的描述限定之。申请专利范围的等效含义和范围的所有变化据信是在其范围之内。