首页> 中国专利> 图像编码系统中基于CCLM预测的图像解码的方法及装置

图像编码系统中基于CCLM预测的图像解码的方法及装置

摘要

根据本文档的由解码设备执行的图像解码的方法包括以下步骤:推导当前色度块的特定值,在当前色度块的宽度和高度具有等于或大于特定值的值时,推导数目等于当前色度块的特定值的上外围色度样本和数目等于特定值的左外围色度样本;基于上外围色度样本、左外围色度样本和下采样的外围亮度样本推导CCLM参数;以及基于下采样的亮度样本和CCLM参数来推导当前色度块的预测样本,其中,所推导的特定值为2。

著录项

  • 公开/公告号CN112806004A

    专利类型发明专利

  • 公开/公告日2021-05-14

    原文格式PDF

  • 申请/专利权人 LG电子株式会社;

    申请/专利号CN201980065766.9

  • 发明设计人 崔璋元;金昇焕;许镇;

    申请日2019-09-20

  • 分类号H04N19/11(20060101);H04N19/597(20060101);H04N19/132(20060101);H04N19/186(20060101);H04N19/176(20060101);H04N19/70(20060101);

  • 代理机构11127 北京三友知识产权代理有限公司;

  • 代理人刘久亮;黄纶伟

  • 地址 韩国首尔

  • 入库时间 2023-06-19 10:58:46

说明书

技术领域

本文档总体涉及图像编码技术,并且更具体地,涉及图像编码系统中基于根据CCLM的帧内预测的图像解码方法及其设备。

背景技术

近来,在各种领域中,对诸如HD(高清)图像和UHD(超高清)图像这样的高分辨率、高质量图像的需求正在增长。因为图像数据具有高分辨率和高质量,所以相对于传统图像数据,待传输的信息或比特的量增加。因此,当使用诸如传统有线/无线宽带线路这样的介质发送图像数据或者使用现有存储介质存储图像数据时,其传输成本和存储成本增加。

因此,需要用于有效地发送、存储和再现高分辨率高质量图像的信息的高效图像压缩技术。

发明内容

技术问题

本公开提供了一种用于提高图像编码效率的方法及设备。

本公开还提供了一种用于提高帧内预测效率的方法及设备。

本公开还提供了一种基于跨分量线性模型(CCLM)的用于提高帧内预测效率的方法及设备。

本文档的另一技术目的是提供用于CCLM预测的有效编码和解码方法,以及用于执行编码和解码方法的设备。

本文档的另一技术目的是提供用于选择用于推导CCLM的线性模型参数的相邻样本的方法及设备。

技术方案

根据本文档的实施方式,提供了一种由解码设备执行的图像解码方法。该方法包括:推导跨分量线性模型(CCLM)模式作为当前色度块的帧内预测模式;推导当前色度块的特定值;将当前色度块的宽度和高度与特定值进行比较;基于宽度和高度大于或等于特定值,推导其数目等于当前色度块的特定值的顶相邻色度样本以及其数目等于特定值的左相邻色度样本;推导当前亮度块的下采样的亮度样本和下采样的相邻亮度样本,其中,下采样的相邻亮度样本对应于顶相邻色度样本和左相邻色度样本;基于顶相邻色度样本、左相邻色度样本和下采样的相邻亮度样本,推导CCLM参数;基于CCLM参数和下采样的亮度样本,推导当前色度块的预测样本;以及基于预测样本生成当前色度块的重构样本,其中,推导的特定值为2。

根据本文档的另一实施方式,提供了一种执行图像解码的解码设备。该解码设备包括预测器,该预测器推导跨分量线性模型(CCLM)模式作为当前色度块的帧内预测模式,推导当前色度块的特定值,将当前色度块的宽度和高度与特定值进行比较,基于宽度和高度大于或等于特定值,推导其数目等于当前色度块的特定值的顶相邻色度样本以及其数目等于特定值的左相邻色度样本,推导当前亮度块的下采样的亮度样本和下采样的相邻亮度样本,相邻亮度样本对应于顶相邻色度样本和左相邻色度样本,基于顶相邻色度样本、左相邻色度样本和下采样的相邻亮度样本,推导CCLM参数,以及基于CCLM参数和下采样的亮度样本,推导当前色度块的预测样本;以及加法器,其基于预测样本生成当前色度块的重构样本,其中,推导的特定值为2。

根据本文档的又一实施方式,提供了一种由编码设备执行的视频编码方法。该方法包括:确定跨分量线性模型(CCLM)模式作为当前色度块的帧内预测模式;推导当前色度块的特定值;将当前色度块的宽度和高度与特定值进行比较;基于宽度和高度大于或等于特定值,推导其数目等于当前色度块的特定值的顶相邻色度样本以及其数目等于特定值的左相邻色度样本;推导当前亮度块的下采样的亮度样本和下采样的相邻亮度样本,其中,下采样的相邻亮度样本对应于顶相邻色度样本和左相邻色度样本;基于顶相邻色度样本、左相邻色度样本和下采样的相邻亮度样本,推导CCLM参数;基于CCLM参数和下采样的亮度样本,推导当前色度块的预测样本;以及对包括当前色度块的预测相关信息的图像信息进行编码,其中,推导的特定值为2。

根据本文档的又一实施方式,提供了一种视频编码设备。该编码设备包括:预测器,该预测器确定跨分量线性模型(CCLM)模式作为当前色度块的帧内预测模式;推导当前色度块的特定值;将当前色度块的宽度和高度与特定值进行比较;基于宽度和高度大于或等于特定值,推导其数目等于当前色度块的特定值的顶相邻色度样本以及其数目等于特定值的左相邻色度样本;推导当前亮度块的下采样的亮度样本和下采样的相邻亮度样本,下采样的相邻亮度样本对应于顶相邻色度样本和左相邻色度样本;以及基于顶相邻色度样本、左相邻色度样本和下采样的相邻亮度样本,推导CCLM参数,以及基于CCLM参数和下采样的亮度样本,推导当前色度块的预测样本;以及熵编码器,其对包括当前色度块的预测相关信息的图像信息进行编码,其中,推导的特定值为2。

有益效果

根据本公开,能够提高整体图像/视频压缩效率。

根据本公开,能够提高帧内预测的效率。

根据本公开,能够通过基于CCLM执行帧内预测来提高图像编码效率。

根据该文档,可以提高基于CCLM的帧内预测的效率。

根据该文档,能够通过将为了推导CCLM的线性模型参数所选择的相邻样本的数目限制为特定数目,来降低帧内预测的复杂性。

附图说明

图1简要例示了可应用本公开的实施方式的视频/图像编码装置的示例。

图2是例示了可以应用本文档的实施方式的视频/图像编码设备的配置的示意图。

图3是例示了可以应用本文档的实施方式的视频/图像解码设备的配置的示意图。

图4例示了65个预测方向的方向内模式。

图5是用于描述根据实施方式的推导当前色度块的帧内预测模式的处理的图。

图6例示了用于上述CCLM预测的参数计算的2N个参考样本。

图7a和图7b是用于描述根据实施方式的对当前色度块执行CCLM预测的过程的图。

图8a和图8b是用于描述根据实施方式的对当前色度块执行CCLM预测的过程的图。

图9a和图9b是用于描述基于根据以上描述的本实施方式的方法1推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

图10a和图10b是用于描述基于根据以上描述的本实施方式的方法2推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

图11a和图11b是用于描述基于根据以上描述的本实施方式的方法3推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

图12a和图12b是用于描述基于根据以上描述的本实施方式的方法4推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

图13a和图13b是用于描述基于根据以上描述的本实施方式的方法1推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

图14a和图14b是用于描述基于根据以上描述的本实施方式的方法2推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

图15a和图15b是用于描述基于根据以上描述的本实施方式的方法3推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

图16例示了选择色度块的相邻参考样本的示例。

图17a至图17c例示了通过现有的子采样推导的相邻参考样本和通过根据本实施方式的子采样推导的相邻参考样本。

图18示出了使用利用上述式5的子采样来执行CCLM预测的示例。

图19示意性地例示了根据本公开的编码设备的视频编码方法。

图20示意性地例示了根据本公开的执行图像编码方法的编码设备。

图21示意性地例示了根据本公开的解码设备的视频解码方法。

图22示意性地例示了根据本公开的用于执行视频解码方法的解码设备。

图23例示了应用了本公开的内容流系统的结构图。

具体实施方式

本公开可以以各种形式修改,并且将在附图中描述和例示其特定实施方式。然而,实施方式并非旨在限制本公开。在以下描述中使用的术语仅用于描述特定实施方式,并非旨在限制本公开。只要清楚地以不同的方式理解,单数的表达包括复数的表达。诸如“包括”和“具有”之类的术语旨在表示存在以下描述中使用的特征、数目、步骤、操作、元件、组件或其组合,因此应理解的为不排除存在或添加一个或更多个不同的特征、数目、步骤、操作、元件、组件或其组合的可能性。

此外,在本公开中描述的附图中的元件是为了方便地解释不同的特定功能而独立地绘制的,并不意味着这些元件由独立的硬件或独立的软件来体现。例如,可以将元件中的两个或更多个元件组合以形成单个元件,或者可以将一个元件划分为多个元件。其中组合元件和/或划分元件的实施方式属于本公开,而没有脱离本公开的概念。

在下文中,将参照附图详细描述本公开的实施方式。另外,在整个附图中,相似的附图标记用于指示相似的元件,并且将省略对相似元件的相同描述。

图1简要例示了可应用本公开的实施方式的视频/图像编码装置的示例。

参照图1,视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流的形式向接收装置发送编码视频/图像信息或数据。

源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以称为视频/图像编码设备,并且解码设备可以称为视频/图像解码设备。发送器可以包括在编码设备中。接收器可以包括在解码设备中。渲染器可以包括显示器,并且显示器可以被配置为单独的装置或外部组件。

视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板电脑和智能电话,并且可以(电子地)生成视频/图像。例如,可以通过计算机等生成虚拟视频/图像。在这种情况下,视频/图像捕获处理可以由生成相关数据的处理代替。

编码设备可以对输入的视频/图像进行编码。编码设备可以执行诸如预测、变换和量化的一系列过程,以实现压缩和编码效率。编码数据(编码视频/图像信息)可以以比特流的形式输出。

发送器可以通过数字存储介质或网络以文件或流的形式向接收装置的接收器发送以比特流形式输出的编码后的图像/图像信息或数据。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件,并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流,并向解码设备发送接收到的比特流。

解码设备可以通过执行与编码设备的操作相对应的诸如反量化、逆变换和预测之类的一系列过程,来对视频/图像进行解码。

渲染器可以渲染经解码的视频/图像。经渲染的视频/图像可以通过显示器显示。

本文档涉及视频/图像编码。例如,本文档中公开的方法/实施方式可以应用于在多功能视频编码(VVC)、EVC(基本视频编码)标准、AOMedia Video 1(AV1)标准、第2代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如,H.267、或H.268等)中公开的方法。

本文档呈现了视频/图像编码的各种实施方式,并且除非另外提及,否则实施方式可以彼此组合地执行。

在本文档中,视频可以是指一段时间上的一系列图像。图片通常是指在特定时间区域表示一幅图像的单位,而条带(slice)/切片(tile)是在编码中组成图片的一部分的单位。条带/切片可以包括一个或更多个编码树单元(CTU)。一幅图片可以包括一个或更多个条带/切片。一幅图片可以包括一个或更多个切片组。一个切片组可以包括一个或更多个切片。砖块(brick)可以表示图片中切片内CTU行的矩形区域。一个切片可以分割为多个砖块,每个砖块包括切片内的一个或更多个CTU行。没有分割为多个砖块的切片也可以称为砖块。砖块扫描是对其中CTU在砖块的CTU光栅扫描中连续排序的图片进行分割的CTU的特定顺序排序,切片内的砖块在切片的砖块的光栅扫描中是连续排列的,并且图片中的切片在图片的切片的光栅扫描中是连续排序的。切片是图片中特定切片列和特定切片行内的CTU的矩形区域。切片列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的CTU的矩形区域。切片行是高度由图片参数集中的语法元素指定并且宽度等于图片宽度的CTU的矩形区域。切片扫描是指对其中CTU在切片的CTU光栅扫描中是连续排序的图片进行分割的CTU的特定顺序排序,而图片中的切片在图片的切片的光栅扫描中是连续排序的。条带包括可以唯一地包含在单个NAL单元中的图片的整数个砖块。条带可以包括多个完整的切片,或者仅一个切片的完整砖块的连续序列。切片组和条带在该文档中可以互换使用。例如,在本文档中,切片组/切片组头可以被称为条带/条带头。

像素或画素可以表示组成一幅图片(或图像)的最小单位。另外,“样本”可以用作与像素相对应的术语。样本通常可以表示像素或像素值,并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。

单元可以表示图像处理的基本单位。单元可以包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如,cb、cr)块。在一些情况下,单元可以与诸如块或区域之类的术语互换使用。在一般情况下,M×N块可以包括M列和N行的样本(或样本阵列)或变换系数的集合(或阵列)。

在本文档中,术语“/”和“、”应解释为指示“和/或”。例如,表述“A/B”可以表示“A和/或B”。此外,“A、B”可以表示“A和/或B”。此外,“A/B/C”可以表示“A、B和/或C中的至少一个”。另外,“A/B/C”可以表示“A、B和/或C中的至少一个”。

此外,在本文档中,术语“或”应解释为指示“和/或”。例如,表述“A或B”可包括1)仅A,2)仅B,和/或3)A和B两者。换句话说,本文档中的术语“或”应解释为指示“附加地或另选地。”

图2是例示了可以应用本文档的实施方式的视频/图像编码设备的配置的示意图。在下文中,视频编码设备可以包括图像编码设备。

参照图2,编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可以包括减法器231。加法器250可以称为重构器或重构块生成器。根据实施方式,图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如,编码器芯片组或处理器)构成。另外,存储器270可以包括解码图片缓冲器(DPB)或者可以由数字存储介质构成。硬件组件还可以包括作为内部/外部组件的存储器270。

图像分割器210可以将输入到编码设备200的输入图像(或图片或帧)分割到一个或更多个处理器中。例如,处理器可以被称为编码单元(CU)。在这种情况下,可以根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)来递归地分割编码单元。例如,一个编码单元可以基于四叉树结构、二叉树结构和/或三元结构而被分割为深度更深的多个编码单元。在这种情况下,例如,可以首先应用四叉树结构,随后可以应用二叉树结构和/或三元结构。另选地,可以首先应用二叉树结构。可以基于不再分割的最终编码单元来执行根据本文档的编码过程。在这种情况下,可以根据图像特性基于编码效率将最大编码单元用作最终编码单元,或者如果需要,可以将编码单元递归地分割为深度更深的编码单元并且具有最佳尺寸的编码单元可以用作最终编码单元。这里,编码过程可以包括预测、变换和重构的过程,这将在后面描述。作为另一示例,处理器还可以包括预测单元(PU)或变换单元(TU)。在这种情况下,可以从上述最终编码单元来分离或分割预测单元和变换单元。预测单元可以是样本预测的单元,并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。

在一些情况下,单元可以与诸如块或区域之类的术语互换使用。在一般情况下,M×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素值,可以仅表示亮度分量的像素/像素值,或者仅表示色度分量的像素/像素值。样本可用作与像素或画素的一幅图片(或图像)相对应的术语。

在编码设备200中,从输入图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列),以生成残差信号(残差块、残差样本阵列)并且所生成的残差信号被发送到变换器232。在这种情况下,如图所示,在编码器200中用于从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以称为减法器231。预测器可以对要处理的块(在下文中称为当前块)执行预测,并生成包括当前块的预测样本的预测块。预测器可以以当前块或CU为基础来确定是应用帧内预测还是应用帧间预测。如稍后在每个预测模式的描述中所述,预测器可以生成与预测有关的、诸如预测模式信息之类的各种信息,并向熵编码器240发送所生成的信息。关于预测的信息可以在熵编码器240中编码并以比特流的形式输出。

帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式,参考的样本可以位于当前块的附近,或者可以远离当前块。在帧内预测中,预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度,定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而,这仅是示例,依据设置,可以使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。

帧间预测器221可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来推导当前块的预测块。这里,为了减少在帧间预测模式下发送的运动信息的量,可以基于相邻块和当前块之间的运动信息的相关性,以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。包括参考块的参考图片和包括时间相邻块的参考图片可以相同或不同。时间相邻块可以称为并置参考块、共位CU(colCU)等,并且包括时间相邻块的参考图片可以称为并置图片(colPic)。例如,帧间预测器221可以基于相邻块来配置运动信息候选列表,并且生成指示使用哪个候选来推导当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如,在跳过模式和合并模式的情况下,帧间预测器221可以将相邻块的运动信息用作当前块的运动信息。在跳过模式下,与合并模式不同,可能无法发送残差信号。在运动矢量预测(MVP)模式的情况下,可以将相邻块的运动矢量用作运动矢量预测子,并且可以通过发信号通知运动矢量差来指示当前块的运动矢量。

预测器220可以基于以下描述的各种预测方法来生成预测信号。例如,预测器不仅可以应用帧内预测或帧间预测来预测一个块,而且可以同时应用帧内预测和帧间预测二者。这可以称为帧间帧内组合预测(CIIP)。另外,预测器可以基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编码,例如,屏幕内容编码(步骤,SCC)。IBC基本上在当前图片中执行预测,但是可以类似于帧间预测来执行IBC,因为参考块是在当前图片中推导出的。即,IBC可以使用本文档中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来发信号通知图片内的样本值。

由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如,变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里,GBT表示当像素之间的关系信息由图表示时从图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而生成的变换。另外,变换处理可以应用于具有相同尺寸的正方形像素块,或者可以应用于具有可变尺寸而非正方形的块。

量化器233可以对变换系数进行量化,并且将它们发送给熵编码器240,并且熵编码器240可以对量化信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以称为残差信息。量化器233可以基于系数扫描顺序将块类型量化变换系数重新布置为一维矢量形式,并且基于一维矢量形式的量化变换系数来生成关于量化变换系数的信息。可以生成关于变换系数的信息。熵编码器240可以执行各种编码方法,诸如,例如指数哥伦布(Golomb)、上下文自适应变长编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器240可以对除了量化变换系数以外的视频/图像重构所需的信息(例如,语法元素的值等)一起或分开地进行编码。可以以比特流的形式以NAL(网络抽象层)为单位发送或存储编码信息(例如,编码视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(步骤,SPS)或视频参数集(VPS)之类的各种参数集的信息。另外,视频/图像信息还可包括一般约束信息。在本文档中,从编码设备向解码设备发送/发信号通知的信息和/或语法元素可以包括在视频/图片信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。比特流可以通过网络发送,或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络,并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。可以包括发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为编码设备200的内部/外部元件,另选地,发送器可以包括在熵编码器240中。

从量化器233输出的量化变换系数可以用于生成预测信号。例如,可以通过利用反量化器234和逆变换器235对量化变换系数应用反量化和逆变换,来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加,以生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块没有残差(诸如应用了跳过模式的情况),则可以将预测块用作重构块。加法器250可以称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中要处理的下一块的帧内预测,并且可以通过如下所述的滤波用于下一图片的帧间预测。

此外,在图片编码和/或重构期间,可以应用具有色度缩放的亮度映射(LMCS)。

滤波器260可以通过对重构信号应用滤波来改善主观/客观图像质量。例如,滤波器260可以通过对重构图片应用各种滤波方法来生成修改后的重构图片,并将修改后的重构图片存储在存储器270(具体地,存储器270的DPB)中。各种滤波方法可包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波有关的各种信息,并且将生成的信息发送给熵编码器240,如稍后在各种滤波方法的描述中所述。与滤波有关的信息可以由熵编码器240编码并且以比特流的形式输出。

发送给存储器270的修改后的重构图片可以用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时,可以避免编码设备200与解码设备之间的预测不匹配,并且可以提高编码效率。

存储器270的DPB可以存储用作帧间预测器221中的参考图片的修改后的重构图片。存储器270可以存储从中推导(或编码)当前图片中的运动信息的块的运动信息和/或图片中已重构的块的运动信息。所存储的运动信息可以发送给帧间预测器221,并且用作空间相邻块的运动信息或时间相邻块的运动信息。存储器270可以存储当前图片中的重构块的重构样本,并且可以将重构样本传送给帧内预测器222。

图3是例示了可以应用本文档的实施方式的视频/图像解码设备的配置的示意图。

参照图3,解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350、存储器360。预测器330可以包括帧间预测器332和帧内预测器331。残差处理器320可以包括反量化器321和逆变换器322。根据实施方式,熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由硬件组件(例如,解码器芯片组或处理器)构成。另外,存储器360可以包括解码图片缓冲器(DPB),或者可以由数字存储介质构成。硬件组件还可以包括存储器360作为内部/外部组件。

当输入了包括视频/图像信息的比特流时,解码设备300可以与在图2的编码设备中处理视频/图像信息的处理相对应地重构图像。例如,解码设备300可以基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可以使用在编码设备中应用的处理器来执行解码。因此,解码的处理器例如可以是编码单元,并且可以根据四叉树结构、二叉树结构和/或三叉树结构,从编码树单元或最大编码单元对编码单元进行分割。可以从编码单元推导一个或更多个变换单元。可以通过再现设备来再现通过解码设备300解码并输出的重构图像信号。

解码设备300可以接收以比特流形式从图2的编码设备输出的信号,并且可以通过熵解码器310对接收到的信号进行解码。例如,熵解码器310可以解析比特流,以推导图像重构(或图片重构)所需的信息(例如,视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(步骤,SPS)或视频参数集(VPS)之类的各种参数集的信息。另外,视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集的信息和/或一般约束信息来对图片进行解码。本文档中稍后描述的发信号通知的/接收的信息和/或语法元素可以通过解码过程被解码,并从比特流中获取。例如,熵解码器310基于诸如指数哥伦布编码、CAVLC或CABAC之类的编码方法对比特流中的信息进行解码,并输出图像重构所需的语法元素和残差的变换系数的量化值。更具体地,CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin(位),使用解码目标语法元素信息、解码目标块的解码信息或在先前级中解码的符号/bin的信息来确定上下文模型,并通过根据所确定的上下文模型预测bin的出现概率来对该bin进行算术解码,并且生成与每个语法元素的值相对应的符号。在这种情况下,在确定上下文模型之后,CABAC熵解码方法可以通过将经解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器310解码的信息当中与预测有关的信息可以提供给预测器(帧间预测器332和帧内预测器331),并且在熵解码器310中对其执行了熵解码的残差值(也就是说,量化变换系数和相关参数信息)可以被输入到残差处理器320。残差处理器320可以推导残差信号(残差块、残差样本、残差样本阵列)。另外,由熵解码器310解码的信息当中关于滤波的信息可以提供给滤波器350。此外,用于接收从编码设备输出的信号的接收器(未示出)可以进一步被配置为解码设备300的内部/外部元件,或者接收器可以是熵解码器310的组件。此外,根据本文档的解码设备可以称为视频/图像/图片解码设备,并且解码设备可以分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310,并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。

反量化器321可以对量化变换系数进行反量化并且输出变换系数。反量化器321可以以二维块的形式重新布置量化变换系数。在这种情况下,可以基于在编码设备中执行的系数扫描顺序来执行重新布置。反量化器321可以通过使用量化参数(例如,量化步长信息)对量化变换系数执行反量化,并且获得变换系数。

逆变换器322对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。

预测器可以对当前块执行预测,并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测,并且可以确定具体的帧内/帧间预测模式。

预测器320可以基于以下描述的各种预测方法来生成预测信号。例如,预测器不仅可以应用帧内预测或帧间预测来预测一个块,而且可以同时应用帧内预测和帧间预测。这可以称为帧间和帧内组合预测(CIIP)。另外,预测器可以基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编码,例如,屏幕内容编码(SCC)。IBC基本上在当前图片中执行预测,但是可以类似于帧间预测来执行IBC,因为在当前图片中推导参考块。即,IBC可以使用本文档中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来发信号通知图片内的样本值。

帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式,参考的样本可以位于当前块的附近,或者可以远离当前块。在帧内预测中,预测模式可以包括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。

帧间预测器332可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下,为了减少在帧间预测模式中发送的运动信息的量,可以基于相邻块和当前块之间的运动信息的相关性,以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。例如,帧间预测器332可以基于相邻块来配置运动信息候选列表,并基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测,并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。

加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块没有残差(例如当应用跳过模式时),则可以将预测块用作重构块。

加法器340可以称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中要处理的下一块的帧内预测,可以通过如下所述的滤波输出,或者可以用于下一图片的帧间预测。

此外,在图片解码处理中可以应用具有色度缩放的亮度映射(LMCS)。

滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如,滤波器350可以通过对重构图片应用各种滤波方法来生成修改后的重构图片,并将修改后的重构图片存储在存储器360(具体地,存储器360的DPB)中。各种滤波方法可包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。

存储器360的DPB中存储的(修改后的)重构图片可以用作帧间预测器332中的参考图片。存储器360可以存储从中推导(或解码)当前图片中的运动信息的块的运动信息和/或图片中已重构的块的运动信息。所存储的运动信息可以发送给帧间预测器260,以作为空间相邻块的运动信息或时间相邻块的运动信息来利用。存储器360可以存储当前图片中的重构块的重构样本,并且可以将重构样本传送给帧内预测器331。

在本公开中,在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或者分别被应用以对应于解码设备300的滤波器350、帧间预测器332和帧内预测器331。相同的内容也可以应用于帧间预测器332和帧内预测器331。

此外,如上所述,在执行视频编码时,执行预测以提高压缩效率。因此,可以生成包括当前块(即,编码目标块)的预测样本的预测块。在这种情况下,预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中被相同地推导。编码设备可以通过向解码设备信号发送关于原始块和预测块之间的残差的残差信息而不是原始块本身的原始样本值,来提高图像编码效率。解码设备可以基于残差信息来推导包括残差样本的残差块,可以通过将残差块和预测块相加来生成包括重构样本的重构块,并且可以生成包括重构块的重构图片。

可以通过变换和量化过程来生成残差信息。例如,编码设备可以推导原始块和预测块之间的残差块,可以通过对残差块中所包括的残差样本(残差样本阵列)执行变换过程来推导变换系数,可以通过对变换系数执行量化过程来推导量化变换系数,并且可以(通过比特流)向解码设备发信号通知相关残差信息。在这种情况下,残差信息可以包括诸如量化变换系数的值信息、位置信息、变换方案、变换核和量化参数之类的信息。解码设备可以基于残差信息执行反量化/逆变换过程,并且可以推导残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构图片。编码设备还可以通过对量化变换系数执行反量化/逆变换来推导残差块,以作为后续图片的帧间预测的参考,并且可以基于残差块来生成重构图片。

图4例示了65个预测方向的方向内模式。

参照图4,可以基于具有左上对角线预测方向的帧内预测模式#34,对具有水平方向性的帧内预测模式和具有垂直方向性的帧内预测模式进行分类。图3中的H和V分别表示水平方向性和垂直方向性,并且从-32至32的数字表示样本网格位置上的1/32单位的位移。帧内预测模式#2至#33具有水平方向性,并且帧内预测模式#34至#66具有垂直方向性。帧内预测模式#18和帧内预测模式#50分别表示水平帧内预测模式和垂直帧内预测模式。帧内预测模式#2可以称为左下对角线帧内预测模式,帧内预测模式#34可以称为左上对角线帧内预测模式,并且帧内预测模式#66可以称为右上对角线帧内预测模式。

图5是用于描述根据实施方式的推导当前色度块的帧内预测模式的过程的图。

在本公开中,“色度块”、“色度图像”等可以表示彩度块、彩度图像等的相同含义,并且因此,可以共同使用色度(chroma)和彩度(chrominance)。同样,“亮度块”、“亮度图像”等可以表示光亮度块、光亮度图像等的相同含义,因此,可以共同使用亮度(luma)和光亮度(luminance)。

在本公开中,“当前色度块”可以表示作为当前编码单元的当前块的色度分量块,并且“当前亮度块”可以表示作为当前编码单元的当前块的亮度分量块。因此,当前亮度块和当前色度块彼此对应。但是,当前亮度块和当前色度块的块格式和块编号并不总是相同,而是可以依据情况而不同。在一些情况下,当前色度块可以对应于当前亮度区域,并且在这种情况下,当前亮度区域可以包括至少一个亮度块。

在本公开中,“参考样本模板”可以表示与当前色度块相邻的用于预测当前色度块的参考样本的集合。参考样本模板可以是预定义的,或者可以从编码设备200向解码设备300信号通知参考样本模板的信息。

参照图5,在作为当前色度块的4×4块附近的带有阴影线的样本的集合表示参考样本模板。如图5所示,参考样本模板包括一行的参考样本,但是与该参考样本模板相对应的亮度区域中的参考样本区域包括两行。

在实施方式中,当在联合视频探索小组(JVET)中使用的联合探索TEST模型(JEM)中执行色度图像的帧内编码时,可以使用跨分量线性模型(CCLM)。CCLM是基于重构的亮度图像的像素值来预测色度图像的像素值的方法,该方法基于色度图像和亮度图像之间的高相关性的特性。

Cb和Cr色度图像的CCLM预测可以基于下式。

[式1]

Pred

这里,pred

例如,可以通过使用如下式中表示的6个相邻像素来推导Rec

[式2]

Rec′

=(2×Rec

此外,如图3的阴影区域所示,α和β表示Cb或Cr色度块相邻模板与亮度块相邻模板之间的平均值的互相关性以及平均值之差,并且α和β由下式3表示。

[式3]

这里,t

此外,可以如下选择上述用于CCLM预测的参数(例如,α和β)计算的样本。

-在当前色度块是N×N尺寸的色度块的情况下,可以选择当前色度块的总共2N个(N个水平和N个垂直)相邻参考样本对(亮度和色度)。

–在当前色度块是N×M尺寸或M×N尺寸(这里,N<=M)的色度块的情况下,可以选择当前色度块的总共2N个(N个水平和N个垂直)相邻参考样本对。此外,由于M大于N(例如,M=2N或3N等),因此在M个样本中,可以通过子采样来选择N个样本对。

图6例示了用于上述CCLM预测的参数计算的2N个参考样本。参照图6,示出了针对CCLM预测的参数计算所推导的2N个参考样本对。2N个参考样本对可以包括与当前色度块相邻的2N个参考样本和与当前亮度块相邻的2N个参考样本。

如上所述,可以推导2N个样本对,并且在使用利用上述样本对的式3来计算CCLM参数α和β的情况下,可能需要下表1中所呈现数目的运算。

[表1]

例如,参照上表1,在4×4大小的色度块的情况下,可以需要13个乘法运算和15个加法运算来计算CCLM参数,在32×32大小的色度块的情况下,可以需要69个乘法运算和127个加法运算来计算CCLM参数。也就是说,随着色度块的尺寸增加,用于计算CCLM参数所需的运算量迅速增加,这可以与硬件实现中的延迟问题直接相关联。具体地,由于在解码设备中应该通过计算前馈(calculation eve)来推导CCLM参数,因此运算量可以与解码设备的硬件实现中的延迟问题和实现成本的增加有关。

因此,本实施方式可以减少用于推导CCLM参数的运算复杂度,并且由此可以减少硬件成本以及解码过程的复杂度和时间。

作为示例,为了解决如上所述的CCLM参数运算量随着色度块尺寸增加而增加的问题,可以提出这样一种实施方式:用于在配置了如下所述的相邻样本选择上限N

根据本实施方式的CCLM参数计算过程可以如下。

–在当前色度块是N×N尺寸的色度块,并且N

–在当前色度块是N×N尺寸的色度块,并且N

–在当前色度块是N×M尺寸或M×N尺寸(这里,N<=M)的色度块并且N

–在当前色度块是N×M尺寸或M×N尺寸(这里,N<=M)的色度块并且N

如上所述,根据本实施方式,可以通过设置作为所选择的相邻样本数目的最大数目N

另外,在将N

例如,在N

[表2]

此外,在编码设备和解码设备中,N

例如,在以CU为单位发送表示N

–在cclm_reduced_sample_flag为0(假)的情况下,通过现有CCLM相邻样本选择方法来执行CCLM参数计算。

–在cclm_reduced_sample_flag为1(真)的情况下,将N

另选地,在以条带、图片或序列为单位发送表示N

例如,通过条带报头发信号通知的附加信息可以表示为下表。

[表3]

cclm_reduced_sample_num可以指示表示N

另选地,例如,通过图片参数集(PPS)发信号通知的附加信息可以表示为下表。

[表4]

另选地,例如,通过序列参数集(步骤,SPS)发信号通知的附加信息可以表示为下表。

[表5]

可以如下表所示地推导基于通过条带报头、PPS或SPS发送的cclm_reduced_sample_num值(即,通过对cclm_reduced_sample_num进行解码而推导的值)所推导的N

[表6]

例如,参照上表6,可以基于cclm_reduced_sample_num推导N

此外,在以CU、条带、图片或序列为单位发送表示N

-在以CU为单位发送表示N

1)在当通过现有CCLM参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为0(假)的cclm_reduced_sample_flag。

2)在当N

-另选地,在以条带、图片或序列为单位发送表示N

1)例如,在输入图像为HD质量或更高的情况下,编码设备可以设置为N

2)在需要高质量的图像编码的情况下,编码设备可以设置为N

此外,如上述表2所示,当使用在本实施方式中提出的方法时,表明即使块尺寸增加,CCLM参数计算所需的运算量也不增加。作为示例,在当前色度块尺寸为32×32的情况下,通过本实施方式中提出的方法(例如,设置为:N

下表可以表示在N

[表7]

另外,下表可以表示在N

[表8]

另外,下表可以表示在N

[表9]

另外,下表可以表示在N

[表10]

以上表7至表10可以表示在N

参照上表7至表10,表明即使在减少了CCLM参数计算所需的运算量的情况下,编码效率也没有显著改变。例如,参照表8,在N

另外,参照表9和表10,在CCLM参数计算所需的运算量减少的情况下(即,N

在本实施方式中提出的方法可以用于CCLM模式,该CCLM模式是用于色度分量的帧内预测模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来重构图像。

图7a和图7b是用于描述根据实施方式的对当前色度块执行CCLM预测的过程的图。

参照图7a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S700)。例如,可以如图7b所示的实施方式那样计算CCLM参数。

图7b可以示例性表示计算CCLM参数的特定实施方式。例如,参照图7b,编码设备/解码设备可以针对当前色度块设置N

之后,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S710)。

在当前色度块是正方形色度块时,编码设备/解码设备可以确定当前块的宽度N是否大于N

在N大于Nth时,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S725)。

另外,在N不大于N

此外,在当前色度块不是正方形色度块时,当前色度块的尺寸可以推导为M×N尺寸或N×M尺寸(步骤S735)。在此,M可以表示大于N的值(N

随后,编码设备/解码设备可以确定N是否大于N

在N大于N

编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S725)。

另外,在N不大于N

返回参照图7a,在计算出用于当前色度块的CCLM预测的参数时,编码设备/解码设备可以基于该参数执行CCLM预测以生成当前色度块的预测样本(步骤S760)。例如,编码设备/解码设备可以基于式1来生成当前色度块的预测样本,在式1中使用针对当前色度块的计算出的参数和当前亮度块的重构样本。

此外,在本公开中,在推导CCLM参数时,可以提出与减少用于推导CCLM参数的运算复杂度的本实施方式不同的实施方式。

作为示例,为了解决如上所述的CCLM参数运算量随色度块尺寸增加而增加的问题,可以提出这样的实施方式:用于通过将相邻样本选择上限N

例如,可以如下地将N

–在N×M尺寸(这里,例如,N<=M)的当前色度块中N<=TH的情况下,配置为:N

–在N×M尺寸(这里,例如,N<=M)的当前色度块中N>TH的情况下,配置为:N

在这种情况下,例如,依据阈值TH,可以如下地选择用于计算CCLM参数的参考样本。

例如,在TH为4(TH=4)的情况下,并且在当前色度块的N为2或4的情况下,使用块侧的两个样本对,并且可以计算CCLM参数;而在N为8、16或32的情况下,使用块侧的四个样本对,并且可以计算CCLM参数。

此外,例如,在TH为8(TH=8)的情况下,使用块侧的两个样本对,并且可以计算CCLM参数,而在N为16或32的情况下,使用块侧的四个样本对,并且可以计算CCLM参数。

如上所述,根据本实施方式,N

例如,根据现有CCLM参考样本选择方法和本实施方式的用于CCLM参数计算的运算量可以如下表来表示。

[表11]

这里,N可以表示当前块的宽度和高度的最小值。参照上表11,在使用本实施方式中提出的CCLM参考样本选择方法的情况下,即使在块尺寸增加的情况下,CCLM参数计算所需的运算量也不会增加。

此外,在编码设备和解码设备中,TH可以被推导为预定值,而无需发送表示TH的附加信息。另选地,可以以编码单元(CU)、条带、图片或序列为单位发送表示TH的附加信息,并且可以基于表示TH的附加信息来推导TH。表示TH的附加信息可以表示TH的值。

例如,在以CU为单位发送表示TH的附加信息的情况下,在当前色度块的帧内预测模式为CCLM模式时,如下所述,可以提出一种方法来解析语法元素cclm_reduced_sample_flag并执行CCLM参数计算过程。cclm_reduced_sample_flag可以代表CCLM缩减样本标志的语法元素。

–在cclm_reduced_sample_flag为0(假)的情况下,针对所有块,配置为N

–在cclm_reduced_sample_flag为1(真)的情况下,配置为TH=4,并通过上述本实施方式中提出的相邻样本选择方法执行CCLM参数计算。

另选地,在以条带、图片或序列为单位发送表示TH的附加信息的情况下,如下所述,可以基于通过高阶语法(HLS)发送的附加信息来对TH值进行解码。

例如,通过条带报头发信号通知的附加信息可以如下表来表示。

[表12]

cclm_reduced_sample_threshold可以指示表示TH的附加信息的语法元素。

另选地,例如,通过图片参数集(PPS)发信号通知的附加信息可以表示为下表。

[表13]

另选地,例如,通过序列参数集(步骤,SPS)发信号通知的附加信息可以表示为下表。

[表14]

可以如下表所示地推导基于通过条带报头、PPS或SPS发送的cclm_reduced_sample_num值(即,通过对cclm_reduced_sample_threshold进行解码而推导的值)所推导的TH值。

[表15]

例如,参照上表15,可以基于cclm_reduced_sample_threshold推导TH。在cclm_reduced_sample_threshold值为0的情况下,TH可以推导为4,以及在cclm_reduced_sample_threshold值为1的情况下,TH可以推导为8。

此外,在TH在编码设备和解码设备中被推导为预定值而无需发送单独的附加信息的情况下,编码设备可以基于预定的TH值,如上述本实施方式那样执行用于CCLM预测的CCLM参数计算。

另选地,编码设备可以确定是否使用阈值TH,并且可以如下地向解码设备发送表示是否使用TH的信息和表示TH值的附加信息。

-在以CU为单位发送表示是否使用TH的信息的情况下,在当前色度块的帧内预测模式为CCLM模式(即,将CCLM预测应用于当前色度块)时,编码设备可以通过RDO确定以下两种情况之间编码效率好的一方,并向解码设备发送所确定的方法的信息。

1)在当针对所有块将N

2)在当TH被设置为4并且通过提出的本实施方式的参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为1(真)的cclm_reduced_sample_flag。

3)另选地,在以条带、图片或序列为单位发送表示是否使用TH的信息的情况下,编码设备可以添加如上述表12、表13或表14所呈现的高阶语法(HLS),并发送表示是否使用TH的信息。编码设备可以通过考虑输入图像的尺寸或根据编码目标比特率来配置TH的使用。

1)例如,在输入图像为HD质量或更高的情况下,编码设备可以设置为TH=8,并且在输入图像为HD质量或更低的情况下,编码设备可以设置为TH=4。

2)在需要高质量的图像编码的情况下,编码设备可以设置为TH=8,并且在需要正常质量的图像编码的情况下,编码设备可以设置为TH=4。

在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来重构图像。

图8a和图8b是用于描述根据实施方式的对当前色度块执行CCLM预测的过程的图。

参照图8a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S800)。例如,可以如图8b所示的本实施方式那样计算CCLM参数。

图8b可以示例性地表示计算CCLM参数的特定实施方式。例如,参照图8b,编码设备/解码设备可以针对当前色度块设置TH(步骤S805)。TH可以是预设值或者可以基于关于用信号通知的TH的附加信息而推导出。TH可以设置为4或8。

随后,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S810)。

在当前色度块是正方形色度块的情况下,编码设备/解码设备可以确定当前块的宽度N是否大于TH(步骤S815)。

在N大于TH的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S825)。

另外,在N不大于TH的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

此外,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以被推倒为M×N尺寸或N×M尺寸(步骤S835)。在此,M可以表示大于N的值(N

随后,编码设备/解码设备可以确定N是否大于TH(步骤S840)。

当N大于TH时,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S825)。

另外,在N不大于TH的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

再次参照图8a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,以生成当前色度块的预测样本(步骤S860)。例如,编码设备/解码设备可以基于式1来生成当前色度块的预测样本,在式1中使用针对当前色度块的计算出的参数和当前亮度块的重构样本。

此外,在本公开中,在推导CCLM参数时,可以提出与降低用于推导CCLM参数的运算复杂度的本实施方式不同的实施方式。

具体地,为了解决如上所述的CCLM参数运算量随色度块尺寸增加而增加的问题,本实施方式提出了一种自适应地配置像素选择上限N

例如,根据本实施方式,可以如下地将N

-本实施方式中的方法1(提出的方法1)

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N<=2的情况下,N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N=4的情况下,N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>4的情况下,N

另选地,例如,根据本实施方式,可以如下地将N

–本实施方式中的方法2(提出的方法2)

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N<=2的情况下,N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N=4的情况下,N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N=8的情况下,则N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>8的情况下,N

另选地,例如,根据本实施方式,可以如下地将N

–本实施方式中的方法3(提出的方法3)

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N<=2的情况下,N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>2的情况下,N

另选地,例如,根据本实施方式,可以如下地将N

–本实施方式中的方法4(提出的方法4)

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N<=2的情况下,N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>2的情况下,N

在本实施方式中的上述方法1至方法4可以将最坏情况的复杂度降低大约40%,并且由于N

如在方法1至方法4中所述,根据本实施方式,可以按照块尺寸自适应地配置N

编码设备/解码设备可以设置用于相邻样本选择的上限N

在应用上述本实施方式的情况下根据色度块尺寸的CCLM参数计算量可以表示为下表。

[表16]

如在上表16中所示,在使用本实施方式中提出的方法的情况下,表明即使块尺寸增加,CCLM参数计算所需的运算量也没有增加。

此外,根据本实施方式,在无需发送附加信息的情况下,可以在编码设备和解码设备中使用允诺值,或者可以以CU、条带、图片和序列为单位发送是否使用所提出的方法和表示N

例如,在以CU为单位使用表示是否使用所提出的方法的信息的情况下,在当前色度块的帧内预测模式是CCLM模式时(即,在CCLM预测被应用于当前色度块的情况下),可以解析cclm_reduced_sample_flag,并且可以如下地执行上述本实施方式。

–在cclm_reduced_sample_flag为0(假)的情况下,针对所有块,配置为N

–在cclm_reduced_sample_flag为1(真)的情况下,通过上述本实施方式的方法3执行CCLM参数计算。

另选地,在以条带、图片或序列为单位发送表示所应用方法的信息的情况下,如下所述,可以基于通过高阶语法(HLS)发送的信息选择方法1至方法4中的方法,并且基于所选方法,可以计算CCLM参数。

例如,通过条带报头发信号通知的表示所应用方法的信息可以表示为下表。

[表17]

cclm_reduced_sample_threshold可以表示表示所应用方法的信息的语法元素。

另选地,例如,通过图片参数集(PPS)发信号通知的表示所应用方法的信息可以表示为下表。

[表18]

另选地,例如,通过序列参数集(步骤,SPS)发信号通知的表示所应用方法的信息可以表示为下表。

[表19]

可以如下表所示地推导基于通过条带报头、PPS或SPS发送的cclm_reduced_sample_threshold值(即,通过对cclm_reduced_sample_threshold进行解码而推导的值)所选择的方法。

[表20]

参照表20,在cclm_reduced_sample_threshold值为0的情况下,可以选择方法1作为应用于当前色度块的方法,在cclm_reduced_sample_threshold值为1的情况下,可以选择方法2作为应用于当前色度块的方法,在cclm_reduced_sample_threshold值为2的情况下,可以选择方法3作为应用于当前色度块的方法,以及在cclm_reduced_sample_threshold值为3的情况下,可以选择方法4作为应用于当前色度块的方法。

在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来推导重构图像。

此外,在以CU、条带、图片和序列为单位发送表示所述方法之一的信息的情况下,编码设备可以如下地确定方法1至方法4中的一种并且向解码设备发送信息。

-在以CU为单位发送表示是否应用上述本实施方式的方法的信息的情况下,在当前色度块的帧内预测模式为CCLM模式(即,将CCLM预测应用于当前色度块)时,编码设备可以通过RDO确定以下两种情况之间编码效率好的一方,并向解码设备发送所确定的方法的信息。

1)在当针对所有块将N

2)在当配置为应用方法3并且通过提出的本实施方式的参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为1(真)的cclm_reduced_sample_flag。

–另选地,在以条带、图片或序列为单位发送表示是否应用上述本实施方式的方法的信息的情况下,编码设备可以添加如上述表17、表18或表19中所呈现的高阶语法(HLS),并发送表示所述方法当中的一个方法的信息。编码设备可以通过考虑输入图像的尺寸或根据编码目标比特率来配置所述方法当中被应用的方法。

1)例如,在输入图像为HD质量或更高的情况下,编码设备可以应用方法2(N

2)在需要高质量的图像编码的情况下,编码设备可以应用方法2(N

在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来重构图像。

图9a和图9b是用于描述基于根据上述本实施方式的方法1推导的当前色度块的CCLM参数执行CCLM预测的过程的图。

参照图9a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S900)。例如,可以如图9b所示的本实施方式那样计算CCLM参数。

图9b可以例示计算CCLM参数的特定实施方式。例如,参照图9b,编码设备/解码设备可以确定当前色度块是否为正方形色度块(步骤S905)。

在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S910),并确定N是否小于2(N<2)(步骤S915)。

另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S920)。编码设备/解码设备可以确定N是否小于2(步骤S915)。在此,M可以表示大于N的值(N

在N小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S930)。

此外,在N不小于2的情况下,编码设备/解码设备可以确定N是否为4以下(N<=4)(步骤S935)。

在N为4以下的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

另选地,在N大于4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

返回参照图9a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,以生成用于当前色度块的预测样本(步骤S950)。例如,编码设备/解码设备可以基于式1来生成用于当前色度块的预测样本,在式1中使用针对当前色度块的计算出的参数和当前亮度块的重构样本。

图10a和图10b是用于描述基于根据上述本实施方式的方法2所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

参照图10a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1000)。例如,可以如图10b所示的本实施方式那样计算CCLM参数。

图10b可以例示计算CCLM参数的特定实施方式。例如,参照图10b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1005)。

在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1010),并确定N是否小于2(N<2)(步骤S1015)。

另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1020)。编码设备/解码设备确定N是否小于2(步骤S1015)。在此,M表示大于N的值(N

在N小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1030)。

此外,在N不小于2的情况下,编码设备/解码设备可以确定N是否为4以下(N<=4)(步骤S1035)。

在N为4以下的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

此外,在N大于4的情况下,编码设备/解码设备可以确定N是否为8以下(N<=8)(步骤S1045)。

在N小于或等于8的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

另选地,在N大于8的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

返回参照图10a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,以生成当前色度块的预测样本(步骤S1060)。例如,编码设备/解码设备可以基于式1来生成当前色度块的预测样本,在式1中使用针对当前色度块的计算出的参数和当前亮度块的重构样本。

图11a和图11b是用于描述基于根据上述本实施方式的方法3所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

参照图11a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1100)。例如,可以如图11b所示的本实施方式那样计算CCLM参数。

图11b可以例示计算CCLM参数的特定实施方式。例如,参照图11b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1105)。

在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1110),并确定N是否小于2(N<2)(步骤S1115)。

另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1120)。编码设备/解码设备确定N是否小于2(步骤S1115)。在此,M表示大于N的值(N

在N小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1130)。

此外,在N不小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

返回参照图11a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,以生成当前色度块的预测样本(步骤S1140)。例如,编码设备/解码设备可以基于式1来生成当前色度块的预测样本,在式1中使用针对当前色度块的计算出的参数和当前亮度块的重构样本。

图12a和图12b是用于描述基于根据上述本实施方式的方法4所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

参照图12a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1200)。例如,可以如图12b所示的本实施方式那样计算CCLM参数。

图12b可以例示计算CCLM参数的特定实施方式。例如,参照图12b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1205)。

在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1210),并确定N是否小于2(N<2)(步骤S1215)。

另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1220)。编码设备/解码设备确定N是否小于2(步骤S1215)。在此,M表示大于N的值(N

在N小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1230)。

此外,在N不小于2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

返回参照图12a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测以生成当前色度块的预测样本(步骤S1240)。例如,编码设备/解码设备可以基于式1来生成当前色度块的预测样本,在式1中使用针对当前色度块的计算出的参数和当前亮度块的重构样本。

此外,在本公开中,在推导CCLM参数时,可以提出与降低用于推导CCLM参数的运算复杂度的本实施方式不同的实施方式。

具体地,为了解决如上所述的CCLM参数运算量随着色度块尺寸增加而增加的问题,本实施方式提出了一种自适应地配置像素选择上限N

例如,根据本实施方式,可以如下地将N

–本实施方式中的方法1(提出的方法1)

–在当前色度块是2×2尺寸的色度块的情况下,N

–在N×M尺寸或M×N尺寸(这里,例如,N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>2的情况下,N

另选地,例如,根据本实施方式,可以如下地将N

–本实施方式中的方法2(提出的方法2)

–在当前色度块是2×2尺寸的色度块的情况下,N

–在N×M尺寸或M×N尺寸(这里,例如,N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N=4的情况下,N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>4的情况下,N

另选地,例如,根据本实施方式,可以如下地将N

–本实施方式中的方法3(提出的方法3)

–在当前色度块是2×2尺寸的色度块的情况下,N

–在N×M尺寸或M×N尺寸(这里,例如,N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N=4的情况下,N

–在N×M尺寸或M×N尺寸(这里,例如,N<=M)的当前色度块中N>4的情况下,N

在本实施方式中的上述方法1至方法3可以将当前色度块为2×2的情况下的最坏情况的复杂度降低大约40%,并且由于N

如在方法1至方法3中所述,根据本实施方式,可以按照块尺寸自适应地配置N

编码设备/解码设备可以设置用于相邻样本选择的上限N

在应用上述本实施方式的情况下,根据色度块尺寸的CCLM参数计算量可以表示为下表。

[表21]

如在上表21中所示,在使用本实施方式中提出的方法的情况下,表明即使块尺寸增加,CCLM参数计算所需的运算量也没有增加。

此外,根据本实施方式,在无需发送附加信息的情况下,可以在编码设备和解码设备中使用允诺值,或者可以以CU、条带、图片和序列为单位发送是否使用所提出的方法和表示N

例如,在以CU为单位使用表示是否使用所提出的方法的信息的情况下,在当前色度块的帧内预测模式是CCLM模式时(即,在CCLM预测被应用于当前色度块的情况下),可以解析cclm_reduced_sample_flag,并且可以如下地执行上述本实施方式。

–在cclm_reduced_sample_flag为0(假)的情况下,针对所有块,配置为N

–在cclm_reduced_sample_flag为1(真)的情况下,通过上述本实施方式的方法1执行CCLM参数计算。

另选地,在以条带、图片或序列为单位发送表示所应用方法的信息的情况下,如下所述,可以基于通过高阶语法(HLS)发送的信息来选择方法1至方法3中的方法,并且基于所选方法,可以计算CCLM参数。

例如,通过条带报头发信号通知的表示所应用方法的信息可以表示为下表。

[表22]

cclm_reduced_sample_threshold可以表示表示所应用方法的信息的语法元素。

另选地,例如,通过图片参数集(PPS)发信号通知的表示所应用方法的信息可以表示为下表。

[表23]

另选地,例如,通过序列参数集(步骤,SPS)发信号通知的表示所应用方法的信息可以表示为下表。

[表24]

可以如下表所示地推导基于通过条带报头、PPS或SPS发送的cclm_reduced_sample_threshold值(即,通过对cclm_reduced_sample_threshold进行解码而推导的值)所选择的方法。

[表25]

参照表25,在cclm_reduced_sample_threshold值为0的情况下,上述本实施方式的方法可以不应用于当前色度块,在cclm_reduced_sample_threshold值为1的情况下,可以选择方法1作为应用于当前色度块的方法,在cclm_reduced_sample_threshold值为2的情况下,可以选择方法2作为应用于当前色度块的方法,并且在cclm_reduced_sample_threshold值为3的情况下,可以选择方法3作为应用于当前色度块的方法。

在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来推导重构图像。

此外,在以CU、条带、图片和序列为单位发送表示方法之一的信息的情况下,编码设备可以如下地确定方法1至方法3中的一种并且向解码设备发送信息。

-在以CU为单位发送表示是否应用上述本实施方式的方法的信息的情况下,在当前色度块的帧内预测模式为CCLM模式(即,将CCLM预测应用于当前色度块)时,编码设备可以通过RDO确定以下两种情况之间编码效率好的一方,并向解码设备发送所确定的方法的信息。

1)在当针对所有块N

2)在当配置了应用方法1并通过提出的本实施方式的参考样本选择方法执行CCLM参数计算时编码效率好的情况下,发送值为1(真)的cclm_reduced_sample_flag。

-另选地,在以条带、图片或序列为单位发送表示是否应用上述本实施方式的方法的信息的情况下,编码设备可以添加如上述表22、表23或表24中所呈现的高阶语法(HLS),并发送表示所述方法当中的一种方法的信息。编码设备可以通过考虑输入图像的尺寸或根据编码目标比特率来配置所述方法当中被应用的方法。

1)例如,在输入图像为HD质量或更高的情况下,编码设备可以应用方法3(N

2)在需要高质量的图像编码的情况下,编码设备可以应用方法3(N

在本实施方式中提出的方法可以用于作为色度分量的帧内预测模式的CCLM模式,并且通过CCLM模式预测的色度块可以用于在编码设备中通过与原始图像的差异来推导残差图像,或用于在解码设备中通过与残差信号相加来重构图像。

图13a和图13b是用于描述基于根据上述本实施方式的方法1所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

参照图13a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1300)。例如,可以如图13b所示的本实施方式那样计算CCLM参数。

图13b可以例示计算CCLM参数的特定实施方式。例如,参照图13b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1305)。

在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1310),并确定当前色度块的尺寸是否为2×2尺寸(步骤S1315)。

另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1320)。编码设备/解码设备确定当前色度块的尺寸是否为2×2尺寸(步骤S1315)。在此,M表示大于N的值(N

在当前色度块的尺寸为2×2尺寸的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1330)。

此外,在当前色度块的尺寸不为2×2尺寸的情况下,编码设备/解码设备可以确定N是否为2(N==2)(步骤S1335)。

在N为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

另选地,在N不为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

返回参照图13a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,以生成当前色度块的预测样本(步骤S1350)。例如,编码设备/解码设备可以基于式1来生成当前色度块的预测样本,在式1中使用针对当前色度块的计算出的参数和当前亮度块的重构样本。

图14a和图14b是用于描述基于根据上述本实施方式的方法2所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

参照图14a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1400)。例如,可以如图14b所示的本实施方式那样计算CCLM参数。

图14b可以例示计算CCLM参数的特定实施方式。例如,参照图14b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1405)。

在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1410),并确定当前色度块的尺寸是否为2×2(步骤S1415)。

另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1420)。编码设备/解码设备确定当前色度块的尺寸是否为2×2(步骤S1415)。在此,M表示大于N的值(N

在当前色度块的尺寸是2×2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1430)。

此外,在当前色度块的尺寸不是2×2的情况下,编码设备/解码设备确定N是否为2(N==2)(步骤S1435)。

在N为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

此外,在N不为2的情况下,编码设备/解码设备可以确定N是否为4(N==4)(步骤S1445)。

在N为4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

另选地,在N不为4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

返回参照图14a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,以生成当前色度块的预测样本(步骤S1460)。例如,编码设备/解码设备可以基于式1来生成当前色度块的预测样本,在式1使用针对当前色度块的计算出的参数和当前亮度块的重构样本。

图15a和图15b是用于描述基于根据上述本实施方式的方法3所推导的当前色度块的CCLM参数来执行CCLM预测的过程的图。

参照图15a,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1500)。例如,可以如图15b所示的本实施方式那样计算CCLM参数。

图15b可以例示计算CCLM参数的特定实施方式。例如,参照图15b,编码设备/解码设备可以确定当前色度块是否是正方形色度块(步骤S1505)。

在当前色度块是正方形色度块的情况下,编码设备/解码设备可以将当前块的宽度或高度设置为N(步骤S1510),并确定当前色度块的尺寸是否为2×2(步骤S1515)。

另选地,在当前色度块不是正方形色度块的情况下,当前色度块的尺寸可以以M×N尺寸或N×M尺寸来推导(步骤S1520)。编码设备/解码设备确定当前色度块的尺寸是否为2×2(步骤S1515)。在此,M表示大于N的值(N

在当前色度块的尺寸为2×2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

编码设备/解码设备可以基于所选择的参考样本来推导用于CCLM预测的参数α和β(步骤S1530)。

此外,在当前色度块的尺寸不是2×2的情况下,编码设备/解码设备确定N是否为2(N==2)(步骤S1535)。

在N为2的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

此外,在N不为2的情况下,编码设备/解码设备可以确定N是否为4(N==4)(步骤S1545)。

在N为4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

另选地,在N不为4的情况下,编码设备/解码设备可以选择与当前块相邻的参考行中的2N

再次参照图15a,在计算出用于当前色度块的CCLM预测的参数的情况下,编码设备/解码设备可以基于该参数执行CCLM预测,并生成当前色度块的预测样本(步骤S1560)。例如,编码设备/解码设备可以基于式1来生成当前色度块的预测样本,在式1中使用针对当前色度块的计算出的参数和当前亮度块的重构样本。

此外,在推导用于CCLM参数计算的相邻参考样本中需要子采样的情况下,本公开提出了一种更有效地选择子采样样本的实施方式。

图16例示了选择色度块的相邻参考样本的示例。

参照图16的(a),在2×2尺寸(N=2)的色度块中,可以基于4个相邻参考样本来计算用于色度块的CCLM参数α和β。相邻参考样本可以包括亮度块的4个相邻参考样本和色度块的4个相邻参考样本。另外,类似于上述本实施方式,在将用于2×2尺寸的色度块的N

图17a至图17c例示了通过现有的子采样所推导的相邻参考样本和通过根据本实施方式的子采样推导的相邻参考样本。

如图17a和图17b所示,通过根据本实施方式的子采样优先选择远离当前色度块的左上侧的相邻样本,在CCLM参数计算中可以选择更多样的采样值。

另外,如图17c所示,本实施方式提出了甚至对于如n×2尺寸或2×n尺寸的非正方形色度块也优先选择远离左上侧的一侧的子采样。由此,可以在CCLM参数计算中选择更多样的样本值,并且由此可以提高CCLM参数计算的准确性。

此外,可以基于下式来执行现有的子采样。

[式4]

Idx_w=(x*width)/subsample_num

Idx_h=(y*height)/subsample_num

在此,Idx_w可以表示通过子采样推导出的与顶当前色度块相邻的相邻参考样本(或相邻参考样本的位置),Idx_h可以表示通过子采样推导出的与左当前色度块相邻的相邻参考样本(或相邻参考样本的位置)。此外,width可以表示当前色度块的宽度,height可以表示当前色度块的高度。另外,subsample_num可以表示通过子采样推导出的相邻参考样本的数目(与一侧相邻的相邻参考样本的数目)。

例如,可以如下执行基于上式4所执行的子采样。

上式4中的x是变量,并且可以在子采样之后从0增加到当前色度块的顶相邻参考样本的参考样本数目。作为示例,在宽度为16的当前色度块中选择2个顶相邻参考样本的情况下,式4的width为16,并且x可以从0到1变化。此外,由于Subsample_num为2,所以可以选择0和8作为Idx_w值。因此,在当前色度块的左上样本位置的x分量和y分量为0的情况下,可以通过子采样从顶相邻参考样本当中选择x坐标为0的顶相邻参考样本和x坐标为8的顶相邻参考样本。

上式4中的y是变量,并且在子采样之后可以从0增加到当前色度块的左相邻参考样本的参考样本数目。作为示例,在高度为32的当前色度块中选择了4个左相邻参考样本的情况下,式4中的height为32,并且y可以从0到3变化。另外,由于Subsample_num为4,所以可以选择0、8、16和24作为Idx_h值。因此,在当前色度块的左上样本位置的x分量和y分量为0的情况下,可以通过子采样从左相邻参考样本当中选择y坐标为0的左相邻参考样本、y坐标为8的左相邻参考样本、y坐标为16的左相邻参考样本和y坐标为24的左相邻参考样本。

参照上式4,可以通过子采样选择当前色度块的仅左上角附近的样本。

因此,根据本实施方式,可以基于与上式4不同的式来执行子采样。例如,可以基于下式来执行在本实施方式中提出的子采样。

[式5]

Idx_w=width-1-(x*width)/subsample_num_width

ldx-h=height-1-(y*height)/subsample_num_height

这里,subsample_num_width可以表示通过子采样所推导的顶相邻参考样本数目,并且subsample_num_height可以表示通过子采样所推导的左相邻参考样本数目。

另外,x是变量,并且可以在子采样之后从0增加到当前色度块的顶相邻参考样本的参考样本数目。此外,y是变量,并且可以在子采样之后从0增加到当前色度块的左相邻参考样本的参考样本数目。

例如,参照上式5,在宽度为16的当前色度块中选择两个顶相邻参考样本的情况下,式5中的width为16,并且x可以从0到1变化。另外,由于subsample_num_width为2,所以可以选择15和7作为Idx_w值。因此,在当前色度块的左上样本位置的x分量和y分量为0的情况下,可以通过子采样从顶相邻参考样本当中选择x坐标为15的顶相邻参考样本和x坐标为7的顶相邻参考样本。即,在当前色度块的顶相邻参考样本当中,可以选择远离当前色度块的左上侧的顶相邻参考样本。

另外,例如,参照上式5,在高度为32的当前色度块中选择4个左相邻参考样本的情况下,式5中的height为32,并且y可以从0至3变化。此外,由于subsample_num_height为4,所以可以选择31、23、15和7作为Idx_h值。因此,在当前色度块的左上样本位置的x分量和y分量为0的情况下,可以通过子采样在左相邻参考样本当中选择y坐标为31的左相邻参考样本、y坐标为23的左相邻参考样本、y个坐标为15的左相邻参考样本、以及y坐标为7的左相邻参考样本。

此外,可以基于当前色度块的尺寸来推导以上式5的subsample_num_width和subsample_num_height。例如,可以如下表中所示地推导subsample_num_width和subsample_num_height。

[表26]

参照表26,可以根据当前色度块的宽度和高度当中的短边,对与长边相邻的相邻参考样本执行子采样。即,从与长边相邻的相邻参考样本当中选择的相邻参考样本的数目可以被推导为当前色度块的宽度和高度当中的较小值。例如,可以将其推导为subsample_num_width=subsample_num_height=min(width,height)。

另选地,例如,在推导出N

[表27]

在此,min(A,B)可以表示A和B当中的较小值。

另选地,例如,基于预定的查找表(LUT),可以执行子采样以根据当前色度块的形状推导最佳数目的相邻参考样本。例如,可以如下表所示地推导LUT。

[表28]

参照上表28,与上述子采样相比,可以增加所选数目的相邻参考样本,并且由此可以以更高精度计算CCLM参数。在上述示例中用于推导6个相邻参考样本的子采样中,可以在用于推导8个相邻参考样本的子采样当中选择前6个位置(idx_w或idx_h),并且在用于推导12或14个相邻参考样本的子采样中,可以在用于推导16个相邻参考样本的子采样当中选择前12个或14个位置。另外,在用于推导24或28个相邻参考样本的子采样中,可以在用于推导32个相邻参考样本的子采样当中选择前24或28个位置。

另外,参照表28,由编码设备和解码设备所选择的参考样本的数目的确定可以如下。

例如,在当前色度块的色度块尺寸为4×32的情况下,subsample_num_width可以被确定为4,并且subsample_num_height可以被确定为28。在其余色度块尺寸的情况下,可以以相同的方式确定subsample_num_width和subsample_num_height。

另选地,为了防止硬件复杂度的增加,可以执行用于推导简化数目的相邻参考样本的子采样。例如,可以如下表所示地推导LUT。

[表29]

参照上表29,subsample_num_width和subsample_num_height之和的最大值可以设置为8。由此,可以降低硬件复杂度,并且可以有效地计算CCLM参数。

在上述示例中用于推导6个相邻参考样本的子采样中,可以在用于推导8个相邻参考样本的子采样当中选择前6个位置(idx_w或idx_h)。

另外,参照表29,由编码设备和解码设备选择的参考样本的数目的确定可以如下。

例如,在当前色度块的色度块尺寸为4×32的情况下,subsample_num_width可以被确定为2,并且subsample_num_height可以被确定为6。在其余色度块尺寸的情况下,可以以相同的方式确定subsample_num_width和subsample_num_height。

根据所提出的方法,在无需发送附加信息的情况下,可以使用编码器或解码器中允诺的值,或者可以以CU、条带、图片和序列为单位发送是否使用所提出的方法或值。

在执行使用如上述表28和表29所呈现的LUT的子采样的情况下,编码设备和解码设备可以使用在表(即,LUT)中确定的subsample_num_width和subsample_num_height数目,并且在使用N

此外,在以CU为单位发送所提出的方法(即,发送表示是否应用使用上述式5的子采样的信息)的情况下,在当前色度块的帧内预测模式为CCLM模式时,解码设备通过如下地解析cclm_subsample_flag来执行CCLM预测的方法。

–在cclm_subsample_flag为0(假)的情况下,通过现有的子采样方法(基于上述式4的子采样)执行相邻参考样本选择和CCLM参数计算。

–在cclm_subsample_flag为1(真)的情况下,通过提出的子采样方法(基于上述式5的子采样)执行相邻参考样本选择和CCLM参数计算。

在以条带、图片和序列为单位来发送表示是否使用所提出方法的信息的情况下,可以通过如下的高阶语法(HLS)来发送该信息。解码设备可以基于该信息选择执行的子采样方法。

例如,通过条带报头发信号通知的表示是否使用所提出方法的信息可以表示为下表。

[表30]

cclm_reduced_sample_flag可以表示代表是否使用所提出方法的信息的语法元素。

另选地,例如,通过图片参数集(PPS)发信号通知的表示是否使用所提出方法的信息可以表示为下表。

[表31]

另选地,例如,表示是否使用通过序列参数集(步骤,SPS)发信号通知的所提出方法的信息可以表示为下表。

[表32]

可以如下表中所示地推导基于通过条带报头、PPS或SPS发送的cclm_reduced_sample_flag值(即,通过对cclm_reduced_sample_flag进行解码所推导的值)所选择的方法。

[表33]

参照表33,在cclm_subsample_flag值是0的情况下,可以执行使用式4的子采样,并且在cclm_subsample_flag值是1的情况下,可以执行使用式5的子采样。

此外,在编码设备和解码设备中使用预定值而不发送附加信息的情况下,编码设备可以按照与解码设备相同的方式执行上述实施方式,并基于所选择的相邻参考样本执行CCLM参数计算。

另选地,在以CU、条带、图片和序列为单位发送表示是否应用所提出的子采样方法的信息的情况下,编码设备可以确定是否应用所提出的子采样方法,然后向解码设备发送所确定的方法的信息。

-在以CU为单位发送表示是否应用所提出的子采样方法的信息的情况下,在当前色度块的帧内预测模式为CCLM模式时,编码设备可以通过RDO确定以下两种情况当中编码效率好的一方,并向解码设备发送表示相应情况的值的信息。

1)在当通过现有的子采样(基于上述式4的子采样)执行CCLM参数计算时编码效率好的情况下,发送值为0(假)的cclm_subsample_flag。

2)在当通过所提出的子采样(基于上述式5的子采样)执行CCLM参数计算时编码效率好的情况下,发送值为1(真)的cclm_subsample_flag。

–在以条带、图片或序列为单位发送表示是否应用所提出的子采样方法的信息的情况下,编码设备可以添加如上述表30、表31或表32所呈现的高阶语法(HLS),并发送该信息。

图18示出了使用利用如上所述的式5的子采样来执行CCLM预测的示例。

参照图18,编码设备/解码设备可以计算当前块的CCLM参数(步骤S1800)。

具体地,编码设备/解码设备可以确定是否需要对当前色度块的相邻样本进行子采样(步骤S1805)。

例如,在选择其数目小于当前色度块的宽度的顶相邻样本以推导当前色度块的CCLM参数的情况下,需要对当前色度块的顶相邻样本执行子采样。另外,例如,在选择其数目小于当前色度块的高度的左相邻样本以推导当前色度块的CCLM参数的情况下,需要对当前色度块的左相邻样本执行子采样。

在需要进行子采样的情况下,编码设备/解码设备可以通过对相邻样本执行使用式5的子采样,来选择特定数目的相邻样本(步骤S1810)。随后,编码设备/解码设备可以基于所选择的相邻样本来计算当前色度块的CCLM参数(步骤S1815)。

此外,在不需要进行子采样的情况下,编码设备/解码设备可以在不执行子采样的情况下选择当前色度块的相邻样本(步骤S1820)。随后,编码设备/解码设备可以基于所选择的相邻样本来计算当前色度块的CCLM参数(步骤S1815)。

在推导出CCLM参数的情况下,编码设备/解码设备可以通过基于CCLM参数对当前色度块执行CCLM预测来生成当前色度块的预测样本(步骤S1825)。

图19示意性地表示根据本文档的编码设备的图像编码方法。图19所示的方法可以由图2所公开的编码设备执行。具体地,例如,图19的步骤S1900至S1960可以由编码设备的预测器执行,并且S1970可以由编码设备的熵编码器执行。另外,尽管附图中未示出,但是基于当前色度块的原始样本和预测样本推导当前色度块的残差样本的处理可以由编码设备的减法器执行;基于当前色度块的残差样本和预测样本来推导当前色度块的重构样本的处理可以由编码设备的加法器执行;基于残差样本生成当前色度块的残差的信息的处理可以由编码设备的变换器执行;并且对关于残差的信息进行编码的处理可以由编码设备的熵编码器单元执行。

编码设备确定跨分量线性模型(CCLM)模式作为当前色度块的帧内预测模式(步骤S1900)。例如,编码设备可以基于速率失真成本(RDO)来确定当前色度块的帧内预测模式。在此,可以基于绝对差之和(步骤,SAD)来推导RD成本。编码设备可以基于RD成本将CCLM模式确定为当前色度块的帧内预测模式。

另外,编码设备可以对关于当前色度块的帧内预测模式的信息进行编码,并且可以通过比特流用信号通知关于帧内预测模式的信息。当前色度块的预测相关信息可以包括关于帧内预测模式的信息。

编码设备推导当前色度块的特定值(步骤S1910)。

编码设备可以推导当前色度块的特定值。可以推导特定值以推导当前色度块的CCLM参数。例如,特定值可以表示为相邻样本数目上限或最大相邻样本数目。特定值可以为2。另选地,特定值可以为4、8或16。

例如,特定值可以推导为预设值。即,特定值可以推导为在编码设备和解码设备之间允诺的值。换句话说,特定值可以推导为针对应用CCLM模式的当前色度块的预设值。

另选地,例如,编码设备可以对包括预测相关信息的图像信息进行编码并且通过比特流发信号通知包括预测相关信息的图像信息,其中,预测相关信息可以包括指示特定值的信息。可以以编码单元(CU)、条带、PPS或SPS为单位发信号通知指示特定值的信息。

另选地,例如,编码设备可以对包括预测相关信息的图像信息进行编码,该预测相关信息可以包括指示是否基于特定值来推导相邻参考样本的数目的标志信息。在标志信息的值为1的情况下,标志信息可以指示基于特定值来推导相邻参考样本的数目,而在标志信息的值为0的情况下,标志信息可以指示不基于特定值来推导相邻参考样本的数目。在标志信息的值为1的情况下,预测相关信息可以包括指示特定值的信息。可以以编码单元(CU)、条带、PPS或SPS为单位发信号通知指示标志信息和/或特定值的信息。

另选地,例如,可以基于当前块的尺寸来推导特定值。作为示例,基于当前块的宽度和高度当中的较小值是否大于特定阈值来推导特定值。例如,在当前块的宽度和高度当中的较小值大于特定阈值的情况下,特定值可以推导为4;而在当前块的宽度和高度当中的较小值不大于特定阈值的情况下,特定值可以推导为2。特定阈值可以推导为预设值。即,特定阈值可以推导为编码设备和解码设备之间允诺的值。另选地,例如,编码设备可以对包括预测相关信息的图像信息进行编码,预测相关信息可以包括指示特定阈值的信息。在这种情况下,可以基于指示特定阈值的信息来推导特定阈值。例如,推导出的特定阈值可以为4或8。

编码装置将当前色度块的宽度和高度与特定值进行比较(步骤S1920)。例如,编码设备可以将当前色度块的宽度和高度与特定值进行比较。

作为示例,编码设备可以将当前色度块的宽度与特定值进行比较,并且可以将当前色度块的高度与特定值进行比较。

另选地,作为示例,编码设备可以将当前色度块的宽度和高度当中的较小值与特定值进行比较,并且可以将当前色度块的高度与特定值进行比较。

在宽度和高度大于或等于特定值的情况下,编码设备推导其数目等于当前色度块的特定值的顶相邻色度样本以及其数目等于特定值的左相邻色度样本(步骤S1930)。

编码设备推导当前亮度块的下采样的亮度样本和下采样的相邻亮度样本(步骤S1940)。在此,相邻亮度样本可以对应于顶相邻色度样本和左相邻色度样本。下采样的周围亮度样本可以包括当前亮度块的与顶相邻色度样本相对应的下采样的顶相邻亮度样本和当前亮度块的与左相邻色度样本相对应的下采样的左相邻亮度样本。

在推导出其数目等于特定值的顶相邻色度样本的情况下,可以推导与顶相邻色度样本相对应的、其数目等于特定值的下采样的顶相邻亮度样本。此外,在推导出其数目等于宽度的值的顶相邻色度样本的情况下,可以推导与顶相邻色度样本相对应的、其数目等于宽度的值的下采样的顶相邻亮度样本。

此外,在推导出其数目等于特定值的左相邻色度样本的情况下,可以推导与左相邻色度样本相对应的、其数目等于特定值的下采样的左相邻亮度样本。此外,在推导出其数目等于高度的值的左相邻色度样本的情况下,可以推导与左相邻色度样本相对应的、其数目等于高度的值的下采样的左相邻亮度样本。

编码设备基于顶相邻色度样本、左相邻色度样本和下采样的相邻亮度样本来推导CCLM参数(步骤S1950)。编码设备可以基于顶相邻色度样本、左相邻色度样本和下采样的相邻亮度样本来推导CCLM参数。例如,可以基于上述式3来推导CCLM参数。

编码设备基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本(步骤S1960)。编码设备可以基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本。编码设备可以通过向下采样的亮度样本应用从CCLM参数推导的CCLM,来生成当前色度块的预测样本。即,编码设备可以通过基于CCLM参数执行CCLM预测来生成当前色度块的预测样本。例如,可以基于上述式1来推导预测样本。

编码设备对包括关于当前色度块的预测相关信息的图像信息进行编码(步骤S1970)。编码设备可以对包括关于当前色度块的预测相关信息的图像信息进行编码,并且通过比特流来发信号通知经编码的图像信息。

例如,预测相关信息可以包括指示特定值的信息。附加地,例如,预测相关信息可以包括指示特定值的信息。附加地,例如,预测相关信息可以包括指示是否基于特定值来推导相邻参考样本的数目的标志信息。而且,例如,预测相关信息可以包括指示当前色度块的帧内预测模式的信息。

此外,尽管附图中未示出,但是编码设备可以基于当前色度块的原始样本和预测样本来推导当前色度块的残差样本,基于残差样本生成当前色度块的残差的信息,并且对关于残差的信息进行编码。图像信息可以包括关于残差的信息。另外,编码设备可以基于当前色度块的预测样本和残差样本来生成当前色度块的重构样本。

此外,比特流可以通过网络或(数字)存储介质发送给解码设备。在此,网络可以包括广播网络和/或通信网络等,并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。

图20示意性地例示了根据本公开的执行图像编码方法的编码设备。图19中所公开的方法可以由图20中所公开的编码设备执行。具体地,例如,图20的编码设备的预测器可以执行图19的步骤S1900至S1960,并且图20的编码设备的熵编码器可以执行图19的步骤S1970。另外,尽管未示出,但是基于当前色度块的原始样本和预测样本来推导当前色度块的残差样本的处理可以由图20中的编码设备的减法器执行;基于当前色度块的残差样本和预测样本来推导当前色度块的重构样本的处理可以由图20中的编码设备的加法器来执行;基于残差样本来生成当前色度块的残差的信息的处理可以由图20中的编码设备的变换器执行;以及对关于残差的信息进行编码的处理可以由图20中的编码设备的熵编码器单元来执行。

图21示意性地例示了根据本公开的解码设备的图像解码方法。图21中所公开的方法可以由图3中所公开的解码设备执行。具体地,例如,图21中的步骤S2100至步骤S2160可以由解码设备的预测器执行,并且步骤S2170可以由解码设备的加法器执行。另外,尽管未示出,但是通过比特流获得关于当前块的残差的信息的处理可以由解码设备的熵解码器执行,并且基于残差信息推导当前块的残差样本的处理可以由解码设备的逆变换器执行。

解码设备推导跨分量线性模型(CCLM)模式作为当前色度块的帧内预测模式(步骤S2100)。解码设备可以推导当前色度帧内预测模式的帧内预测模式。例如,解码设备可以通过比特流接收关于当前色度块的帧内预测模式的信息,并且基于关于帧内预测模式的信息来推导CCLM模式作为当前色度块的帧内预测模式。

解码设备推导当前色度块的特定值(步骤S2110)。解码设备可以推导当前色度块的特定值。可以推导特定值以推导当前色度块的CCLM参数。例如,特定值可以表示为相邻样本数目上限或最大相邻样本数目。推导出的特定值可以为2。另选地,推导出的特定值可以为4、8或16。

例如,特定值可以推导为预设值。即,特定值可以推导为在编码设备和解码设备之间允诺的值。换句话说,特定值可以推导为针对应用CCLM模式的当前色度块的预设值。

另选地,例如,解码设备可以通过比特流获得包括预测相关信息的图像信息,并且预测相关信息可以包括指示特定值的信息。在这种情况下,解码设备可以基于指示特定值的信息来推导特定值。可以以编码单元(CU)、条带、PPS或SPS为单位发信号通知指示特定值的信息。

另选地,例如,解码设备可以通过比特流获得包括预测相关信息的图像信息,预测相关信息可以包括指示是否基于特定值来推导相邻参考样本的数目的标志信息。在标志信息的值为1的情况下,标志信息可以指示基于特定值来推导相邻参考样本的数目,而在标志信息的值为0的情况下,标志信息可以指示不基于特定值来推导相邻参考样本的数目。在标志信息的值为1的情况下,预测相关信息可以包括指示特定值的信息。在这种情况下,解码设备可以基于指示特定值的信息来推导特定值。可以以编码单元(CU)、条带、PPS或SPS为单位发信号通知指示标志信息和/或特定值的信息。

另选地,例如,可以基于当前块的尺寸来推导特定值。作为示例,基于当前块的宽度和高度当中的较小值是否大于特定阈值来推导特定值。例如,在当前块的宽度和高度当中的较小值大于特定阈值的情况下,特定值可以推导为4;而在当前块的宽度和高度当中的较小值不大于特定阈值的情况下,特定值可以推导为2。特定阈值可以推导为预设值。即,特定阈值可以推导为编码设备和解码设备之间允诺的值。另选地,例如,解码设备可以通过比特流获得包括预测相关信息的图像信息,并且预测相关信息可以包括指示特定阈值的信息。在这种情况下,可以基于指示特定阈值的信息来推导特定阈值。例如,推导出的特定阈值可以为4或8。

解码设备将当前色度块的宽度和高度与特定值进行比较(步骤S2120)。例如,解码设备可以将当前色度块的宽度和高度与特定值进行比较。

作为示例,解码设备可以将当前色度块的宽度与特定值进行比较,并且可以将当前色度块的高度与特定值进行比较。

另选地,作为示例,解码设备可以将当前色度块的宽度和高度当中的较小值与特定值进行比较,并且可以将当前色度块的高度与特定值进行比较。

在宽度和高度大于或等于特定值的情况下,解码设备推导其数目等于当前色度块的特定值的顶相邻色度样本以及其数目等于特定值的左相邻色度样本(步骤S2130)。

例如,在宽度和高度大于或等于特定值的情况下,解码设备可以推导其数目等于当前色度块的特定值的顶相邻色度样本以及其数目等于特定值的左相邻色度样本。

另选地,例如,在宽度和高度小于特定值的情况下,解码设备可以推导其数目等于当前色度块的宽度的值的顶相邻色度样本以及其数目等于高度的值的左相邻色度样本。

另选地,例如,在宽度大于或等于特定值并且高度小于特定值的情况下,解码设备可以推导其数目等于当前色度块的特定值的顶相邻色度样本以及其数目等于高度的值的左相邻色度样本。

另选地,例如,在宽度小于特定值并且高度大于或等于特定值的情况下,解码设备可以推导其数目等于当前色度块的宽度的值的顶相邻色度样本以及其数目等于特定值的左相邻色度样本。

同时,顶相邻色度样本可以是与当前色度块的顶边界相邻的相邻色度样本,而左侧相邻色度样本可以是与当前色度块的左边界相邻的相邻色度样本。

附加地,在推导出其数目等于特定值的顶相邻色度样本的情况下,可以推导与当前色度块的顶边界相邻的顶相邻色度样本当中的基于上式4推导的位置的顶相邻色度样本作为其数目等于特定值的顶相邻色度样本。附加地,在推导出其数目等于特定值的左相邻色度样本的情况下,可以推导与当前色度块的左边界相邻的左相邻色度样本当中的基于上式4推导的位置的顶相邻色度样本作为其数目等于特定值的左相邻色度样本。

另选地,在推导出其数目等于特定值的顶相邻色度样本的情况下,可以推导与当前色度块的顶边界相邻的顶相邻色度样本当中的基于上式5推导的位置的顶相邻色度样本作为其数目等于特定值的顶相邻色度样本。附加地,在推导出其数目等于特定值的左相邻色度样本的情况下,可以推导与当前色度块的左边界相邻的左相邻色度样本当中的基于上式5推导的位置的顶相邻色度样本作为其数目等于特定值的左相邻色度样本。

解码设备推导当前亮度块的下采样的亮度样本和下采样的相邻亮度样本(步骤S2140)。在此,相邻亮度样本可以对应于顶相邻色度样本和左相邻色度样本。下采样的周围亮度样本可以包括当前亮度块的与顶相邻色度样本相对应的下采样的顶相邻亮度样本、以及当前亮度块的与左相邻色度样本相对应的下采样的左相邻亮度样本。

在推导出其数目等于特定值的顶相邻色度样本的情况下,可以推导与顶相邻色度样本相对应的、其数目等于特定值的下采样的顶相邻亮度样本。此外,在推导出其数目等于宽度的值的顶相邻色度样本的情况下,可以推导与顶相邻色度样本相对应的、其数目等于宽度的值的下采样的顶相邻亮度样本。

此外,在推导出其数目等于特定值的左相邻色度样本的情况下,可以推导与左相邻色度样本相对应的、其数目等于特定值的下采样的左相邻亮度样本。此外,在推导出其数目等于高度的值的左相邻色度样本的情况下,可以推导与左相邻色度样本相对应的、其数目等于高度的值的下采样的左相邻亮度样本。

解码设备基于顶相邻色度样本、左相邻色度样本和下采样的相邻亮度样本来推导CCLM参数(步骤S2150)。解码设备可以基于顶相邻色度样本、左相邻色度样本和下采样的相邻亮度样本来推导CCLM参数。例如,可以基于上述式3来推导CCLM参数。

解码设备基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本(步骤S2160)。解码设备可以基于CCLM参数和下采样的亮度样本来推导当前色度块的预测样本。解码设备可以通过向下采样的亮度样本应用从CCLM参数推导的CCLM,来生成当前色度块的预测样本。即,解码设备可以通过基于CCLM参数执行CCLM预测来生成当前色度块的预测样本。例如,可以基于上述式1来推导预测样本。

解码设备基于预测样本生成当前色度块的重构样本(步骤S2170)。解码设备可以基于预测样本来生成重构样本。例如,解码设备可以从比特流接收当前色度块的残差的信息。关于残差的信息可以包括与(色度)残差样本相关的变换系数。解码设备可以基于残差信息来推导当前色度块的残差样本(或残差样本阵列)。在这种情况下,解码设备可以基于预测样本和残差样本来生成重构样本。解码设备可以基于重构样本来推导重构块或重构图片。随后,如上所述,解码设备可以根据需要将诸如解块滤波和/或SAO过程之类的环路滤波过程应用于重构图片,以改善主观/客观图像质量。

图22示意性地例示了根据本文档的执行图像解码方法的解码设备。图21中所公开的方法可以由图22中所公开的解码设备执行。具体地,例如,图22的解码设备的预测器可以执行图21的步骤S2100至S2160,并且图22的解码设备的加法器可以执行图21的步骤S2170。另外,尽管未示出,但是可以由图22的解码设备的熵解码器来执行通过比特流获得包括关于当前块的残差的信息的图像信息的处理,以及可以由图22的解码设备的逆变换器执行基于关于残差的信息来推导当前块的残差样本的处理。

根据以上描述的文档,通过基于CCLM执行帧内预测,能够提高图像编码效率。

此外,根据该文档,可以提高基于CCLM的帧内预测的效率。

此外,根据该文档,能够通过将为了推导用于CCLM的线性模型参数而选择的相邻样本的数目限制为特定数目来降低帧内预测的复杂度。

在以上实施方式中,基于具有一系列步骤或方框的流程图描述了方法。本公开不限于以上步骤或方框的顺序。一些步骤或方框可以以与上述的其它步骤或方框不同的顺序执行或同时执行。此外,本领域技术人员将理解,流程图中所示的步骤不是排它的,并且可以还包括其它步骤,或者可以在不影响本公开的范围的情况下删除流程图中的一个或更多个步骤。

在本说明书中所描述的实施方式可以通过被实现在处理器、微处理器、控制器或芯片上来执行。例如,每个图中所示的功能单元可以通过被实现在计算机、处理器、微处理器、控制器或芯片上来执行。在这种情况下,用于实现的信息(例如,关于指令的信息)或算法可以存储在数字存储介质中。

另外,应用本公开的解码设备和编码设备可以被包括在如下设备中:多媒体广播发送/接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监视相机、视频聊天设备、诸如视频通信的实时通信设备、移动流设备、存储介质、便携式摄像机、VoD服务提供设备、顶置(OTT)视频设备、互联网流服务提供设备、三维(3D)视频设备、电话会议视频设备、运输用户设备(例如,车辆用户设备、飞机用户设备和轮船用户设备)和医疗视频装置;并且应用本公开的解码设备和编码设备可以用于处理视频信号或数据信号。例如,顶置(OTT)视频设备可以包括游戏机、蓝光播放器、互联网接入电视机、家庭影院系统、智能电话、平板电脑、数字视频记录仪(DVR)等。

另外,应用本公开的处理方法可以以计算机执行的程序的形式产生,并且可以存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括其中存储计算机可读数据的所有类型的存储装置。计算机可读记录介质可以包括例如BD、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。另外,计算机可读记录介质包括以载波(例如,经由互联网的传输)形式实现的介质。另外,由编码方法生成的比特流可以存储在计算机可读记录介质中或通过有线/无线通信网络来传输。

另外,本公开的实施方式可以根据程序代码利用计算机程序产品来实现,并且程序代码可以通过本公开的实施方式在计算机中执行。程序代码可以存储在计算机可读载体上。

图23例示了应用了本公开的内容流系统的结构图。

应用本文档的实施方式的内容流系统可以主要包括编码服务器、流服务器、网络服务器、媒体储存器、用户装置和多媒体输入装置。

编码服务器将从诸如智能手机、相机或便携式摄像机等的多媒体输入装置输入的内容压缩为数字数据,以生成比特流并将比特流发送到流服务器。作为另一示例,当诸如智能手机、相机或便携式摄像机等的多媒体输入装置直接生成比特流时,可以省略编码服务器。

可以通过应用了本文档的实施方式的编码方法或比特流生成方法来生成比特流,并且流服务器可以在发送或接收比特流的过程中临时存储比特流。

流服务器基于用户请求通过网络服务器向用户装置发送多媒体数据,并且网络服务器用作向用户通知服务的媒介。当用户从网络服务器请求所需的服务时,网络服务器向流服务器递送该请求,并且流服务器向用户发送多媒体数据。在这种情况下,内容流系统可以包括单独的控制服务器。在这种情况下,控制服务器用于控制内容流系统内的装置之间的命令/响应。

流服务器可以从媒体储存器和/或编码服务器接收内容。例如,当从编码服务器接收内容时,可以实时接收内容。在这种情况下,为了提供平稳的流服务,流服务器可以将比特流存储预定时间段。

用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、触屏PC、平板PC、超级本、可穿戴装置(例如,智能手表、智能眼镜和头戴式显示器)、数字TV、台式计算机和数字标牌等。内容流系统内的每个服务器可以作为分布式服务器来操作,在这种情况下,从每个服务器接收的数据可以被分布。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号