相关申请的交叉引用
本申请要求2018年6月29日提交的名称为“Multi Reference Line SelectionMethod and Most Probable Modes Selection Method”的临时美国专利申请62/692,175的权益和优先权，该申请的代理人案卷号为US74319(下文称为“US74319申请”)。US74319申请的公开内容据此以引用方式全文并入本申请中。
技术领域
本公开整体涉及视频编码，并且更具体地讲，涉及用于选择预测模式和参考线的技术。
背景技术
帧内预测是用于视频编码的编码工具。在常规视频编码方法中，编码器和解码器仅使用与编码块相邻的最近像素线中的先前重构像素来生成用于沿取向预测或重构编码块的参考像素和预测子。
然而，最近像素线可包括与编码块中的其他对象不同的对象的纹理和/或信号噪声。因此，编码器可利用最近像素线和最近像素线附近的其他相邻像素线来生成参考像素和预测子。当编码器利用多于一个像素线来生成参考像素和预测子时，编码器需要将指示所选择的参考线的标记发信号通知到比特流中。因此，解码器有必要从比特流中解析标记，并基于该标记确定为编码块选择哪些像素线。
此外，当编码器基于预定义模式列表中包括的多个帧内模式而选择不同的参考线来预测编码块时，预测结果的数量可能太大而导致编码器不能快速选择适当的预测结果。因此，编码器可能需要不同的模式列表以用于不同的参考线。
发明内容
本公开涉及用于基于一个或多个参考线编码视频数据的设备和方法。
附图说明
当与附图一起阅读时，根据以下详细描述可以最好地理解示例性公开的各方面。各种特征未按比例绘制，为了清楚讨论，各种特征的尺寸可任意增大或减小。
图1是示出根据本公开的一种或多种技术的被配置为对视频数据进行编码和解码的系统的示例性具体实施的框图。
图2是图1的系统中的目标设备的解码器模块的示例性具体实施的框图。
图3示出了根据示例性具体实施的用于选择参考线和预测模式的选择方法的流程图。
图4是块单元和与块单元相邻的多个参考线的示例性具体实施的示意图。
图5示出了根据示例性具体实施的用于选择参考线和预测模式的选择方法的流程图。
图6示出了根据示例性具体实施的根据线索引和模式标记的预测方法的流程图。
图7示出了根据示例性具体实施的线数量确定方法的流程图。
图8是图1的系统中的源设备的编码器模块的示例性具体实施的框图。
图9示出了根据示例性具体实施的用于选择参考线和预测模式的选择方法的流程图。
具体实施方式
以下描述包含与本公开中的示例性具体实施有关的具体信息。本公开中的附图及其附带的具体实施方式仅涉及示例性具体实施。然而，本公开并不仅限于这些示例性具体实施。本领域的技术人员将会想到本公开的其他变型和具体实施。除非另有说明，否则附图中相同或对应的附图标号可指示相同或对应的元件。此外，本公开中的附图和图示通常未按比例绘制，并且不旨在对应于实际相对尺寸。
出于一致性和易于理解的目的，在示例性附图中通过数字来标识相同的特征(尽管在一些示例中未示出)。然而，不同具体实施中的特征可在其他方面不同，因此不应狭义地局限于附图所示的特征。
本说明书使用的短语“在一个具体实施中”或“在一些具体实施中”各自可指相同或不同具体实施中的一个或多个具体实施。术语“耦接”被定义为连接，无论是直接连接还是通过居间部件间接连接，并且不一定限于物理连接。术语“包括”在使用时意指“包括但不一定限于”；其具体地指示开放式包含或如此描述的组合、组、系列和等同物中的成员身份。
另外，出于解释和非限制的目的，阐述了特定细节，诸如：功能实体、技术、协议、标准等，以提供对所述技术的理解。在其他示例中，省略了熟知的方法、技术、系统、架构等的详细描述，以免使本说明书因非必要的细节而晦涩难懂。
本领域的技术人员将立即认识到，本公开中描述的任何编码功能或算法可由硬件、软件或软件和硬件的组合来实现。所述功能可对应于可为软件、硬件、固件或它们的任何组合的模块。软件具体实施可包括存储在计算机可读介质(诸如：存储器或其他类型的存储设备)上的计算机可执行指令。例如：可使用对应的可执行指令对具有通信处理能力的一个或多个微处理器或通用计算机进行编程，并且所述微处理器或通用计算机执行所述网络功能或算法。微处理器或通用计算机可由专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑阵列和/或使用一个或多个数位信号处理器(Digital Signal Processor，DSP)形成。虽然本说明书中描述的一些示例性具体实施被取向为在计算机硬件上安装和执行的软件，然而，被实现为固件或硬件或硬件和软件的组合的另一种示例性具体实施也完全在本公开的范围内。
计算机可读介质包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存存储器、光盘只读存储器(CD ROM)、磁带盒、磁带、磁盘存储器或能够存储计算机可读指令的任何其他等效介质。
图1是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码和解码的系统的示例性具体实施的框图。在具体实施中，系统包括源设备11、目标设备12和通信介质13。在至少一个具体实施中，源设备11可包括被配置为对视频数据进行编码并将经编码视频数据发送到通信介质13的任何设备。在至少一个具体实施中，目标设备12可包括被配置为经由通信介质13接收经编码视频数据并且解码经编码视频数据的任何设备。
在至少一个具体实施中，源设备11可经由通信介质13与目标设备12进行有线和/或无线通信。源设备11可包括源模块111、编码器模块112和第一接口113。目标设备12可包括显示模块121、解码器模块122和第二接口123。在至少一个具体实施中，源设备11可以是视频编码器，并且目标设备12可以是视频解码器。
在至少一个具体实施中，源设备11和/或目标设备12可以是移动电话、平板电脑、台式计算机、笔记本电脑或其他电子设备。图1仅示出了源设备11和目标设备12的一个示例，并且在其他具体实施中，源设备11和目标设备12可包括比所示更多或更少的部件，或者具有不同配置的各种部件。
在至少一个具体实施中，源设备11的源模块111可包括用于捕获新视频的视频捕获设备、存储先前捕获的视频的视频存档装置和/或用于从视频内容提供方接收视频的视频馈送接口。在至少一个具体实施中，源设备11的源模块111可生成基于计算机图形的数据作为源视频，或实时视频、存档视频和计算机生成视频的组合。在至少一个具体实施中，视频捕获设备可以是电荷耦合器件(Charge-Coupled Device，CCD)图像传感器、互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器或相机。
在至少一个具体实施中，编码器模块112和解码器模块122可各自被实现为各种合适的编码器/解码器电路中的任一种，诸如：一个或多个微处理器、中央处理单元(CentralProcessing Unit，CPU)、图形处理单元(Graphic Processing Unit，GPU)、片上系统(System on Chip，SoC)、数位信号处理器(DSP)、专用集成电路(ASIC)、现场可编程逻辑门阵列(Field Programmable Gate Arrays，FPGA)、离散逻辑部件、软件、硬件、固件或它们的任何组合。当技术部分地以软件实现时，设备可以将软件的指令存储在合适的非暂态计算机可读介质中，并在硬件中使用一个或多个处理器来执行本公开的技术。在至少一个具体实施中，编码器模块112和解码器模块122中的每一者可被包括在一个或多个编码器或解码器中，所述一个或多个编码器或解码器中的任一者可被集成为相应设备中的组合编码器/解码器(编解码器)的一部分。
在至少一个具体实施中，第一接口113和第二接口123可采用定制的协议或遵循现有标准或事实标准，包括但不限于以太网、IEEE 802.11或IEEE802.15系列、无线USB或电信标准(包括但不限于GSM(Global System for Mobile Communications，全球移动通信系统)、CDMA2000(Code Division Multiple Access，码分多址技术)、TD-SCDMA(TimeDivision-Synchronization Code Division Multiple Access，时分同步的码分多址技术)、WiMAX(World Interoperability for Microwave Access，全球微波接入互操作性)、3GPP-LTE(Long Term Evolution，长期演进技术)或TD-LTE(Time Division Long TermEvolution，时分长期演进技术))。在至少一个具体实施中，第一接口113和第二接口123可各自包括被配置为将合规视频比特流传输和/或存储到通信介质13并且从通信介质13接收兼容视频比特流的任何设备。在至少一个具体实施中，第一接口113和第二接口123可包括计算机系统接口，该计算机系统接口可以使兼容视频比特流能够存储在存储设备上或从存储设备接收兼容视频比特流。例如：第一接口113和第二接口123可包括支持外围组件互连(Peripheral Component Interconnec，PCI)和高速外围组件互连(Peripheral ComponentInterconnect Express，PCIe)总线协议的芯片集、专用总线协议、通用串行总线(Universal Serial Bus，USB)协议、I2C、或任何其他可用于互连对等设备的逻辑和物理结构。
在至少一个具体实施中，显示模块121可包括使用液晶显示器(LCD)技术、等离子体显示技术、有机发光二极管(OLED)显示技术或发光聚合物显示器(LPD)技术的显示器，但在其他具体实施中，可使用其他显示技术。在至少一个具体实施中，显示模块121可包括高清显示器或超高清显示器。
图2是表示图1的系统中的目标设备12的解码器模块122的示例性具体实施的解码器模块222的框图。在至少一个具体实施中，解码器模块222包括熵解码器(例如：熵解码单元2221)、预测处理器(例如：预测处理单元2222)、逆量化/逆变换处理器(例如：逆量化/逆变换单元2223)、加法器(例如：第一加法器2224)、滤波器(例如：滤波单元2225)和经解码图片缓冲器(例如：经解码图片缓冲器2226)。在至少一个具体实施中，解码器模块222的预测处理单元2222还包括帧内预测处理器(例如：帧内预测单元22221)和帧间预测处理器(例如：帧间预测单元22222)。在至少一个具体实施中，解码器模块222接收比特流，并且解码比特流以输出经解码视频。
在至少一个具体实施中，熵解码单元2221可以从图1中的第二接口123接收包括多个语法元素的比特流，并且对比特流执行解析操作以从比特流中提取语法元素。作为执行解析操作的一部分，熵解码单元2221可以对比特流进行熵解码以生成量化的变换系数、量化参数、变换数据、运动矢量、帧内模式、分割信息和其他语法信息。在至少一个具体实施中，熵解码单元2221可执行上下文自适应可变长度编码(Context Adaptive VariableLength Coding，CAVLC)、上下文自适应二进制算术编码(Context Adaptive BinaryArithmetic Coding，CABAC)、基于同步的上下文自适应二进制算术编码(Syntax-basedContext-Adaptive Binary Arithmetic Coding，SBAC)、概率区间分割熵(ProbabilityInterval Partitioning Entropy，PIPE)编码或另一种熵编码技术以生成量化的变换系数。在至少一个具体实施中，熵解码单元2221向逆量化/逆变换单元2223提供量化的变换系数、量化参数和变换数据，并向预测处理单元2222提供运动矢量、帧内模式、分割信息和其他语法信息。
在至少一个具体实施中，预测处理单元2222可以从熵解码单元2221接收语法元素，诸如：运动矢量、帧内模式、分割信息和其他语法信息。在至少一个具体实施中，预测处理单元2222可接收包括分割信息的语法元素，然后根据分割信息划分图像帧。在至少一个具体实施中，可根据分割信息将每个图像帧划分成至少一个图像块。该至少一个图像块可包括用于重构多个亮度样本的亮度块，以及用于重构多个色度样本的至少一个色度块。可进一步划分亮度块和该一个色度块以生成宏块、编码树单元(CTU)、编码块(CB)、其子划分和/或另一等效编码单元。
在至少一个具体实施中，在解码程序期间，预测处理单元2222接收预测数据，包括图像帧中的特定一个图像帧的当前图像块的帧内模式或运动矢量。当前图像块可以是特定图像帧中的亮度块中的一个亮度块和色度块中的至少一个色度块。
在至少一个具体实施中，帧内预测单元22221可基于与帧内模式相关的语法元素来执行当前块单元相对于与当前块单元在同一帧中的一个或多个相邻块的帧内预测编码，以生成预测块。在至少一个具体实施中，帧内模式可指定从当前帧内的相邻块中选择的参考样本的位置。
在至少一个具体实施中，当由预测处理单元2222重构当前块的亮度分量时，帧内预测单元22221可基于当前块单元的多个亮度分量来重构当前块单元的多个色度分量。
在至少一个具体实施中，帧间预测单元22222可基于与运动矢量相关的语法元素来执行当前块单元相对于一个或多个参考图像块中的一个或多个块的帧间预测编码，以生成预测块。在至少一个具体实施中，运动矢量可指示当前图像块内的当前块单元相对于参考图像块内的参考块单元的位移。参考块单元是被确定为与当前块单元紧密匹配的块。在至少一个具体实施中，帧间预测单元22222接收存储在经解码图片缓冲器2226中的参考图像块，并且基于接收到的参考图像块来重构当前块单元。
在至少一个具体实施中，逆量化/逆变换单元2223可应用逆量化和逆变换在像素域中重构残差块。在至少一个具体实施中，逆量化/逆变换单元2223可对残差量化变换系数应用逆量化以生成残差变换系数，然后对残差变换系数应用逆变换以在像素域中生成残差块。在至少一个具体实施中，逆变换可逆变换应用于变换程序，诸如：离散余弦变换(Discrete Cosine Transform，DCT)、离散正弦变换(Discrete Sine Transform，DST)、自适应多重变换(Adaptive Multiple Transform，AMT)、模式依赖的不可分离二次变换(Mode-Dependent Non-Separable Secondary Transform，MDNSST)、超立方吉文斯变换(Hypercube-Givens Transform，HyGT)、信号依赖的变换、卡亨南-洛维变换(Karhunen-Loéve Transform，KLT)、小波变换、整数变换、子频带变换或概念上类似的变换。在至少一个具体实施中，逆变换可以将残差信息从变换域(诸如：频域)转换回像素域。在至少一个具体实施中，可以透过调整量化参数来修改逆量化程度。
在至少一个具体实施中，第一加法器2224将重构残差块添加到由预测处理单元2222提供的预测块，以产生重构块。
在至少一个具体实施中，滤波单元2225可包括解块滤波器、样本自适应偏移(Sample Adaptive Offset，SAO)滤波器、双边滤波器和/或自适应环路滤波器(AdaptiveLoop Filter，ALF)，以从重构块中移除块伪像。除了解块滤波器、SAO滤波器、双边滤波器和ALF之外，还可使用附加滤波器(循环中滤波器或循环后滤波器)。为简明起见，未示出此类滤波器，但如果需要，可对第一加法器2224的输出进行滤波。在至少一个具体实施中，在滤波单元2225对特定图像帧的重构块执行滤波程序之后，滤波单元2225可以将经解码视频输出到显示模块121或其他视频接收单元。
在至少一个具体实施中，经解码图片缓冲器2226可以是参考图片存储器，该参考图片存储器存储用于例如：在帧间编码模式中由预测处理单元2222解码比特流的参考块。经解码图片缓冲器2226可由多种存储器设备中的任一种形成，诸如：动态随机存取存储器(Dynamic Random Access Memory，DRAM)，包括同步DRAM(SDRAM)、磁阻RAM(MRAM)、电阻RAM(RRAM)或其他类型的存储器设备。在至少一个具体实施中，经解码图片缓冲器2226可与解码器模块222的其他部件共同位于芯片上，或者相对于那些部件位于芯片外。
图3示出了根据示例性具体实施的用于选择参考线和预测模式的选择方法的流程图。因为执行示例性方法的方式多种多样，所以仅以举例的方式提供该方法。可使用例如：图1和图2所示的构型来执行下文所述的方法，并且参考这些附图的各种元件来解释示例性方法。图3示出的每个框表示在示例性方法中执行的一个或多个程序、方法或子例程。此外，框的顺序仅为例示性的并且可改变。在不脱离本公开的情况下，可添加附加框或可使用更少的框。
在框31处，解码器模块222根据视频数据从图像帧确定块单元，并且确定针对块单元的多个预测指示。
在至少一个具体实施中，视频数据可以是比特流。在至少一个具体实施中，目标设备12可经由目标设备12的第二接口123从编码器，诸如：源设备11，接收比特流。第二接口123向解码器模块222提供比特流。解码器模块222基于比特流来确定图像帧，并且根据比特流中的多个分割指示来划分图像帧以确定块单元。例如：解码器模块222可基于任何视频编码标准根据分割指示来划分图像帧以生成多个编码树单元，并且进一步划分编码树单元中的一个编码树单元以确定块单元。
在至少一个具体实施中，熵解码单元2221可解码比特流以确定针对块单元的多个预测指示，然后解码器模块222可基于预测指示进一步重构块单元。在至少一个具体实施中，预测指示可包括多个标记和多个索引。
在框32处，帧内预测单元22221确定多个模式候选，并且将所述多个模式候选分类到块单元的多个候选组中。
在至少一个具体实施中，模式候选可以是包括多个角度模式和多个非角度模式的多个帧内预测模式。在该具体实施中，候选组包括第一候选组和第二候选组。帧内预测单元22221可以将模式候选中的至少一个模式候选添加到第一候选组中，并且将剩余模式候选添加到第二候选组中。
在至少一个具体实施中，帧内预测单元22221可基于对与块单元400相邻的相邻块的多个预测结果来确定最可能列表。当透过帧内预测方法预测相邻块时，可基于模式候选来预测相邻块。因此，帧内预测单元22221可选择相邻块的模式候选作为最可能列表中的多个最可能模式(Most Probable Mode，MPM)。在至少一个具体实施中，包括MPM的最可能列表可以是第一候选组，并且可以将剩余模式候选添加到第二候选组中。
在框33处，帧内预测单元22221基于预测指示来选择块单元的多个参考线中的至少一条参考线和所述多个候选组中的一个候选组中的所述多个模式候选中的一个模式候选。
在至少一个具体实施中，目标设备12的预测处理单元2222经由熵解码单元2221根据视频数据来确定块单元，并且确定与块单元相邻并具有多个线样本的参考线。图4是块单元400和参考线的示例性具体实施的示意图，该参考线具有线样本，诸如：分别位于第一参考线411、第二参考线412、第三参考线413和第四参考线414中的线样本4111、4121、4131和4141。在至少一个具体实施中，块单元400包括多个块分量，诸如：第一块分量401。在至少一个具体实施中，帧内预测单元22221可基于根据取向420选择的线样本中的一些线样本来生成块分量中的每个块分量的预测分量，并且第一加法器2224可基于预测分量和多个残差分量来生成多个重构分量。在该具体实施中，第一加法器2224可经由熵解码单元2221和逆量化/逆变换单元2223接收块单元400的残差分量。
在至少一个具体实施中，帧内预测单元22221可选择参考线中的一个参考线，并且基于所选择的参考线来重构块单元。在至少一个具体实施中，当所选择的参考线是参考线中的第一个参考线时，帧内预测单元22221可利用从第一候选组和第二候选组中的一者中选择的模式候选中的一个模式候选来重构块单元。在该具体实施中，第一参考线是与块单元400相邻的第一参考线411。在至少一个具体实施中，当所选择的参考线与参考线中的第一个参考线不同时，帧内预测单元22221可利用从第一候选组中选择的模式候选中的一个模式候选来重构块单元。在至少一个具体实施中，帧内预测单元22221可选择参考线中的多于一个参考线，并且基于所选择的参考线利用从第一候选组中选择的模式候选中的一个模式候选来重构块单元。
在至少一个具体实施中，预测指示可包括MPM标记、线索引、MPM索引和非MPM索引中的至少一者。在该具体实施中，MPM标记可指示块单元的所选择的模式候选是否被包括在第一候选组中。当块单元的所选择的模式候选是第一候选组中的MPM中的一个MPM时，帧内预测单元22221可基于MPM索引进一步确定模式候选中的哪一个模式候选是块单元的所选择的模式候选。当块单元的所选择的模式候选是第二候选组中的非MPM中的一个非MPM时，帧内预测单元22221可基于非MPM索引进一步确定模式候选中的哪一个模式候选是块单元的所选择的模式候选。此外，帧内预测单元22221可基于线索引来选择参考线中的至少一个参考线。
在至少一个具体实施中，帧内预测单元22221可首先基于MPM标记来确定块单元的所选择的模式候选是否是MPM中的一个MPM，然后基于MPM索引和非MPM索引中的一者来确定模式候选中的哪一个模式候选是所选择的模式候选。在至少一个具体实施中，当所选择的模式候选被包括在MPM列表中时，帧内预测单元22221可确定所选择的模式候选属于第一候选组。因此，帧内预测单元22221可基于线索引来选择块单元的参考线中的至少一个参考线。在至少一个具体实施中，当所选择的模式候选未被包括在MPM列表中时，帧内预测单元22221可确定所选择的模式候选属于第二候选组。因此，帧内预测单元22221可直接确定第一参考线作为块单元的所选择的参考线。在该具体实施中，当所选择的模式候选属于第二候选组时，比特流中没有块单元的线索引。
在至少一个具体实施中，帧内预测单元22221可首先基于线索引来选择块单元的参考线中的至少一个参考线。然后，帧内预测单元22221基于MPM标记、MPM索引和非MPM索引中的至少一者来确定模式候选中的哪一个模式候选是所选择的模式候选。在至少一个具体实施中，当帧内预测单元22221基于线索引来选择第一参考线作为块单元的所选择的参考线时，帧内预测单元22221基于MPM标记以及MPM索引和非MPM索引中的一者来确定模式候选中的哪一个模式候选是所选择的模式候选。在至少一个具体实施中，当所选择的参考线与第一参考线411不同时，帧内预测单元22221可确定所选择的模式候选是MPM中的一个MPM。在至少一个具体实施中，当所选择的参考线的数量大于一时，所选择的参考线包括与第一参考线411不同的参考线中的一个参考线。因此，当所选择的参考线的数量大于一时，帧内预测单元22221可确定所选择的模式候选是MPM中的一个MPM。在该具体实施中，当参考线中的所选择的至少一个参考线包括与第一参考线411不同的参考线中的一个参考线时，比特流中没有块单元的MPM标记。
在框34处，帧内预测单元22221根据所选择的模式候选基于参考线中的所选择的至少一个参考线来重构块单元。
在至少一个具体实施中，帧内预测单元22221可基于预测模式为块分量中的每个块分量选择参考线中的所选择的至少一个参考线中的线样本中的至少一个线样本。然后，帧内预测单元22221可生成块分量的多个预测分量。在至少一个具体实施中，目标设备12中的解码器模块222的第一加法器2224可以将预测分量添加到从比特流中确定的多个残差分量中以重构块单元。此外，解码器模块222可重构图像帧中的所有其他块单元以重构图像帧和视频。
图5示出了根据示例性具体实施的用于选择参考线和预测模式的选择方法的流程图。因为执行示例性方法的方式多种多样，所以仅以举例的方式提供该方法。可使用例如：图1和图2所示的构型来执行下文所述的方法，并且参考这些附图的各种元件来解释示例性方法。图5示出的每个框表示在示例性方法中执行的一个或多个程序、方法或子例程。此外，框的顺序仅为例示性的并且可改变。在不脱离本公开的情况下，可添加附加框或可使用更少的框。
在框51处，解码器模块222根据视频数据从图像帧确定块单元，并且确定针对块单元的多个预测指示。
在至少一个具体实施中，视频数据可以是比特流。在至少一个具体实施中，目标设备12可经由目标设备12的第二接口123从编码器，诸如：源设备11，接收比特流。第二接口123向解码器模块222提供比特流。解码器模块222基于比特流来确定图像帧，并且根据比特流中的多个分割指示来划分图像帧以确定块单元。例如：解码器模块222可基于任何视频编码标准根据分割指示来划分图像帧以生成多个编码树单元，并且进一步划分编码树单元中的一个编码树单元以确定块单元。
在至少一个具体实施中，熵解码单元2221可解码比特流以确定针对块单元的多个预测指示，然后解码器模块222可基于预测指示进一步重构块单元。在至少一个具体实施中，预测指示可包括多个标记和多个索引。
在框52处，帧内预测单元22221基于多个预测指示中的第一索引来选择多个参考线中的一个或多个参考线。
在至少一个具体实施中，第一索引可以是帧内预测单元22221用于选择一个或多个参考线的线索引。图4是块单元400和参考线的示例性具体实施的示意图，该参考线具有线样本，诸如：分别位于第一参考线411、第二参考线412、第三参考线413和第四参考线414中的线样本4111、4121、4131和4141。在至少一个具体实施中，帧内预测单元22221可基于线索引将参考线中的第一个参考线设置为所选择的参考线。在该具体实施中，第一参考线可以是与块单元400相邻的第一参考线411。在至少一个具体实施中，帧内预测单元22221可以将参考线中与第一参考线不同的特定一个参考线设置为所选择的参考线。此外，帧内预测单元22221可选择参考线中的多于一个参考线作为所选择的参考线。
在框53处，帧内预测单元22221确定所选择的一个或多个参考线是否包括与所述多个参考线中一个预定义的参考线不同的所述多个参考线中一个参考线。在至少一个具体实施中，当所选择的一个或多个参考线与预定义的参考线相同时，该程序前进至框54。在至少一个具体实施中，当所选择的一个或多个参考线包括参考线中与预定义的参考线不同的一个参考线时，该程序前进至框55。
在至少一个具体实施中，帧内预测单元22221可以将多个最可能模式(MPM)添加到第一候选组中，并且将多个非MPM添加到第二候选组中。在至少一个具体实施中，MPM选自包括多个角度模式和多个非角度模式的多个模式候选。在至少一个具体实施中，帧内预测单元22221可基于对与块单元400相邻的相邻块的多个预测结果来确定最可能列表。当透过帧内预测方法预测相邻块时，可基于模式候选来预测相邻块。因此，帧内预测单元22221可基于对相邻块的预测结果来选择模式候选中的一些模式候选作为最可能列表中的MPM。
在至少一个具体实施中，包括MPM的最可能列表可以是第一候选组，并且可以将与MPM不同的剩余模式候选添加到第二候选组中。
在至少一个具体实施中，MPM可包括多个角度MPM和多个非角度MPM。在至少一个具体实施中，可以将角度MPM添加到第一候选组中，并且可以将与MPM不同的剩余模式候选添加到第二候选组中。
在至少一个具体实施中，源设备11的编码器模块112可根据第一候选组中的模式候选中的一个模式候选来选择参考线中的多于一个参考线以预测块单元。在至少一个具体实施中，源设备11的编码器模块112可根据第一候选组中的模式候选中的一个模式候选来确定与预定义的参考线不同的所选择的参考线以预测块单元。在至少一个具体实施中，编码器模块112可根据第二候选组中的模式候选中的一个模式候选来选择预定义的参考线以预测块单元。在该具体实施中，预定义的参考线可以是图4中的第一参考线411。
在至少一个具体实施中，当所选择的一个或多个参考线包括参考线中与预定义的参考线不同的一个参考线时，帧内预测单元22221可确定根据第一候选组中的模式候选中的一个模式候选来预测块单元。因此，帧内预测单元22221可基于MPM索引来直接确定哪一个模式候选用于预测块单元。
在至少一个具体实施中，当所选择的一个或多个参考线是预定义的参考线时，帧内预测单元22221可确定根据从第一候选组和第二候选组中的一者中选择的模式候选中的一个模式候选来预测块单元。因此，帧内预测单元22221可基于MPM标记、MPM索引和非MPM索引中的至少一者来确定模式候选中的哪一个模式候选用于预测块单元。
在框54处，帧内预测单元22221确定预测指示中的预测标记是否指示第二候选组。在至少一个具体实施中，当由预测标记指示的候选组中的一个候选组不同于第二候选组时，该程序前进至框55。在至少一个具体实施中，当预测标记指示第二候选组时，该程序前进至框56。
在至少一个具体实施中，当所选择的一个或多个参考线是预定义的参考线时，帧内预测单元22221可确定根据从第一候选组和第二候选组中的一者中选择的模式候选中的一个模式候选来预测块单元。因此，帧内预测单元22221可首先基于MPM标记来确定是根据MPM中的一个MPM还是非MPM中的一个非MPM来预测块单元。在至少一个具体实施中，第二候选组包括所有非MPM。因此，当预测指示中的预测标记指示第二候选组时，帧内预测单元22221可确定由非MPM中的一个非MPM来预测块单元。在至少一个具体实施中，当预测标记指示的候选组中的一个候选组不同于第二候选组时，帧内预测单元22221可确定由MPM中的一个MPM来预测块单元。
在框55处，帧内预测单元22221基于预测指示中的第二索引来选择所述多个模式候选中的一个模式候选。
在至少一个具体实施中，第二索引指示MPM中的哪一个MPM用于预测块单元。在该具体实施中，第二索引可以是MPM索引。
在至少一个具体实施中，当所选择的一个或多个参考线包括参考线中与预定义的参考线不同的一个参考线时，帧内预测单元22221可确定根据第一候选组中的模式候选中的一个模式候选来预测块单元。因此，由编码器模块112根据MPM中的一个MPM来预测块单元。在至少一个具体实施中，帧内预测单元22221可基于MPM索引来直接选择MPM中的一个MPM。
在至少一个具体实施中，当所选择的一个或多个参考线是预定义的参考线并且预测标记指示的候选组中的一个候选组不同于第二候选组时，帧内预测单元22221可确定根据MPM中的一个MPM来预测块单元。在该具体实施中，帧内预测单元22221可基于MPM索引来直接选择MPM中的一个MPM。
在框56处，帧内预测单元22221基于预测指示中的第三索引来选择所述多个模式候选中的一个模式候选。
在至少一个具体实施中，第三索引指示非MPM中的哪一个非MPM用于预测块单元。在该具体实施中，第三索引可以是非MPM索引。
在至少一个具体实施中，当所选择的一个或多个参考线是预定义的参考线并且预测标记指示第二候选组时，帧内预测单元22221可确定根据非MPM中的一个非MPM来预测块单元。在至少一个具体实施中，帧内预测单元22221可基于非MPM索引来直接选择非MPM中的一个非MPM。
在框单元57处，帧内预测单元22221基于所选择的一个或多个参考线和所选择的模式候选来重构块单元。
在至少一个具体实施中，帧内预测单元22221可基于所选择的模式候选来为块分量中的每个块分量选择所选择的一个或多个参考线中的线样本中的至少一个线样本。然后，帧内预测单元22221可生成块分量的多个预测分量。在至少一个具体实施中，目标设备12中的解码器模块222的第一加法器2224可以将预测分量添加到从比特流中确定的多个残差分量中以重构块单元。此外，解码器模块222可重构图像帧中的所有其他块单元以重构图像帧和视频。
图6示出了根据示例性具体实施的根据线索引和模式标记的预测方法的流程图。因为执行示例性方法的方式多种多样，所以仅以举例的方式提供该方法。可使用例如：图1和图2所示的构型来执行下文所述的方法，并且参考这些附图的各种元件来解释示例性方法。图6示出的每个框表示在示例性方法中执行的一个或多个程序、方法或子例程。此外，框的顺序仅为例示性的并且可改变。在不脱离本公开的情况下，可添加附加框或可使用更少的框。
在框61处，解码器模块222根据视频数据从图像帧确定块单元。
在至少一个具体实施中，视频数据可以是比特流。目标设备12可经由目标设备12的第二接口123从编码器，诸如：源设备11，接收比特流。第二接口123向解码器模块222提供比特流。解码器模块222基于比特流来确定图像帧，并且根据比特流中的多个分割指示来划分图像帧以确定块单元。例如：解码器模块222可基于任何视频编码标准根据分割指示来划分图像帧以生成多个编码树单元，并且进一步划分编码树单元中的一个编码树单元以确定块单元。
在至少一个具体实施中，熵解码单元2221可解码比特流以确定针对块单元的多个预测指示，然后解码器模块222可基于预测指示进一步重构块单元。在至少一个具体实施中，预测指示可包括多个标记和多个索引。
在框62处，解码器模块222根据视频数据确定线索引。
在至少一个具体实施中，图像帧中存在与块单元相邻的多个相邻块。在至少一个具体实施中，相邻块中的每个相邻块包括多个相邻样本。在至少一个具体实施中，可以将相邻块中与块单元相邻的相邻样本分类为多个参考线。在该具体实施中，参考线中的每个参考线都包括从与块单元相邻的相邻样本中选择的多个线样本。图4是块单元400和参考线的示例性具体实施的示意图，该参考线具有线样本，诸如：分别位于第一参考线411、第二参考线412、第三参考线413和第四参考线414中的线样本4111、4121、4131和4141。
在至少一个具体实施中，编码器模块112可选择参考线中用于预测块单元的一个参考线，并且向目标设备12提供指示哪个参考线是所选择的参考线的线索引。在该具体实施中，解码器模块222可基于线索引来确定所选择的参考线，并且解码器模块222可确定所选择的参考线中的线样本为多个参考样本。因此，解码器模块222可基于参考样本来重构块单元。在至少一个具体实施中，解码器模块222可基于线索引将参考线中的第一个参考线设置为所选择的参考线。在该具体实施中，第一参考线可以是与块单元400相邻的第一参考线411。在至少一个具体实施中，解码器模块222可以将参考线中与第一参考线不同的特定一个参考线设置为所选择的参考线。在至少一个具体实施中，解码器模块222可选择参考线中的多于一个参考线作为所选择的参考线。
在至少一个具体实施中，当线索引等于第一预定义值时，解码器模块222可选择第一参考线411并且确定第一参考线411中的线样本为参考样本。在至少一个具体实施中，当线索引与第一预定义值不同时，解码器模块222可选择其他参考线412-414中的一个参考线。在至少一个具体实施中，线索引可以是通用视频编码(Versatile Video Coding，VVC)或VVC测试模型(VVC Test Model，VTM)中的语法元素intra_luma_ref_idx。在至少一个具体实施中，第一预定义值可等于零。
在框63处，解码器模块222基于线索引来确定视频数据中是否包括模式标记。在至少一个具体实施中，当解码器模块222确定视频数据中包括模式标记时，该程序前进至框64。在至少一个具体实施中，当解码器模块222确定视频数据中不存在模式标记时，该程序前进至框65。
在至少一个具体实施中，解码器模块222可以从多个模式候选中确定预测模式以预测块单元。在至少一个具体实施中，模式候选可包括多个非角度模式和多个角度模式。在具体实施中，非角度模式可包括平面模式和DC模式。在一个具体实施中，当解码器模块222在VVC或VTM中解码块单元时，角度模式的数量可等于65。在另一个具体实施中，当解码器模块222以高效视频编码(High Efficiency Video Coding，HEVC)解码块单元时，角度模式的数量可等于32。在至少一个具体实施中，解码器模块222可基于与块单元相邻的相邻块从模式候选中确定多个最可能模式(MPM)。在至少一个具体实施中，当解码器模块222根据特定模式候选来重构相邻块中的特定一个相邻块时，可以将模式候选中的特定一个模式候选设置为块单元的最可能模式中的一个最可能模式。此外，解码器模块222可基于特定模式候选来推导最可能模式中的另一个最可能模式。在该具体实施中，当解码器模块222从模式候选中选择最可能模式时，未选择的模式候选可被视为多个剩余模式候选。
在至少一个具体实施中，当编码器模块112选择参考线中的第一个参考线时，编码器模块112可以从最可能模式和剩余模式候选中选择预测模式来预测块单元。在该具体实施中，当选择参考线中的第一个参考线时，帧内预测单元22221需要从编码器模块112接收的模式标记来确定是否从MPM中选择预测模式来预测块单元。由于块单元的等于第一预定义值的线索引指示选择参考线中的第一参考线来预测块单元，因此解码器模块222可基于块单元的线索引来确定视频数据中包括模式标记。
在至少一个具体实施中，当编码器模块112选择参考线中与第一参考线不同的特定一个参考线时，编码器模块112可以仅从最可能模式中选择帧内预测模式来预测块单元。在该具体实施中，当所选择的参考线与参考线中的第一个参考线不同时，帧内预测单元22221不必接收指示预测模式是否从MPM中选择的模式标记。由于块单元的与第一预定义值不同的线索引指示所选择的参考线与参考线中的第一个参考线不同，因此解码器模块222可基于块单元的线索引来确定在视频数据中不存在模式标记。
在框64处，解码器模块222确定模式标记的标记值是否等于预定义值。在至少一个具体实施中，当标记值等于预定义值时，该程序前进至框65。在至少一个具体实施中，当标记值不同于预定义值时，程序前进至框66。
在至少一个具体实施中，当编码器模块112从MPM中选择预测模式来预测块单元时，编码器模块112可以将模式标记设置为等于第二预定义值。在至少一个具体实施中，当编码器模块112从剩余模式候选中选择帧内预测模式来预测块单元时，编码器模块112可以将模式标记设置为与第二预定义值不同。在至少一个具体实施中，模式标记可以是HEVC中的语法元素prev_intra_luma_pred_flag。在至少一个具体实施中，MPM索引可以是VCC或VTM中的语法元素intra_luma_mpm_flag。在至少一个具体实施中，第二预定义值可等于一。
在至少一个具体实施中，当解码器模块222确定在解析模式标记之前选择第一参考线来重构块单元时，可以从最可能模式和剩余模式候选中选择预测模式。因此，解码器模块222可确定模式标记是否等于用于确定预测模式的第二预定义值。在一个具体实施中，当解码器模块222确定模式标记不同于第二预定义值时，解码器模块222可确定从剩余模式候选中选择预测模式。在另一个具体实施中，当解码器模块222确定模式标记等于第二预定义值时，解码器模块222可确定从MPM中选择帧内预测模式。
在框65处，解码器模块222根据视频数据确定用于确定预测模式的第一模式索引。
在至少一个具体实施中，当线索引不同于第一预定义值或模式标记等于第二预定义值时，解码器模块222可确定从MPM中选择块单元的预测模式。在该具体实施中，帧内预测单元22221可确定可基于第一模式索引从MPM中选择预测模式。在至少一个具体实施中，第一模式索引可以是用于从MPM中选择预测模式的mpm索引。在至少一个具体实施中，mpm索引可以是HEVC中的语法元素mpm_idx。在至少一个具体实施中，mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_idx。
在框66处，解码器模块222根据视频数据确定用于确定预测模式的与第一模式索引不同的第二模式索引。
在至少一个具体实施中，当模式标记不同于第二预定义值时，解码器模块222可确定从剩余模式候选中选择块单元的预测模式。在该具体实施中，解码器模块222可确定可基于第二模式索引从剩余模式候选中选择预测模式。在至少一个具体实施中，第二模式索引可以是用于从剩余模式候选中选择预测模式的非mpm索引。在至少一个具体实施中，非mpm索引可以是HEVC中的语法元素rem_intra_luma_pred_mode。在至少一个具体实施中，非mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_remainder。
在框67处，解码器模块222基于线索引以及第一模式索引和第二模式索引中的一者来重构块单元。
在至少一个具体实施中，帧内预测单元22221可基于线索引来确定所选择的参考线，并且帧内预测单元22221可确定所选择的参考线中的线样本为参考样本。因此，解码器模块222可基于参考样本来重构块单元。
在至少一个具体实施中，当编码器模块112预测块单元时，可以预定义地将非角度模式添加到MPM中。因此，编码器模块112可以将平面模式和DC模式添加到MPM中。在至少一个具体实施中，帧内预测单元22221也将非角度模式添加到MPM中以生成最可能列表。换句话讲，最可能列表可包括非角度模式和基于对相邻块的预测结果而选择的角度模式中的多于一个角度模式。
在至少一个具体实施中，当编码器模块112确定用于预测块单元的与第一参考线不同的所选择的参考线时，编码器模块112可调整最可能列表。在一个具体实施中，当编码器模块112确定所选择的参考线不同于第一参考线时，可排除最可能列表中的非角度模式以生成子列表。在该具体实施中，当帧内预测单元22221确定基于线索引而确定的用于重构块单元的所选择的参考线不同于第一参考线时，帧内预测单元22221可排除最可能列表中的非角度模式以生成子列表。换句话讲，当帧内预测单元22221确定用于重构块单元的所选择的参考线不同于第一参考线时，可以仅基于第一模式索引从子列表中包括的MPM中选择预测模式。
在至少一个具体实施中，当编码器模块112确定用于预测块单元的所选择的参考线不同于第一参考线时，编码器模块112可保持最可能列表不变。因此，当编码器模块112确定所选择的参考线不同于第一参考线时，编码器模块112可确定最可能列表中的非角度模式可用于预测块单元。在该具体实施中，当帧内预测单元22221确定基于线索引而确定的用于重构块单元的所选择的参考线不同于第一参考线时，帧内预测单元22221也保持最可能列表不变。换句话讲，当帧内预测单元22221确定用于重构块单元的所选择的参考线不同于第一参考线时，可选择非角度模式以重构块单元。
在至少一个具体实施中，当所选择的参考线是第一参考线时，预测模式可以从MPM和剩余模式候选中的一者中选择。在至少一个具体实施中，当所选择的参考线不同于第一参考线时，可以从MPM中的一个MPM选择预测模式。因此，当基于第二模式索引从剩余模式候选中选择预测模式时，所选择的参考线是第一参考线。在至少一个具体实施中，由于非角度模式被预定义地添加到MPM中，因此从剩余模式候选中排除非角度模式。因此，当帧内预测单元22221基于第二模式索引来确定块单元的预测模式时，所选择的模式候选不同于非角度模式。在该具体实施中，当帧内预测单元22221基于第二模式索引来确定块单元的预测模式时，预测模式是角度模式中的一个角度模式。
在至少一个具体实施中，块单元可包括多个块分量。在该具体实施中，块分量中的每个块分量可以是像素元素。帧内预测单元22221可基于预测模式为块分量中的每个块分量选择所选择的参考线中的线样本中的至少一个线样本。然后，帧内预测单元22221可生成块分量的多个预测分量。
在至少一个具体实施中，目标设备12中的解码器模块222的第一加法器2224可以将预测分量添加到从比特流中确定的多个残差分量中以重构块单元。此外，解码器模块222可重构图像帧中的所有其他块单元以重构图像帧和视频。
图7示出了根据示例性具体实施的线数量确定方法的流程图。因为执行示例性方法的方式多种多样，所以仅以举例的方式提供该方法。可使用例如：图1和图2所示的构型来执行下文所述的方法，并且参考这些附图的各种元件来解释示例性方法。图7示出的每个框表示在示例性方法中执行的一个或多个程序、方法或子例程。此外，框的顺序仅为例示性的并且可改变。在不脱离本公开的情况下，可添加附加框或可使用更少的框。
在框71处，解码器模块222根据视频数据从图像帧确定具有块尺寸的块单元。
在至少一个具体实施中，视频数据可以是比特流。目标设备12可经由目标设备12的第二接口123从编码器，诸如：源设备11，接收比特流。第二接口123向解码器模块222提供比特流。解码器模块222基于比特流来确定图像帧，并且根据比特流中的多个分割指示来划分图像帧以确定块单元。例如：解码器模块222可基于任何视频编码标准根据分割指示来划分图像帧以生成多个编码树单元，并且进一步划分编码树单元中的一个编码树单元以确定具有块尺寸的块单元。在至少一个具体实施中，块尺寸可包括块高度和块宽度。
在至少一个具体实施中，熵解码单元2221可解码比特流以确定针对块单元的多个预测指示，然后解码器模块222可基于预测指示进一步重构块单元。在至少一个具体实施中，预测指示可包括多个标记和多个索引。
在框72处，帧内预测单元22221基于块尺寸来确定一个或多个参考线的数量。
在至少一个具体实施中，目标设备12的预测处理单元2222经由熵解码单元2221根据视频数据来确定块单元，并且确定块单元的该一个或多个参考线。在至少一个具体实施中，该一个或多个参考线中的每个参考线具有多个线样本。参考图4，当该一个或多个参考线的数量等于四时，解码器模块222可确定块单元400和各自具有线样本的该一个或多个参考线，诸如：第一参考线411、第二参考线412、第三参考线413和第四参考线414中的线样本4111-4141。在至少一个具体实施中，块单元400包括多个块分量，诸如：第一块分量401。帧内预测单元22221可根据预测模式基于该一个或多个参考线来生成块分量中的每个块分量的预测分量。
在至少一个具体实施中，帧内预测单元22221可首先确定一个或多个参考线的数量，然后基于一个或多个参考线的数量来确定预测模式。例如：当一个或多个参考线的数量大于一时，帧内预测单元22221可确定可以从多个最可能模式(MPM)中选择预测模式。此外，当一个或多个参考线的数量等于一时，帧内预测单元22221可确定可以从多个模式候选中选择预测模式。在至少一个具体实施中，模式候选可以是多个帧内预测模式。在至少一个具体实施中，当从模式候选中选择相邻模式时，可基于与块单元相邻的多个相邻块的多个相邻模式从模式候选中选择MPM进入MPM列表。在至少一个具体实施中，可以将其他未选择的模式候选设置为非MPM列表中的多个非MPM。
在至少一个具体实施中，帧内预测单元22221可基于块尺寸来确定尺寸比较结果。在至少一个具体实施中，帧内预测单元22221可基于块尺寸和尺寸阈值来确定尺寸比较结果。在至少一个具体实施中，当尺寸比较结果满足预定义条件时，帧内预测单元22221可确定该一个或多个参考线的数量等于大于一的预定义数量。在至少一个具体实施中，当尺寸比较结果不满足预定义条件时，帧内预测单元22221可确定该一个或多个参考线的数量等于一。在至少一个具体实施中，预定义条件可包括多个比较条件中的至少一个比较条件。在至少一个具体实施中，当预定义条件包括比较条件中的两个比较条件时，帧内预测单元22221可确定尺寸比较结果是否满足比较条件中的两个比较条件。
在至少一个具体实施中，当块宽度W和块高度H的尺寸乘积W×H小于第一比较条件中的第一尺寸阈值时，帧内预测单元22221可确定该一个或多个参考线的数量等于第一预定义数量。在至少一个具体实施中，当尺寸乘积W×H大于第二比较条件中的第二尺寸阈值时，帧内预测单元22221可确定该一个或多个参考线的数量等于第二预定义数量。在至少一个具体实施中，第一尺寸阈值不同于第二尺寸阈值。在一个具体实施中，第一尺寸阈值大于第二尺寸阈值。在至少一个具体实施中，当块宽度W和块高度H的尺寸商W/H或H/W小于第三比较条件中的第三尺寸阈值时，帧内预测单元22221可确定该一个或多个参考线的数量等于第三预定义数量。在一个具体实施中，当块高度H长于块宽度W时，帧内预测单元22221可以将尺寸商W/H与第三尺寸阈值进行比较。在另一个具体实施中，当块高度H长于块宽度W时，帧内预测单元22221可以将尺寸商H/W与第三尺寸阈值进行比较。在至少一个具体实施中，当块宽度W等于块高度H时，帧内预测单元22221可确定该一个或多个参考线的数量等于第四比较条件中的第四预定义数量。换句话讲，当尺寸商W/H等于第四比较条件中的第四尺寸阈值时，帧内预测单元22221可确定该一个或多个参考线的数量等于第四预定义数量，该第四尺寸阈值等于一并且不同于第三尺寸阈值。在至少一个具体实施中，第一预定义数量、第二预定义数量、第三预定义数量和第四预定义数量中的每一者可以是预分配的正整数。例如：第一预定义数量、第三预定义数量和第四预定义数量中的每一者可等于四，并且第二预定义数量可等于二。在至少一个具体实施中，第一尺寸阈值、第二尺寸阈值和第三尺寸阈值中的每一者可以是预分配的正整数。例如：第一尺寸阈值可等于4096，第二尺寸阈值可等于128，并且第三尺寸阈值可等于2。在至少一个具体实施中，帧内预测单元22221可基于第一预定义数量、第二预定义数量、第三预定义数量、第四预定义数量和任何其他预定义数量中的至少一者，使用第一尺寸阈值、第二尺寸阈值、第三尺寸阈值、块宽度W与块高度H之间的比较结果以及任何其他尺寸比较条件中的至少一者来确定该一个或多个参考线的数量。
在至少一个具体实施中，当帧内预测单元22221基于预定义条件(包括与所选择的数量对应的比较条件中的多于一个比较条件)来确定该一个或多个参考线的数量时，可选择预定义数量中的多于一个预定义数量以同时确定该一个或多个参考线的数量。在该具体实施中，预定义条件可包括第一比较条件、第二比较条件、第三比较条件、第四比较条件和任何其他尺寸比较条件中的多于一者。
在至少一个具体实施中，所选择的数量可彼此相等。在至少一个具体实施中，当尺寸比较结果满足预定义条件中的比较条件中的每个比较条件时，帧内预测单元22221可确定该一个或多个参考线的数量等于所选择的数量。此外，当尺寸比较结果不满足预定义条件中的比较条件中的一个比较条件时，帧内预测单元22221可确定该一个或多个参考线的数量等于一。例如：当第一预定义数量等于第三预定义数量时，帧内预测单元22221可基于比较结果，即尺寸乘积W×H小于第一尺寸阈值并且尺寸商W/H小于第三尺寸阈值，确定该一个或多个参考线的数量等于第一预定义数量。在至少一个具体实施中，当尺寸比较结果满足预定义条件中的比较条件中的一个比较条件时，帧内预测单元22221可确定该一个或多个参考线的数量等于所选择的数量。此外，当尺寸比较结果不满足预定义条件中的比较条件中的每个比较条件时，帧内预测单元22221可确定该一个或多个参考线的数量等于一。例如：当第一预定义数量等于第三预定义数量时，帧内预测单元22221可基于比较结果，即尺寸乘积W×H大于第一尺寸阈值并且尺寸商W/H小于第三尺寸阈值，确定该一个或多个参考线的数量等于第一预定义数量。
在至少一个具体实施中，所选择的数量可彼此不同。在至少一个具体实施中，帧内预测单元22221可确定尺寸比较结果满足预定义条件中的比较条件中的哪个比较条件。在至少一个具体实施中，当尺寸比较结果仅满足预定义条件中的比较条件中与确定数量对应的一个比较条件时，帧内预测单元22221可确定该一个或多个参考线的数量等于所选择的数量中的一个所选择的数量。在至少一个具体实施中，当尺寸比较结果满足比较条件中与确定数量对应的多于一个比较条件时，帧内预测单元22221可基于所选择的数量中的多于一个所选择的数量来确定该一个或多个参考线的数量。在至少一个具体实施中，帧内预测单元22221可确定该一个或多个参考线的数量等于确定数量中的最小值。在至少一个具体实施中，帧内预测单元22221可确定该一个或多个参考线的数量等于确定数量中的最大值。此外，当尺寸比较结果不满足预定义条件中的比较条件中的每个比较条件时，帧内预测单元22221可确定该一个或多个参考线的数量等于一。例如：当第二预定义数量小于第三预定义数量时，帧内预测单元22221可基于比较结果，即尺寸乘积W×H大于第二尺寸阈值并且尺寸商W/H小于第三尺寸阈值，确定该一个或多个参考线的数量等于第二预定义数量。
在框73处，帧内预测单元22221基于该一个或多个参考线的数量来选择该一个或多个参考线中的一个参考线。
在至少一个具体实施中，当该一个或多个参考线的数量大于一时，帧内预测单元22221可解码比特流中的线索引以选择该一个或多个参考线中的一个参考线作为预测线。在至少一个具体实施中，当该一个或多个参考线的数量等于一时，帧内预测单元22221可直接确定该一个或多个参考线为预测线。在该具体实施中，比特流中可能不存在块单元的线索引。在至少一个具体实施中，当该一个或多个参考线的数量等于一时，可以将该一个或多个参考线预定义为第一参考线411。
在至少一个具体实施中，当帧内预测单元22221确定尺寸乘积W×H小于第一尺寸阈值时，帧内预测单元22221可解码比特流中的线索引以选择该一个或多个参考线中的一个参考线。在至少一个具体实施中，当尺寸乘积W×H大于或等于第一尺寸阈值时，比特流中可能不存在块单元的线索引。
在至少一个具体实施中，当帧内预测单元22221确定尺寸乘积W×H大于第二尺寸阈值时，帧内预测单元22221可解码比特流中的线索引以选择该一个或多个参考线中的一个参考线。在至少一个具体实施中，当尺寸乘积W×H小于或等于第二尺寸阈值时，比特流中可能不存在块单元的线索引。
在至少一个具体实施中，当帧内预测单元22221确定尺寸商W/H或H/W小于第三尺寸阈值时，帧内预测单元22221可解码比特流中的线索引以选择该一个或多个参考线中的一个参考线。在至少一个具体实施中，当尺寸商W/H或H/W大于或等于第三尺寸阈值时，比特流中可能不存在块单元的线索引。
在至少一个具体实施中，当帧内预测单元22221确定块高度H等于块宽度W时，帧内预测单元22221可解码比特流中的线索引以选择该一个或多个参考线中的一个参考线。在至少一个具体实施中，当块高度H不同于块宽度W时，比特流中可能不存在块单元的线索引。
在至少一个具体实施中，当帧内预测单元22221确定尺寸比较结果满足预定义条件中的比较条件中的至少一个比较条件时，帧内预测单元22221可解码比特流中的线索引以选择该一个或多个参考线中的一个参考线。在至少一个具体实施中，当尺寸比较结果不满足预定义条件中的比较条件中的每个比较条件时，比特流中可能不存在块单元的线索引。
在至少一个具体实施中，当帧内预测单元22221确定尺寸比较结果满足预定义条件中的比较条件中的每个比较条件时，帧内预测单元22221可解码比特流中的线索引以选择该一个或多个参考线中的一个参考线。在至少一个具体实施中，当尺寸比较结果不满足预定义条件中的比较条件中的一个比较条件时，比特流中可能不存在块单元的线索引。
在框74处，帧内预测单元22221基于该一个或多个参考线中的所选择的一个参考线来预测图像帧的块单元。
在至少一个具体实施中，可基于模式标记和模式索引从模式候选中选择预测模式。在至少一个具体实施中，模式标记指示是否从MPM列表中选择预测模式。在至少一个具体实施中，当从MPM列表中选择预测模式时，模式索引是指示MPM中的一个MPM的MPM索引。在至少一个具体实施中，当非MPM列表中包括预测模式时，模式索引是指示非MPM中的一个非MPM的非MPM索引。在至少一个具体实施中，当该一个或多个参考线中的所选择的一个参考线与该一个或多个参考线中的第一个参考线相同时，帧内预测单元22221基于模式标记和模式索引来确定预测模式。在至少一个具体实施中，当该一个或多个参考线中的所选择的一个参考线包括该一个或多个参考线中与该一个或多个参考线中的第一个参考线不同的一个参考线时，帧内预测单元22221在不解析模式标记的情况下基于MPM索引来确定预测模式。在至少一个具体实施中，该一个或多个参考线中的第一个参考线与块单元相邻。
在至少一个具体实施中，帧内预测单元22221可基于预测模式为块分量中的每个块分量选择该一个或多个参考线中的所选择的一个参考线中的线样本中的至少一个线样本。然后，帧内预测单元22221可生成块分量的预测分量。在至少一个具体实施中，目标设备12中的解码器模块222的第一加法器2224可以将预测分量添加到从比特流中确定的多个残差分量中以重构块单元。此外，解码器模块222可重构图像帧中的所有其他块单元以重构图像帧和视频。
图8是表示图1的系统中的源设备11的编码器模块812的示例性具体实施的编码器模块812的框图。在至少一个具体实施中，编码器模块812包括预测处理器(例如：预测处理单元8121)、至少一个加法器(例如：第一加法器8122和第二加法器8125)、量化/逆变换处理器(例如：变换/量化单元8123)、逆量化/逆变换处理器(例如：逆量化/逆变换单元8124)、滤波器(例如：滤波单元8126)、经解码图片缓冲器(例如：经解码图片缓冲器8127)和熵编码器(例如：熵编码单元8128)。在至少一个具体实施中，编码器模块812的预测处理单元8121还包括分割处理器(例如：分割单元81211)、帧内预测处理器(例如：帧内预测单元81212)和帧间预测处理器(例如：帧间预测单元81213)。在至少一个具体实施中，编码器模块812接收源视频，并且对源视频进行编码以输出比特流。
在至少一个具体实施中，编码器模块812可接收包括多个图像帧的源视频，然后根据编码结构划分图像帧。在至少一个具体实施中，可以将图像帧中的每个图像帧划分成至少一个图像块。该至少一个图像块可包括具有多个亮度样本的亮度块，以及具有多个色度样本的至少一个色度块。可进一步划分亮度块和该一个色度块以生成宏块、编码树单元(CTU)、编码块(CB)、其子划分和/或另一等效编码单元。在至少一个具体实施中，编码器模块812可执行源视频的附加子划分。应当注意，本文描述的本公开通常适用于视频编码，而不管在编码之前和/或期间如何分割源视频。
在至少一个具体实施中，在编码程序期间，预测处理单元8121接收图像帧中的特定一个图像帧的当前图像块。当前图像块可以是特定图像帧中的亮度块中的一个亮度块和色度块中的至少一个色度块。分割单元81211将当前图像块划分成多个块单元。帧内预测单元81212可执行当前块单元相对于与当前块单元在同一帧中的一个或多个相邻块的帧内预测编码，以提供空间预测。帧间预测单元81213可执行当前块单元相对于一个或多个参考图像块中的一个或多个块的帧间预测编码，以提供时间预测。
在至少一个具体实施中，预测处理单元8121可基于模式选择方法(诸如：成本函数)来选择由帧内预测单元81212和帧间预测单元81213生成的编码结果中的一个编码结果。在至少一个具体实施中，模式选择方法可以是率失真优化(Rate-DistortionOptimization，RDO)程序。预测处理单元8121确定所选择的编码结果，并且向第一加法器8122和第二加法器8125提供与所选择的编码结果对应的预测块以分别用于生成残差块和重构经编码块单元。在至少一个具体实施中，预测处理单元8121还可以向熵编码单元8128提供语法元素，诸如：运动矢量、模式内指示符、分割信息和其他语法信息。
在至少一个具体实施中，帧内预测单元81212可以对当前块单元进行帧内预测。在至少一个具体实施中，帧内预测单元81212可确定指向与当前块单元相邻的重构样本的帧内预测模式以对当前块单元进行编码。在至少一个具体实施中，帧内预测单元81212可使用各种帧内预测模式来编码当前块单元，并且帧内预测单元81212或预测处理单元8121可以从测试模式中选择适当的帧内预测模式。在至少一个具体实施中，帧内预测单元81212可使用交叉分量预测模式来编码当前块单元，以基于当前块单元的亮度分量来预测当前块单元的两个色度分量中的一个色度分量。此外，帧内预测单元81212可基于当前块单元的两个色度分量中的另一个色度分量来预测当前块单元的两个色度分量中的第一个色度分量。
在至少一个具体实施中，作为如上所述由帧内预测单元81212执行的帧内预测的另一种方案，帧间预测单元81213可以对当前块单元执行帧间预测。帧间预测单元81213可执行运动估计来估计当前块单元的运动以用于生成运动矢量。运动矢量可指示当前图像块内的当前块单元相对于参考图像块内的参考块单元的位移。在至少一个具体实施中，帧间预测单元81213接收存储在经解码图片缓冲器8127中的至少一个参考图像块，并且基于接收到的参考图像块来估计运动以生成运动矢量。
在至少一个具体实施中，第一加法器8122透过从初始当前块单元中减去由预测处理单元8121确定的预测块来生成残差块。第一加法器8122表示执行该减法运算的一个或多个部件。
在至少一个具体实施中，变换/量化单元8123对残差块应用变换以生成残差变换系数，然后对残差变换系数进行量化以进一步减小比特率。在至少一个具体实施中，变换可以是DCT、DST、AMT、MDNSST、HyGT、信号依赖的变换、KLT、小波变换、整数变换、子频带变换或概念上类似的变换。在至少一个具体实施中，变换可以将残差信息从像素值域转换到变换域，诸如：频域。在至少一个具体实施中，可以透过调整量化参数来修改量化程度。在至少一个具体实施中，变换/量化单元8123可以对包括量化变换系数的矩阵执行扫描。另外，熵编码单元8128可执行扫描。
在至少一个具体实施中，熵编码单元8128可以从预测处理单元8121和变换/量化单元8123接收多个语法元素，包括量化参数、变换数据、运动矢量、帧内模式、分割信息和其他语法信息，并且将这些语法元素编码到比特流中。在至少一个具体实施中，熵编码单元8128对量化变换系数执行熵编码。在至少一个具体实施中，熵编码单元8128可执行CAVLC、CABAC、SBAC、PIPE编码或另一熵编码技术以生成经编码比特流。在至少一个具体实施中，可以将经编码比特流传输到另一设备(例如：目标设备12)或存档以供稍后传输或检索。
在至少一个具体实施中，逆量化/逆变换单元8124可应用逆量化和逆变换在像素域中重构残差块以供稍后用作参考块。在至少一个具体实施中，第二加法器8125将重构残差块添加到由预测处理单元8121提供的预测块，以产生重构块以用于存储在经解码图片缓冲器8127中。
在至少一个具体实施中，滤波单元8126可包括解块滤波器、SAO滤波器、双边滤波器和/或ALF，以从重构块中移除块伪像。除了解块滤波器、SAO滤波器、双边滤波器和ALF之外，还可使用附加滤波器(循环中滤波器或循环后滤波器)。为简明起见，未示出此类滤波器，但如果需要，可对第二加法器8125的输出进行滤波。
在至少一个具体实施中，经解码图片缓冲器8127可以是参考图片存储器，该参考图片存储器存储用于例如：在帧内编码或帧间编码模式中由编码器模块812对视频进行编码的参考块。经解码图片缓冲器8127可由多种存储器设备中的任一种形成，诸如：DRAM(包括SDRAM、MRAM、RRAM)或其他类型的存储器设备。在至少一个具体实施中，经解码图片缓冲器8127可与编码器模块812的其他部件共同位于芯片上，或者相对于那些部件位于芯片外。
图9示出了根据示例性具体实施的用于选择参考线和预测模式的选择方法的流程图。因为执行示例性方法的方式多种多样，所以仅以举例的方式提供该方法。可使用例如：图1和图8所示的构型来执行下文所述的方法，并且参考这些附图的各种元件来解释示例性方法。图9示出的每个框表示在示例性方法中执行的一个或多个程序、方法或子例程。此外，框的顺序仅为例示性的并且可改变。在不脱离本公开的情况下，可添加附加框或可使用更少的框。
在框91处，编码器模块812根据视频数据确定块单元，并且确定与块单元相邻的多个参考线。
在至少一个具体实施中，视频数据可以是视频。源设备11可透过源模块111接收视频。编码器模块812根据视频确定图像帧，并且划分图像帧以确定块单元。
在至少一个具体实施中，源设备11的预测处理单元8121经由分割单元81211根据视频确定块单元，然后编码器模块812基于分割单元81211的分割结果将多个分割指示提供到比特流中。
在至少一个具体实施中，目标设备12的预测处理单元8121确定与块单元相邻的相邻块。在至少一个具体实施中，可在预测块单元之前预测相邻块，因此相邻块可包括可用于预测块单元的多个相邻样本。在至少一个具体实施中，可基于相邻样本的多个样本位置将与块单元相邻的相邻样本分类为参考线。图4是块单元400和参考线的示例性具体实施的示意图，该参考线具有线样本，诸如：分别位于第一参考线411、第二参考线412、第三参考线413和第四参考线414中的线样本4111、4121、4131和4141。在至少一个具体实施中，可在预测相邻块中的一些相邻块之前预测块单元，因此未预测的相邻块可不包括块单元的相邻样本。
在框92处，预测处理单元8121为块单元选择预测模式和所述多个参考线中的至少一个参考线。
在至少一个具体实施中，帧内预测单元81212可根据多个模式候选基于参考线来预测块单元。在至少一个具体实施中，帧间预测单元81213可根据至少一个运动矢量基于视频数据中的至少一个参考帧来预测块单元。在至少一个具体实施中，预测处理单元8121可根据帧内预测单元81212和帧间预测单元81213生成的多个预测结果来选择预测模式。在至少一个具体实施中，当从模式候选中选择预测模式时，预测处理单元8121还可确定参考线中用于预测块单元的所选择的至少一个参考线。
在框93处，编码器模块812将多个预测指示编码到比特流中，该多个预测指示包括模式索引以及用于指示预测模式和所述多个参考线中的所选择的至少一个参考线的线索引和模式标记中的至少一者。
在至少一个具体实施中，线索引可以等于多个第一索引值中的一个第一索引值。在至少一个具体实施中，第一索引值中的每一个对应于参考集。在该具体实施中，每个参考集中的参考线的数量可等于或大于一。在至少一个具体实施中，当由预测处理单元8121确定参考线中的所选择的至少一个参考线时，可选择与参考线中的所选择的至少一个参考线对应的第一索引值中的特定一个第一索引值以用于编码到比特流中。
在至少一个具体实施中，模式标记可指示预测模式是否被包括在基于相邻块的多个相邻模式从模式候选中选择的多个最可能模式(MPM)中。在至少一个具体实施中，当从模式候选中选择特定相邻模式时，可以将相邻模式中的特定一个相邻模式添加到块单元的MPM中。在至少一个具体实施中，模式候选包括多个角度模式和多个非角度模式。在至少一个具体实施中，可以预定义地将非角度模式添加到MPM中。在至少一个具体实施中，可以将未被选择进入MPM的模式候选设置为多个剩余模式候选。在至少一个具体实施中，编码器模块812可基于预测模式与MPM之间的关系来确定模式标记的标记值。在至少一个具体实施中，当MPM中包括预测模式时，标记值可等于一。在至少一个具体实施中，当MPM中不包括预测模式时，标记值可等于零。
在至少一个具体实施中，模式索引可以是MPM索引和非MPM索引中的一者。在至少一个具体实施中，当MPM中包括预测模式时，模式索引可以是指示MPM中的哪一个MPM是预测模式的MPM索引。在至少一个具体实施中，当MPM中不包括预测模式时，模式索引可以是指示剩余模式候选中的哪一个模式候选是预测模式的非MPM索引。
在至少一个具体实施中，编码器模块812可首先将线索引编码到比特流中。在至少一个具体实施中，当参考线中的所选择的至少一个参考线是参考线中的预定义的一个参考线时，可以从MPM和剩余模式候选中选择预测模式。因此，当线索引指示参考线中的所选择的至少一个参考线是预定义的参考线时，比特流中可包括模式标记。在至少一个具体实施中，当编码器模块812可首先将线索引编码到比特流中，该线索引指示参考线中的所选择的至少一个参考线是预定义的参考线时，比特流可包括指示预测模式的模式标记和模式索引以及指示预定义的参考线的线索引。在至少一个具体实施中，预定义的参考线可以是第一参考线411。在至少一个具体实施中，当参考线中的所选择的至少一个参考线包括参考线中与预定义的参考线不同的一个参考线时，仅从MPM中选择预测模式。因此，当线索引指示参考线中的所选择的至少一个参考线包括参考线中与预定义的参考线不同的一个参考线时，比特流中可能不存在模式标记。在至少一个具体实施中，当编码器模块812可首先将线索引编码到比特流中，该线索引指示参考线中的所选择的至少一个参考线包括参考线中与预定义的参考线不同的一个参考线时，比特流可包括指示参考线中的所选择的至少一个参考线的线索引和指示MPM中的一个MPM的MPM索引。
在至少一个具体实施中，编码器模块812可首先将模式标记编码到比特流中。在至少一个具体实施中，当从剩余模式候选中选择预测模式时，参考线中的所选择的至少一个参考线是预定义的参考线。因此，当模式标记指示预测模式被包括在剩余模式候选中时，比特流中可能不存在线索引。在至少一个具体实施中，当编码器模块812可首先将指示预测模式被包括在剩余模式候选中的模式标记编码到比特流中时，比特流可包括用于确定剩余模式候选中的一个模式候选的模式标记和非MPM索引以及预定义的参考线。在至少一个具体实施中，当从MPM中选择预测模式时，参考线中的所选择的至少一个参考线可以是预定义的参考线或者包括参考线中与预定义的参考线不同的一个参考线。因此，当模式标记指示预测模式被包括在MPM中时，比特流包括用于指示参考线中的所选择的至少一个参考线的线索引。在至少一个具体实施中，当编码器模块812可首先将指示预测模式被包括在MPM中的模式标记编码到比特流中时，比特流可包括指示参考线中的所选择的至少一个参考线的线索引以及指示MPM中的一个MPM的模式标记和MPM索引。
在至少一个具体实施中，编码器模块812可执行如图7所示的线数量确定方法。可使用例如：图1和图8所示的构型来执行图7中的方法，并且参考这些附图的各种元件来解释示例性方法。此外，图7中的框的顺序仅为例示性的并且可改变。在不脱离本公开的情况下，可添加附加框或可使用更少的框。
在框71处，编码器模块812根据视频数据从图像帧确定块单元的块尺寸。
在至少一个具体实施中，视频数据可以是视频。源设备11可透过源模块111接收视频。编码器模块812根据视频确定图像帧，并且划分图像帧以确定块单元。
在至少一个具体实施中，源设备11的预测处理单元8121经由分割单元81211根据视频确定具有块尺寸的块单元，然后编码器模块812基于分割单元81211的分割结果将多个分割指示提供到比特流中。在至少一个具体实施中，块尺寸可包括块高度H和块宽度W。
在框72处，帧内预测单元81212基于块尺寸来确定一个或多个参考线的数量。
在至少一个具体实施中，目标设备12的预测处理单元2222经由熵解码单元2221根据视频数据来确定块单元，并且确定与块单元相邻的该一个或多个参考线。
在至少一个具体实施中，预测处理单元2222基于根据块尺寸和尺寸阈值而生成的尺寸比较结果来确定该一个或多个参考线的数量。在至少一个具体实施中，当预测处理单元2222确定尺寸比较结果满足预定义条件时，该一个或多个参考线的数量等于大于一的预定义数量。在至少一个具体实施中，当预测处理单元2222确定尺寸比较结果不满足预定义条件时，该一个或多个参考线的数量等于一。在至少一个具体实施中，预定义条件可包括以下中的至少一者：第一条件，即块尺寸小于第一阈值；第二条件，即块尺寸大于第二阈值，该第二阈值不同于第一阈值；第三条件，即基于块宽度W和块高度H而确定的块尺寸小于第三阈值；第四条件，即尺寸比等于第四阈值，该第四阈值不同于第三阈值；以及任何其他尺寸比较条件。
在框73处，帧内预测单元81212基于该一个或多个参考线的数量来选择该一个或多个参考线中的一个参考线。
在至少一个具体实施中，当该一个或多个参考线的数量大于一时，帧内预测单元81212可选择该一个或多个参考线中的一个参考线来预测块单元。在至少一个具体实施中，当该一个或多个参考线的数量等于一时，帧内预测单元可直接使用该一个或多个参考线来预测块单元。
在框74处，帧内预测单元81212基于该一个或多个参考线中的所选择的一个参考线来预测块单元。
在至少一个具体实施中，块单元可包括多个块分量。在该具体实施中，块分量中的每个块分量可以是像素元素。在至少一个具体实施中，帧内预测单元81212可基于块分量中的每个块分量的该一个或多个参考线中的所选择的一个参考线，根据多个帧内预测模式中的一个帧内预测模式来确定多个预测分量中的一个预测分量。在至少一个具体实施中，帧内预测单元81212可根据帧内预测模式来选择该一个或多个参考线中的另一个参考线以预测块单元。
在至少一个具体实施中，帧内预测单元81212可根据帧内预测模式基于该一个或多个参考线来预测块单元以生成多个预测结果。在至少一个具体实施中，预测处理单元8121可基于模式选择方法(诸如：成本函数)来选择预测结果中的一个预测结果。在至少一个具体实施中，模式选择方法可以是率失真优化(RDO)程序。在该具体实施中，预测处理单元8121设置帧内预测模式中的一个帧内预测模式和该一个或多个参考线中的一个参考线以用于生成所选择的编码结果作为块单元的预测模式。
在至少一个具体实施中，编码器模块812基于预测分量来预测块单元以生成多个残差样本，并且提供包括与残差样本对应的多个系数的比特流。
根据以上描述，显而易见的是，在不脱离本专利申请中所述的概念的范围的情况下，可使用各种技术来实现这些概念。此外，虽然已具体参考特定具体实施描述了这些概念，但本领域的普通技术人员将认识到，在不脱离这些概念的范围的情况下，可在形式和细节上对这些概念作出改变。因此，所描述的具体实施将在所有方面被认为是示例性的而非限制性的。还应当理解，本申请不限于上述特定具体实施，相反，在不脱离本公开的范围的情况下，许多重新配置、修改和替换是可能的。
机译： 基于一个或多个参考线编码视频数据的设备和方法
机译： 基于一个或多个参考线编码视频数据的设备和方法
机译： 基于一个或多个参考线的视频数据编码装置和方法
