用于补偿图像序列中的照明变化的方法和装置

摘要

为了考虑场景中的局部照明变化，本发明提出一种补偿照明变化的方法，其中针对图像(或视图)的每个块确定分布，并且为了避免视频编码效率的损失，由诸如解码器这样的远程装置只根据在对图像序列的当前块进行解码时在该装置处可用的信息来自动地计算基于分布的映射函数。本发明还涉及一种对图像序列进行编码和/或解码方法和设备，其包含被配置为实现根据本发明补偿照明变化的方法的部件。

说明书

技术领域

本发明一般涉及图像序列的照明补偿。更确切地，其涉及用于补偿图像序列中的照明变化的方法和装置。其还涉及实现补偿这样的图像序列的照明变化的方法的对图像序列进行编码和/或解码的方法和设备。

背景技术

下面应当以宽泛的含义来考虑图像序列，因为其涵盖3D视频序列、可缩放的视频序列、多视图视频序列等。因此，所要求保护的方法可以应用于任何种类的图像序列，其照明变化将从参考图像来补偿。

例如在多视图视频序列中，使用来自不同位置的若干同步相机的设置来记录目标或场景。每台相机记录通常被称为视图的图像。因此，多视图视频序列包括多个场景，并且对每个场景记录若干视图。视图是作为图像的像素的集合，但是在下面使用术语“视图”而不是术语“图像”，以记住相同场景(或目标)的多个视图被嵌入在图像序列中。

频繁讨论的图像序列的应用包括三维电视(3DTV)以及自由视点电视(FTV)，其中用户能够自由地浏览场景。

图像序列的记录创建大量数据。因此，需要高效的压缩技术以存储或传送视频流。

例如，由ISO/IEC 14496-10ITU-T Rec.H.264规定的MVC(多视图视频编码)支持使用单个流对来自多个视图的同步信息直接编码，并且利用相机间的冗余来降低比特率。基本的编码方案使用针对每个视图的分级B预测结构。该方案利用处于相同时间点但不同视图的图像之间的相关性来进行视差估计和补偿。针对单视图视频压缩精心研发的运动补偿技术能够用于时间预测。同样地，可以利用视差补偿技术来降低视图间的冗余。通过块匹配技术来执行补偿处理，块匹配技术一般针对找到参考图像中的最佳匹配块，使得其有助于预测后的最小残余误差。

在相同场景(或目标)的多个视图之间存在照明改变。这样的改变可以被分为两个类别：由相机之间的不同校准引起的全局照明改变，以及由相机的不同角度和位置引起的局部照明改变。

必须处理该问题的原因是其可能影响基于图像的呈现算法的质量以及视差估计和补偿(在视频编码情况下的视图间预测)的准确度。在最后的情况下，最佳匹配候选的残余能量的量将增加。而且，将影响最佳匹配块和视差向量的搜索处理。这两个进一步的结果都导致编码效率降低。

对于深度估计(3D视频)或比特深度可缩放视频编码或从LDR(低动态范围)视频预测HDR(高动态范围)视频的视图间匹配也是该情况。

为了解决这个问题，MVC实现使用加权预测工具的照明补偿处理。从另外的视图R的重构样本Rec_R(.,.)预测视图D的照明补偿处理由等式(1)给出：

Pred_D(x，y)=W_R×Rec_R(x+dx，y+dy)+O_R  (1)

其中，W_R和O_R分别为缩放参数和偏移，它们在传送前后关系中，相对于图像序列的当前视图D，在片段头部中传送。缩放参数和偏移对于整个片段是不变的。

这样的照明补偿处理是线性的，对于多视图视频编码在光反射或闪烁的情况下过于简单。而且，因为对整个片段应用相同的参数，所以其未考虑场景中的局部照明变化。

照明补偿线性处理确定地不适于来自异构捕捉器(例如托架)或者来自异构可缩放预测(例如HDR(高动态范围)到LDR(低动态范围)视频转换)的视图的情况。

Fecker等人(“Histogram-based prefiltering for luminance and chrominancecompensation of multiview video”，IEEE，Transactions on circuits and systemsfor video technology，第18卷，第9号，2008年9月)设计用于照明补偿的基于累积直方图的匹配处理。这样的基于累积直方图的照明补偿处理对整个视图应用相同的校正，对于校正亮度和色度中的全局差异特别有用。然而，因为对整个视图计算直方图，所以这样的照明补偿处理不考虑场景中的局部照明变化。

为了考虑场景中的局部照明变化，将局部地适配照明补偿的匹配处理。然而，例如，如果针对每个块进行适配，则应当针对每个块传送匹配信息。这样大量的信息对于视频编码效率不高。

发明内容

本发明针对减轻现有技术的一些不便。

为了考虑场景中的局部照明变化，本发明提出一种补偿照明变化的方法，其中针对图像(或视图)的每个块计算分布，并且为了避免视频编码效率的损失，由诸如解码器这样的远程装置只根据在对图像序列的当前块进行解码时在该装置处可用的信息来自动地计算基于分布的映射函数。

本发明涉及一种补偿图像序列中的照明变化的方法，其特征在于，对于当前图像的每个当前块，

通过匹配当前图像的所述块(Dk)的因果区域上的分布与参考图像的块的因果区域上的分布，来确定图像序列的当前图像的所述块的像素值与参考图像的所述块(Rk)的像素值之间的映射函数。

在多视图视频序列编码/解码方案中，映射函数使场景的当前视图的块的区域的分布适合该场景的参考视图的块的区域的分布。因此，如果使用分布匹配使场景的所有相机视图适合该场景的公共参考视图，则改进跨越该场景的相机视图的视图间预测，导致图像序列的编码效率的增大。

该方法的另一优点是，对如亮度或对比度变化的失真类型不做出假设，并且可以考虑非线性运算。

本发明还涉及一种对从参考图像的块计算预测块的图像序列进行编码和/或解码的方法，其特征在于，从根据符合本发明的补偿照明变化的方法修改的参考图像的块计算预测块。

本发明还涉及一种信号帧，其包含通过匹配两个分布获得的图像序列的当前图像的块的像素值和与当前图像的块有关的参考图像的块的像素值之间的信息，其中一个分布在当前图像的所述块附近的因果区域上确定，另一个分布在参考图像的所述块附近的因果区域上确定。

本发明还涉及一种补偿图像序列中的照明变化的装置，其包含被配置为实现补偿照明变化的上述方法的部件。

本发明还涉及一种对图像序列进行编码和/或解码的设备，其特征在于，其包含上述装置。

附图说明

通过描述本发明的具体、非限制性的实施例，本发明的更多优点将出现。

将参考以下附图来描述实施例：

-图1示出补偿图像序列中的照明变化的方法的图；

-图2例示两个图像的块之间的映射函数的示例；

-图3a-3d示出在图像的当前块Bk的附近的邻域的一些实例；

-图4示出包含被配置为实现本方法的部件的装置。

具体实施方式

图1示出补偿图像序列中的照明变化的方法的图。

在下文中，术语“像素值”是指属于图像的像素的亮度值和/或色度值。另外，使用像素的亮度值公开本发明，但是本发明也可以应用于这些图像的色度分量。术语“累积直方图”仅仅用于说明性的目的，但是可以将本发明一般化为任何其他分布。接下来，术语‘块’表示比图像的像素的总数量少的图像的像素的集合。但是，本发明也可以应用于图像的像素的任何其他子集，诸如例如宏块或编码单位等。

在下文中，在图像序列的情况下描述本发明，但是其范围延伸至诸如多视图视频序列、3D视频或可缩放视频或HDR/LDR视频这样的任何图像序列的照明变化的补偿。因此，根据本发明的对图像序列进行编码和/或解码的设备也涵盖根据本发明补偿相同场景的视图的多视图视频编码/解码设备、或者根据本发明补偿用于深度估计的视图间匹配的视图的照明变化的3D视频编码/解码设备。其还涵盖例如补偿图像的照明变化的比特深度可缩放视频编码以及从LDR(低动态范围)视频计算HDR(高动态范围)视频的设备。在后者的情况下，补偿LDR图像的照明变化。

作为本方法的第一步骤1，选择图像序列的当前图像的块。在下文中将该块称为当前块Dk。接下来，选择图像序列的参考图像的块。在下文中将该块称为参考块Rk。该参考块Rk与当前块Dk有关。参考块Rk可以是例如块匹配处理的结果，块匹配处理包括在参考图像中选择使在该块与(要预测的)当前块Dk之间的所计算出的失真最小化的块。

根据实施例，当前图像和参考图像是图像序列的同一图像(帧内编码的情况)，而根据另外的实施例，它们是图像序列的两个不同的图像(帧间编码的情况)。

参考块Rk的亮度分量的幅度和当前块Dk的亮度分量的幅度分别记为y_R(m,n)和y_D(m,n)。

作为第二步骤2，计算累积直方图

首先，参考块Rk的直方图确定如下：

其中，Tk标记在参考块Rk附近的邻域。

接下来，参考块Rk的累积直方图通过等式(7)来确定：

$>C_R^{\mathrm{Tk}}\left(v\right)={\Sigma }_{i=0}^v{h}_R^{\mathrm{Tk}}\left(i\right)---\left(7\right)$>

以相同的方式根据式(6)和式(7)来确定当前块Dk的直方图和累积直方图

接下来，作为第三步骤3，基于累积直方图和针对参考块Rk计算映射函数Mk。

如图2的顶部所示，例如针对在当前块Dk上的具体值(occurrence)的给定数量通过将与参考块Rk上的具体值的该给定数量有关的亮度值v替换为当前块Dk的亮度值u，以便当前块Dk上的具体值的数量等于参考块Rk上的具体值的数量来计算映射。以数学术语，该映射由等式8给出：

M_k(v)＝u，其中$>\mathrm{Mk}\left(C_R^{\mathrm{Rk}}\left(v\right)\right)=C_D^{\mathrm{Tk}}\left(u\right)---\left(8\right)$>

该示例不限制本发明的范围，其延伸至从两个分布计算映射函数的任何方法。

根据另外的示例，如图2底部所示，通过匹配当前块Dk中的具体值的数量与参考块Rk中的具体值的数量匹配来计算映射。以数学术语，该映射由等式9给出：

Mk(v)＝u，其中$>C_D^{\mathrm{Tk}}\left(u\right)\le C_R^{\mathrm{Tk}}\left(v\right)<C_D^{\mathrm{Tk}}(u+1)---\left(9\right)$>

一旦计算出参考块Rk的映射函数，映射函数Mk应用于参考块Rk的亮度值，得到校正的亮度块，校正的亮度块用作预测以便对当前块Dk进行编码，其亮度值y_c(m，n)为：

y_c(m，n)＝Mk(y_R(m，n))，其中(m，n)∈Tk  (10)

先前的步骤对任何其他的当前块Dk迭代，并且在已经考虑了图像序列的当前图像的全部当前块时，本方法结束。

根据实施例，本方法还包含第四步骤4，在其过程中，将块Bk的映射结果Mk存储在查找表LUT中。

因此，对于用参考块Rk预测的当前块Bk的像素的任何亮度值，由于映射函数Mk而从LUT找到补偿的照明亮度值。

图3示出图像的当前块Bk的因果邻域(causal neighborhood)的一些实例。

在图3a中，邻域T被定义为三个块，一个位于当前块Bk的顶部，一个在左侧，一个在左上部。

在图3b中，邻域只包括位于当前块Bk的左侧的两个块，。

在图3c中，邻域包括位于当前块Bk的顶部的三个块，而在图3d中，邻域包括四个块：三个块在当前块Bk的顶部，一个在当前块Bk的左侧。

本发明可以使用其他邻域，而不限于这些示例。邻域可以具有例如可以独立于块的数量和/或尺寸来定义的其他形状和/或尺寸。邻域仅仅受限于因果区域(causal region)，亦即，受限于负责补偿图像序列的照明变化的装置先前已知其信息的区域。因果区域允许诸如编码方案中的解码器这样的远程装置在不利用由编码器发送的任何传输信息的情况下计算映射函数。这避免了视频编码效率的损失。

本发明还涉及对从参考图像的块来计算预测块的图像序列进行编码和/或解码的方法，其特征在于，从根据符合本发明的补偿照明变化的方法修改的参考图像的块来计算预测块。

图4示出的包含被配置为实现本方法的部件的装置400。该装置包含由数字数据和地址总线40互连的以下组件：

-处理单元42(或CPU，即中央处理单元)；

-存储器44；

-网络接口43，用于经由有线或无线连接41将设备400互连到在网络中连接的其他设备。

处理单元42可以被实现为微处理器、定制芯片、专用(微)控制器等。存储器44可以实现为任何形式的易失性和/或非易失性存储器，诸如RAM(随机存取存储器)、硬盘驱动器、非易失性随机存取存储器、EPROM(可擦除可编程ROM)等。设备400适于实现根据本发明的方法的数据处理设备。数据处理设备400具有用于将因果区域定义为图像的块的邻域的部件(42、44和/或43)；用于确定在图像的块的因果区域上的分布(例如累积直方图)的部件(42、44)；用于通过匹配两个分布，来计算当前图像的块的像素值和与当前图像的块有关的参考图像的块的像素值之间的映射的部件(42、44)，其中一个分布在当前图像的所述块的因果区域上确定，另一个分布在参考图像的所述块的因果区域上确定。在44中可以临时地(或者不)存储分布和LUT。

根据实施例，该装置还包含发射和/或接收信号的部件(43)，信号的帧包含关于通过匹配两个分布在图像序列的当前图像的块的像素值和与当前图像的块有关的参考图像的块的像素值之间进行的映射的信息，其中一个分布在当前图像的块附近的因果区域上确定，另一个分布在参考图像的所述块附近的因果区域上确定。

这种信息也可以定义所建立的LUT。

本发明涉及对图像序列进行编码和/或解码的设备，其特征在于，其包含上述装置。

根据具体实施例，本发明完全以硬件来实现，例如实现为专用组件(例如ASIC、FPGA或VLSI)(分别为“专用集成电路”、“现场可编程门阵列”和“超大规模集成电路”)，或者根据另外的变型的实施例，实现为集成在设备的不同的电子组件，或者根据另外的实施例，实现为硬件和软件混合的形式。