在多视图视频编码中从低动态范围图像生成高动态范围图像

摘要

公开了用于组合HDR和3D图像结构分析和编码的若干方法，特别是一种用于对第一视图高动态范围图像和第二视图高动态范围图像进行编码的编码设备，所述编码设备包括：第一和第二HDR图像接收器(203,1201)，其被布置成接收所述第一视图高动态范围图像和第二视图高动态范围图像；预测器(209)，其被布置成从所述第一视图高动态范围图像的低动态范围表示来预测所述第一视图高动态范围图像；以及视图预测器(1203)，其用于从所述第一视图高动态范围图像、所述第二视图高动态范围图像的低动态范围表示、或所述第一视图高动态范围图像的低动态范围表示中的至少一个来预测所述第二视图高动态范围图像。

说明书

技术领域

本发明涉及从低动态范围图像生成高动态范围图像，并且特别地，涉及将高动态范围信息与3D信息组合。

背景技术

随着数字信号表示和通信逐渐地取代了模拟表示和通信，在过去的几十年里各种源信号的数字编码已经变得愈加重要。持续的研究和开发正在如何改进能够从编码的图像和视频序列获得的质量同时使数据速率保持可接受的水平方面进行。

用于感知的图像质量的重要因素是能够在图像被显示时重现的动态范围。然而，照惯例，相对于正常视觉重现图像的动态范围趋于被大大地减小。在真实场景中，不同亮度的区域中的不同对象的动态范围可以容易地对应于10.000:1或更大的(14位线性)动态范围，其中，非常精确的亮度分级可能出现在所有亮度级别中，例如在用窄束灯饰照明的腔中，并且因此，无论特定装置上的最终的最优再现如何，图像编码可以期望包含关于该图像的尽可能多的有用信息(同时还花费尽可能少的位，例如在诸如蓝光盘之类的固定存储器空间介质上，或有限的带宽网络连接)。

传统上，图像传感器和显示器的动态范围以被限于约2-3个数量级，例如传统的电视机试图针对40:1动态范围进行成像，40:1动态范围也是用于打印的典型范围，即8位对于那些媒体而言被认为是足够的，但是它们对于最近出现的更高质量再现装置和/或特别地与那些装置上的最佳再现相关的更智能的图像处理而言不再是足够的。即，在不在传统的再现装置上引入感知上显著的伪像的情况下，传统上已经能够以8位伽玛编码格式来存储和传送图像。然而，为了记录更精确和更生动的成像，已经开发了宣称能够记录甚至多达6个数量级的动态范围的新颖的高动态范围(HDR)图像传感器。此外，大多数的特殊效果、计算机图形增强以及其它后期工作已经在更高位深被例行地进行，使在计算机上创建的视觉领域变得潜在无限。

此外，现代技术显示系统的对比度和峰值亮度持续提高。近来，新的原型显示器已经以高达5000 Cd/m^-2的峰值亮度和5个数量级的理论对比度被呈现。当传统上经编码的8位信号被显示在这样的显示器上时，讨厌的量化和剪裁伪像可能出现，并且此外，8位信号中的有限信息通常不足以创建复杂图像—至于灰度值的分配—其可以被如实地用这些设备再现。特别地，传统的视频格式提供了不足以传达在新的HDR成像中包含的丰富信息的净空和精确性。因此，存在对于允许用户（consumer）充分受益于现有技术的传感器和显示系统的能力的新视频格式的不断增长的需求。优选地，这样的格式是后向兼容的，使得旧设备仍然能够接收普通视频流，同时新的有HDR能力的装置充分利用由新格式所传达的附加信息。因此，期望的是，编码的视频数据不仅表示HDR图像而且还允许能够被显示在常规设备上的传统的低动态范围(LDR)图像的编码。

最直接了当的方法将是相互独立地压缩并且存储LDR和HDR流(同时联播)。然而，这将导致高的数据速率。为了改进压缩效率，已经提出采用其中HDR数据被从LDR流预测的层间预测，使得仅实际的HDR数据与它的预测之间的更小差需要被编码和存储/传送。

然而，从LDR数据预测HDR往往是困难的和相对不精确的。实际上，对应的LDR与HDR之间的关系往往是非常复杂的并且通常可能在图像的不同部分之间强烈地变化。例如，LDR图像通常可以由HDR图像的色调映射和颜色分级来生成。精确的色调映射/颜色分级以及因此HDR与LDR图像之间的关系将取决于针对颜色分级所选择的特定算法和参数并且因此很可能取决于源而变化。实际上，通常可以不仅针对不同的内容项而且在不同的图像之间以及实际上经常在图像的不同部分之间主观地并且个别地对颜色分级进行修改。例如，颜色分级器可以选择图像中的不同对象并且对每个对象应用单独和个别的颜色分级。因此，从LDR图像预测HDR图像典型地是非常困难的并且理想地需要适应用来从HDR图像生成LDR图像的特定方法。

在Mantiuk, R.、Efremov, A.、Myszkowski, K.和Seidel, H.，2006年，Backward compatible high dynamic range MPEG video compression，第3卷第25期ACM Trans.(2006年7月)第713-723页中提出了用于预测HDR图像的方法的示例。在此方法中全局重构函数被估计并且用来执行层间预测。然而，该方法趋于导致次最佳结果并且与期望的相比往往是更不精确的。特别地，全局重构函数的使用趋于仅仅允许粗略估计，因为它不能够考虑例如由不同的颜色分级的应用所造成的HDR数据与LDR数据之间的关系的局部变化。

在美国专利申请US2009/0175338中提出了另一方法，其中提出了针对在宏块(MB)级别上操作的层间预测的机制。在该方法中，HDR流是针对通过估计对应于宏块数据的线性回归的缩放和偏移参数局部地预测的每个宏块的。然而，尽管这可以允许更局部的预测，但是所应用的线性模型的简单性通常未能精确地描述LDR数据与HDR数据之间的复杂关系，特别是在高对比度和颜色边缘附近的复杂关系。

因此，用于对HDR/LDR数据进行编码和/或用于从LDR数据生成HDR数据的改进方法将是有利的。特别地允许增加的灵活性、易化实施方式和/或操作、改进的和/或自动化的自适应、增加的精度、减少的编码数据速率和/或改进的性能的系统将是有利的。

最近出现的另一重要趋势是许多显示设备，无论是电视机、游戏监视器或甚至移动装置，正准备再现至少某些形式的三维信息。它可能是这样的：市场同时可能不想要想得到这些质量模态中的非此即彼，即3D LDR或2D HDR，而是在相同的低容量系统(例如，蓝光盘)上，市场可能想要同时具有质量改进二者。

发明内容

因此，本发明优选地设法单独地或者以任何组合来缓和、减轻或者消除上述缺点中的一个或多个，特别地，本发明设法提供用于尤其以高效的方式容易地对某些HDR信息和某些3D信息二者进行编码的选项，所述有效的方式能够使用相同图像场景捕获的真实性表示的不同编码质量之间的现有关系。本发明特别地关注是否能够通过使用HDR(一方面)与3D(另一方面)之间的某些相似性来智能地编码。特别地，因为许多当前的编码技术依赖来自另一个的一个表示的预测(例如，根据近似LDR表示的更高动态范围分级)，所以如果1个这样的改进的预测(例如HDR)可以利用另一个改进的预测(附加到主视图的附加的3D视图)，则这是非常有用的。不仅一方面在用于准确地标识场景中的例如空间对象(并且精确地确定它们的边界)的例如3D模块中使用的非常复杂的试探法可以被同样地重新用在从LDR到HDR预测(例如，以便在精确确定的对象上正确地应用局部LDR到HDR变换策略)中它是有用的，而且另一方面，可从一个模式的附加信息导出的附加信息(例如，可从附加视图导出的信息)能够被用来使另一个模式的变换(例如预测)变得更加容易、准确等(例如，深度图可以形成用于LDR到HDR变换的有用信息，或者反之亦然，如果LDR/HDR编码策略包含允许区域或对象的更好标识的(元)数据，则这可以有助于3维场景分析和表示/编码)。

根据本发明的一个方面，提供了一种对输入图像进行编码的方法，所述方法包括：接收所述输入图像；响应于参考低动态范围图像和对应的参考高动态范围图像来生成映射，所述映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的低动态范围像素值的色坐标与形式为高动态范围像素值的输出数据联系起来；以及通过响应于所述映射对所述输入图像进行编码来生成输出编码的数据流。

本发明可以提供改进的编码。例如，本发明可以允许编码适应于并且针对特定的动态范围特性，并且尤其是与可以由合适的解码器执行的动态范围扩充技术相关联的特性。本发明可以例如提供可允许解码器将接收到的编码的低动态范围图像增强到高动态范围图像的编码。在不需要待开发并且适用于特定图像特性的预定规则或算法的情况下，基于参考图像的映射的使用尤其在许多实施例中可以允许图像特性的自动化的和/或改进的自适应。

可以被认为是与组合相关联的图像位置可以例如针对特定输入集而被确定为对于用于特定输入集的图像空间位置满足近邻标准的图像位置。例如，特定输入集可以包括从输入集的位置起小于给定距离、并且属于和该输入集的位置相同的图像对象以及落入针对该输入集定义的位置范围内等的图像位置。

组合可以例如是将多个色坐标值组合成更少的值并且具体地组合成单个值的组合。例如，组合可以将色坐标(例如RGB值)组合成单个亮度值。作为另一示例，组合可以将邻近像素的值组合成单个平均值或差分值。在其它实施例中，组合可替代地或此外可以是多个值。例如，组合可以是包括用于多个邻近像素中的每一个的像素值的数据集。因此，在一些实施例中，组合可以对应于映射的一个附加的维度(即除空间维度之外)，并且在其它实施例中组合可以对应于映射的多个附加的维度。

色坐标可以是反映像素的视觉特性的任何值，并且可以具体地是亮度值、色度值或彩色值等。所述组合在一些实施例中可以包括与用于输入集的图像空间位置相对应的仅一个像素值。

方法可以包括动态地生成映射。例如，可以针对视频序列的每个图像或者例如针对每个第N个图像生成新的映射，其中N是整数。

根据本发明的可选特征，所述输入图像是输入高动态范围图像；并且所述方法进一步包括：接收与所述高动态范围图像相对应的输入低动态范围图像；从所述输入低动态范围图像生成预测基础图像；响应于所述映射从所述预测基础图像来预测被预测的高动态范围图像；响应于所述被预测的高动态范围图像和所述输入高动态范围图像来对所述残差高动态范围图像进行编码以生成编码的高动态范围数据；以及将所述编码的高动态范围数据包括在所述输出编码的数据流中。

本发明可以提供HDR图像的改进的编码。特别地，可以实现从LDR图像的HDR图像的改进预测，从而允许减少的残差信号并且因此更高效的编码。可以实现增强层的数据速率并且因此实现组合信号的数据速率。

所述方法可以允许预测基于对HDR与LDR图像之间的特定关系的改进的和/或自动的自适应。例如，无论对于不同的源、图像还是实际上图像的各部分，所述方法可以自动地适于反映不同的色调映射和颜色分级方法的应用。例如，所述方法可以适应于个别图像对象内的特定特性。

所述方法在许多情况下可以允许与可以简单地使用包括所述输入图像的LDR编码的基础层的现有LDR设备的后向兼容性。此外，所述方法可以允许低复杂性实施方式，由此允许减少的成本、资源需求和使用、或简化的设计或制造。

所述预测基础图像可以具体地通过下述操作生成：对所述低动态范围图像进行编码以生成编码的数据；以及通过对所述编码的数据进行解码来生成所述预测基础图像。

所述方法可以包括生成所述输出编码的数据流以具有包括用于所述输入图像的编码的数据的第一层和包括用于所述残差图像的编码的数据的第二层。所述第二层可以是可选层，并且具体地所述第一层可以是基础层以及所述第二层可以是增强层。

所述残差高动态范围图像的编码可以具体地包括：通过比较所述输入高动态范围图像和所述被预测的动态范围图像来生成用于所述高动态范围图像的至少一部分的残差数据；以及通过对所述残差数据进行编码来生成所述编码的高动态范围数据的至少一部分。

根据本发明的可选特征，每个输入集对应于用于每个空间图像维度的空间间隔和用于所述组合的至少一个值间隔，并且所述映射的生成针对所述参考低动态范围图像的至少一组图像位置中的每个图像位置包括：针对所述参考低动态范围图像中的所述每个图像位置来确定具有与所述每个图像位置相对应的空间间隔和与组合值相对应的用于所述组合的值间隔的至少一个匹配输入集；以及响应于用于所述参考高动态范围图像中的所述每个图像位置的高动态范围像素值来确定用于所述匹配输入集的输出高动态范围像素值。

这提供了用于为动态范围修改确定合适的映射的高效且精确的方法。

在一些实施例中，可以针对所述至少一组图像位置的至少第一位置确定多个匹配输入集，并且响应于用于所述映射高动态范围图像中的所述第一位置的高动态范围像素值来确定用于所述多个匹配输入集中的每一个的输出高动态范围像素值。

在一些实施例中，所述方法进一步包括响应于对来自用于与所述第一输入集匹配的所述至少一组图像位置的图像位置的所有高动态范围像素值的贡献的取平均值来确定用于第一输入集的所述输出高动态范围像素值。

根据本发明的可选特征，所述映射是以下中的至少一个：空间二次采样映射；时间二次采样映射；以及组合值二次采样映射。

这在许多实施例中可以提供改进的效率和/或减少的数据速率或资源要求同时仍然允许有利的操作。所述时间二次采样可以包括更新用于图像序列的图像的子集的映射。与由所述像素值的量化产生相比，所述组合值二次采样可以包括应用所述组合中的一个或多个值的更粗略的量化。所述空间二次采样可以包括涵盖多个像素位置的每个输入集。

根据本发明的可选特征，所述输入图像是输入高动态范围图像；并且所述方法进一步包括：接收与所述输入高动态范围图像相对应的输入低动态范围图像；从所述输入低动态范围图像生成预测基础图像；响应于所述映射从所述预测基础图像来预测被预测的高动态范围图像；以及响应于所述输入高动态范围图像和所述被预测的高动态范围图像的比较而使所述映射和残差高动态范围图像中的至少一个适应于所述被预测的高动态范围图像。

这可以允许改进的编码并且在许多实施例中可以允许数据速率适应于特定的图像特性。例如，所述数据速率可以被减小到对于利用所述数据速率的动态自适应来实现可变最小数据速率的给定质量水平所需要的水平。

在一些实施例中，所述自适应可以包括确定是否修改所述映射的部分或全部。例如，如果所述映射产生偏离所述输入高动态范围图像超过给定量的被预测的高动态范围图像，则所述映射可以被部分地或完全地修改以产生改进的预测。例如，所述自适应可以包括修改由用于特定输入集的所述映射所提供的特定的高动态范围像素值。

在一些实施例中，所述方法可以包括响应于所述输入高动态范围图像和所述被预测的高动态范围图像的比较来选择映射数据和残差高动态范围图像数据中的至少一个的元素以包括在所述输出编码的数据流中。所述映射数据和/或所述残差高动态范围图像数据可以例如被限制于其中所述输入高动态范围图像与所述预测的高动态范围图像之间的差超过给定阈值的区域。

根据本发明的可选特征，所述输入图像是所述参考高动态范围图像，并且所述参考低动态范围图像是与所述输入图像相对应的输入低动态范围图像。

这在许多实施例中可以允许从输入低动态范围图像的高动态范围图像的高效率预测，并且在许多情况下可以提供低和高动态范围图像两者的特别有效率的编码。所述方法可以进一步包括表征所述输出编码的数据流中的所述映射的至少一部分的映射数据。

根据本发明的可选特征，用于所述映射的所述输入集进一步包括与图像空间位置相关联的深度指示，并且所述映射进一步反映了深度与高动态范围像素值之间的关系。这可以提供改进的映射并且可以例如允许所述映射被用来针对所述输入图像生成改进的预测。针对给定质量水平所述方法可以允许减少的数据速率。深度指示可以是图像中深度的任何合适的指示，包括深度(z方向)值或不一致值。

根据本发明的可选特征，所述输入图像对应于多视角图像的高动态范围第一视图图像，并且所述方法进一步包括：响应于所述高动态范围第一视图图像来对用于所述多视图图像的高动态范围第二视图图像进行编码。

所述方法可以允许多视图图像的特别高效的编码，并且可以允许的改进的数据速率与质量的比率和/或简化的实施例方式。所述多视图图像可以是包括与相同场景的不同视图相对应的多个图像的图像。所述多视图图像可以具体地是包括右图像和左图像(例如对应于观察者的右眼和左眼的视点)的立体图像。所述高动态范围第一视图图像可以具体地被用来生成所述高动态范围第二视图图像的预测(或附加的预测)。在一些情况下，所述高动态范围第一视图图像可以被直接地用作所述高动态范围第二视图图像的预测。所述方法可以允许LDR/HDR多视图图像的高效率的联合/组合编码。所述高动态范围图像可以具体地是所述高动态范围第一视图图像。

根据本发明的可选特征，所述高动态范围第一视图图像和所述高动态范围第二视图图像被联合地编码，其中，所述高动态范围第一视图图像被在不依赖所述高动态范围第二视图图像的情况下编码，并且所述高动态范围第二视图图像使用来自所述高动态范围第一视图图像的数据来编码，所述编码的数据被分割成单独的数据流，所述单独的数据流包括包含用于所述高动态范围第一视图图像的数据的主数据流和包含用于所述高动态范围第二视图图像的数据的次比特流，其中，所述主比特流和次比特流被复用成具有用于提供有单独代码的所述主和次数据流的数据的所述输出编码的数据流。

这可以提供多视图图像的数据流的特别高效的编码，所述编码可以允许改进的后向兼容性。所述方法可以将多视图HDR图像的联合编码的优点与后向兼容性相结合，从而允许非完全有能力的解码器以有效地解码单视图图像。

根据本发明的可选特征，编码模块包括：图像数据输入端，用于接收用于待编码的图像的图像数据；预测输入端，用于接收用于待编码的所述图像的预测；以及数据输出端，用于输出用于待编码的所述图像的编码数据，所述编码模块可操作来从所述预测和所述图像数据生成所述编码数据；并且当接收到所述预测输入端上的从所述映射生成的预测和所述图像数据数据输入端上的用于所述高动态范围图像的图像数据时，通过所述编码模块来执行对所述高动态范围第一视图图像进行编码，以及当接收到所述预测输入端上的从所述高动态范围第一视图图像生成的预测和所述图像数据输入端上的用于所述高动态范围第二视图图像的图像数据时，通过所述编码模块执行所述高动态范围第二视图图像的编码。

这可以允许特别高效的和/或低复杂性编码。所述编码模块有利地可以被再用于不同的功能。所述编码模块可以例如是H264单视图编码模块。

根据本发明的方面，提供了从低动态范围图像生成高动态范围图像的方法，所述方法包括：接收所述低动态范围图像；提供映射，该映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的低动态范围像素值的色坐标的组合与形式为高动态范围像素值的输出数据联系起来，所述映射反映了参考低动态范围图像与对应的参考高动态范围图像之间的动态范围关系；以及响应于所述低动态范围图像和所述映射来生成所述高动态范围图像。

本发明可以允许用于从低动态范围图像生成高动态范围图像的特别高效的方法。

所述方法可以具体地是对高动态范围图像进行解码的方法。所述低动态范围图像可以被接收为编码的图像，所述编码的图像首先被解码 之后所述映射被应用到所述编码的低动态范围图像以提供高动态范围图像。具体地，可以通过对编码的数据流的基础层图像进行解码生成所述低动态范围图像。

所述参考低动态范围图像和对应的参考高动态范围可以特别地是先前解码的图像。在一些实施例中，可以在编码的数据流中接收所述低动态范围图像，所述编码的数据流还可以包括表征或者识别所述映射和/或所述参考图像中的一个或两个的数据。

根据本发明的可选特征，生成所述高动态范围图像包括针对所述被预测的动态范围图像的至少一部分的每个位置通过以下步骤来确定被预测的高动态范围图像的至少一部分：确定与所述每个位置匹配的至少一个匹配输入集和与所述每个位置相关联的低动态范围像素值的色坐标的第一组合；从所述映射中检索用于所述至少一个匹配输入集的至少一个输出高动态范围像素值；响应于所述至少一个输出高动态范围像素值来确定用于所述被预测的高动态范围图像中的所述每个位置的高动态范围像素值；以及响应于所述预测的高动态范围图像的所述至少一部分来确定所述高动态范围图像。

这可以提供高动态范围图像的特别有利的生成。在许多实施例中，所述方法可以允许低和高动态范围图像两者的特别高效的编码。特别地，可以实现从低动态范围图像的高动态范围图像的预测的精确的、自动地适应和/或高效的生成。

响应于所述被预测的高动态范围图像的所述至少一部分的所述高动态范围图像的生成可以包括直接地使用所述被预测的高动态范围图像的所述至少一部分，或者可以例如包括使用残差高动态范围数据来增强所述被预测的高动态范围图像的所述至少一部分，所述残差高动态范围数据例如可以被包括在不同于包括所述低动态范围图像的层的编码信号的不同层中。

根据本发明的可选特征，所述低动态范围图像是低动态范围视频序列的图像，并且所述方法包括使用所述低动态范围视频序列的前一个低动态范围图像作为所述参考低动态范围图像并且使用针对所述前一个低动态范围图像所生成的前一个高动态范围图像作为所述参考高动态范围图像来生成所述映射。

这可以允许高效的操作并且尤其可以允许具有对应的低和高动态范围图像的视频序列的高效编码。例如，所述方法可以允许在不需要待在编码器与解码器之间传送的所应用的映射的任何信号的情况下基于从低动态范围图像预测高动态范围图像的至少一部分的精确编码。

根据本发明的可选特征，所述前一个高动态范围图像被响应于相对于用于所述前一个低动态范围图像的被预测的图像数据的用于所述前一个低动态范围图像的残差图像数据进一步地生成。

这可以提供特别精确的映射并且因此提供改进的预测。

根据本发明的可选特征，所述低动态范围图像是低动态范围视频序列的图像，并且所述方法进一步包括针对所述低动态范围视频序列的至少一些低动态范围图像使用标称映射。

这可以针对许多图像允许特别高效的编码，并且尤其可以允许对视频序列的不同图像的高效的自适应。例如，标称映射可以被用于对于其而言不存在合适的参考图像的图像，诸如例如紧跟场景改变的第一图像。

在一些实施例中，所述动态范围视频序列可以被作为编码的视频信号的一部分而被接收，所述编码的视频信号进一步包括用于所述参考映射被用于的所述低动态范围图像的参考映射指示。在一些实施例中，所述参考映射指示指示了选自参考映射的预定集的应用的参考映射。例如，可以在编码器与解码器之间预先确定N个参考映射，并且所述编码可以包括所述参考映射中的哪一个应该由所述解码器用于特定图像的指示。

根据本发明的可选特征，所述组合指示了纹理、梯度以及用于所述图像空间位置的空间像素值变化中的至少一个。

这可以提供高动态范围图像的特别有利的生成，并且尤其可以生成更吸引人的高动态范围图像。

根据本发明的可选特征，用于所述映射的所述输入集进一步包括与图像空间位置相关联的深度指示，并且所述映射进一步反映了深度与高动态范围像素值之间的关系。

这可以提供改进的映射，并且可以例如允许所述映射被用来生成所述高动态范围图像的改进预测。所述方法可以针对给定的质量水平例如允许减少的数据速率。深度指示可以是图像的深度的任何合适的指示，包括深度(z方向)值或不一致值。

根据本发明的可选特征，所述高动态范围图像对应于多视图图像的第一视图图像，并且所述方法进一步包括：响应于所述高动态范围图像来生成用于所述多视图图像的高动态范围第二视图图像。

所述方法可以允许多视图图像的特别高效的生成/解码并且可以允许改进的数据速率与质量的比率和/或简化的实施方式。所述多视角图像可以是包括与相同场景的不同视图相对应的多个图像的图像。所述多视图图像可以具体地是包括右图像和左图像(例如对应于观察者的右眼和左眼的视点)的立体图像。所述高动态范围第一视图图像可以具体地被用来生成所述高动态范围第二视图图像的预测。在一些情况下，所述高动态范围第一视图图像可以被直接地用作所述高动态范围第二视图图像的预测。所述方法可以允许LDR/HDR多视图图像的高效率的联合/组合解码。

根据本发明的可选特征，解码模块包括：解码器数据输入端，用于接收用于编码的图像的编码的数据；预测输入端，用于接收用于所述编码的图像的预测图像；以及数据输出端，用于输出解码的图像。所述解码模块可操作来从所述预测图像和所述解码器数据生成所述解码的图像；并且其中，当接收到所述预测输入端上的从所述映射生成的预测和所述解码器数据输入端上的用于所述高动态范围图像的残差图像数据时，通过所述解码模块执行生成所述高动态范围图像，以及当接收到所述预测输入端上的从所述高动态范围图像生成的预测图像和所述解码器数据输入端上的用于所述高动态范围第二视图图像的残差图像数据时，通过所述解码模块执行生成所述高动态范围第二视图图像。

这可以允许特别高效的和/或低复杂性解码。所述解码模块有利地可以被再用于不同的功能。所述解码模块可以例如是H264单视图解码模块。

根据本发明的可选特征，所述解码模块包括布置成存储从先前解码的图像生成的预测图像的多个预测图像存储器；并且所述解码模块利用在所述预测输入端上接收到的所述预测图像来重写所述预测图像存储器中的一个。

这可以允许特别高效的实施方式和/或操作。

根据本发明的可选特征，生成所述高动态范围第二视图图像的步骤包括：提供映射，该映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的高动态范围像素值的色坐标的组合与形式为高动态范围像素值的输出数据联系起来，所述映射反映了用于所述第一视图的参考高动态范围图像与用于所述第二视图的对应的参考高动态范围图像之间的关系；以及响应于所述高动态范围图像和所述映射生成所述高动态范围第二视图图像。

这可以提供用于基于所述高动态范围第一视图图像生成所述高动态范围第二视图图像的特别有利的方法。特别地，它可以允许基于参考图像的精确映射或预测。所述高动态范围第二视图图像的生成可以是基于映射的自动化生成的，并且可以例如是基于先前的高动态范围第二视图图像和先前的高动态范围第一视图图像的。所述方法可以例如允许所述映射在编码器和解码器侧独立地生成，并且因此允许基于所述映射的高效的编码器/解码器预测而不需要被从所述编码器传送到所述解码器的任何附加的映射数据。

根据本发明的一个方面，提供了一种用于对输入图像进行编码的装置，所述装置包括：接收器，用于接收所述输入图像；映射生成器，用于响应于参考低动态范围图像和对应的参考高动态范围图像来生成映射，所述映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的低动态范围像素值的色坐标的组合与形式为高动态范围像素值的输出数据联系起来；以及输出处理器，用于通过响应于所述映射对所述输入图像进行编码来生成输出编码的数据流。所述装置可以例如是集成电路或其部分。

根据本发明的一个方面，提供了一种设备，所述设备包括：所述前一段落的所述装置；输入连接装置，用于接收包括所述输入图像的信号并且将它馈送给所述装置；以及输出连接装置，用于从所述装置输出所述输出编码的数据流。

根据本发明的一个方面，提供了一种从低动态范围图像生成高动态范围图像的装置，所述方法包括：接收器，用于接收所述低动态范围图像；映射处理器，用于提供映射，该映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的低动态范围像素值的色坐标的组合与形式为高动态范围像素值的输出数据联系起来，所述映射反映了参考低动态范围图像与对应的参考高动态范围图像之间的动态范围关系；以及图像生成器，用于响应于所述低动态范围图像和所述映射来生成所述高动态范围图像。所述装置可以例如是集成电路或其部分。

根据本发明的一个方面，提供了一种设备，包括：所述前一段落的所述装置；输入连接装置，用于接收所述低动态范围图像并且将它馈送给所述装置；输出连接装置，用于从所述装置输出包括所述高动态范围图像的信号。所述设备可以例如是机顶盒、电视机、计算机监视器或其它显示器、媒体播放机、DVD或BluRay?播放机等。

根据本发明的一个方面，提供了一种编码的信号，包括：编码的低动态范围图像；以及用于所述低动态范围图像的残差图像数据，所述残差图像数据的至少一部分指示了与所述低动态范围图像相对应的期望的高动态范围图像与由将映射应用到所述编码的低动态范围图像产生的被预测的高动态范围图像之间的差异，其中，所述映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的低动态范围像素值的色坐标的组合与形式为高动态范围像素值的输出数据联系起来，所述映射反映了参考低动态范围像与对应的参考高动态范围像之间的动态范围关系。

根据本发明的特征，提供了一种存储介质，所述存储介质包括所述前一段落的所述编码的信号。所述存储介质可以例如是诸如DVD或BluRay?盘之类的数据载体。

可以提供一种用于执行本发明的所述方面或特征中的任何一个的所述方法的计算机程序产品。同样地，可以提供包括用于执行本发明的所述方面或特征中的任何一个的所述方法的可执行代码的存储介质。

本发明的这些和其它方面、特征以及优点根据在下文中描述的实施例中将是显而易见的，并且参考在下文中描述的实施例来阐明。

附图说明

将参考图仅通过示例的方式来描述本发明的实施例，在图中

图1是根据本发明的一些实施例的传输系统的示例的图示；

图2是根据本发明的一些实施例的编码器的示例的图示；

图3是根据本发明的一些实施例的编码的方法的示例的图示；

图4和5是根据本发明的一些实施例的映射的示例的图示；

图6是根据本发明的一些实施例的编码器的示例的图示；

图7是根据本发明的一些实施例的编码器的示例的图示；

图8是根据本发明的一些实施例的解码的方法的示例的图示；

图9是根据本发明的一些实施例的高动态范围图像的预测的示例的图示；

图10图示了根据本发明的一些实施例的映射的示例；

图11是根据本发明的一些实施例的解码器的示例的图示；

图12是根据本发明的一些实施例的编码器的示例的图示；

图13是可以在根据本发明的一些实施例的编码器中使用的基本编码模块的示例的图示；

图14-17图示了使用图13的基本编码模块的编码器的示例；

图18图示了数据流的复用的示例；

图19是可以在根据本发明的一些实施例的解码器中使用的基本解码模块的示例的图示；以及

图20-22图示了使用图18的基本解码模块的解码器的示例。

具体实施方式

以下描述集中于适用于视频序列的对应低动态范围图像和高动态范围图像的编码和解码的本发明的实施例。然而，应当领会，本发明不限于该应用并且所描述的原理可以被应用在许多其它情况中且可以例如被应用来增强或修改各种各样的图像的动态范围。

图1图示了根据本发明的一些实施例的用于传送视频信号的传输系统100。传输系统100包括被通过网络105耦接到接收器103的发送机101，所述网络105具体地可以是因特网或例如诸如数字电视广播系统之类的广播系统。

在特定示例中，接收器103是信号播放机装置，但是应当领会在其它实施例中该接收器可以被使用在其它应用中并且用于其它目的。在特定示例中，接收器103可以是诸如电视机之类的显示器，或者可以是用于生成用于诸如计算机监视器或电视机之类的外部显示器的显示输出信号的机顶盒。

在特定示例中，发送机101包括信号源107，所述信号源107提供低动态范围图像的视频序列和高动态范围图像的对应的视频序列。对应的图像表示相同的场景/图像但是具有不同的动态范围。典型地，低动态范围图像可以通过可能已经被自动地、半自动地或手动地执行的合适的颜色分级来从对应的高动态范围图像生成。在一些实施例中，高动态范围图像可以从低动态范围图像生成，或者诸如例如对于计算机生成的图像而言，它们可以被并行生成。

应当领会，术语低动态范围图像和高动态范围图像不针对图像指定任何特定的绝对的动态范围，而仅仅是使图像彼此相关以使得高动态范围图像具有比低动态范围图像(潜在地)更高的动态范围的相对术语。

信号源107本身可以生成低动态范围图像、高动态范围图像或低和高动态范围图像两者，或者可以例如从外部源接收这些中的一个或两个。

信号源107被耦接到编码器109，所述编码器109继续根据将稍后详细地描述的编码算法对高和低动态范围视频序列进行编码。编码器109被耦接到网络发送机111，所述网络发送机111接收已编码的信号并且对接到通信网络105。网络发送机可以通过通信网络105将已编码的信号传输到接收器103。应当领会，在许多其它实施例中，可以使用其它的分布网络或通信网络，诸如例如地面或卫星广播系统。

接收器103包括接收器113，所述接收器113对接到通信网络105并且从发送机101接收已编码的信号。在一些实施例中，接收器113可以例如是因特网接口、或无线接收器或卫星接收器。

接收器113被耦接到解码器115。解码器115被馈送已接收到的编码的信号，并且其然后继续根据将稍后详细地描述的解码算法来对它进行解码。解码器115可以从所接收到的编码的数据来具体地生成高动态范围视频序列。

在其中支持信号播放功能的特定示例中，接收器103进一步包括信号播放机117，所述信号播放机117从解码器115接收已解码的视频信号并且使用合适的功能将这个呈现给用户。具体地，信号播放机117本身可以包括能够呈现已编码的视频序列的显示器。可替代地或此外，信号播放机117可以包括能够生成用于外部显示设备的合适的驱动信号的输出电路。因此，接收器103可以包括接收已编码的视频序列的输入连接装置和提供用于显示器的输出驱动信号的输出连接装置。

图2图示了根据本发明的一些实施例的编码器109的示例。图3图示了根据本发明的一些实施例的编码的方法的示例。

编码器包括用于接收此后被称为LDR图像的低动态范围图像(其可以例如基于可用HDR图像而在包含编码器的相同单元中被导出、或者从单独输入例如单独分级中提供，例如来自电视录制等的在硬盘上存储的LDR版本)的视频序列的接收器201以及用于接收此后被称为HDR图像的高动态范围图像的对应的视频序列的接收器203。

最初编码器109执行步骤301，其中接收LDR视频序列的输入LDR图像。LDR图像被馈送到对来自LDR视频序列的视频图像进行编码的LDR编码器205。应当领会，可以使用任何合适的视频或图像编码算法并且编码可以具体地包括如对技术人员而言将已知的运动补偿、量化、变换转换等。具体地，LDR编码器205可以是H-264/AVC标准编码器。

因此，步骤301后面是步骤303，其中输入LDR图像被编码以生成编码的LDR图像。

编码器109然后继续从LDR图像生成预测的HDR图像。预测是基于可以例如为输入LDR图像它自身的预测基础图像的。然而，在许多实施例中可以将预测基础图像生成为对应于能够由解码器通过对已编码的LDR图像进行解码生成的LDR图像。

在图2的示例中，LDR编码器205被相应地耦接到LDR解码器207，所述LDR解码器207继续通过LDR图像的编码的数据的解码来生成预测基础图像。解码可以是实际的输出数据流的或可以是中间数据流的，诸如例如在最后无损熵编码之前的编码的数据流的。因此，LDR解码器207执行步骤305，其中预测基础图像通过对编码的LDR图像进行解码来生成。

LDR解码器207被耦接到预测器209，所述预测器209继续从预测基础图像生成预测的HDR图像。预测是基于由映射处理器211提供的映射的。

因此，在该示例中，步骤305后面是其中生成映射的步骤307并且随后是其中执行预测以生成预测的HDR图像的步骤309。

预测器209被进一步耦接到HDR编码器213，所述HDR编码器213被进一步耦接到HDR接收器203。HDR编码器213接收输入HDR图像和被预测的HDR图像并且继续基于被预测的HDR图像对输入HDR图像进行编码。

在作为特定的低复杂度示例来描述的说明的细节中，HDR图像的编码可以基于相对于被预测的HDR图像生成残差HDR图像并且对残差HDR图像进行编码。然而，技术人员将理解，如与在本文中所描述的若干实施例相符合的那样用于连同3D(立体图或若干图片)编码的LDR/HDR编码的预测策略将与若干预测策略一起工作，例如，一个预测策略可以在越过若干图片的LDR图片的对象(不论它们被编码为算法、LUT或(中间或最终可用的)图像等)、时空修改等上使用局部复杂变换函数。因此，在这样的低复杂性示例中，HDR编码器213可以继续执行步骤311，其中响应于输入HDR图像与被预测的HDR图像之间的比较来生成残差HDR图像。具体地，HDR编码器213可以通过从输入HDR图像减去被预测的HDR图像来生成残差HDR图像。因此，残差HDR图像表示输入HDR图像与被基于对应的(编码的)LDR图像预测的HDR图像之间的误差。在其它实施例中，可以进行其它比较。例如，可以采用以被预测的HDR图像划分（division）HDR图像。

HDR编码器213然后可以执行步骤313，其中残差图像被编码以生成编码的残差数据。

应当领会，可以使用用于对残差图像进行编码的任何合适的编码原理或算法。实际上，在许多实施例中被预测的HDR图像可以被用作若干个中的一个可能的预测。因此，在一些实施例中HDR编码器213可以被布置成在包括被预测的HDR图像的多个预测之间选择。其它预测可以包括空间预测或时间预测。选择可以是基于针对不同预测的精确度测量的，诸如基于相对于HDR输入图像的残差的量。可以针对整个图像执行选择，或者可以例如针对HDR图像的不同区域或区个别地执行选择。

例如，HDR编码器可以是H264编码器。常规的H264编码器可以利用不同的预测，诸如时间预测(在帧之间，例如运动补偿)或空间预测(即从另一个来预测图像的一个区域)。在图2的方法中，这样的预测可以由LDR到HDR图像预测来补充。基于H.264的编码器然后继续在不同的可能的预测之间选择。这个选择被在宏块基础上执行并且是基于选择对于该宏块导致最小残差的预测的。具体地，可以执行速率失真分析以针对每个宏块选择最好的预测方法。因此，做出局部判定。

因此，基于H264的编码器可以针对不同的宏块使用不同的预测方法。对于每个宏块可以生成残差数据并且对其进行编码。因此，用于输入HDR图像的已编码的数据可以包括由用于该宏块的特定选择的预测产生的用于每个宏块的残差数据。此外，已编码的数据可以包括哪一个预测方法被用于每个个别的宏块的指示。

因此，LDR到HDR预测可以提供可以由编码器选择的附加的可能的预测。对于一些宏块，这个预测可以导致比其它预测更小残差并且因此它将被选择用于这个宏块。用于该块的作为结果的残差图像将然后表示该块的输入HDR图像与被预测的HDR图像之间的差异。

编码器在该示例中可以使用不同预测方法之间的选择而不是这些的组合，因为这将导致典型地彼此干涉的不同预测。

LDR编码器205和HDR编码器213被耦接到接收已编码的LDR数据和已编码的残差数据的输出处理器215。输出处理器215然后继续执行步骤315，其中输出编码的数据流被生成为包括已编码的LDR数据和已编码的残差数据。

在示例中，已生成的输出编码的数据流是分层的数据流，并且已编码的LDR数据被包括在第一层中，同时已编码的残差数据被包括在第二层中。第二层可以具体地是能够由与HDR处理不兼容的解码器或装置丢弃的可选层。因此，随着第二层为可选层，第一层可以是基本层，并且具体地第二层可以是增强或可选动态范围修改层。这样的方法可以在允许有HDR能力的设备利用附加的HDR信息的同时允许后向兼容性。此外，预测和残差图像编码的使用对于给定图像质量允许利用低数据速率的高效率编码。

在图2的示例中，HDR图像的预测是基于映射的。映射被布置成从形式为图像空间位置的输入集的输入数据和与图像空间位置相关联的低动态范围像素值的色坐标的组合映射到形式为高动态范围像素值的输出数据。

因此，具体地可以被实现为查找表的映射是基于由在输入集中组织的多个参数所定义的输入数据的。因此，输入集可以被认为是包括用于多个参数的值的多维集。参数包括空间维度并且具体地可以包括二维图像位置，诸如例如用于水平维度的参数(范围)和用于垂直维度的参数(范围)。具体地，映射可以将图像区域划分成具有给定的水平延伸和垂直延伸的多个空间块。

对于每个空间块，映射然后可以包括从低动态范围像素值的色坐标生成的一个或多个参数。作为简单的示例，每个输入集可以包括除空间参数之外的单个亮度值。因此，在这种情况下每个输入集是具有两个空间参数和一个亮度参数的三维集。

对于各种可能的输入集，映射提供了输出高动态范围像素值。因此，映射在该特定示例中可以是从三维输入数据到单个高动态范围像素值的映射。

映射因此将空间分量和颜色分量(包括仅亮度分量)相关映射两者提供给合适的高动态范围像素值。

映射处理器211被布置成响应于参考低动态范围图像和对应的参考高动态范围图像来生成映射。因此，映射不是预定的或固定的映射而是可以基于参考图像自动地且灵活地生成/更新的映射。

参考图像可以具体地是来自视频序列的图像。因此，映射被从视频系列的图像动态地生成，从而提供了到特定图像的映射的自动适应。

作为特定示例，映射可以是基于正被编码的实际的LDR图像和对应的HDR图像的。在这个示例中，可以生成映射以反映输入LDR图像与输入HDR图像之间的空间分量与颜色分量关系。

作为特定示例，映射可以被生成为NX x NY x NI个容器（bin）(输入集)的三维栅格。这样的栅格方法在被应用于三个维度的量化程度方面提供了很多的灵活性。在该示例中，第三(非空间)维度是简单地对应于亮度值的强度参数。在以下示例中，HDR图像的预测被以宏块级并且利用2⁸个强度容器(即使用8比特值)来执行。对于高清晰度图像，这意味着栅格具有120x68x256个容器的维度。这些容器中的每一个都对应于用于映射的输入集。

对于在参考图像中的位置(x,y)处的每个LDR输入像素以及分别用于考虑(例如，如果每个颜色分量被单独地考虑)中的颜色分量的用于LDR图像和HDR图像的强度V_LDR和V_HDR，位置和强度的匹配容器被首先识别。

在该示例中，每个容器对应于空间水平间隔、空间垂直间隔以及强度间隔。匹配容器(即输入集)可以借助于最近邻插值法来确定：

其中，I_x、I_y以及I_I分别是在水平、垂直以及强度方向上的栅格坐标，s_x、s_y以及s_I是沿着这些维度的栅格间距(间隔长度)并且[ ]表示最近整数操作符。

因此，在该示例中，映射处理器211确定具有与像素的每个图像位置相对应的空间间隔和对应于在特定位置处的参考低动态范围图像中的像素的强度值的强度值间隔的间隔的匹配输入集/容器。

映射处理器211然后响应于参考HDR图像中的位置的高动态范围像素值继续确定用于匹配输入集/容器的输出高动态范围像素值。

具体地，在栅格的构建期间，强度值D和权重值W两者被针对所考虑的每个新的位置来更新：

。

在已经评估图像的所有像素之后，强度值通过权重值来归一化以为该容器产生输出HDR值B：

其中，用于每个值的数据值B包含与特定容器/输入集的位置和输入强度相对应的输出HDR像素值。因此，在栅格内的位置由参考LDR图像来确定，而在栅格中存储的数据对应于参考HDR图像。因此，映射输入集从参考LDR图像来确定并且映射输出数据从参考HDR图像确定。在特定示例中，被存储的输出HDR值是落入输入集/容器内的像素的HDR值的平均值，但是应当理解在其它实施例中，可以使用其它方法和特别是更先进的方法。

在该示例中，自动地生成了映射以反映参考LDR和HDR图像之间的空间与像素值关系。当参考图像与正被编码的LDR和HDR图像紧密相关时，这对于从LDR图像预测HDR图像来说是特别有用的。如果参考图像的确是和正被编码的那些相同的图像，则情况可能尤其是这样。在这种情况下，生成了自动地适应输入LDR图像与HDR图像之间的特定关系的映射。因此，鉴于典型地不能够预先知道这些图像之间的关系，所描述的方法在没有任何现有技术的信息的情况下自动地适应该关系。这允许导致相对于输入HDR图像更少的差异并且因此产生能够被更有效地编码的残差图像的精确预测。

在其中正被编码的输入图像被直接地用来生成映射的实施例中，这些图像在解码器端处通常将是不可用的。因此，解码器不能够单独地生成映射。因此，在一些实施例中，编码器可以进一步被布置成将表征映射的至少一部分的数据包括在输出编码的流中。例如，在其中固定和预定输入集间隔(即固定容器)被使用的情况中，编码器可以将所有容器输出值包括在输出编码的流中，例如作为可选层的一部分。尽管这可以提高数据速率，但是很可能是由于在生成栅格时执行的二次抽样而导致的相对低的开销。因此，从使用精确且自适应预测方法实现的数据减少很可能比在由映射数据的通信产生的数据速率中的任何增加更重要。

在生成预测的图像时，预测器209可以继续一次一个像素单步调试图像。对于每个像素，用于LDR图像中的像素的空间位置和强度值被用来识别用于映射的特定输入集/容器。因此，对于每个像素，容器被基于像素的空间位置和LDR图像值来选择。用于这个输入集/容器的输出HDR像素值然后被检索并且在一些实施例中可以被直接地用作像素的图像值。然而，因为由于映射的空间二次采样的缘故这将趋于提供一定块效应(blockiness)，所以高动态范围像素值将在许多实施例中由来自多个输入容器的输出高动态范围像素值之间的插值来生成。例如，来自相邻容器的值(在空间方向和非空间方向两者上)也可以被提取并且像素值可以被生成为这些的插值。

具体地，被预测的HDR图像能够通过由空间坐标规定的部分位置处的栅格中的分片和LDR图像来构建：

其中，F_int表示适当的插值运算符，诸如最近邻或双三次插值法。

在许多情况下，图像可以通过多个颜色分量(例如RGB或YUV)来表示并且所描述的过程可以被单独地应用于颜色通道中的每一个。特别地，输出高动态范围像素值可以包含用于颜色分量中的每一个的一个值。

在图4和5中提供了映射的生成的示例。在该示例中，LDR-HDR映射关系使用LDR和HDR训练图像来建立并且映射表中的位置通过图像中的水平(x)和垂直(y)像素位置以及通过诸如图4的示例中的亮度(Y)和图5的示例中的熵(E)之类的LDR像素值的组合来确定。如先前所描述的那样，映射表将所关联的HDR训练数据存储在指定位置处。可以使用于预测的这些组合(典型地为LUT)与想要的一样复杂，例如不只是二次采样的(x, y, I_LDR)组合对V_HDR像素值进行预测(无论I是亮度、或R、G、B等)，但是(x, y, I_LDR, furthprops)可以被使用来映射到V_HDR估计值，其中furthprops可以包含可在一个或多个LDR图像上导出的进一步的图像信息(一个或多个进一步的数目即典型地为LUT维度，其对于计算简单性而言还可以被体现为例如不同LUT的索引等)属性，例如描述诸如纹理估计值、深度估计值等之类的参数的局部对象或区域特性。

编码器115因此生成包括已编码的低动态范围图像的编码的信号。这个图像可以具体地被包括在已编码的比特流的基准层或基本层中。此外，包括了允许在解码器处基于已编码的LDR图像的HDR图像的高效生成的数据。

在一些实施例中，这样的数据可以包括可以由解码器使用的映射数据或者形式为所述映射数据。然而，在其它实施例中，对于图像中的一些或全部而言，不包括这样的映射数据。相反地，解码器本身可以从先前的图像生成映射数据。

已生成的编码的信号可以进一步包括低动态范围图像的残差图像数据，其中残差图像数据指示对应于低动态范围图像的期望的高动态范围图像与由映射到编码的低动态范围的应用产生的被预测的高动态范围图像之间的差异。所期望的高动态范围图像具体地是输入HDR图像，并且因此残差图像数据表示可以修改解码器生成的HDR图像以更接近对应于期望的HDR图像、即对应于对应的输入HDR图像的数据。

附加的残差图像数据在许多实施例中可以有利地被包括在可选层(例如增强层)中，所述可选层可以被适当装备的解码器使用并且由不具有所要求的功能的旧的解码器忽略。

该方法可以例如允许所描述的基于映射的预测以新的后向兼容HDR视频格式来集成。例如，两个层都可以使用后面是量化的数据变换(例如小波、DCT)的常规操作来编码。内补偿和运动补偿的帧间预测可以改进编码效率。在这样的方法中，从LDR到HDR的层间预测补充了其它预测并且进一步改进了增强层的编码效率。

信号可以具体地是可以例如通过如图1的示例中的网络分配或传送的比特流。在一些情况下，信号可以被存储在诸如磁/光盘之类的合适的存储介质上。例如信号可以被存储在DVD或Bluray?盘上。

在前一示例中，映射的信息被包括在输出比特流中，从而使解码器能够基于已接收到的图像重现预测。在这种和其它情况下，使用映射的二次采样可能是特别有利的。

实际上，可以有利地使用空间二次采样使得单独输出值不针对每个个别的像素来存储，而是针对成组的像素并且尤其是像素的区来存储。在特定示例中，单独输出值被针对每个宏块存储。

可替代地或此外，可以使用输入非空间维度的二次采样。在特定示例中，每个输入集可以涵盖LDR图像中的多个可能的强度值，从而减少可能的容器的数目。这样的二次采样可以对应于在映射的生成之前应用更粗略的量化。

这样的空间或值二次采样可以大大地减少传送映射所需的数据速率。然而，此外或可替代地，它可以大大地减少编码器(和对应的解码器)的资源需求。例如，它可以大大地减少存储映射所需的存储器资源。它在许多实施例中还可以减少生成映射所需的处理资源。

在该示例中，映射的生成是基于当前图像的，即基于正被编码的LDR图像和对应的HDR图像。然而，在其它实施例中，映射可以使用低动态范围视频序列的前一个图像作为参考低动态范围图像并使用针对先前的低动态范围视频序列作为参考高动态范围图像而生成的前一个高动态范围图像(或者在一些情况下为对应的前一个输入HDR图像)来生成。因此，在一些实施例中，用于当前图像的映射可以是基于先前的对应的LDR和HDR图像的。

作为示例，视频序列可以包括相同场景的一系列图像并且因此连续图像之间的差异很可能是小的。因此，适用于一个图像的映射很可能还适用于后续的图像。因此，使用先前的LDR和HDR图像作为参考图像生成的映射很可能还适用于当前图像。基于前一个图像针对当前图像使用映射的优点是映射可以由解码器独立地生成，因为这还使先前的图像可用(经由这些的解码)。因此，不需要包括关于映射的信息，并且因此可以进一步减小已编码的输出流的数据速率。

在图6中图示了使用这样的方法的编码器的特定示例。在此示例中，映射(其在特定示例中是查找表LUT)被在编码器和解码器两侧基于前一个(延时τ)重构的LDR帧和前一个重构的(延时τ)HDR帧来重构。在这种情况下，无映射值需要被从编码器传送到解码器。相反地，解码器仅仅使用已经可被它利用的数据来拷贝HDR预测过程。尽管层间预测的质量可能略微降低，但是由于视频序列的后续帧之间的高度时间相关性的原因这典型地将是较小的。在该示例中，yuv420颜色方案被用于LDR图像并且yuv 444/422颜色方案被用于HDR图像(并且因此在颜色向上转换之前，进行LUT(映射)的生成和应用)。

优选的是，使延时τ保持尽可能小以便增加图像是尽可能相似的可能性。然而，最小值在许多实施例中可以取决于所使用的特定编码结构，因为它要求解码器能够从已经解码的图片生成映射。因此，最佳延时可以取决于所使用的GOP(图片组)的类型并且具体地取决于例如用于IPPPP GOP的时间预测(运动补偿)，τ可以是单个图像延时，然而根据IBPBP GOP它将是至少两个图像。

在该示例中，LDR的每个位置促成栅格中的仅一个输入集/容器。然而，在其它实施例中映射处理器可以针对被用来生成映射的至少一组图像位置中的至少一个位置来识别多个匹配输入集。所有匹配输入集的输出高动态范围像素值然后可以响应于参考高动态范围图像中的位置的高动态范围像素值来确定。

具体地，个别数据还可以在相邻容器而不是仅单个最佳匹配容器之上扩展，而不是使用最近邻插值来建立栅格。在这种情况下，每个像素不促成单个容器但是促成例如所有它的相邻容器(在3D栅格的情况下为8)。贡献可以例如和像素与相邻容器中心之间的三维距离成反比例，注意到，时间偏移的存储器中的一些可以被重新用于存储其他预测，所述其他预测可以是作为任何预测测量可能期望使用的图片表示的任何预测。特别地，对于HDR编码部分，这样的策略使其成为非常通用的单元。

图7图示了与图2的编码器互补的解码器115的示例，而图8图示了为此操作的方法的示例。

解码器115包括执行步骤801的接收电路701，在步骤801中接收电路701从接收器113接收已编码的数据。在LDR编码的数据和残差数据被在不同层中编码的特定示例中，接收电路被布置成提取且解复用LDR编码的数据以及形式为残差图像数据的可选层数据。在其中关于映射的信息被包括在所接收到的比特流中的实施例中，接收电路701可以进一步提取这个数据。

接收器电路701被耦接到接收已编码的LDR数据的LDR解码器703。其然后继续执行步骤803，在该步骤中对LDR图像进行解码。LDR解码器703将与编码器109的LDR编码器205互补并且可以具体地是H-264/AVC标准解码器。

LDR解码器703被耦接到接收已解码的LDR图像的解码预测器705。解码预测器705被进一步耦接到解码映射处理器707，所述解码映射处理器707被布置成执行步骤805，在该步骤中对于解码预测器705生成了映射。

解码映射处理器707生成该映射以对应于在生成残差图像数据时由解码器所使用的映射。在一些实施例中，解码映射处理器707可以响应于在已编码的数据流中接收到的映射数据来简单地生成映射。例如，用于栅格的每个容器的输出数据值可以被提供在接收到的编码的数据流中。

解码预测器705然后继续执行步骤807，在步骤807中从已解码的LDR图像和由解码映射处理器707生成的映射来生成被预测的HDR图像。预测可以遵循与在编码器中使用的方法相同的方法。

为了简洁和清楚，示例将集中于简化的示例，其中编码器仅基于LDR到HDR预测，并且因此其中生成了整个LDR到HDR预测图像(以及因此整个残差图像)。然而，应当领会，在其它实施例中，该方法可以与诸如时间或空间预测之类的其它预测方法一起使用。特别地，应当领会，与其将所描述的方法应用到整个图像，倒不如可以将它仅应用到其中LDR到HDR预测由编码器选择的图像区或块。

图9图示了可以如何执行预测操作的特定示例。

在步骤901中，选择HDR图像中的第一像素位置。针对这个像素位置，然后在步骤903中确定用于映射的输入集，即确定栅格中的合适的输入容器。这可以例如通过识别覆盖位置落入其中的空间间隔和已解码的LDR图像的已解码的像素值落入其中的强度间隔的栅格来确定。步骤903然后后面是步骤905，其中从映射中检索用于输入集的输出值。例如可以使用所确定的输入集数据来对LUT进行寻址并且检索对于该寻址所存储的作为结果的输出数据。

步骤905然后后面是步骤907，其中从所检索的输出确定用于像素的像素值。作为简单的示例，像素值可以被设置为所检索的值。在更复杂的实施例中，像素值可以通过用于不同输入集的多个输出值的插值(例如考虑所有相邻容器以及匹配容器)来生成。

这个过程可以针对HDR图像中的所有位置并且针对所有颜色分量重复，从而导致正被生成的预测的HDR图像。

解码器115然后继续基于被预测的HDR图像生成输出HDR图像。

在特定示例中，输出HDR图像通过考虑所接收到的残差图像数据来生成。因此接收电路701被耦接到残差解码器709，所述残差解码器709接收残差图像数据并且继续执行步骤809，在该步骤中对残差图像数据进行解码以生成已解码的残差图像。

残差解码器709被耦接到组合器711，所述组合器711被进一步耦接到解码预测器705。组合器711接收被预测的HDR图像和已解码的残差HDR图像，并且继续执行步骤811，其中它组合两个图像以生成输出HDR图像。具体地，组合器可以在逐个像素基础上添加两个图像的像素值以生成输出HDR图像。

组合器711被耦接到输出电路713，所述输出电路713执行步骤813，其中生成输出信号。输出信号可以例如是能够驱动诸如电视机之类的合适的显示器以呈现HDR图像的显示驱动信号。

在特定示例中，映射被基于在已编码的数据流中包括的数据来确定。然而，在其它实施例中，可以响应于诸如例如视频序列的前一个图像之类的已经由解码器接收到的先前的图像来生成映射。对于此前一个图像，解码器将具有由LDR解码产生的LDR图像并且这可以被用作参考LDR图像。此外，HDR图像已经通过预测来生成，后面是使用残差图像数据对预测图像的进一步校正。因此，已生成的HDR图像接近地对应于编码器的输入HDR图像并且可以因此被用作参考HDR图像。基于这两个参考图像，与由编码器所使用的方法完全相同的方法可以被用来由解码器生成映射。因此，这个映射将对应于被编码器所使用的映射，并且将因此导致相同的预测(以及因此残差图像数据将精确地反映解码器预测的图像与在编码器处的输入HDR图像之间的差异)。

该方法因此提供从标准LDR编码开始的后向兼容的HDR编码，这可以例如经由LDR色调映射(例如带有黑白削波的快速上升S曲线)来使用在用于最佳对比度的场景中可用的所有亮度的“非最佳”子范围选择。该方法然后添加附加的数据以允许最优编码的HDR图像的重构(潜在地利用针对更好质量视觉效果的另一个色调映射：例如与在LDR编码中相比暗灰色可以被推进更深)。

这可以例如导致HDR与LDR之间的以下差异：

- 用于相同的值的更高精度(例如L=27.5而不是27)，这个还能够用缩放和偏移来记录(例如55=2x27.5+0)

- 对在削波中已经丢失的黑与白子图片的编码

- 图像中的至少一些灰色的变动（shift）(例如使18%灰色变黑)以在典型更高的峰值亮度显示器上给出更好的视觉再现。

该方法使用从可用的LDR数据预测这个HDR信号，使得所需的残差信息被减少。

该方法自动地考虑发生于所有基础的对象颜色(例如在重叠若干对象的块中的文本字符等的一部分) 的事情，使用从不同的LDR值到HDR值的映射的改进的特性。

所描述的示例忽略实际的每像素较好精度的空间分布，而使用“局部平均值”，我们的“所有颜色自适应”方法典型地将导致更好的预测(例如在边缘的任一侧通过将输入LDR值用作粗索引来查找然后产出所需的近似HDR值的对应容器)。这对于可能存在的任何这样的对象都导致良好的HDR中对象平均开始值，因此需要更少的残差。

具体地，映射栅格被构建，例如在空间中(因为仅仅局部平均值被使用而不是精确的几何HDR微断面)以及利用针对每个可能的LDR值的HDR值(或色坐标的组合)来二次采样。在一些实施例中值二次采样还可以例如利用LDR的4个亮度编码的每步HDR值来执行。

所描述的方法可以提供到特定局部特性的映射的特别高效的自适应并且可以在许多情况下提供特别精确的预测。这可以由图10的示例来图示，图10图示了LDR图像的亮度Y_LDR与对应HDR图像的亮度Y_HDR之间的关系。图10图示了碰巧包括三个不同对象的元素的特定宏块的关系。结果，像素亮度关系(由点指示)位于三个不同的簇1001、1003、1005中。

现有技术的算法将在该关系上执行线性回归，从而生成LDR亮度值与HDR亮度值之间的线性关系，诸如例如由线1007指示的一个。然而，这样的方法将为诸如属于簇1003的图像对象的那些的值中的至少一些提供相对差的映射/预测。

与此相比，上文所描述的方法将生成精确得多的映射，诸如由线1009指示的一个。此映射将精确得多地反映所有的簇的特性和合适的映射并且将因此导致改进的映射。实际上，映射不仅可以为与簇相对应的亮度提供精确的结果，而且还可以精确地预测针对在中间的亮度的关系，诸如针对由1011指示的间隔的关系。这样的映射可以通过插值法获得。

此外，这样的精确映射信息可以基于参考图像(并且在特定情况下基于两个参考宏块)通过简单的处理自动地确定。此外，精确的映射可以由编码器和解码器基于先前的图像来独立地确定，并且因此映射的信息无需被包括在数据流中。因此，可以最小化映射的开销。

在前一个示例中，该方法被用作用于HDR图像的解码器的一部分。然而，应当领会，该原理可以被用在许多其它应用和情况中。例如，该方法可以被用来简单地从LDR图像生成HDR图像。例如，合适的局部参考图像可以被局部地选择并且用来生成合适的映射。映射然后可以被应用到LDR图像以生成HDR图像(例如使用插值法)。作为结果的HDR图像然后可以被显示在HDR显示器上。

同样地，应当领会，一些实施例中的解码器可以不考虑任何残差数据(并且因此编码器不需生成该残差数据)。实际上，在许多实施例中通过将映射应用到已解码的LDR图像而生成的HDR图像可以被直接地用作输出HDR图像，而不需要任何进一步的修改或增强。

所描述的方法可以被用在许多不同的应用和情况中，并且可以例如被用来从LDR视频信号动态地生成实时HDR视频信号。例如，解码器115可以被实现在机顶盒或具有接收视频信号的输入连接器和输出可以被显示在合适的高动态范围显示器上的HDR视频信号的输出连接器的其它设备中。

作为特定示例，如所描述的视频信号可以被存储在由Bluray?播放机读取的Bluray?盘上。Bluray?播放机可以经由HDMI电缆连接到机顶盒并且机顶盒然后可以生成HDR图像。机顶盒可以经由另一个HDMI连接器连接到显示器(诸如电视机)。

在一些情况下，解码器或HDR图像生成功能可以被包括作为诸如Bluray?播放机或其它媒体播放机之类的信号源的一部分。作为另一个替代，该功能可以被实现为诸如计算机监视器或电视机之类的显示器的一部分。因此，显示器可以接收可以被修改为提供LDR图像的LDR流。因此，能够提供输送显著改进的用户体验的诸如媒体播放机或例如计算机监视器或电视机之类的显示器的信号源。

所描述的方法可以被应用到图像的每个个别的颜色通道。例如，对于RGB图像，该方法可以被个别地应用到R、G以及B通道中的每一个。然而，在一些实施例中，用于映射输入的组合值可以是亮度值，而输出数据可以是个别的颜色分量值。例如，用于给定像素的RGB值可以被组合成单个亮度值，而个别的HDR输出像素值针对每个个别颜色通道而被存储在栅格中。

实际上，在实践中，通常借助于未知的色调映射和颜色分级操作从HDR图像生成LDR图像。本发明人已经认识到用于LDR和HDR图像的个别颜色分量之间的关系通常可以从LDR亮度信息而不是从LDR颜色数据来更好地预测。因此，在许多实施例中，甚至在构建诸如U和V之类的颜色分量的栅格时，针对强度坐标使用LDR信号的亮度是有益的。换句话说，前一个等式中的V_LDR可以被设置为用于所有颜色分量的亮度值Y_LDR。因此，相同的栅格可以被用于所有的颜色通道，其中每个容器存储用于每个颜色通道的输出HDR值。

在特定描述的示例中，用于映射的输入数据简单地存在于两个空间维度和单个像素值维度中，该单个像素值维度表示可以例如对应于像素的亮度值或者对应于颜色通道强度值的强度值。

然而，更一般地，映射输入可以包括LDR图像的像素的色坐标的组合。每个色坐标可以简单地对应于像素的一个值，诸如对应于RGB信号的R、G以及B值中的一个或者对应于YUV信号的Y、U以及V值中的一个。在一些实施例中，该组合可以简单地对应于色坐标值中的一个的选择，即它可以对应于其中除所选择的色坐标值之外的所有色坐标通过零权重加权的组合。

在其它实施例中，该组合可以是用于单个像素的多个色坐标的组合。具体地，RGB信号的色坐标可以被简单地组合以生成亮度值。在其它实施例中，可以使用更灵活的方法，诸如例如其中考虑了所有颜色通道但是开发栅格所针对的颜色通道比其它颜色通道加权更高的加权亮度值。

在一些实施例中，组合可以考虑多个像素位置的像素值。例如，可以生成不仅考虑了正被处理的位置的像素的亮度而且还考虑了其它像素的亮度的单个亮度值。

实际上，在一些实施例中，可以生成组合值，该组合值不仅反映特定像素的特性而且反映像素的局部性特性并且具体地这样的特性在像素周围如何变化的特性。

作为示例，亮度或颜色强度梯度分量可以被包括在组合中。例如可以考虑当前像素值的亮度与周围像素中的每一个的亮度之间的差来生成组合值。进一步地，可以确定与包围周围像素(即下一个同心层)的像素的亮度的差。然后可以使用其中权重取决于到当前像素的距离的加权求和来计算这些差的总和。权重可以进一步取决于空间方向，例如通过在相反方向上将相反符号应用到差。这样的基于组合的差的值可以被认为指示在特定像素周围的可能的亮度梯度。

因此，应用这样的空间增强映射可以允许从LDR图像生成的HDR图像考虑空间变化，从而允许它更精确地反映这样的空间变化。

作为另一示例，可以生成该组合值以反映包括当前像素位置的图像区域的纹理特性。这样的组合值可以例如通过确定在小的周围区域上的像素值方差（variance）来生成。作为另一示例，可以在确定该组合值时检测和考虑重复图样。

实际上，在许多实施例中，对于组合值来说，反映在当前像素值周围的像素值中的变化的指示可能是有利的。例如，方差可以被直接地确定并且用作输入值。

作为另一示例，组合可以是诸如局部熵值的参数。熵是能够例如被用来表征输入图像的纹理的随机性的统计测量。熵值H可以例如被计算为：

其中，p()表示图像I中的像素值I_j的概率密度函数。此函数能够通过构建在被考虑的邻域(在上述等式中，n个相邻像素)上的局部直方图来估计。对数的底b典型地被设置为2。

应当领会，在其中组合值被从多个个别的像素值生成的实施例中，被用在用于每个空间输入集的栅格中的可能的组合值的数目可能大于用于个别像素的像素值量化级的总数。例如用于特定空间位置的容器的数目可能超过像素能够达到的可能的离散亮度值的数目。然而，个别组合值的精确量化并且因此栅格的尺寸针对特定应用而被最佳优化了。

应当领会，从LDR图像生成HDR图像能够响应于各种其它特征、参数以及特性。

例如，HDR图像的生成可以响应于与LDR图像相关联的深度信息。这样的方法在原理上可以在没有所描述的映射情况下使用，并且可以设想能够例如仅仅基于LDR图像和深度信息生成HDR图像。然而，在LDR到HDR映射与基于深度的预测一起使用时，可以实现特别有利的性能。

因此在一些实施例中，编码器还可以包括深度解码器，所述深度解码器例如对用于LDR图像的深度图进行编码并且将已编码的深度数据包括在被传送到解码器的数据流中。解码器然后能够对深度图进行解码并且响应于已解码的深度图生成HDR图像。图11图示了如何可以通过包括深度解码器1101来增强图7的解码器，所述深度解码器1101被从接收电路701馈送已编码的深度数据并且然后继续对该数据进行解码以生成用于LDR图像的深度图。深度图然后被馈送到解码预测器705，其中所述解码预测器705被用来生成用于HDR图像的预测(或者在一些示例中，它可以被用来生成被直接地用作输出HDR图像的HDR图像)。注意，我们的针对LDR到HDR预测的实施例借助了任何3D信息(例如，经编码的深度图，无论被用1个或若干视图共同编码的，还是从若干视图中导出的深度图)，而当(例如用组合了来自几何图形、渐变等的深度的算法)在单个视图估计近似深度图时还借助了相同的函数。因此，块深度解码器通常应该被看成深度指示生成单元。

例如，在被明亮的聚焦光照亮的场景中，前景对象常常可以比在背景中的对象更亮。因此，具有给定对象的深度的知识可以被用来确定增加的动态范围如何被利用。例如，可以使前景对象更亮以充分利用HDR图像的附加的动态范围，而可以不必使背景对象等同地增亮，因为这可能潜在地比由场景的特定照明所预期或实现更多地增加背景对象的感知意义。深度还可以被使用在最终的再现变换中，以便最优地利用显示器的亮度范围并且将它分配给特别地有不同深度的不同的场景元素。因为存在亮度感知与深度感知之间的关系(和甚至诸如注意力之类的故事相关的属性)，这可以被用来针对再现最优地分配最终的V_HDR值。

用于生成HDR输出像素的映射因此可能不仅取决于颜色组合和图像位置，而且还可能取决于在该位置处的深度信息。可以用不同的方式将此信息包括在映射中。例如，可以针对颜色组合的组合并且针对深度值生成不同的映射栅格，并且因此针对每个位置可以执行在两个查找表中的查找。然后可以通过两个HDR值的组合、例如通过简单的取平均来生成用于给定位置的作为结果的两个HDR值。作为另一示例，可以使用具有包括色坐标的组合和空间位置的输入集以及形式为HDR值的输出的单个查找表(例如图7的示例中的同一查找表)。然后可以通过在表的查找之前的输入数据的深度相关自适应和/或通过输出HDR值的深度相关自适应来实现深度考虑。适用于输入和/或输出数据的函数可以是预定的函数或者例如可以基于先前的图像来确定。有趣的是，用于不同视图的不同HDR值可以让例如所捕获的场景元素的特殊双向反射属性更加逼真，但即便如此，如被编码的所期望的HDR体验可以是多样的，并且例如取决于深度在图像的再现期间如何被扩大(例如，人们可能想要对象朝着观看者而不是对着灯光突出很远)。本策略通过重复可以具有用于例如至少一些视图的若干HDR变体，从中考虑用户设定可以导出用于视图的更适当的最终再现信号。

在一些实施例中，映射可以被实现为还包括深度信息的栅格。例如，每个容器可以由用于每个空间图像维度的间隔、用于每个色坐标的间隔以及用于深度值的间隔来定义。除了针对每个像素位置之外可以如先前所描述的那样填充这样的表，容器被进一步地选择以使得用于像素位置的深度指示落入该容器的深度间隔内。这样的填充当然可以是基于前一个图像和深度图的，并且因此可以被在编码器和解码器两者处独立地但一致地执行。

在映射中可以考虑的其它参数可以包括诸如例如图像对象的特性之类的各种图像特性。例如，已知皮肤色调对操纵非常敏感以便于它们维持自然外观。因此，映射可以特别考虑色坐标的组合是否对应于皮肤色调并且可以针对这样的色调执行更精确的映射。

作为另一示例，编码器和/或解码器可以包括用于提取和可能地识别图像对象的功能，并且可以响应于这样的对象的特性调整映射。例如，各种算法已知用于检测图像中的面部并且这样的算法可以被用来调节被认为对应于人脸的区域中的映射。

因此，在一些实施例中编码器和/或解码器可以包括用于检测图像对象的器件和用于响应于图像对象的图像特性来调节映射的装置。特别地，编码器和/或解码器可以包括用于执行面部检测的器件和用于响应于面部检测来调节映射的器件。

应当领会，可以用许多不同的方式来调节映射。作为低复杂性示例，不同的栅格或查找表可以被简单地用于不同的区域。因此，编码器/解码器可以被布置成响应于面部检测和/或图像对象的图像特性来在不同的映射之间选择。

作为特定示例，编码器和/或解码器可以在参考图像中识别被认为对应于人脸的任何区域。针对这些区域，可以生成一个查找表而第二查找表可以被用于其它区域。两个查找表的生成可以使用不同的方法和/或映射在两个示例中可以是不同的。例如，可以针对一般区域而不是针对对应于面部的区域生成映射以包括饱和度增加。作为另一示例，可以针对面部区域比针对不对应于面部的区域使用更细粒度的映射。

能够构思调节映射的其它器件。例如，在一些实施例中可以在映射之前处理输入数据集。例如，可以在表查找之前将抛物线函数应用到颜色值。这样的预处理也许可以被应用到所有输入值或者例如可以被选择性地应用。例如，仅仅可以针对一些区域或图像对象或者仅仅针对一些值间隔来对输入值进行预处理。例如，预处理可以被仅应用于落入皮肤色调间隔内的颜色值和/或到被指定为很可能对应于面部的区域。

可替代地或此外，可以应用输出HDR像素值的后处理。这样的后处理类似地可以被应用在各处或者可以被选择性地应用。例如，它仅仅可以被应用到对应于皮肤色调的输出值，或者仅仅可以被应用到被认为对应于面部的区域。在一些系统中，后处理可以被布置成部分地或完全地补偿预处理。例如，预处理可以与应用逆变换的后处理一起来应用变换操作。

作为特定示例，预处理和/或后处理可以包括输入/输出值中的(一个或多个)的滤波。这在许多实施例中可以提供改进的性能并且特别地映射常常可以导致改进的预测。例如滤波可以导致减少了的条带效应（banding）。

作为预处理的示例，将颜色变换应用到合适的颜色空间可能在一些示例中是备受期待的。许多标准视频颜色空间(例如YCbCr) 仅仅被松散地连接到人的感知。因此将视频数据转换成感知上均匀的颜色空间(其中一定步长大小对应于固定感知差异的颜色空间)可能是有利的。这样的颜色空间的示例包括Yu’v’、CIELab或CIELuv。这样的预处理步骤的益处是由预测不精确性产生的误差将具有感知上更均匀的效果。

在一些实施例中，映射可以被非均匀地二次采样。映射可以具体地是空间非均匀二次采样映射、时间非均匀二次采样映射以及组合值非均匀二次采样映射中的至少一个。

非均匀二次采样可以是静态非均匀二次采样，或者非均匀二次采样可以响应于例如色坐标的或图像特性的组合的特性而被调节。

例如，颜色值二次采样可以取决于色坐标值。这可以例如是静态的，以使得与皮肤色调相对应的用于颜色值的容器可以比用于涵盖其它颜色的颜色值的容器涵盖小得多的色坐标值间隔。

作为另一示例，可以应用动态空间二次采样，其中，被认为对应于面部的区域比不被认为对应于面部的区域使用了精细得多的二次采样。应当领会，能够使用许多其它的非均匀二次采样方法。

作为另一示例，当图像在有限的亮度范围之上包含平滑梯度时，针对该范围使用更精细的量化步长以防止量化伪像在梯度中变得可见可能是有利的。

在又一示例中，采样/量化可以取决于图像中的聚焦。这可以由锐度度量或频率分析导出。针对模糊背景，信号预测不需要像针对摄像机聚焦于的小的明亮对象那样是同等精确的。通常，包含很少细节的区域能够被更粗糙地量化，因为由所描述的方法提供的分段线性近似将足够。

在先前的示例中，已经使用了三维的映射/栅格。然而，在其它实施例中可以使用N维的栅格，其中N是大于三的整数。特别地，两个空间维度可以由多个像素值相关的维度来补充。

因此，在一些实施例中，组合可以包括每个维度都有值的多个维度。作为简单的示例，栅格可以被生成为具有两个空间维度并且一个维度用于每个颜色通道的栅格。例如对于RGB图像来说，每个容器可以由水平位置间隔、垂直位置间隔、R值间隔、G值间隔以及B值间隔定义。

作为另一示例，所述多个像素值维度另外或可替代地可以对应于不同的空间维度。例如，维度可以被分配给当前像素的亮度并且分配给周围像素中的每一个。

因此，多维栅格可以提供附加信息，所述附加信息允许改进的预测并且尤其允许HDR图像更接近地反映像素之间的相对差。

在一些实施例中，编码器可以被布置成响应于预测来调节操作。

例如，如先前描述的那样编码器可以生成被预测的HDR图像并且然后可以将这个被预测的HDR图像与输入HDR图像相比较。这例如可以通过生成残差图像并且对此图像进行评估来完成。编码器然后可以继续根据此评估来调节操作，并且尤其可以取决于该评估来调节映射和/或残差图像。

作为特定示例，编码器可以被布置成基于该评估来选择映射的哪些部分将包括在编码的数据流中。例如，编码器可以使用先前的一组图像来生成用于当前图像的映射。可以确定基于此映射的对应预测并且可以生成对应的残差图像。编码器可以对残差区域进行评估以识别其中预测被认为足够精确的区域和其中预测被认为是不够精确的区域。例如，对其而言残差图像值小于给定的预定阈值的所有像素值可以被认为被足够精确地预测了。因此，用于这样的区域的映射值被认为是足够精确的，并且用于这些值的栅格值可以由解码器直接地使用。因此，无映射数据被包括用于仅仅横跨被认为被足够精确地预测的像素的输入集/容器。

然而，针对对应于未被足够精确地预测的像素的容器，编码器可以继续基于使用当前组的图像作为参考图像来生成新的映射值。因为此映射信息不能够由解码器再创建，所以它被包括在已编码的数据中。因此，该方法可以被用来动态地调节映射以包括反映先前图像的数据容器和反映当前图像的数据容器。因此，映射自动地适于在这是可接受的时基于先前图像并且在这是必要的时基于当前图像。因为仅仅基于当前图像生成的容器需要被包括在已编码的输出流中，所以实现了所传送的映射信息的自动化自适应。

因此在一些实施例中，针对图像的一些区传输更好的(不是解码器侧构建的)LDR-HDR映射可能是备受期待的，例如因为编码器能够针对那些区检测LDR-HDR映射，例如因为关键对象变化的原因或者因为对象确实是关键的(诸如面部)，HDR图像预测是不够好的。

在一些实施例中，相似的方法可替代地或另外可以用于残差图像。作为低复杂性示例，被传送的残差图像数据的量可以响应于输入高动态范围图像和被预测的高动态范围图像的比较来而被调节。作为特定示例，编码器可以继续评估残差图像中的信息有多重要。例如，如果残差图像的像素的平均值小于给定阈值，则这指示被预测的图像接近于输入HDR图像。因此，编码器可以选择是否将残差图像包括在已编码的输出流中或者不基于这样的考虑。例如如果平均亮度值在阈值以下，则没有用于残差图像的编码数据被包括而如果它在阈值之上则用于残差图像的编码数据被包括。

在一些实施例中可以应用更多微妙的选择，其中，残差图像数据被包括用于其中像素值平均在阈值之上的区域而不是用于其中像素值平均在阈值以下的图像区域。图像区域例如可以具有固定尺寸或者可以例如被动态地确定(诸如通过分段过程)。

在一些实施例中，编码器可以进一步生成映射以提供期望的视觉效果。例如，在一些实施例中，映射可以不被生成以提供最精确的预测，而是可以被生成以可替代地或另外给予期望的视觉效果。例如，映射可以被生成为使得预测还提供例如颜色调整、对比度递增、锐度校正等。这样的期望的效果例如可以被不同地应用在图像的不同区域中。例如，可以识别图像对象并且可以针对不同的区域使用不同的用于生成映射的方法。

实际上，在一些实施例中，编码器可以被布置成在用于响应于图像特性、并且尤其响应于局部图像特性而生成映射的不同方法之间选择。

例如，与针对由高或低亮度像素主导的区域相比，编码器可以在由中间亮度像素主导的区域中提供增加的动态范围扩展。因此，编码器可以分析输入LDR或HDR图像并且针对不同的图像区域动态地选择不同的方法。例如，可以取决于它们所属于的区域的特性将亮度偏移添加到特定容器。尽管此方法仍然可以使用正基于特定图像调节的方法，但是它还可以被用来提供可能不会导致对输入HDR图像而是对期望的HDR图像的更加逼近的期望的可视图像特性。该方法可以引入在编码器中如何精确地生成映射的某种不确定性并且为了允许解码器独立地匹配此映射，编码器可以包括定义或描述所选择的映射的数据。例如，应用到个别容器的的偏移可以被传送给解码器。

在该示例中，映射已经是基于根据LDR和HDR输入图像的集的映射的自适应生成的。特别地，可以基于先前的LDR和HDR输入图像生成映射，因为这不要求任何映射信息被包括在已编码的数据流中。然而，在一些情况下这是不合适的，例如针对场景改变，前一个图像与当前图像之间的相关性不可能是非常高的。在这样的情况下，编码器可以切换以将映射包括在已编码的输出数据中。例如，编码器可以检测到场景改变发生并且因此可以继续基于当前图像本身为刚好紧跟场景变化之后的一个或多个图像生成映射。已生成的映射数据然后被包括在已编码的输出流中。除了当显式映射数据被包括在已接收到的编码的比特流中时（在此情况下使用显式映射数据）以外，解码器可以继续基于先前的图像生成映射。

在一些实施例中，解码器可以针对低动态范围视频序列的至少一些低动态范围图像使用参考映射。参考映射可以是不响应于视频序列的LDR和HDR图像集动态地确定的映射。参考映射可以是预定的映射。

例如，编码器和解码器二者都可以具有能够被用来从LDR图像生成HDR图像的预定的缺省映射的信息。因此，在从先前的图像生成动态自适应映射的实施例中，可以在这样的确定的映射不可能是当前图像的精确反映时使用缺省的预定映射。例如，在场景变化之后，参考映射可以被用于一个或多个第一图像。

在这样的情况下，编码器可以检测到场景变化已经发生(例如通过连续图像之间的像素值差的简单比较)并且然后可以将指示参考映射应该被用于预测的参考映射指示包括在已编码的输出流中。很可能的是，参考映射将导致被预测的HDR图像的精度降低。然而，因为相同的参考映射被解码器和编码器两者使用，所以这仅仅导致残差图像的增加值(并且因此导致增加的数据速率)。

在一些实施例中，编码器和解码器可以能够从多个参考映射中选择参考映射。因此系统可以具有多个预定映射的共享信息，而不是使用正好一个参考映射。在这样的实施例中，编码器可以针对所有可能的参考映射生成预测的HDR图像和对应的残差图像。编码器然后可以选择导致最小残差图像(并且因此导致最低的编码数据速率)的一个。编码器可以包括显式地定义哪一个参考映射已经被使用在已编码的输出流中的参考映射指示器。这样的方法可以认可预测并且因此减小了在许多情况下用于传送残差图像所需的数据速率。

因此，在一些实施例中可以针对第一帧或场景变化之后的第一帧使用固定LUT(映射)(或者从固定集中选择的并且仅仅具有正被传输的对应索引的一个)。尽管用于这样的帧的残差通常将是更高的，但是这典型地比无映射数据必须被编码的事实更重要。

在该示例中，映射因此被布置为具有两个空间图像维度和至少一个组合值维度的多维映射。这提供了特别高效的结构。

在一些实施例中，多维滤波器可以被应用到多维映射，多维滤波器包括至少一个组合值维度和空间图像维度中的至少一个。具体地，中等的多维低通滤波器在一些实施例中可以被应用到多维栅格。这在许多实施例中可能导致改进的预测并且因此导致减小的数据速率。具体地，它可以改进一些信号的预测质量，诸如在被以不足比特深度表示时典型地导致等高线（contouring）伪像的平滑强度梯度。

在先前的描述中，已经从LDR图像生成了单个HDR图像。然而，场景的多视图捕获和再现越来越令人感兴趣。例如，三维(3D)电视正被引入到消费者市场。作为另一示例，已经开发了允许用户环顾对象的多视图计算机显示器等。

多视图图像因此可以包括从不同的视点捕获或生成的相同场景的多个图像。下文将集中于包括场景的左和右(眼)视图的立体视图的描述。然而，应当领会，原理等同地适用于包括与不同方向相对应的多于两个图像的多视图图像的视图，并且尤其是左和右图像可以被认为是针对多视图图像的超过两个图像/视图之中的两个视图的两个图像。

在许多情况下，因此能够高效地生成、编码或者解码多视图图像是备受期待的，并且这在许多情况下可以由取决于另一个图像的多视图图像的一个图像来实现。

例如，基于用于第一视图的HDR图像，可以对用于第二视图的HDR图像进行编码。例如，如图12中所图示的那样，图2的编码器可以被增强来为立体视图图像提供编码。具体地，图12的编码器对应于图2的编码器但是进一步包括被布置成接收第二HDR图像的第二接收器1201。在下文中，由第一接收器201接收到的HDR图像将被称为第一视图图像，而由第二接收器1201接收到的HDR图像将被称为第二视图图像。第一和第二视图图像特别地是立体图像的右图像和左图像，并且因此当被提供给观察者的右眼和左眼时提供了三维体验。

第一视图图像被如先前所描述的那样编码。此外，已编码的第一视图图像被馈送给视图预测器1203，所述视图预测器1203继续从第一视图图像生成针对第二视图图像的预测。具体地，系统包括在HDR编码器213与视图预测器1203之间的HDR解码器1205，所述HDR解码器1205对用于第一视图图像的编码数据进行解码并且将已解码的图像提供给视图预测器1203，该视图预测器1203然后从其生成了针对第二视图图像的预测。在简单的示例中，第一视图图像本身可以被直接地用作针对第二图像的预测。

图12的编码器进一步包括第二编码器1207，所述第二编码器1207接收来自视图预测器1203的被预测的图像和来自第二接收器1201的原始图像。第二编码器1207继续响应于来自视图预测器1203的被预测的图像而对第二视图图像进行编码。具体地，第二编码器1207可以从第二视图图像减去被预测的图像并且对作为结果的残差图像进行编码。第二编码器1207被耦接到输出处理器215，所述输出处理器215将用于第二视图图像的已编码的数据包括在输出流中。输出处理器可以可选地包括复杂的格式化函数，例如它可以随机播放经编码的流的部分，例如如图18的交织方案中的那样。

所描述的方法可以允许针对多视图HDR图像的特别高效率的编码。特别地，能够针对给定的图像质量实现非常低的数据速率。

不同的方法可以被用于从第一图像视图预测第二图像视图。如所提到的那样，第一图像视图甚至在一些示例中可以被直接地用作第二视图的预测。

特别高效率的和高性能系统可以是基于与针对LDR和HDR图像之间的映射所描述的方法相同的映射方法的。

具体地，基于参考图像，可以生成映射，所述映射将形式为图像空间位置的输入集的输入数据和与图像空间位置相关联的高动态范围像素值的色坐标的组合与形式为高动态范围像素值的输出数据联系起来。因此，该映射被生成来反映用于第一视图(即与第一视图图像相对应)的参考高动态范围图像与用于第二视图(即与第二视图图像相对应)的对应的参考高动态范围图像之间的关系。

可以使用与先前所描述的针对LDR到HDR映射的原理相同的原理来生成此映射。特别地。可以基于先前的立体图像生成该映射。例如，对于先前的立体图像，可以利用被识别为涵盖匹配图像空间间隔和HDR色坐标间隔的一个的映射的适当容器来评估每个空间位置。用于第二视图的参考图像中的对应的HDR色坐标值然后可以被用来生成用于该容器的输出值(并且在一些示例中可以被直接地用作输出值)。因此，该方法可以提供与被应用到LDR到HDR的映射的方法的那些一致的优点，其包括映射的自动生成、精确预测、实际实现方式等。

编码器的特别高效的实施方式可以通过使用公共的、相同的或共享的元素来实现。在一些系统中，预测性编码器模块可以被用于多个编码操作。

具体地，基本编码模块可以被布置成基于图像的预测来对输入图像进行编码。基本编码模块可以具体地具有以下输入端和输出端：

编码输入端，用于接收待编码的图像；

预测输入端，用于接收针对待编码的图像的预测；以及

编码器输出端，用于输出用于待编码的图像的已编码的数据。

这样的编码模块的示例是图13中所图示的编码模块。特定的编码模块使用H264编解码器1301，所述H264编解码器1301接收包含用于待编码的图像的数据的输入信号IN。进一步地，H264编解码器1301通过根据H264编码标准和原理对输入图像进行编码来生成已编码的输出数据BS。此编码是基于被存储在预测存储器1303、1305中的一个或多个预测图像的。这些预测存储器中的一个1305被布置成存储来自预测输入端(INex)的输入图像。特别地，基本编码模块可以重写由基本编码模块它本身所生成的预测图像。因此，在示例中，预测存储器1303、1305被根据H264标准利用通过视频序列的先前编码的图像的解码所生成的先前的预测数据来填充。然而，此外，预测存储器中的至少一个1305被来自预测输入端的输入图像、即外部生成的预测重写。然而，编码模块中内部生成的预测数据典型地是时间或空间预测，即来自视频序列的先前的或将来的图像或者来自空间上邻近的区域，在预测输入端上提供的预测典型地可以是非时间、非空间预测。例如，它可以是基于来自不同视图的图像的预测。例如，可以使用所描述的编码模块对第二视图图像进行编码，同时第一视图图像被馈送给预测输入端。

图13的示例性编码模块进一步包括可选的解码图像输出端OUT_loc，其可以将由已编码的数据的解码产生的已解码的图像提供给外部功能。此外，形式为延迟的解码图像输出端OUT_loc(τ-1)的第二可选输出端提供了已解码的图像的延时版本。

编码单元可以具体地是如在WO2008084417中描述的编码单元，WO2008084417的全部内容被通过引用于此合并。

因此，在一些示例中，系统可以对视频信号进行编码，其中，执行了图像压缩并且多个时间预测被与存储在存储器中的多个预测帧一起使用，并且其中，存储器中的预测帧被利用单独地产生的预测帧重写。

被重写的预测帧可以具体地是存储器中最长的预测帧中的一个或多个。

存储器可以是增强流编码器中的存储器，并且预测帧可以利用来自基本流编码器的帧重写。

特别地，时间预测帧可以利用深度视图帧来重写。

编码模块可以被使用在许多有利的配置和拓扑中，并且允许非常高效而又低成本实施方式。例如，在图12的编码器中，相同的编码模块都可以被用于LDR编码器205、HDR编码器213以及第二HDR编码器1207。

将参考图14-17来描述诸如图13的编码模块之类的编码模块的各种有利的配置和用途。

图14图示了一个示例，其中基本编码模块(例如图13的基本编码模块)可以被用于根据先前描述的原理对LDR图像和对应的HDR图像两者进行编码。在该示例中，基本编码模块1401、1405二者都被用来对LDR图像和HDR图像进行编码。在该示例中，LDR图像被馈送给编码模块1401，所述编码模块1401继续在没有针对LDR图像的任何预测正被提供在预测输入端上的情况下生成编码的比特流BS LDR(尽管编码可以使用内部生成的预测，诸如用于运动补偿的时间预测)。

基本编码模块1401进一步在已解码的图像输出端上生成LDR图像的解码版本和在延时的解码图像输出端上生成延时的解码图像。这两个解码的图像被馈送给预测器1403，所述预测器1403进一步接收延时的解码HDR图像，即先前的HDR图像。预测器1403继续基于先前的(延时的)解码的LDR和HDR图像生成映射。然后它继续通过将此映射应用到当前解码的LDR图像来生成用于当前HDR图像的预测图像。

基本编码模块1405然后继续基于被预测的图像对HDR图像进行编码。具体地，被预测的图像被馈送给基本编码模块1405的预测输入端并且HDR图像被馈送给输入端。基本编码模块1405然后生成与HDR图像相对应的输出比特流BS HDR。两个比特流BS LDR和BS HDR可以被组合成单个输出比特流。

在该示例中，相同的编码模块(由两个功能表现形式1401、1405表示)因此被用来对LDR图像和HDR图像两者进行编码。这可以按时间顺序地使用仅仅一个基本编码模块来实现。可替代地，能够实现完全相同的基本编码模块。这可能导致大量的成本节省。

在该示例中，HDR图像因此取决于LDR图像而被编码，然而LDR图像不取决于HDR图像而被编码。因此，提供了编码的层次布置，其中利用取决于另一个图像(然而其不取决于第一图像)的一个图像实现了联合编码/压缩。

应当领会，图14的示例可以被看成图2的编码器的特定实施方式，其中完全相同的或相同的编码模块被用于HDR和LDR图像。具体地，相同的基本编码模块可以被用来实现图2的LDR编码器205和LDR解码器207两者以及HDR编码器213。

在图15中图示了另一示例。在此示例中，多个完全相同的或单个基本编码模块1501、1503被用来执行立体图像的高效编码。在该示例中，左LDR图像被馈送给基本编码模块1401，所述基本编码模块1401继续对左LDR图像进行编码而不依赖任何预测。作为结果的编码数据被输出为第一比特流L BS。用于右LDR图像的图像数据被输入在基本编码模块1503的图像数据输入端上。此外，左图像被用作预测图像并且因此基本编码模块1501的已解码的图像输出端被耦接到基本编码模块1503的预测输入端，使得L LDR图像的已解码的版本被馈送给基本编码模块1503的预测输入端，所述基本编码模块1503继续基于此预测对右LDR图像进行编码。基本编码模块1503因此生成包括用于右图像(相对于左图像)的编码数据的第二比特流R BS。

图16图示了一个示例，其中多个完全相同的或单个基本编码模块1401、1403、1603、1601被用来提供HDR和立体视图两者的联合与组合编码。在该示例中，图14的方法被应用于左LDR和HDR图像。此外，基于左HDR图像对右HDR图像进行编码。具体地，右HDR图像被馈送给基本编码模块1601的图像数据输入端，基本编码模块1601的预测输入端被耦接到对左HDR图像进行编码的基本编码模块1405的已解码的图像输出端。因此，在该示例中，右HDR图像由基本编码模块1601基于左HDR图像来进行编码。因此，图16的编码器生成左LDR图像比特流L BS、左HDR图像比特流L HDR BS以及右HDR图像比特流R HDR BS。

在图16的特定示例中，还可以针对右LDR图像对第四比特流进行编码。在该示例中，基本编码模块1603在图像数据输入端上接收右LDR图像，而左LDR图像的已解码的版本被馈送给预测输入端。基本编码模块1603然后继续对右LDR图像进行编码以生成第四比特流R BS。

因此，在图16的示例中，立体和HDR特性两者被联合且高效地编码/压缩。在该示例中，左视图LDR图像被独立地编码而右视图LDR图像取决于左LDR图像。此外，L HDR图像取决于左LDR图像。右HDR图像取决于左HDR图像并且因此还取决于左LDR图像。在示例中右LDR图像不用于对立体HDR图像中的任何一个编码/解码。其优点是需要仅仅3个基本模块用于对立体HDR信号进行编码/解码。照此，这个解决方案提供了改进的后向兼容性。

图17图示了一个示例，其中图16的编码器被增强使得右LDR图像也被用来对右HDR图像进行编码。具体地，可以使用与用于左HDR图像相同的方法从左LDR图像生成右HDR图像的预测。具体地，可以使用如先前所描述的映射。在该示例中，基本编码模块1501的预测输入端被布置成接收二者都可以被用于右HDR图像的编码的两个预测图像。例如，两个预测图像可以重写基本编码模块1601的两个预测存储器。

因此，在此示例中，立体和HDR两者被联合地编码并且(更)高效地压缩。在这里，左视图LDR图像被独立地编码，而右视图LDR图像被根据左LDR图像而编码。在此示例中，右LDR图像还被用于对立体HDR信号、并且具体地对右HDR图像进行编码/解码。因此，在该示例中，两个预测可以被用于右HDR图像从而允许更高的压缩效率，尽管以需要四个基本编码模块(或重复使用相同基本编码模块四次)为代价。

因此，在图14-17的示例中，相同的基本编码/压缩模块被用于联合HDR和立体编码，这对于压缩效率和对于实施方式实践和成本而言都是有益的。

应当领会，图14-17是功能图示并且可以反映相同的编码模块的时间顺序的使用，或者例如可以图示完全相同的编码模块的并行应用。

所描述的编码示例因此生成包括基于一个或多个图像对一个或多个图像的编码的输出数据。因此，在各示例中，至少两个图像被联合地编码使得一个取决于另一个但同时另一个不取决于第一个。例如，在图16的编码器中，两个HDR图像被联合地编码，其中右HDR图像根据左HDR图像编码(经由预测)，而左HDR图像被独立于右HDR图像编码。

这个不对称联合编码能够被用来生成有利的输出流。具体地，分别用于右HDR图像和左HDR图像的两个输出流R HDR BS和L HDR BS被生成(分开)为能够被复用在一起以形成输出数据流的两个不同的数据流。不需要来自R HDR BS数据流的数据的L HDR BS数据流可以被认为是主数据流，而需要来自L HDR BS数据流的数据的R HDR BS数据流可以被认为是次数据流。在特别有利的示例中，进行复用使得主数据流和次数据流被提供有单独代码。因此，不同的代码(首部/标签)被分配给两个数据流，从而允许个别的数据流在输出数据流中分开和识别。

作为特定示例，输出数据流可以被划分成数据分组或段，其中每个分组/段包括来自仅仅主数据流或次数据流的数据，并且其中每个分组/段被提供有识别哪一个流被包括在特定的分组/段中的代码(例如在首部、前导（preamble）、中导（midamble）或后导（postamble）中)。

这样的方法可以允许改进的性能并且尤其可以允许后向兼容性。例如，完全兼容的立体解码器可能能够提取右HDR图像和左HDR图像两者以生成完全的立体HDR图像。然而，非立体解码器可以仅提取主数据流。实际上，因为此数据流独立于右HDR图像，所以非立体解码器能够继续使用非立体技术来对单个HDR图像进行解码。

应当领会，该方法可以被用于不同的编码器。例如，针对图14的编码器，BS LDR比特流可以被认为是主数据流而BS HDR比特流可以被认为是次数据流。在图15的示例中，L BS比特流可以被认为是主数据流而R BS比特流可以被认为是次数据流。因此，在一些示例中，主数据流可以包括被完全地自包含的数据，即该数据不需要任何其它编码数据输入(即其不取决于来自任何其它数据流的编码数据而是被一致地自编码)。

同样地，该方法可以被扩展到超过两个比特流。例如，针对图15的编码器，L BS比特流(其被完全地自包含)可以被认为是主数据流，L HDR BS(其取决于L BS比特流但不取决于R HDR BS比特流)可以被认为是次数据流，并且R HDR BS比特流(其取决于L BS和L HDR BS比特流两者)可以被认为是第三数据流。这三个数据流可以与被分配了它自己的代码的每个数据流复用在一起。

作为另一示例，在图16或17的编码器中生成的四个比特流可以被包括在输出数据流的四个不同部分中。作为特定示例，比特流的复用可以生成包括下述的输出流：部分1，包含具有描述符代码0x1B(规则H264)的所有L BS分组；部分2，包含具有描述符代码0x20(MVC的相关立体视图)的所有R BS分组；部分3，包含具有描述符代码0x21的所有L HDR BS分组；以及部分4，包含具有描述符代码0x22的所有R HDR BS分组。这种类型的复用允许立体HDR复用的灵活使用，同时维持与MVC立体声和H264单声道的后向兼容性。特别地，特定代码允许传统的H264解码器对LDR图像进行编码，同时允许适当地装备(例如基于H264 或MVC) 的解码器对诸如HDR和/或立体图像之类的更先进的图像进行解码。

输出流的生成可以具体地遵循被通过引用于此合并的WO2009040701中所描述的方法。

这样的方法可以组合其它方法的优点同时避免它们各自的缺点。该方法包括联合地对两个或更多个视频数据信号进行压缩，后面是形成两个或更多个(主和次)单独比特流。主比特流被自包含(或不取决于次比特流)并且能够由可能不能够对两个比特流进行解码的视频解码器来解码。一个或多个次比特流(通常称作辅助-视频-表示流)取决于主比特流。单独的各比特流被复用，其中，主和次比特流是提供有单独代码并且被传输的单独比特流。乍看它看起来是多余的并且首先联合地压缩信号仅仅以在压缩之后再次分开它们并且使它们提供有单独代码的努力是浪费。在普通技术中，被压缩的视频数据信号在复用器中被给予单一编码。乍看该方法似乎增加了在视频数据信号的编码方面的不必要的复杂性。

然而，已经认识到复用信号中的主比特流和次比特流的分开和单独地封装(即在复用器中给予主比特流和次比特流单独的代码)具有以下结果：一方面，常规的视频系统中的标准去复用器将通过它的代码来识别主比特流并且将它发送到解码器，使得标准视频解码器仅仅接收主流，次流未通过去复用器，并且标准视频解码器因此能够正确地将它作为标准视频数据信号来处理；同时另一方面，专用系统能够完全地颠倒编码处理并且在将它发送到合适的解码器之前重新创建原始增强的比特流。

在该方法中，主和次比特流是单独的比特流，其中主比特流可以具体地是自包含的比特流。这允许主比特流被给予与标准视频数据信号相对应的代码，同时给予次比特流或多个次比特流将不被标准去复用器识别为标准视频数据信号的代码。在接收端，标准去复用装置将把主比特流识别为标准视频数据信号并且将其传送到视频解码器。标准去复用装置将拒绝次比特流，从而不将它们识别为标准视频数据信号。视频解码器本身将仅仅接收“标准视频数据信号”。由视频解码器它本身接收到的比特的量因此被限于主比特流，所述主比特流可以被自包含并且形式为标准视频数据信号以及可由标准视频装置解释而且具有标准视频装置能够处理的比特速率。视频解码器不过载它可以处理的比特。

编码特征可能在于视频数据信号利用包括第一组帧和至少第二组帧的已编码的信号来编码，其中，第一组和第二组的帧被交织以形成交织的视频序列；或者在于包括第一组帧和第二组帧的交织的视频数据信号被接收，其中，经交织的视频序列被压缩成压缩的视频数据信号，其中，第一组的帧在没有使用第二组的帧的情况下被编码并且压缩，并且第二组的帧使用第一组的帧来编码和压缩，以及随后被压缩的视频数据信号被分开成主比特流和至少次比特流，每个比特流都包括帧，其中，主比特流包括用于第一组的被压缩的帧，以及次比特流用于第二组，主和次比特流形成单独的比特流，随后主和次比特流被复用成复用的信号，主比特流和次比特流被提供有单独的代码。

在交织之后，至少一个组、即主比特流的帧的组可以被压缩为“自包含的”信号。这意味属于这个自包含的帧的组不需要来自其它次比特流的任何信息(例如经由运动补偿、或任何其它预测方案)。

因为上文解释的原因，主和次比特流形成单独的比特流并且被用单独的代码来复用。

在一些示例中，主比特流包括用于多视图视频数据信号中的一个视图的帧的数据，而次比特流包括用于多视图数据信号中的另一个视图的帧的数据。

图18图示了诸如图16的编码器的HDR左(L)和右(R)视图之类的两个视图的可能的交织的示例，每个视图都由进入到具有帧0至15的交织的组合信号的帧0至7组成。

在特定示例中，图16的L HDR BS和R HDR BS的帧/图像被划分成如图17中所示出的个别的帧/段。

左视图和右视图的帧然后被交织以提供组合的信号。已组合的信号类似二维信号。压缩的特殊特征是视图中的一个的帧不取决于另一个(并且可以是自包含的系统)，即在压缩中无来自另一个视图的信息被用于压缩。另一个视图的帧使用来自第一视图的帧的信息来压缩。该方法脱离了平等地对待两个视图的自然趋势。实际上，在压缩期间两个视图未被同等地对待。视图中的一个变成主视图，对于主视图在压缩期间不使用来自另一个视图的信息，另一个视图是次要的。主视图的帧和次视图的帧被分开成主比特流和次比特流。编码系统能够包括复用器，所述复用器将对于标准视频可识别为视频比特流的代码(例如0x01用于MPEG或0x1B用于H.264)分配给主比特流，并且将不同的代码（例如0x20）分配给次流。复用的信号然后被传输。信号能够由解码系统接收，其中去复用器识别两个比特流0x01或0x1B(针对主流)和0x20(针对次流)并且将它们两者发送到再次将主流和次流进行合并的比特流合并器，以及所组合的视频序列然后通过在解码器中反转编码方法来解码。

应当领会，图14-17的编码器示例可以被直接地转移为在解码器端的对应操作。具体地，图19图示了为与图13的基本编码模块互补的解码模块的基本解码模块。该基本解码模块具有编码器数据输入端，其用于接收用于待解码的编码图像的编码器数据。类似于基本编码模块，基本解码模块包括多个预测存储器1901以及预测输入端，其用于接收用于待解码的已编码图像的预测。基本解码模块包括解码器单元1903，所述解码器单元1903基于一个或多个预测来对编码数据进行解码以生成在解码器输出端OUT_loc上输出的解码图像。已解码的图像被进一步馈送给预测存储器。至于基本编码模块，预测输入端上的预测数据可以重写预测存储器1901中的数据。同样地，类似于基本编码模块，基本解码模块具有用于提供延时的解码图像的(可选)输出端。

将清楚的是，这样的基本解码模块能够与图14-17的示例中的基本编码模块互补地使用。例如，图20图示了与图14的编码器互补的解码器。复用器(未示出)将LDR编码数据Enc LDR和HDR编码数据Enc HDR分离。第一基本解码模块对LDR图像进行解码并且使用这个来生成如根据图14所说明的针对HDR图像的预测。第二基本解码模块(与第一基本解码模块完全相同或者实际上是以时间顺序的方式使用的第一基本解码模块)然后对来自HDR编码数据和预测的HDR图像进行解码。

作为另一示例，图21图示了与图15的编码器互补的解码器的示例。在该示例中，用于左图像的编码数据被馈送给对左图像进行解码的第一基本解码模块。这被进一步馈送给第二基本解码模块的预测输入端，所述第二基本解码模块还接收用于右图像的编码数据并且继续基于预测对此数据进行解码从而生成右图像。

作为又一个示例，图22图示了与图16的编码器互补的解码器的示例。

应当领会，图20-22是功能性图示并且可以反映相同的解码模块的时间顺序的使用或者可以例如图示完全相同的解码模块的并行应用。

图22示范性地示出了如何能够例如经由生成的图像的存储器来组合如之前在各种组合中说明的若干标准块，并且进一步地，图22示出了若干接收器2201、2202、2203，技术人员理解其能够接收对若干HDR信息或视图信息进行编码的各种图像数据，所述各种图像数据可以例如经由如在上文所例示的LUT 2204遵照若干可能的拓扑实施例和实现而被再格式化和/或处理。图22仅示出了可能的解码器实现的简单示例。技术人员将理解其它拓扑结构是可能的，例如接收器2201、2202、2203可以形成全数据接收器的一部分，该全数据接收器可以例如包括其它单元，诸如用于使进来的数据格式化(例如，根据图18的交织原理来隔离不同的3D/HDR编码子流)的分离器。此外，遵照编码器的编码原理，诸如LUT 2204之类的图片或其它存储器、或到单元的输入端可以被连接到运行数学模型的处理器，例如可以产生深度图图像的深度计算单元。如图19中所示出的图片存储器可以包含表示为图像的所有种类的数据，其可以被用于生成例如局部HDR像素值，例如计算机绘图算法可以生成在预测中待使用的火球的图片对象。这可以是LDR与HDR像素值之间的上述局部的低分辨率关系的替代，例如如在不同精度或范围之下再现的对象轮廓。

尽管已经利用了采用LDR和HDR(颜色分级的)图像之间的空间局部映射的编码(解码)对原理进行了描述，但是其它预测策略能够被用于LDR-HDR预测(转换)。例如，能够在图片的局部区上使用变换策略，所述变换策略可以是映射函数、或甚至参数粗糙级(试验性的)再现意图变换，如同例如现有欧洲申请EP10155277.6的状态编码。

同样地，在用于特定时间瞬间的一组图像的基本区域范围之上的粗糙半全局调整分布能够被用来将HDR图片与LDR图片联系起来 — 可能地利用进一步的提炼数据 — 如例如在EP10177155.8中所描述的虚拟背光编码。本领域技术人员将会理解如何用更复杂的数学算法单元替代预测器。

应当理解，为了清楚，上述描述已经参考不同的功能电路、单元以及处理器描述了本发明的实施例。然而，将显而易见的是，在不脱离本发明的情况下可以使用不同的功能电路、单元或处理器之间的功能的任何合适的分布。例如，被图示成由单独处理器或控制器执行的功能可以由相同的处理器或控制器来执行。因此，对特定功能单元或电路的引用将仅仅被看成是对用于提供所描述的功能的合适器件的引用而不是指示严格逻辑或物理结构或组织。

应该注意，我们在本文中将其作为编码器来阐述的所有实施例和组合还可以被实现为解码器(并且从而被公开和要求保护)并且反之亦然，而且还被实现为方法以及生成的产品，诸如例如经编码的图像信号，或包括此的产品，诸如存储存储器，以及对所有上述的全部使用。

可以用包括硬件、软件、固件或这些的任何组合的任何合适的形式来实现本发明。本发明任选地可以至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和部件可以用任何合适的方式在物理上、在功能上以及在逻辑上实现。实际上，可以在单个单元中、在多个单元中或作为其它功能单元的一部分实现功能。照此，本发明可以被实现在单个单元中或者可以在物理上和功能上分布在不同的单元、电路以及处理器之间。

尽管已经结合一些实施例对本发明进行了描述，但是本发明不旨在限于本文中所陈述的特定形式。相反，本发明的范围仅仅由随附权利要求来限制。此外，尽管特征可能看起来像是结合特定实施例描述的，但是本领域的技术人员将认识到所描述的实施例的各种特征可以根据本发明来组合。在权利要求中，术语包括不排除其它元件或步骤的存在。

此外，尽管被单独地列举，但是多个器件、元件、电路或方法步骤可以由例如单个电路、单元或处理器来实现。此外，尽管个别的特征可以被包括在不同的权利要求中，但是这些可能地可以被有利地组合，并且不同权利要求中的包括不暗示特征的组合不是可实行的和/或有利的。同样地，一个类别的权利要求中的特征的包括不暗示对此类别的限制，而是指示该特征适当时等同地适用于其它权利要求类别。此外，权利要求中的特征的次序不暗示其中特征必须工作的任何特定次序，并且特别地在方法权利要求中的个别的步骤的次序不暗示步骤必须被以这个次序来执行。相反，可以以任何合适的次序来执行步骤。此外，单数引用不排除多个。因此，对“一”、“一个”、 “第一”、 “第二”等的引用不排除多个。在权利要求中的附图标记被仅作为澄清示例而提供，而不应该被解释为以任何方式来限制权利要求的范围。