首页> 中国专利> 创建用于对HDR图像编码的代码映射函数的方法和装置以及使用这样的编码图像的方法和装置

创建用于对HDR图像编码的代码映射函数的方法和装置以及使用这样的编码图像的方法和装置

摘要

为了能够更佳地编码当前开始出现的用于全高动态范围技术系统(包含HDR显示器且例如在HDR电影的HDR分级应用中)的高动态范围图像,我们发明了一种对高动态范围图像编码的方法,包括步骤:-输入输入的高动态范围图像的像素颜色,其中像素颜色具有亮度和色度信息;-应用映射函数的逆以导出像素颜色的亮度的明度代码(v),所述映射函数被预定为包括:第一部分函数,其被定义为(I),其中ρ为调整常数,并且v为与要编码的亮度相应的明度代码;以及定义为的第二部分映射,其中Lm是预定义参考显示器的峰值亮度,且伽玛是优选地等于2.4的常数,-输出具有包括明度代码的颜色编码的像素矩阵。

著录项

  • 公开/公告号CN105393525A

    专利类型发明专利

  • 公开/公告日2016-03-09

    原文格式PDF

  • 申请/专利权人 皇家飞利浦有限公司;

    申请/专利号CN201480040816.5

  • 申请日2014-06-30

  • 分类号H04N1/64(20060101);H04N9/67(20060101);H04N5/235(20060101);

  • 代理机构72001 中国专利代理(香港)有限公司;

  • 代理人刘鹏;景军平

  • 地址 荷兰艾恩德霍芬

  • 入库时间 2023-12-18 14:35:31

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-04-12

    授权

    授权

  • 2016-08-17

    实质审查的生效 IPC(主分类):H04N1/64 申请日:20140630

    实质审查的生效

  • 2016-03-09

    公开

    公开

说明书

技术领域

本发明涉及一幅(即静止)但是优选地多幅(即视频)高动态范围图像的编码,这天然地意味着我们只需对HDR视亮度(brightness)外观图像(典型地,对于在具有像例如5000尼特那样的高峰值视亮度且跨许多视亮度(即直到深黑)具有显著对象的显示器上显示是最优的图像)编码,或者处于双重编码:其中除了HDR图像外观之外,我们还对相应的LDR图像外观编码。此外,该编码优选地使得它可以适合现有技术的当前图像或视频编码框架,比如例如蓝光光盘存储或者HDMI电缆连接或者其他图像传输或存储系统。HDR视频(或者甚至静止图像)编码到目前为止一直是一项艰巨的任务,并且典型的信念是,人们或者需要转向多得多的比特以便对场景对象的LDR范围之上的视亮度编码(例如对场景亮度直接编码的编码),或者人们需要某种其中例如除了对象反射率图像之外,存在光照增强图像的双层方法,或者类似的分解策略。飞利浦近来提出了一种简单得多的单图像方法,它是一种全新的方向,并且不仅先验难于想象,而且实际上做时导致许多待解决的技术问题,然而在实践工作中,且在其具体框架中,本专利申请文本教导了构建这种编码技术的一些部分,并且围绕它的整个框架就像不同复现情景的艺术分级(至少对于HDR显示器和LDR显示器看起来真实/最优的图像)。

我们用“高动态范围”(HDR)表示从捕获侧捕获的图像与传统LDR编码(即10.000:1或者更大的对比度比率可以通过该编码以及直到再现的图像操纵链的所有部件实现;并且捕获的对象亮度可以超过1000尼特,或者更具体而言,典型地可以在1000尼特以上复现,以便在给定复现环境的情况下生成某种比如点亮的灯或者阳光明媚的外部的希望的外观)相比具有高亮度对比度比率,和/或这样的(多个)图像的再现是HDR(即图像必须是合适的,因为它们包含足够高质量HDR再现且优选地处于技术上容易使用的方式的信息),这意味着在或者预期在具有至少2000尼特的峰值视亮度的显示器上再现所述(多个)图像(不隐含它们不能典型地在适当的颜色映射之后,在例如100尼特峰值视亮度的LDR显示器上再现)。

背景技术

近年来,提出了若干HDR编码技术,比如例如Dolby的双层方法(WO2005/1040035)。然而,业界当前仍在寻找符合所有要求(的平衡)的实用的HDR视频(/图像)编码技术,所述要求例如像数据量那样的非常重要的因素,但是也包括计算复杂度(IC价格)、易于引入、艺术家创建他们喜欢的任何东西的多功能性,等等。特别地,双层方法被认为是复杂的。理想情况下,人们希望能够设计符合诸如例如基于DCT的MPEGHEVC编码之类的传统编码的编码。问题在于,这在一定程度上是违反直觉的(不管人们可以如何用为包含特定LDR图像,即要在具有大约100尼特的峰值视亮度和昏暗环境的显示器上观看而优化的技术对HDR图像编码,所述HDR图像按照定义应当是不同于LDR图像的东西,典型地具有更大数量的令人感兴趣的视亮度/亮度范围)。这些传统LDR图像操纵/编码系统被设计和优化为对正常地在例如4:1工作室光照比率(或者例如10:1)下光线良好的典型LDR成像情景起作用,对视图中的大多数对象(其反射率可以在比如针对白色的85%与针对黑色的5%之间变化)给出总共大约68:1(或者相应地170:1)的对比度比率。如果观看从峰值白色开始的亮度的相对再现,则没有局部调光的典型早期LCD监视器将具有大约100尼特的白色和1尼特的黑色,这将与图像对比度比率匹配,并且典型地人们认为可能也在白天期间观看的普通CRT系统具有大约40:1的能力。在这些系统中具有2.2的标准亮度代码分配伽玛函数看起来对于大多数甚至更高场景对比度的情景而言是令人满意的。尽管造成了一些在当时被认为是可接受的误差,但是这样的差编码高亮度场景区域的再现误差(例如硬剪切)也是可接受的,因为LDR显示器无论如何都不能物理上精确地那些区域。

然而,存在希望对其改进再现的情景,比如例如其中可以同时看见阳光明媚的室外的室内场景,在这种情况下,可能存在100:1或者甚至更多的光照比率。在LDR中,那些区域将表现为(软)剪切(典型地在编码的图像中已经难于对于那些像素分辨最大值255附近的代码),而在HDR显示器上,我们希望明亮而多彩地显示它们。这将给出这样的场景的自然得多且壮观的再现(就好像你真的在意大利度假),但是甚至其中更高视亮度内容仅仅由一些镜面反射组成的场景也已经表现出重大的视觉质量改进。如果在例如5000或10000尼特显示器上像剪切或者量化误差那样的伪影看起来尚未令人讨厌,那么至少我们想要能够利用正确种类的图像驱动这样的显示器,使得所述再现也像显示器允许的那样漂亮。

然而,经典智慧是,为了对附加的过视亮度范围编码,需要具有更多(多得多)的比特。这可能通过天然地以单个较大码字编码(例如具有16比特的OpenEXR,一个符号比特,5比特指数和10比特尾数,或者Ward的LogLuv编码,其数学上严格地设法以高精度捕获整个世界的可能对象亮度)而发生,或者通过使用具有标准LDR范围代码的第一层(例如HDR图像的经典JPEG近似)和第二层将这样的像素亮度改进为较高视亮度(例如需要时将每个像素增强到较高亮度的增强图像,即两幅这样的8比特图像相乘等效于单个线性16比特代码)而发生。

在设计实际的HDR编码技术时除了当然它必须能够处理巨大范围的不同HDR图像这样事实之外要解决的一个主要实际问题是,硬件制造商希望每码字(通道)更少的比特量,然而且尽管我们下面提出的技术也可以对较大比特字起作用,但是我们提出对于至少亮度(或者更精确地说,明度(luma))通道而言在10比特限制下很好地起作用的解决方案。此外,我们开发了这样的框架,其可以在双理念下以函数方式对于若干再现情景进行彩色像素编码和彩色外观转换,这意味着只需对功能一起编码,而不是对于每个图片,至少第二图片。并且通过研究和开发该路径,我们发现了表面看不琐碎的东西,并且在本专利申请中公开了我们可以通过选择明度轴上的适当的(多个)函数并且甚至对亮度无关色度平面中的其他两个分量编码而真正使得系统以良好的质量起作用,这在所述开发之后提供了该编码的另外的优点,比如自由选择颜色平面(例如对于宽色域)、在编解码器空间本身内易于计算等等。

发明内容

我们需要具有HDR图像的改进的编码,并且特别地,从尤其是在领域中仍然存在许多传统LDR系统的当前时刻,我们需要某些级别的兼容性的理念开始。这一方面意味着我们想要保持使用实现像(I)DCT[第一级别兼容性]那样的功能的现有编码器(解码器)IC,而且需要与需要LDR图像的显示器的第二级别兼容性,因为它们只能再现LDR(即在这样的显示器动态范围能力下正确的LDR外观,例如暗区仍然充分可见),因为除了当前部署的传统TV之外,未来将存在范围从像膝上型或平板计算机或者甚至移动电话那样的消费者也希望在其上观看HDR电影的某种再现的低视亮度能力小型便携式显示器直到在未来可能具有例如10000尼特的峰值视亮度的最先进的HDR显示器以及介于其间或周围的所有显示器的一系列显示器。于是,尽管显示器可能仍然是传统且简单的,但是它可以由经由例如HDMI或其他连接供应HDR内容的机顶盒或者计算机中的高复杂度新解码和颜色映射IC来服务,该机顶盒提供我们发明和描述的选项的任意组合。我们已将此转换成这样的方法,其中在理想情景中人们对于来自内容提供商的相同电影或图片会需要(至少)两个分级,我们将简单地称其为LDR图像(用于LDR显示器情景,例如具有大约100尼特的峰值视亮度的显示器)和HDR图像(用于更亮的显示器),但是下面的实施例即使在仅编码单幅HDR图像(例如在蓝光光盘上,并且然后仅仅服务特定设想范围的HDR显示器或者以独立的方式导出用于范围外的显示器的映射)的情况下也是有用的,并且我们给出教导,使得它们可以适合任何设想的策略。

因此,对于若干实际示例情景,我们以输入主HDR分级图像作为新颖HDR编码的起点(我们说根据创建者的品位无论是什么,利用无论什么颜色处理软件,它都是随意分级的,并且例如以像OpenEXR那样的起始颜色编码进行编码),并且然后需要以实际上可用于当前视频或图像技术的方式对此编码(即仅仅从使用这样的编码技术的正常方式些许修改,而不是例如所有总线都需要改变为12比特,即我们的方法应当对12比特硬件起作用,而且如果每分量仅仅10比特可用或者如果接受甚至8比特系统上的某种更低质量,也起作用),以用于例如新的BD盘播放器或者接收互联网流送视频的电视IC或者连接到大体符合当前图像/视频编码技术的变型的任何图像源的任何接收器。

我们认识到,HDR图像和某些“LDR”图像(不管它是直接用于LDR再现的分级,还是不被观看,而是仅仅用于对进一步颜色处理之后仅仅以HDR技术上的HDR方式再现的图像编码的仅仅某些“伪图像”)可以通过对像素颜色的亮度编码的颜色分量的函数变换(单个函数,或者典型地为有用且预约定的函数的有限集合中的函数,所述预约定应当最近在内容创建侧与内容接收侧功能联系时发生,诸如例如在电影开始时以及可能地在例如接收电影的电视的播放时间期间发生若干次:即在它们不固定且约定用于对许多完整电影编码时发生,如果可变的话,这些函数可以经由网络通信路径传输,存储在连接的存储设备上,等等)与HDR图像相联系。

我们的发明可以例如以至少下列方式实现:

一种对高动态范围图像编码的方法,包括步骤:

-输入输入的高动态范围图像的像素颜色,其中像素颜色具有亮度和色度信息;

-应用映射函数的逆以导出像素颜色的亮度的明度代码(v),所述映射函数被预定为包括:第一部分函数,其被定义为,其中ρ为形状调整常数,并且v为与要编码的亮度(L)相应的明度代码;以及定义为的第二部分函数,其是伽玛变换,并且其中Lm是预定义参考显示器的峰值亮度,且伽玛(γ)是优选地等于2.4的常数,

-输出具有包括明度代码(v)的颜色编码的像素矩阵。

该函数然后可以用来对至少HDR主图像编码,颜色具有给定符号v的区间[0,1]内的N比特明度Y’(例如[0-1023]个代码)的归一化版本,这保证了以足够的精度编码(多个)图像中的各个不同对象的所有令人感兴趣的亮度范围(其可以是许多个,例如人在阴影中的埃及集市,但也可以是由通过屋顶中的孔洞照耀的强烈阳光照亮的另一个,但是视频也可以包含这样的图形,比如例如气象图或者迪斯科舞厅内报告中的激光或者人工仿真的激光等等)。因此,该函数可以智能地预定或者即时确定,使得它在均匀量化之前将亮度重新分配给明度。当设计这样的亮度映射函数(或者更精确地说,作为起点的相应电光传递函数EOTF,其将[0,1]中的明度代码映射为参考显示器上的可再现亮度)时,我们想到若干技术行为准则。首先,尽管(部分)对数行为是必须能够对许多十进制的亮度编码的良好特征,但是这绝不仅仅是某个线性范围亮度的对数表示(绝不仅仅是为了仅仅考虑图像处理推理而仅仅获得希望的图像处理的外观,并且也绝不是用于最优编码的单纯切出的自适应log函数)。相反地,该函数在从长期实验而来的若干考量之后而被设计,并且给定这些考量,在能够限定为充分真实地表示所有实践中出现的HDR场景的必要外观而定义的通用线性参考亮度范围(例如0.0001-5000尼特)之后,它被看作用于所有准则(至少良好的HDR量化精度)的最优行为函数。注意,形式上,我们的(多个)参考EOTF本身具有指数部分,但是人们也可以看出并且倒过来将其描述为“对数”行为。现在,具有该参考范围之后,对于明亮的亮度(或明度)具有某种“对数”行为并且对于更暗的亮度(或明度)具有某种伽玛行为是最有用的。事实上,在数学上将exp(x)近似为1+x,我们说在暗处,我们主要具有伽玛行为,这意味着我们具有可容易控制的函数,因为我们可以利用参数ρ调整暗处的所需精度(伽玛是在最大值处给出1对1映射的进一步的形状控制器,因为操控显示器的最大值代码与最大可显示亮度相应)。这不仅对于具有用于唯HDR图像编码的单个主EOTF是有用的,而且如果我们具有不同类别的HDR图像,伽玛也是非常有用的。事实上,如果我们没有决定应用对于所有情景都合理的单个最优函数,那么我们可以调整该EOTF(和相应的逆OETF)。例如,熟悉技术的读者可以想象,黑暗地下室的图像一方面将使观看者的眼睛适应观看尤其是黑暗周边的暗灰色值,并且另一方面很可能具有更相关的暗灰色值(因为所有那些不良照明的具有各个不同反射率的对象都将落在暗处),并且亮色尤其是在它们仅仅是灯的情况下可能无需终极精度。反之亦然,如果人们观看具有大部分非常明亮的亮度(例如介于1000与3000尼特之间)的阳光明媚的场景,那么对于暗色可能无需终极精度,视觉系统典型地会在大的程度上忽视所述暗色。这都可以利用我们的伽玛和ρ形状参数容易地调整,所述参数控制暗处与亮处的形状行为以及还有明度代码范围的特定子区中的每个明度步阶所对应的恰可察觉差异量(也称为编码分辨率或精度)。固定的预约定的参数函数无需让其参数传送至接收侧,因为它将使用预约定函数对新发明的代码实际表示什么进行解码,但是在适应性的更一般情况下,例如由人类分级者或者自动图像分析程序在接收器端选择的所需参数(峰值视亮度Lm、ρ和γ中的至少一个)将通过若干可能机制中的任何机制传送至接收器侧,所述机制诸如例如像BD盘那样的存储器上的共编码、作为元数据在图像信号中的共传输、经由另一个信号通信路径在播放时间取回,等等。

但是这种技术也出现了别的有趣的事情:在创建HDR输入的编码时,该函数也创建了较低动态范围图像(其可以说可以更少量的比特更佳地编码,但是更精确的技术构想将是,场景的至少某个更重要的子部分或者图像直方图的子范围利用与原始输入的主HDR图像相比更靠近中间灰色的亮度编码),但是另一方面优选地至少在高的近似程度上,编码的LDR图像也仍然具有恢复原始主HDR外观的所有信息,因此它包含HDR图像的所有有意义数据。因此,如果精心选择了EOTF参数,那么得到的编码图像甚至可以在不进一步优化颜色处理以便在LDR显示器上再现,得到相当良好质量的LDR外观的情况下,或者至少在一些进一步的二阶优化变换(例如映射到不同的LDR显示器原色集合等等)之后直接使用。

当利用单个主EOTF函数编码时(如果我们使用单个函数,而不是从若干可用函数中挑选的函数),我们通常可以在不考虑再现侧细节的情况下限定该函数,即尽管借助于参考显示器限定,但是大部分参考场景仍然只考虑至少HDR外观的图像纹理的充分编码。但是优选地,我们也甚至对LDR外观编码,优选地已经在正确的明度子范围内沿着明度轴定位各个不同的捕获的场景对象,使得在直接显示时LDR外观将看起来是内容创建者偏好的。但是,我们也可以已经为特定观看应用编码,利用作为主函数的另外的优化明度分配函数得到这样的明度代码,其对于在例如以比如15lux的参考照度或者比如例如10尼特的比如周边中间灰色(18%反射)的参考环境亮度表征的黑暗或昏暗环境中观看给出最佳质量。这在一些实施例中可以通过结合额外的伽玛函数(例如1.25)而完成。最终,当我们将所有希望的部分伽玛建模为最优最终伽玛时,这相应于在我们的EOTF主要实施例中改变所述伽玛。所有变型对于特定的可用比特量实现了最佳的图像对象纹理质量,或者按照其他方式,保证了我们可以对于相对较少的比特(比如例如只有12比特)获得良好的质量,同时如果我们在色彩方向使用大的颜色平面,比如例如UCS1976CIE(u,v)——这被证明是优选的选择,也提供宽色域能力。

我们也发明了该逆EOTF如何从亮度映射到明度代码(也称为光电传递函数OETF,其将比如来自照相机或者颜色处理软件的亮度的光学测量结果映射为典型地为数字的作为结果的电代码,所述代码可以被看作单位区间[0,1]乘以2^N,其中N为比特量),并且其相应的EOTF可以与相应的优化(理论)HDR参考显示器(实际的显示器具有与理论显示器相同的特性,能够直接再现理论代码)一起最佳地起作用。不管需要在其上再现视频的最终显示器如何,具有其明度代码的视频必须以唯一、不可混淆的方式限定(原则上,代码创建侧于是可以使用任何分配代码的原理,但是为了简单起见,我们在进一步的阐述中假定它利用EOTF的逆仅仅对直接来自照相机的线性捕获的亮度范围编码)。原则上,可以使用我们发明的具有任何希望的Lm峰值视亮度或者也称为峰值白色或者更精确地说,参考显示器的峰值亮度的log-γ函数(为了完整起见,技术人员所称显示器的峰值视亮度是显示器可以形成的最亮的颜色,其是在将三通道R、G、B驱动至它们的最大值(例如1023)时出现的白色,并且它也形成用于限定其周围的显示色域的起步杆),但是在许多分析之后,我们发现如果应当使用仅仅一个值,那么5000尼特是非常好的实用值(于是,人们无需与视频图像(像素颜色编码)一起向任何接收器共传输用于编码的特定参考峰值白色值,并且例如不可能出现混淆)。在这样的情景中,可以对5000尼特以上的原始输入亮度分级以便忠实地再现例如0.0001-5000尼特参考亮度范围内的最终显示器的等效外观亮度,并且在希望的情况下,如果要将这样的数据显示于比如20000尼特实际显示器上,那么可以添加升级函数作为元数据以便在给定其所有信息的情况下在甚至比参考显示器更亮的实际显示器上优化该外观。人们不应当把用于将我们的参考亮度基础主颜色空间之外的例如25000尼特的场景颜色艺术地重新确定为主空间内的颜色的该第一策略与如何重新确定已经在特定RGB空间内的颜色的当前教导混淆(即,一旦重新归一化为[0,1],仍然可以使得具有相同原色但是不同峰值白色的两个色域搭配,并且其中之一典型地为通过我们的主亮度轴限定的我们的主RGB空间,并且另一个为具有任何当前log-γ函数的任何编码R’G’B’空间)。再者,为较低动态范围显示器(例如1200或100尼特)或者只有50尼特的暗雾场景分级的图像可以以该主[0-5000]亮度范围编码,并且然后不应当混淆的,转换成我们的通用明度编码(即,明度代码的分配仍然应当利用固定或可变代码分配EOTF发生)。我们教导了明度-(u,v)色度空间,其将动态范围方面与色彩方面解耦,并且允许在两个方向上且尤其是沿着明度轴的许多通用性,例如关于必须使用什么明度分配函数,而且还有例如在该编码颜色空间内的其他峰值视亮度的显示器映射时的重新分配函数。

在若干考量和实验之后,找到伽玛2.4和ρ25的最优值,如果人们想要为所有情景(例如同时具有一些明亮区域、中亮区域和暗区的图像)使用一个单一明度分配函数的话,尤其是如果人们想要仅仅对HDR编码的话(即,尽管我们可以作为元数据对用于从HDR像素图像编码导出希望的LDR外观的另外的映射函数共编码,但是在所有实施例中,我们不一定需要通过直接显示由应用该最优单个log-γ函数而得到的图像来获得良好的LDR外观)。

若干色度表示可以用于我们的明度限定方法,但是我们发现(u,v)空间尤其起作用。我们也可以限定(u’,v’),其参考选择的白色定义为例如:(u’,v’)=(u,v)-(u_D65,v_D65),等等。

当我们声明输入颜色包括亮度和色度的信息时,我们并不隐含这样的颜色本身表示于这种颜色表示中,而是该信息可以在数学上导出,这例如在输入图像以XYZ或者某种唯一限定的RGB等等表示的情况下实现。尽管我们提出了限定对于新出现的HDR编码技术有用的明度的全新方式,但是熟悉技术的读者将从我们的教导中理解他如何可以例如根据RGB坐标通过给定希望的白点平衡首先对RGB坐标加权而限定明度,其限定为Y=a1*R+a2*G+a3*B,a1、a2、a3为常数,其仍然可以在给定特定R、G、B原色和白点选择的情况下进行选择。然后,利用我们的EOTF处理那些Y。

再者,熟悉技术的读者将理解我们如何可以导出最终要输出的图像的信息,我们可以称其为Rec_HDR(希望的主HDR输入的接近的重建),并且这有利地可以例如作为XYZ_output而完成(注意,我们对于亮度使用字符Y或者L,并且对于明度使用Y’,或者如果明度是归一化的[0.0,1.0],也使用v)。但是我们也可以将Rec_HDR转换成另一种颜色表示,比如例如用于驱动特定显示器的特定R’G’B’或者其他设备相关编码。此外,Rec_HDR也可以是另一HDR图像,例如,我们可以直接映射到所需的驱动RGB图像以便在1200尼特显示器上再现希望的外观,或者可替换地经由中间步骤将第一Rec_HDR1(例如用于我们的5000尼特参考显示器)映射到Rec_HDR2以便驱动比如1200尼特实际显示器。

该元数据(ρ、γ和Lm(如果希望的话))是新的,意味着我们当然也可以限定新的、不与任何先前的技术有关的包括该元数据的图像信号(尽管它可用于用于对像素矩阵颜色分量编码的无论什么传统策略,由此我们确实在比如预期YCrCb的MPEG-HEVC结构中实施Yuv坐标,但是不关心进行例如DCT或者游程编码等的编码器(解码器)的其余部分,只要我们具有进行依照我们的实施例的转换的IC或软件的一部分)。因此,尽管该“格式化”部分真的可以是与MPEG或JPEG或者其他图像或视频编码类似的任何传统图像技术,但是依照我们的新策略填充像素代码时的实际图像纹理将已经是(可验证地)根本不同的(在不正确理解所发生的事情的情况下,该图像看起来技术上如此不同,以至于传统编码将再现完全错误的图像外观,尽管在技术上它可以做所有解码步骤)。事实上,这种对于飞利浦的几个发明人的关于该未来图像编码项目的工作的理解是某种程度上类似于OSI通信模型的未来某系统所需的。当技术进步时,在许多领域,它变得如此复杂,以至于必须以更结构化的方式限定,但是问题是怎么做。在图像操纵技术中,已经存在用于将图像置于外部容器中的解决方案(例如包括描述何种音频和视频分量使用何种编码策略,或者将此分裂成数据块以用于例如IP传输或者广播轮播),其是经典OSI的简单相关物,但是一个层仍然是完全刚性的,使用其特定直接编码,比如例如Rec.709(一切都针对特定RGB原色、设想的典型观看环境等的单一设想的完全定义的系统限定)。我们用“包括”参数元数据(或者与像素彩色图像关联的颜色变换函数和/或定义的元数据)的信号表示以任何方式将该元数据传达给接收册,不管是例如同时在同一信号中,还是让像素颜色矩阵经由第一通信通道在第一时间到来,并且元数据经由另一通道后面到来,最终在解码器处,所有该需要的数据汇集在一起。因此,我们可以将信号(像素颜色+函数元数据)置于同一蓝光光盘上,或者经由某种预先存在的或者未来的图像或视频通信技术通过像广播或互联网那样的网络传送它,等等。

可以仅仅为图像信号中的HDR图像确定最优函数(例如仅仅盘上的HDR外观,且没有LDR像素矩阵,只有潜在的一些颜色映射函数导出LDR外观图像),其中Lm=5000,ρ=25并且γ=2.4。代替Lm=5000的是,也可以在内容创建者希望更高的Lm值(例如10000尼特)或者更低的Lm值(例如2000或1500)时使用该方法。

也可以设计另外的伽玛值,并且例如可以例如通过限定由Rec.709编码伽玛的等效伽玛和伽玛2.4组成的最终伽玛而确定部分地考虑到希望的环境再现的伽玛。对于等效伽玛,技术人员将会理解,这不是也具有线性部分的公式中的伽玛值,而是在黑色处作为伽玛而不是线性部分开始时最佳地近似该Rec.709编码OETF的伽玛。

一种对高动态范围图像编码的方法,其中参数ρ和γ被进一步优化以便得到依照人类颜色分级者在100尼特显示器上看起来良好的编码图像,由此参数ρ和γ中的至少一个优选地由人类分级者优化。尽管某种变异性将存在,但是显然存在将根据场景给出HDR图像的合理外观的LDR对应物的参数范围,因此,这是一种可以正面地限定和标识的方法。由于图像的变异性和复杂性的原因,通常在处理中,人类颜色分级者将确定最佳外观的LDR图像,以及因此相应的ρ和γ参数。然而,至少部分地自动的图像分析算法可以提供看起来良好的值,并且然后,例如典型地分级者只需例如通过在将所有数据(图像像素+描述到一个或多个外观的一种或多种颜色变换的函数元数据)写入图像信号编码中之前仅仅点击接受按钮而证实产生的LDR外观的确合他的意。对于更喜欢可以拍摄的暗图像/场景(例如没有或者也许具有少许光(比如后面的月亮)的夜景)的曲线而言,典型地会使得代码的更大部分可用于场景中的较暗颜色,这可能在选择例如较大的伽玛值(例如大约2.55)时发生(并且可以为此选择最优的ρ)。对于按比例具有更大数量的较亮对象(例如在只有几个具有比图像中的最大对象亮度或Lm暗得多的亮度的较小片块时)的图像而言,可以使用较小的伽玛值,例如2-2.2(2.15是好的示例),或者甚至低于2且大于1,例如1.2。

与所述方法相应,可以存在若干用于对高动态范围图像编码的图像编码装置的变型,所述装置包括:

-输入,用于获得输入的高动态范围图像的像素颜色,其中像素颜色具有亮度和色度的信息;

-分级管理单元(202),被布置用于应用映射函数的逆以导出像素颜色的亮度的明度代码(v),所述映射函数被预定为包括:第一部分函数,其被定义为,其中ρ为调整常数,并且v为与要编码的亮度相应的明度代码;以及定义为的第二部分函数,其是伽玛变换,并且其中Lm是预定义参考显示器的峰值亮度,且伽玛是优选地等于2.4的常数,

-编码器(210),连接到可连接到视频存储器或网络的视频传输连接(221),被布置成编码和传输图像信号S_im,该图像信号包括:具有像素颜色的像素矩阵图像,像素颜色被编码为具有一个颜色分量,该颜色分量为明度代码;以及与其关联的元数据,包括ρ和γ参数中的至少一个。一种典型的变型可以是分级套件(分级者应用来至少确定HDR图像,但是现在结合了我们的特定技术以导出编码和/或分级外观的软件),但是该装置也可以例如在照相机的内部,在这种情况下,例如ρ和γ可以与一个或两个旋钮一起或者同时改变。技术人员将会理解视频传输连接211如何可以典型地体现,因为这可以例如是标准化视频电缆输出、用于将视频封装在例如互联网分组中的协议、用于在蓝光光盘上写入的协议化硬件,等等。

与编码器相应,可以存在大体类似地操作的各种不同的解码器,即尽管在编码器和解码器侧仍然可以存在一些另外的变型,但是如当前所描述的代码分配的核心一旦编码的话,应当被任何接收器唯一地理解。

一种用于对高动态范围图像编码(S_im)解码的图像解码装置(301)包括:

-接收和格式化单元(388),被布置成接收高动态范围图像编码(S_im)并且据此导出要处理的、由如权利要求1所限定的编码方法产生的、包括明度代码的图像编码(Im_1);

-颜色映射单元(305),被布置成应用颜色映射策略从图像编码Im_1导出高动态范围图像(REC_HDR),其中颜色映射单元被布置成对图像编码(Im_1)中的像素明度v应用预定映射函数,该映射函数被限定为包括:第一部分函数,其为,其中ρ为调整常数,并且v为与要编码的亮度相应的明度代码;以及定义为的第二部分映射,其中Lm是预定义参考显示器的峰值亮度,且伽玛是优选地等于2.4的常数以获得高动态范围图像(REC_HDR)的像素的亮度L。

当然,作为一种变型,代替解码到参考[0-5000]亮度范围和据此构建的颜色空间(例如XYZ)或者除此之外,各种不同的解码器也可以解码为另一图像作为输出。例如,除了用于输出HDR外观的重建Rec_HDR的输出之外,解码装置可以具有用于LDR图像的第二输出(或者相同的输出,这取决于像显示器那样的连接系统要求什么作为输出图像)。

我们进一步发明了一些有趣的实施例,比如:

一种对高动态范围图像编码的方法,包括步骤:

-确定用于从输入的高动态范围图像(HDR_ORIG)导出较低动态范围图像(LDR_CONT)的映射函数,其中通过应用被确定为的函数将高动态范围图像(HDR_ORIG)的像素的亮度相关物(L)转换成较低动态范围图像(LDR_CONT)的像素的明度(Y),其中系数被规定为使得函数是归一化的,从而对于区间[0,1]内的L和Y值而言,值L=0映射为Y=0,并且L=1映射为Y=1,并且存在另一规定的约束,其在Y范围中间的Y值附近实现函数的特定行为,使得函数的形状可利用单个参数a控制,以及

-将较低动态范围图像(LDR_CONT)和高动态范围图像(HDR_ORIG)之一以及至少参数a传输至连接到视频存储器或网络的视频传输连接(221)。

该精心选择的对数函数允许生成最优映射,其然后尤其是在只有10比特可用于明度分量(以及例如8比特用于色度u和v)的情况下可以以最小可见误差均匀地量化。

得到的图像LDR_CONT可以称为LDR图像,因为它是一种在各个不同亮度子区具有明亮效果的HDR图像的对比度平滑的版本。如果选择正确的代码分配函数,那么甚至可以将该LDR_CONT用于在LDR显示器上直接再现程序,但是这对于本发明的所有实施例都不是所需的,因为一些实施例可能仅仅使用LDR_CONT作为用于唯HDR编码的哑中间物。

一种对高动态范围图像编码的方法,其中进一步的约束对于Y范围中间或附近的Y值限定通过应用作为权利要求1中的函数的逆的幂函数()而获得的作为结果的L值与参数a之间的函数关系,诸如例如L^1/γ(Y=1/2)=K/a,其中K为常数。有利的是,限定曲线在最令人感兴趣的动作发生的这些区域中的特定平滑度。

一种对高动态范围图像编码的方法,其中a参数具有缺省值,该值可以取决于参考显示器的,典型地将使用所述信号的显示器的峰值视亮度。典型地,分级者可以为1个或者可能几个范围的显示器设想该分级,例如,HDR重建的图像对于例如5000尼特峰值视亮度显示器是最优的(即具有最少的像条带那样的伪影)或者接近最优。在一些实施例中,函数映射FH2L于是也是令人感兴趣的,因为LDR_CONT图像为例如大约200尼特的显示器提供了适当的图像,并且甚至可能存在例如每场景(或者用于整个程序)的另一函数,其被共编码以获得用于在例如15000尼特或50尼特显示器上再现的最优图像。

一种对高动态范围图像编码的方法,其中人类颜色分级者确定要传输至视频传输连接(221)的a的最优值。

优选地,我们的创建侧的技术允许例如针对关键区域的最少伪影或者良好的总体彩色外观等选择最优的a值。接收侧无需知道用于将a值与(多个)编码图像和或意图的(多个)显示器的无论什么(多个)物理特性相关联的特定算法,相反地,它只需知道应用哪个(逆)函数,即a值与哪种函数形状相应。

一种对高动态范围图像编码的方法,其中自动图像分析单元(227)根据表征高动态范围图像(HDR_ORIG)中的像素的亮度的至少一个汇总值确定a的值,所述汇总值诸如例如那些亮度的中值或者一系列出现的亮度的定界亮度。再者,人类分级者可以规定图像中令人感兴趣的值在何处,例如,他可以在图像上涂写,单元227于是可以确定这些值是例如95%位于代码0.7之上的最明亮的颜色。

可以存在若干在编码单元中预先设计的决策算法。

一种对高动态范围图像编码的方法,其中颜色编码的色度坐标(u,v)通过以下类型的分式和从高动态范围图像(HDR_ORIG)中的像素颜色的CIEXYZ坐标导出,a…l是常数,且优选地具有值:a=4,b=c=0,d=1,e=15,f=3,h=9,g=i=0,j=1,k=15,l=3。

一种用于对高动态范围图像编码的图像编码装置,包括:

-分级管理单元(202),被布置用于确定用于从输入的高动态范围图像(HDR_ORIG)导出较低动态范围图像(LDR_CONT)的映射函数,其中通过应用被确定为的函数将高动态范围图像(HDR_ORIG)的像素的亮度相关物(L)转换成较低动态范围图像(LDR_CONT)的像素的明度(Y),其中系数被规定为使得函数是归一化的,从而对于区间[0,1]内的L和Y值而言,值L=0映射为Y=1,并且L=1映射为Y=1,并且存在另一规定的约束,其在Y范围中间的Y值附近实现函数的特定行为,使得函数的形状可利用单个参数a控制,以及

-编码器(210),连接至可连接到视频存储器或网络的视频传输连接(221),被布置成编码且传输包括较低动态范围图像(LDR_CONT)和高动态范围图像(HDR_ORIG)之一的图像信号S_im以及至少参数a。

一种图像编码装置,包括允许人类分级者选择a的特定值的用户接口单元(203)。

一种图像编码装置,包括自动图像分析单元(227),该单元被布置成例如基于诸如为其进行编码的显示器的峰值视亮度和/或高动态范围图像(HDR_ORIG)的亮度统计值之类的参数确定a的特定值。

一种图像编码装置,其中分级管理单元(202)被布置成将高动态范围图像(HDR_ORIG)的像素的色度分量确定为和,这些色度分量由于独立于明度,也是原始HDR输入的较低动态范围编码(LDR_CONT)的色度,a…l是常数,且优选地具有值:a=4,b=c=0,d=1,e=15,f=3,h=9,g=i=0,j=1,k=15,l=3。

一种HDR图像编码信号,包括像素值图像以及至少权利要求1的函数的参数a的值的编码。

尽管一些实施例可以传递整个函数定义(例如为可能没有预约定的函数知识的接收器,或者如果是标准的,仅仅约定一条曲线,但是创建端想要使用另一条曲线,它于是需要将其用信号发送至任何接收侧),如果这些函数像在我们的一些实施例中那样是简单的,那么仅仅传送一个或少数系数就可能足以重新创建其函数形状。

一种存储器产品,例如蓝光光盘或者存储棒等等,包括HDR图像编码信号。

一种用于对高动态范围图像编码(S_im)解码的图像解码装置(301),包括:

-接收和格式化单元(388),被布置成接收高动态范围图像编码(S_im)并且据此导出要处理的图像编码(Im_1);

-颜色映射单元(305),被布置成应用颜色映射策略从输入的图像Im_1导出高动态范围图像(REC_HDR),其中颜色映射单元被布置成对图像编码(Im_1)中的像素明度Y应用映射函数的逆以获得高动态范围图像(REC_HDR)的像素的亮度L,并且a、b、c、d和γ是图像解码装置已知的常数。

最少,解码装置(其实际上可以是IC的小部分,并且这可以包括在像例如电视、电话、电影院投影仪、节目制作期间的观看增强系统等等那样的任何更大的消费或专业装置中)必须被布置成使得它可以遵循我们的编码原理以拥有具有潜在地直到非常高的亮度的许多亮度范围的高动态范围图像,它们都让其图像中的信息智能地打包,就像它是正常的图像,即,它必须能够将我们提出的任何标准代码分配函数的逆应用于非彩色分量,即编码于作为HDR图像信号但看起来像LDR图像信号的信号中的HDR对象颜色的亮度或明度,并且然后进行某种与亮度定义兼容的颜色变换以便允许将可能高的亮度置于标准颜色编码域中。因此,可能实际上无需传送任何东西,例如,如果例如未来的MPEG型X标准的某些系统仅仅使用1条标准明度分配曲线,那么任何接收器将已经知道这些参数,并且将其存储在存储器中,例如存储在该存储器中的处理算法中,或者等效地存储在IC电路系统中。然而,在其中一些曲线可以变化(例如对于电影中的暗场景,使用与电影的其余部分不同的另一条曲线)的实施例中,可以是接收端可以利用某种算法唯一地确定编码期间使用哪条代码分配曲线,但是优选地一些信息经由任何方法传送,使得接收端也完全确信在该图像Im_1中使用了明度代码Y的哪种定义。然后,最小核心解码单元或装置仅仅

一种如权利要求13所述的用于对高动态范围图像编码(S_im)解码的图像解码装置(301),其中:

-接收和格式化单元(388)被布置成从高动态范围图像编码(S_im)导出限定映射函数的形状的至少一个参数,例如a参数值以及可能地还有伽玛值γ以便导出映射函数的逆。

创建端可以传输这些参数,并且因为我们的一些实施例可以在只有1个参数被发送的情况下确定其他参数,这是发送具有关于将HDR图像的亮度跨度的某些子区分配给代码空间的域的不同行为的曲线族中1条曲线的非常有用的方式。例如,伽玛可以是固定且预约定的,并且人们只发送例如(多个)图像数据内某处或者附接到(多个)图像数据的a值,或者经由单独的通信路径(例如,电视台可以指示它将从现在起使用某个a值,且对此定期传送),等等。

一种如权利要求13或14所述的用于对高动态范围图像编码(S_im)解码的图像解码装置(301),其中颜色映射单元(305)被布置成应用变换以将输入的图像Im_1的像素颜色的u和v分量映射为像例如CIEXYZ空间那样的通用颜色表示。

如本文中所描述的,优选地我们应用在色度方向上智能分配颜色的亮度方向分配,使得量化颜色的总误差(例如?E2000)对于图像的任何最终使用都不太大,所述最终使用即至少重建的REC_HDR以及可能甚至其进一步处理的版本,其例如从针对其对HDR信号编码的参考显示器的参考水平5000尼特增强至实际的10000尼特显示器。解码器然后需要进行该颜色空间映射的逆,这典型地通过将Yuv颜色映射为某种像线性XYZ那样的通用颜色空间而实现。

一种如上面的任何解码器权利要求所述的用于对高动态范围图像编码(S_im)解码的图像解码装置(301),其中颜色映射单元(305)进一步被布置成应用第二颜色映射策略以导出高动态范围图像(REC_HDR),具有比参考动态范围更低或更高亮度动态范围的图像。将编码图像解码至参考[0-5000尼特]范围是有用的,因为然后我们具有真实的物理上可实现的图像。当然,典型地,实际连接的显示器可以例如是1200尼特显示器。因此,理想地,代替通过直接驱动显示器仅仅将[0-5000尼特]显示按比例缩放至1200尼特峰值白色,外观的某种进一步的优化是所希望的(这可以作为第二步骤从参考图像Rec_HDR进行,或者已经立即作为一步算法颜色变换从Yuv颜色编码进行)。典型地,将存在至少一幅导出的图像,其动态范围取决于哪个典型动态范围可最佳地与像素化图像中编码的特定外观关联。如果例如将LDR写在信号S_im中,那么可能典型的是执行某种升级,以便从(典型的100尼特峰值白色)LDR外观导出用于例如1500尼特显示器的HDR最终驱动图像。当然,如果外观是HDR,那么可能涉及用于LDR显示器的降级,并且通常可能涉及若干再分级。为了获得这些新图像,实际上用于这些各个不同亮度/颜色映射函数(例如HDR到LDR以及居间的中间动态范围MDR外观)的所有数据(用于像颜色变换那样的参数函数、查找表等的函数常数)实际上可以共编码为各种不同的元数据集合,但是当然接收器也可以本身导出一些映射(例如,如果HDR至LDR的再分级被共编码为元数据,那么接收器可以导出它自己的对于用于导出MDR的良好中间映射的估计)。

在一些更简单的系统中,我们的技术可以用于单一种类的“封闭”系统,并且预期的最优(参考)HDR显示器可以例如是5000尼特。然而,可以存在如何映射到用于例如2000尼特显示器的驱动图像的另外的功能指令,这将典型地从REC_HDR开始进行,但是可以例如通过也考虑LDR_CONT/Im_1图像中的值而不同地进行。

一种如上面的任何解码器权利要求所述的用于对高动态范围图像编码(S_im)解码的图像解码装置(301),其中接收和格式化单元(388)被布置成至少接收为其编码输入的图像Im_1的参考显示器的峰值视亮度以及可能地还有伽玛值,并且从中导出映射函数的逆。

存在唯一地限定代码分配函数的间接方式,例如,可以预约定要用于预期的(参考)显示器的峰值视亮度范围的若干函数。于是,具有另一个峰值视亮度的实际显示器可以进一步映射REC_HDR以使得其对于其特性而言看起来是最优的,但是至少它需要知道使用了哪种代码定义。

一种如上面的解码器权利要求13直到且包括16中的任何一项所述的用于对高动态范围图像编码(S_im)解码的图像解码装置(301),其中接收和格式化单元(388)被布置成接收诸如序列号之类的代码,其指示若干预约定逆映射函数中的哪一个应当由颜色映射单元(305)用来从输入的图像Im_1导出高动态范围图像(REC_HDR)。

实际的编码化和传输可以以各种不同的方式进行,例如一种只允许3条不同的曲线的标准可以传输“2”用于此程序或者程序功能的部分。

一种显示器,包括如上面的任何解码器权利要求所述的图像解码装置。

一种对接收的较低动态范围图像(LDR_CONT)进行图像解码的方法,包括:

-接收高动态范围图像编码(S_im)并且从中导出要处理的图像编码(Im_1),以及

-通过应用颜色映射策略以便从输入的图像Im_1导出高动态范围图像(REC_HDR)而进行颜色映射,其中颜色映射单元被布置成对图像编码(Im_1)中的像素明度Y应用映射函数的逆以获得高动态范围图像(REC_HDR)的像素的亮度L,并且a、b、c、d和γ是图像解码方法已知的常数。

一种如权利要求20所述的对接收的较低动态范围图像(LDR_CONT)进行图像解码的方法,其中所述接收包括接收唯一地限定映射函数的逆的任何信息。

本发明可以以许多其他(部分)方式实现,比如利用像信号中体现的限定参数那样的包含各种不同实施例的核心技术要求的中间量,并且其许多应用可以导致比如传送、使用各种不同的可能信号、对这些信号进行颜色处理等等的不同方式,以及在消费或专业系统中合并各个不同的硬件部件或者使用所述各种不同的方法的不同方式。

附图说明

依照本发明的方法和装置的这些和其他方面根据下文描述的实现方式和实施例将是清楚明白的,并且将参照这些实现方式和实施例且参照附图进行阐述,附图仅仅用作例示更一般构思的非限制性具体说明。

图1示意性地示出了一族这样的用于将我们应当统称为明度代码的东西与要表示的对象的亮度关联的可用明度代码分配曲线的示例,其要由内容创建者强制性地用来创建与主HDR分级相应的LDR分级(所述HDR分级典型地表示用赛璐珞电影或HDR或典型地增强LDR高质量照相机(比如RED照相机)进行照相机捕获之后的人类颜色外观细调,然而也可以在分级或特效处理中从LDR照相机捕获生成亮度改进的伪HDR,其中人类调色师改进颜色,以便移除像例如降低的饱和度那样的照相机的物理限制,而且也按照其喜好利用例如适当暗的走廊改进颜色的艺术外观,并且该主分级可能相当复杂且精心制作);

图2示意性地示出了依照本发明的用于对(多个)HDR图像分级和编码的可能装置的一个实施例;

图3示意性地示出了用于使用依照本发明编码的(多个)图像的一些可能的装置;

图4示意性地示出了如何可以从依赖于图像的亮度特性的集合中选择一定数量(3个通常就足够了)的不同代码分配函数;

图5示意性地示出了如何可以限定属于我们的任何可能的明度编码的色度分量编码;

图6示意性地示出了我们的函数如何已经可以结合诸如典型平均房间周边照度之类的特定再现系统的特定要求的一些进一步的说明性实施例;

图7示意性地示出了用于这样的函数的一些示例性数学定义;

图8示意性地示出了在做出代码步阶时沿着代码范围出现的、对于图6的选定曲线而言等效的一些再现亮度的步阶DY/Y,所述代码步阶涉及在该示例中当使用用于明度代码的10比特典型值时颜色量化误差的恰可察觉差异(JND);

图9示意性地示出了在以S_im中的像素化图像为HDR图像或者更精确地说,当直接使用时具有最像HDR的外观的方式使用我们的实施例的情况下,一种具有编码器和解码器的可能的编码系统;

图10示意性地示出了在以S_im中的像素化图像具有适合于基本上直接在大约100尼特峰值视亮度(例如500峰值视亮度)的LDR显示器上再现的更像LDR的外观,或者更精确地说,最像LDR的外观的方式使用我们的实施例的情况下,一种可能的编码系统;以及

图11示意性地示出了HDR图像的图像信号中的仅仅一种可能的编码以及可用参数方式从HDR图像导出的相应LDR图像。

具体实施方式

高动态范围(HDR)图像/视频典型地具有与当前使用的图像/视频不同的亮度分布。特别地,高动态范围图像数据的峰值-平均值亮度比率可能经常要高得多,例如,因为在房间中存在反射对象的相对较暗的颜色,并且于是存在几个像灯那样的非常明亮的对象或者光效。虽然LDR图像典型地利用其在对象上的照度不变化太多(例如4:1)的或多或少单一(至少在场景的重要部分中)光照构造,但是HDR成像技术处理也具有高度可变的光照的场景的真实世界,其中一些对象在明亮光点下并且其他对象在暗走廊的阴影中。但是在再现侧,这也意味着需要通过颜色映射重新限定HDR图像的外观,使得其更佳地适合于LDR系统,这意味着规定我们称为LDR分级或等级的东西。再者,当仅仅对HDR图像编码时,亮度的统计值不再与从各种不同的LDR编码技术获悉的伽玛2.2类型的亮度代码分配很好地匹配。

图2的非限制性实施例中,我们假定分级者已经准备了我们假定为例如3x16比特线性XYZ图像的HDR_ORIG的主分级,但是在下文中我们首先聚焦于像素颜色编码的亮度相关物(例如明度代码或亮度值),并且我们假定该值为浮点[0,1](技术人员理解如何在例如0…1024编码等中进行可替换的实现)。我们假定分级和编码功能在一个分级装置201中,但是它们当然也可以是单独的装置(在核心中,我们只是教导了编码单元,比如IC的一部分)。用户接口单元203通过人类分级者(像本文描述的所有单元一样,这可以例如是专用IC或者运行在通用处理器上的软件等等)操纵分级控件(用户输入USRINP),并且可以连接到例如具有转盘或球的键盘以便改变值,尤其是下面的我们的曲线的a值或者ρ和γ值,并且甚至Lm值都可以是可选择的。分级管理单元202被布置成如下面所解释的确定映射曲线,以及将其应用到输入HDR图像或者图像HDR_ORIG,以便得到例如依照分级者看起来最优的LDR输出LDR_CONT,该LDR输出可以例如利用像AVC那样的MPEG型编码或者像VC1那么样的类似编码等常规地编码。分级者可以典型地在连接的校准的监视器上看到他的结果,例如,如果他将HDR编码确定为S_im中的LDR外观,那么他可以在LDR监视器上直接观看LDR图像(从所述编码解码,或者甚至仍然在DCT编码之前,只是重新赋色的外观),并且同时在典型地5000尼特白色的参考HDR监视器上观看可以从LDR图像LDR_CONT恢复的Rec_HDR图像。分级者确定亮度相关映射函数(这原则上也可以是R_HDR与R_LDR之间的映射等等)FH2L,通过该映射函数将HDR图像的亮度(或明度)转换成LDR图像的明度值(或者反之亦然,该函数典型地是可逆的,所述逆函数FL2H可以用来从LDR_CONT重建Rec_HDR,并且典型地这种升级函数FL2H存储在S_im中)。在我们的编码器的其他实施例中,这可以例如利用单条固定代码分配曲线(例如在要用于当前电影或视频节目的该曲线族的半途),或者通过分析该图像或者若干连续图像(例如镜头、场景或者甚至整个节目)并且使用明度范围的至少一个子范围内的中值或加权平均亮度或者明度出现的计数以便经由以下规则集合选择曲线而自动地完成:当X<=中值<=Y时,那么使用靠近Z的曲线。该映射函数因此允许一旦例如在接收侧具有可用的HDR图像的编码则导出像内容创建者偏好的最优外观的LDR图像,或者反过来从编码的LDR图像导出最优的HDR图像。逆映射也可以容易地确定(因为我们的亮度映射典型地是可逆的),不管是在创建侧,例如分级装置201中,还是在接收侧,并且该函数然后允许根据可用的LDR编码LDR_CONT重新创建原始主分级HDR_ORIG的紧密的近似(量化和DCT近似作用之后)。为了存储或者传输至接收端,可以对HDR-LDR映射函数FL2H、其逆FH2L、LDR图像LDR_cont和相应的HDR图像HDR_ORIG(以及例如节省比特的数学变换之后那些图像的任何紧密的近似)的任意组合进行编码。然而,出于比特预算的原因,存储/传输仅仅这些图像之一是合理的。我们将假定编码器210编码和格式化(即进行例如经典的MPEG编码类DCT和游程编码等等)限定静止或电影对象的纹理的第一(多个)图像Im_1DR(集合),Im_1为LDR_CONT。它也进行选择的(多个)特定映射函数FR2R[例如每个电影场景一个不同的函数,或者对于整个电影单个函数]的前缀格式化,例如将FR2R=FL2H格式化成总图像信号S_im(技术人员应当理解,存在比如例如经由SEI消息将(多个)图像中的或者与图像关联的元数据编码到某个图片的头部,作为盘上的单独的数据道,作为可单独获得的网络传送信号,并且可以存在像例如电影中的时刻那样的从该时间起或者在该时间应用函数等的同步数据)。然后,编码器210例如将该Im_1和元数据存储到存储器299,比如存储器产品,比如蓝光光盘或者固态存储设备等,或者比如例如如果分级发生在电视演播室中以便(近乎)实时流送DVB-T电视信号等等,则通过某种联网技术211传输该信号。我们示出了一种可能的视频传输连接(221),其可以例如是去往主BD盘或者内容提供商拥有的服务器上的临时存储装置等的总线或电缆,但是可以存在若干这样的连接,其用于通过各种不同的技术系统输出(多个)图像信号,例如,天线也可以具有第二个这样的S_im输出连接(未示出),等等。

我们发明了优选地要典型地在若干标准化情景(至少如果不作为单一映射,那么一系列亮度中的第一步骤,典型地也有颜色映射,比如饱和度映射)中应用的(多个)代码分配函数OETF(或者相反地EOTF)的几种变型,其用于在HDR亮度相关物(为了简单起见,我们假定其只是亮度,但是它们当然也可以是这样的亮度的任何编码)到“LDR”明度之间转换。有利的是,这些函数可以例如不一定强制性地实现以下方面:

1.应用所述曲线的效果可以被感知为视亮度变化(视亮度是物理再现的亮度的心理视觉效果)。

2.视亮度变化应当在两个方向上是可能的(较低和较高视亮度),并且优选地应当不损失或者损失很少的信息/细节(即,所述曲线应当至少在连续颜色空间中是可逆的)。

3.由应用这些曲线而得到的图像应当在感知上令人愉快,即,人类颜色分级者应当能够利用它们制作不错或者相对不错的图像(尤其是感知上相关的视亮度范围内的对比度比率应当在感知上合理地保留)。

但是至少在一些实施例中,我们想要形成所述函数,使得它们最优地编码(多个)图像中重要的信息(并且我们在谈论典型地从HDR场景捕获的图像),尤其是它们不在要编码的亮度范围的大多数或全部子范围上造成太大的量化误差。这是指如果我们映射到LDR编码并且然后逆映射以获得原始主HDR分级Rec_HDR的近似,那么我们不应当使用这样的映射函数,使得例如在视亮度拉伸之后,明亮区域现在被太粗糙地量化,从而例如(太多的)条带在明亮的云中可见。这典型地可以通过对于若干关键测试图像计算像?E2000那样的误差度量而确定,并且指示如果其观看具有紧挨着我们的解码的HDR再现Rec_HDR的原始未编码主分级的显示(这典型地比仅仅观看解码的HDR电影更严格),人类将看见多少色差。

对于亮度代码分配函数族的良好实施例,我们洞悉由于摄影师或者摄影指导旨在将相关的图像/视频部分保持在曝光尺度或明度值轴的中间以便最小化相关的纹理太多曝光过度(通过剪切明亮部分造成细节损失)或者曝光不足(由于过量噪声,即低信噪比的原因而造成细节损失)的风险,我们在设计HDR/LDR编码技术中充分利用这点。因此,希望的视亮度(/亮度)变化效果应当作用/出现在尺度中间附近(即在归一化范围上的0.5的“log”值处)以便在最相关的图像数据上最佳地提供希望的结果。此外,对于HDR成像而言,可能有用的是严格地考虑至少较暗区域的质量,但是可能地也有一些较亮的区域。我们发现,上面提到的要求可以通过在尺度的中间具有线性控制的“对数”性质的曲线族来满足。

我们可以应用于将LDR亮度相关物和HDR亮度相关物相联系以便在色调映射中减小动态范围的对数曲线部分可以从一般第一形式开始,其中x是归一化到0..1范围的“线性”输入值,并且v是也归一化到0..1范围的“对数”输出值。为了增大动态范围,使用逆曲线,其由下式给出

应当清楚的是,如果HDR亮度在x轴上,那么我们应当使暗区变亮,或者压缩,即使用对数形式以获得y轴上的LDR_CONT明度值。

为了进一步规定所述曲线,我们施加约束。前两个约束由归一化的0..1范围给出,其中输入值0和1映射为相同的输出值,即,当v等于0时,x也应当等于零,并且当v等于1时,x也应当等于1:

,根据它得到,并且

,其现在可以重新写成。

最后,我们施加以下约束:在log尺度的中间,在v=1/2处,该函数应当和a是线性关系(当a变化时,在该位置提供线性亮度变化),这隐含了,其中K为常数,其可以重新写成。通过组合后两个约束,我们消除了项,获得,通过代入对其求解,给出,解为

该解对于a>2*K有效。通过选择用于K的值,所述曲线于是由单个参数a规定,该参数类似于光灵敏度或者胶片速度参数地起作用,并且因此我们称a为我们的曲线的曝光指数参数。我们为K选择的值为

因为K的这个值导致与实践中使用的曝光指数值近似相应的a值。

在表1中,给出了log曲线及其逆的C代码实现,其中变量名称与上面的等式中使用的名称相应。

表1提出的log函数及其逆的ANSIC代码实现。

图1中,绘出了所提出的log曲线族的若干示例性曲线,其在a=32处开始且以1/3光圈(stop)(21/3)的步阶增加到a=2048,其中可以在log尺度的中间位置(值0.5)处容易地观察到该步阶。

因此,现在我们具有可通过一个参数a控制的函数集合。分级者可以通过例如调整旋钮容易地导出用于例如图片的拍摄/运行的最优a值,并且自动图像分析算法可以类似地选取最优的a值。我们也可以通过限定用于存储分级者选择的a值的例如浮点或整数数据类型而容易地将此关系编码在图像或视频信号编码S_im中(由于我们无需许多值,因而我们可以将我们的a值编码为例如A*a+B,使得不同的a值分配给例如8比特码字值)。因此,作为将完整曲线编码在像例如LUT那样的信号中的一种替代,我们的技术实施例可以(一次或几次,为了防范数据损坏的安全起见利用相同的值,或者为了自适应性而利用不同的a值)仅仅对a值编码,并且然后如果使用的函数在运行时未预约定,而是处于标准中,那么接收端将立即知道哪个实际的函数与a值关联。在接收端,该值于是可以用于将接收的图像Im_1DR映射为要在特定电视上再现的最终图像。

一种甚至更佳的提出log-γ曲线族的方式是:

其中L为以cd/m2为单位的亮度,v为归一化到0..1范围的电值,并且Lm为显示器的以cd/m2为单位的峰值亮度值。在可以仅仅限定单个主HDR代码分配曲线的情况下,所提出的最优常数ρ和γ的值为ρ=25,γ=2.4。

我们可以将逆OETF函数与该EOTF相应,该函数至少在所述范围上在高的准确程度上近似该行为(但是人们可以稍微偏离以使它们更符合如何经典地限定OETF,例如使得较低亮度部分是线性的),例如:

其中E为通过参考白电平归一化且与利用参考照相机颜色通道R、G、B检测的隐含光强度成比例的电压,即,人们可以假定这些是由利用光电子填充R、G和B像素面元(bin)而得到的线性电压,并且E'是得到的非线性信号,即明度代码。并且:

ρ=25,α=1.099且β=0.018对于10比特系统

ρ=25,α=1.0993且β=0.0181对于12比特系统

如果与第一种变型相比较,我们可以利用a将ρ标识为:

一些用于导出上面的特定最优明度分配函数OETF的另外的基本原理:

当前的电视系统具有端对端(光到光)非线性传递特性。该传递特性为典型的昏暗周边电视观看环境提供了正确的再现意图;参见例如R.W.G.Hunt的“TheReproductionofColour”(Sixthed.,Wiley,2006)的第11.9、19.13和23.14节。

飞利浦为未来的具有高峰值亮度显示器(特别地,在飞利浦的实验中应用了具有5000cd/m2的峰值亮度的显示器)的高动态范围电视系统研究了端对端电视系统传递特性,并且发现当前的端对端传递特性也适用于这些未来的系统。对此观察的解释是,传递特性由电视观看环境确定,该环境对于高动态范围电视而言与当前电视相同。

用于当前电视系统的端对端传递特性由推荐的OETF(Rec.ITU-RBT.709和Rec.ITU-RBT.2020)和EOTF(Rec.ITU-RBT.1886)的级联确定。

例如,Rec.ITU-RBT.709OETF由下式给出:

V=1.099L0.45–0.099对于1≥L≥0.018

V=4.500L对于0.018>L≥0。

将该OETF与Rec.ITU-RBT.1886的伽玛2.4EOTF组合导致端对端传递特性:

(1.099L0.45–0.099)2.4对于1≥L≥0.018

(4.500L)2.4对于0.018>L≥0。

飞利浦提出使用所提出的EOTF为高动态范围电视系统完全保留端对端传递特性。该EOTF具有归一化形式

它可以看作所述函数与依照Rec.ITU-RBT.1886的伽玛2.4EOTF的级联。因此,为了保留端对端特性,与所提出的EOTF一起使用的OETF应当是当前推荐的OETF(Rec.ITU-RBT.709和Rec.ITU-RBT.2020)以及的逆函数的级联,该逆函数为:

该级联导致以下的OETF(以Rec.ITU-RBT.709OETF为例):

,对于1≥L≥0.018

,对于0.018>L≥0

填入ρ的所提出的值25,该OETF可以进一步简化为:

,对于1≥L≥0.018

,对于0.018>L≥0

等效地,对于Rec.ITU-R2020而言,所提出的OETF为:

其中E为通过参考白电平归一化且与利用参考照相机颜色通道R、G、B检测的隐含光强度成比例的电压;E'是得到的非线性信号。其中:

ρ=25,α=1.099且β=0.018对于10比特系统

ρ=25,α=1.0993且β=0.0181对于12比特系统。

最简单的方式是仅仅应用所述映射以导出互补图像(例如,如果在盘上HDR_ORIG是利用N比特颜色坐标编码的,那么可以通过仅仅应用我们选取的具有共编码的a值的log-γ函数而使用用于驱动具有低得多的峰值视亮度的任何电视的LDR_cont图像),但是人们也可以如例如WO2012/127401中所教导的导出用于最终再现的中间分级。

在若干实施例中,可以以若干方式使用我们的发明。例如,如果分级者不关心为手边的特定图像/视频选取最优曲线,那么选择具有例如a=1100的缺省曲线,并且如果信号中的a值数据类型没有填充的值,那么接收端将缺省使用该值。但是在其他方面,分级者可以发现例如a=550将给出更佳的结果,并且然后将该值写入盘上的a值数据类型的至少一个拷贝中。如果存在更多拷贝,那么典型地也将存在另外的规定数据,比如指示该曲线属于图像集合的哪个部分的参考数据,比如例如关联的呈现时间戳等等。

无论图像(Im_1DR)纹理编码的格式是什么,都可以使用我们的方法,但是例如它可以对于10比特明度编码以及甚至传统上使用的8比特明度编码很好地起作用(一些图像编码应用需要较少的质量)。

典型地,选取的限定曲线形状的a值将取决于设想的再现显示器的特性,并且典型地取决于其峰值视亮度。例如,分级者可以考虑在其电影的使用期的最佳部分期间,典型地将在具有大约2000尼特的峰值视亮度的HDR显示器上观看它。于是,他可以使用可以在这样的显示器上给出最优外观(即当重建HDR时)以及可能地也在像600尼特电视那样的较低峰值视亮度显示器上给出合理的外观的曲线。当然,如果从现在起20年大多数观看者将在例如15000尼特显示器上观看该HDR编码的电影,那么尽管仍然可能出现合理的再现,但是利用该曲线,它可能就不是最优的。内容创建者于是可以为那些显示器利用具有不同a值的不同曲线形成新编码。同样可能的是不为它形成新的LDR图像LDR_CONT,而是已经仅仅形成新的曲线FL2H以便重建最适合于大约15000尼特显示器类别的HDR图像。

分级者或者自动算法也可以决定基于要编码的图像的特性(即捕获的场景的种类)基于要编码的HDR图像的特性从所述族中采取特定的明度代码分配曲线。如果它例如只包含暗区(或者也许仅仅小的亮灯),人们可以考虑使用为了对于较暗颜色增大精度而牺牲亮端的一些量化精度的曲线。这可以通过各种不同的图像分析算法完成,这些算法从最简单的开始,比如确定图像中的亮度的中值并且从中决定哪个a值与其相应,到检查可用亮度的范围(在此之外没有或者只有很少像素),并且根据存在的对象亮度的尺寸和/或位置确定曲线(并且例如观看该范围上曲线的梯度度量,其可以在分配由算法进行的情况下使用,但是典型地,这样的知识将通过在规则集合中定义人类知识而分配:例如,设计者制作了三个类别:一个用于所有亮度低于50尼特的图像,一个用于其中所有亮度高于500尼特的“室外”图像,以及中间类别,并且当决策算法此时找到主分级中的例如30-200尼特的可用范围,那么它可以基于重叠准则选择中间范围代码分配曲线)。

图4给出了这样的实施例的一个示例。明度分配曲线现在是对数和幂函数的组合,γ优选地不等于1.0:

注意,明度代码(E水平轴)已经缩放到[0,1],并且相应参考显示器上的相应亮度在对数上按光圈给出(y轴)。例如,如果人们想要单条曲线用于5000cd/m2的峰值亮度,那么可以使用并且从中导出例如a=67.8823、b=2.8284、c=0.7153、d=-0.3230和伽玛系数γ=2.35(对于不同的伽玛值,a…d系数典型地将是不同的)的值。

在该示例中,我们假定我们可以利用参考明度分配曲线401对HDR图像编码,该曲线将对所有可能的HDR图像(比如例如在同一图像中较暗的室内,同时具有阳光明媚的室外)很好地起起作用。然而,如果我们现在具有在只有几盏亮灯(其只需再现得明亮但本身不精确)的黑暗地下室中播放的节目或场景,那么我们可能想要选择另一条稍微不同的曲线,其对于这样的暗区域以更佳的精度表现,即在HDR亮度/x轴的暗子范围中具有更多可用的代码。曲线403将适合这样的情况。其他情景也可能发生,其中存在许多明亮的阳光明媚的室外像素,并且可能存在几个较暗的像素,由于人类视觉适应大的明亮图像的原因,这些较暗的像素可能无需绝对精确地量化。这种情景可能发生在例如人们在泰国户外摄影并且可能通过小门看见寺院内一点点时(注意,再现电视可能决定使这些黑暗内部变亮一点,因此,我们仍然希望对它们合理地编码)。在这种情况下,人类分级者或者编码装置/算法可以决定曲线402是用于LDR_CONT对那些(多个)HDR图像编码的更佳曲线。

图6示出了相同的总log-γEOTF基本原理,但是现在包括预期的观看环境,并且图7示出了限定了如何计算那些函数的两个示例。其中比如“LDR”的部分是量化的[0,1]明度(v)代码值,即用于唯HDR重建,我们典型地将仅仅应用如权利要求1中的我们的双部分指数函数(即ρ部分并且然后γ部分)。“伽玛2.4部分”现在改变为前伽玛映射链,但是现在也包括考虑昏暗周边亮度的因素,并且图7的底部是上面的伽玛子映射到2.4和rec.709OETF的等效概括:

v=4.5L如果L<0.018,否则v=1.099L0.45-0.099

(从亮度向下映射或者明度确定)。LC(a)是映射的我们的第一部分,即没有2.4伽玛的ρ除法。箭头用向上箭头示出了升级类型变换,即例如典型地拉伸明亮对象远离较暗对象和中间灰色的变换,反之亦然。Q是比如依照rec.709的正常10比特量化的LDR图像。第二Rec.709降级依照我们的权利要求1的主EOTF预期的输入重新格式化(沿着明度轴重新正确地分布)正确地确定的输入。图7的上面或下面的链的结果然后典型地被发送至参考监视器,即依照伽玛2.4规定的实际显示器。

图8示出了在将图6函数转换成DY’/Y’时对于暗对象颜色的放大。

图3示出了在消费者家庭或者专业地点(比如例如数字电影院)的可能的接收侧系统的一个示例。存在许多应用和装置类型,其可以使用我们的解码技术,并且可以包括像比如IC件那样的解码单元,但是我们仅对其一进行阐述,因为技术人员有了我们的教导之后可以理解如何将其映射到其他情景。去格式化器388对信号S_im解包和解码,无论它以什么格式记录/传输和接收的。在该非限制性示例中,我们假定接收和初始处理由某个图像操纵装置301(该装置可以是机顶盒、蓝光播放器、个人计算机等等)进行,该装置将正确创建的——因为显示器和可能的环境的细节将希望这样——要再现的最终图像传输至显示器302(在该示例中,该显示器没有进一步的颜色优化能力,而是仅仅一些硬件确定的比色特性)。但是,当然,如果该显示器更智能并且例如是电视,那么它本身可以执行图像操纵装置301中的大多数或全部所描述的动作。为了简单解释起见,我们将假定显示器是HDR显示器(例如具有5000尼特峰值视亮度),并且通过图像通信技术398(例如HDMI电缆等)获得要再现的图像。显示器越不智能,电缆上的图像看起来就越像比如在XYZ中完全优化的标准图像,或者甚至直接驱动用RGB图像,然而,显示器越智能,那么它可以越参数化地获得图像,诸如例如无论什么LDR_CONT编码图像,以及用于由显示器本身导出希望的最优驱动图像的参数。显示器(和S_im元数据)可以被体现为对于电影中的不同镜头应用不同的颜色映射策略。图像信号S_im可以经由各种不同的传输技术进入,例如在像BD盘那样的物理载体存储器上或者经由有线或无线的网络连接的视频商店订购,等等。

在一些实施例中,图像操纵装置301也将或者甚至仅仅生成用于第二、LDR显示器330的LDR图像(所述图像可以例如直接是LDR_CONT图像或者其到RGB的没有动态范围或观看环境调节的仅仅比色变换,但是它也可以是从编码的图像LDR_CONT导出的第二最优分级图像),该LDR图像例如经由天线399通过无线图像/视频/数据连接进行流送,但是我们的发明的核心也可以用来只创建HDR图像。

颜色映射单元305从S_im获取例如LDR_CONT编码图像,并且通过从信号中读取FL2H映射函数或者读取FH2L映射函数并且将其内部地转换成其逆FL2H映射函数而将此转换成Rec_HDR。

应当理解的是,可以从我们的发明构建许多这样的装置或系统,并且它可以驻留于专业或消费者照相机、任何种类的显示器(例如可以驻留在像移动电话那样的便携式设备中)、颜色分级软件、诸如例如视频改进设备那样的代码转换器、视频管理系统、例如超市中的宣传显示器等等。

直到现在,我们仅仅讨论了在颜色空间的亮度轴上做什么,但是颜色需要3维定义。我们在明度Y方向上所做的是经由颜色分配函数拉伸和挤压颜色坐标,使得在每一处相等的步阶在视觉上近似同等重要。这意味着如果我们此时量化,我们对于看起来类似地对比鲜明的每个亮度区域具有近似相等数量的代码,即我们在每一处以近似相同的程度减少条带。但是,颜色空间是高度非线性的,并且像XYZ或xyY那样的典型颜色空间不会很好地映射到人类视觉的自然度量。因此,我们需要在颜色方向上进行类似的技巧。

发明人之前已经认识到(参见尚未公布的申请EP12187572),可以将编码空间分解到颜色平面的Y方向和色度方向(在任何情况下,该空间不一定用来进行例如图像颜色处理,但是可以仅仅用作中间的“值保持者”,并且无论什么颜色坐标,如果我们仅仅经由逆映射获取主HDR的原始例如XYZ_16比特,就可能足够了)。在图5中,我们示意性地看到这点。所有可编码RGB颜色的色域502(并且我们愿意使用像xyY那样的空间,使得直到通过色域顶点的白点定义限定的最大亮度(例如5000尼特)的所有可能的物理出现的颜色都是可编码的)通过颜色三角形xy和明度Y轴501确定。并且更具体而言,通过其使用的代码分配函数,该Y轴限定了哪些明度Y或者相应的亮度L。可以从概念上将不同代码分配函数的使用看作依照代码分配函数对色域中的所有颜色进行谐波拉伸。例如,如果我们认为中间(Y=0.5)附近的精度不够,那么我们可以选取另一个log函数,该函数对那里的值拉伸并且在Y轴其他子范围中压缩。如果此时量化例如每1/100个值,那么比如500和800尼特之间的该拉伸的亮度区域于是可以拉伸超过6个明度代码,而不是例如4个。这对于其他色度同样发生,例如,EP12187572限定了如何通过遵循选取的对数函数形状,但是现在不在[0,1]Y跨度上,而是在用于该特定色度(x,y)的色域中的可能的Y跨度上这样做的一个实施例。我们现在想要在色度方向上进行同样的技巧。已知的是,不管如何希望,通用的xy色度在蓝色区域(B)具有相当小的MacAdam椭圆,在绿色区域(G)具有大的MacAdam椭圆。这意味着犯大的编码错误(在绿色区域中将(x,y)_1改变成(x,y)_2不会具有这样大的可察觉影响),但是蓝色区域中的量化更容易察觉。为了能够以小的误差编码每一处,我们想要确保我们的最终量化的编码更均匀地分布量化误差。我们可以通过所述三角形上的误差函数(在图形503中的颜色路径上在一维下示意性地示出)确定这点,并且我们可以通过改变我们的色度分配函数(在504中示意性地示出,被定义为新坐标uv的函数的路径H也可定义为x和y的函数G)而改变这点,即,如果椭圆对于颜色空间的区域而言太长,那么我们可以在该区域中类似地拉伸颜色空间,这是压缩椭圆的逆等效物。该重新定义可以是高度非线性的函数,但是优选地我们利用简单的函数限定我们的编码。即,可以利用透视变换使椭圆变形:

在这些等式中,x,y和u,v是颜色三角形,并且a…l是常数。

可以在数学上证明这与3D中的从XYZ矢量限定的颜色空间到UVW矢量限定的颜色空间之间的基变换相应,这可以通过线性变换矩阵限定。

我们发现利用来自现有技术的已知映射(但是从未研究被用于HDR编码)限定色度是有用的,该映射具有合理的均匀性:

在这里,色度平面坐标直接从线性XYZ颜色空间坐标确定,因此我们可以在该空间中分级并且然后直接进行颜色编码。

因此,我们接下来做的是我们使用上面的任何对数明度代码分配函数,并且将其用作Yuv颜色定义的Y(非线性明度)的定义,并且将上面的定义用于颜色的色度分量。这就是人们现在可以如何与经典LDR颜色编码方案相反地定义HDR颜色。

但是,由于所有这些颜色具有通常对于(例如10比特用于Y’以及u和v)LDR图像(尤其是不与例如MPEG2中使用的Y’uvPAL型YUV或YCrCb混淆)所预期的数学范围内的值,因而可以利用通常的LDR编码技术做进一步的图像编码链(量化、DCT等等)。当在接收侧逆映射时,我们重新获得真实HDR图像,但是其在别的情况下不能用传统技术进行编码。

当然,遵循类似的技术原理,可以设计相似的颜色空间,其中色域帐(tent)通过我们的明度轴的新定义来限定,只要人们标准地限定它们,使得(多个)图像接收端可以恢复原始的主HDR。

图9示意性地示出了第一种可能的有用编码系统,其中HDR外观是主导性的,即,我们将传递仍然具有相对较大动态范围的LDR_CONT图像(即,当在LDR显示器上直接显示时,它可能例如太暗而不能充分识别的暗区,然而可以在接收器侧获得完美的HDR图像以用于在例如5000尼特HDR监视器958上进行HDR显示(如果连接的话))。我们的EOTF特别适合于该情景,并且此时例如参数ρ=25和γ=2.4可以通过参数嵌入单元908嵌入到图像信号S_im中。

我们从我们的主HDR分级HDR_ORIG开始(在这里,参见靠近901,其非硬件单元,而是图像)。颜色转换单元902可以进行颜色变换,例如,如果驻留了具有相对较宽色域内的饱和色度的原始图像(如例如电影材料中的一些着色剂可能发生的),并且例如仅仅设想具有典型的Rec.709原色的消费显示器的服务,那么该颜色转换单元902可能已经进行到Rec.709色域的预先色域映射。动态范围转换器904典型地在经由接口单元903来自分级者的艺术引导下应用一些函数以便获得LDR外观图像905。该LDR图像可以经由相对简单的可逆颜色映射获得,但是它也可以通过更复杂且不可逆(数据破坏性的,即单独从该图像不能完美地重建主HDR)的映射获得。现在,通过颜色编码器906依照我们的实施例,即使用权利要求1的EOTF的逆将HDR映射为我们的Y’u’v’编码。然后,通过视频编码器907进行常规的视频编码,该编码器可以例如是HEVC编码器或者任何类似物。最后,在该示例性实施例中,将我们的比色编码函数的参数(至少ρ、γ和Lm之一)作为元数据嵌入到S_im中以便例如作为DVB或ATSC格式化的HDR电视信号传输。在接收器侧,接收器将利用解码器951进行常规的视频解码,然而,所述解码器也利用我们的技术扩增以便获得例如XYZ中的Rec_HDR图像952。在第二颜色映射器959进行第二色域调适之后,我们可以考虑连接的监视器具有例如宽色域能力。显示器调整单元957可以进行另外的显示器调整,比如例如应用我们的第二颜色映射函数以便为连接的显示器(为例如2400尼特显示器)以及还有观看环境细节导出最优外观的亮度方面,或者甚至可以处理观看者的愿望(观看者的偏好的视亮度)。S_im中的各个不同的参数由参数提取器950提取,并且其中一些将可用于导出良好的LDR外观。因此,在该系统实施例中,LDR将通过首先例如由颜色映射单元953进行另外的颜色映射,并且然后由亮度映射器954进行动态范围转换而从HDR(不完全是原始的HDR,而是在接收器侧的非常接近的近似Rec_HDR)导出,得到用于任何可连接的LDR监视器956的LDR视频。当然,这种根据恢复的Rec_HDR对LDR外观的重建模仿了如何在发送器侧经由所述参数生成LDR。事实上,当认为其中我们的OETF是依照我们的主要权利要求的逆EOTF的映射已经足够时,可以使用一些实施例,当然此时优化的ρ和γ参数用于特定的镜头或场景,但是通常可以存在S_im中涉及和存储的另外的函数,例如HDR图像中的主要LDR范围的对比度拉伸,以及该范围之外的硬剪切等等。

图10示出了依照哪种LDR_CONT/Im_1图像应当实际地编码的另一种理念构建、但是仍然遵循我们的EOTF技术的系统的一个特定示例。

像动态范围转换器1001和Y’u’v’颜色转换器1002那样的发送器侧的部件类似于图9中的那些部件。然而,现在我们将与盘上的LDR外观一起使用Im_1。因此,应用于1001中以便获得LDR视频的log-γ函数通过使用不同的参数ρ和γ可以具有比图9的S_im情景中的HDR外观更高的等效伽玛(我们的标准ρ、γ参数的等效伽玛,即在仅仅使用平面时,伽玛函数L=v^γ为大约7),但是对于其他场景,它们也可以更低。在任何情况下,我们现在典型地仅仅使用可逆的亮度映射函数,并且我们的EOTF及其逆OETF满足该准则。LDR图像(尽管典型地仍然是Y’u’v’而不是YCrCb)再次进入常规的视频编码器。然而,现在在接收侧,嵌入的参数不用来创建LDR外观,而是创建HDR外观,并且LDR图像可以直接被发送至LDR监视器。因此,为了获得HDR,来自S_im的LDR被动态范围上转换器1050、用于获得希望的彩色外观的颜色转换器1051和用于从像[0-5000]那样的参考范围内的重建HDR开始为特定显示器获得正确的外观的显示器调整单元1052依次处理。熟悉技术的读者应当理解,从我们的当前教导开始的另外的实用实施例可以例如使用通常具有log-γ形状(即例如它对于可能的输入值范围[0,1]上的大多数输入值而言典型地具有这样的由来自我们的ρ、γ曲线族的函数限定的输出值)的EOTF和OETF,然而,对于一些输入值而言,该映射可以稍微不同,例如局部地实现不同的斜率并且逐渐平滑,直到达到EOTF标准log-γ部分。这样的偏离可以在编码器装置中通过自动图像分析算法、分级者显式地规定曲线中的局部变化或者获得分级者的某种引导并且然后进行一些计算以得到部分修改的任何半自动方式而完成。这些曲线然后可以例如作为LUT传送,但是它们也可以参数化地传送,例如具有局部修改形状、利用一个或多个附加参数编码进行函数编码(例如高斯凸起修改等等)。

图11示出了如何可以考虑本申请的教导对HDR图像信号1100编码的一个示例。我们假定我们对HDR场景上的动态范围外观集合编码,对此我们需要能够在接收器侧至少主高动态范围图像,其具有跨比如0.005-5000尼特的参考亮度范围的所有要再现的亮度的潜在对象。同时,我们想要能够在解码侧重新确定至少相同场景的低动态范围图像,其要根据编码的HDR图像1101和映射函数确定。如所述的,编码/解码功能块将是标准的,比如例如HEVC中的功能,因此我们将聚焦于在该框架下使得HDR编码成为可能的新比色教导。

因此,图像1101的图像像素明度矩阵将由我们的主要教导的“log-γ”函数确定,该函数限定了明度代码如何与例如0.005-5000尼特参考亮度范围中的亮度相联系。即,图像1101对HDR图像编码。无论明度代码确切地是什么(无论它们如何限定),它们都可以在解码成可在参考5000尼特峰值视亮度显示器上再现的像素亮度(或者实际地与色度分量一起,这些分量典型地为例如线性或γ域RGB中的(uv)像素颜色)期间进行变换。具有其他特性的显示器于是将仍然典型地基于我们的信号1100中的图像和元数据颜色映射函数进行依赖于显示器的优化颜色变换。在使用预约定的用于限定明度代码的EOTF(具有固定的Lm、ρ和γ)的情况下,人们本身无需将关于它的信息编码到图像信号1100中,因为解码器知道要使用什么函数。或者,如果一些固定函数中的一个是可选择的,那么可以对相应的曲线号1108进行编码(例如预约定的曲线3)。信号中的该数据占位符是互补的,以更准确地规定EOTF,并且在后一情景中无需填充。在这种情况下,可以(典型地例如在场景变化之后按场景地,即在两个图片号或者时刻之间有效)通过填充ρ值1102、乘数Lm1109和/或γ值1103部分地或者完全限定图像1101中的明度。在一些情景中,可以使用另一个增益因子1104。尽管有时可以利用Lm对此编码,但是可能存在其中人们想要对于整个电影利用标准值5000填充Lm,但是例如利用增益因子1104对相对较暗的场景编码的情景。在那种情况下,如果例如场景中的典型(要在参考显示器上再现的)亮度落在比如100尼特之下,几个异常值达到1000,那么人们可能决定假装就像这是一个高达5000尼特的不同信号。该乘法拉伸将由编码器在应用量化和DCT之前进行。填充用于信号中的元数据的占位符1104的增益因子5或1/5此时仍然规定解码器必须如何除以或乘以解码的信号以便得到希望的外观。

对于一些更高级的编码函数而言,log-γ函数的偏差也可以编码到偏差编号集合1107中。这可以包含例如沿着log-γ函数的部分的加法或乘法变形的规定,这在该部分的一些子区中创建更大或更小的梯度,导致分配给图像的各个不同的对象区域的更多或更少的代码。这些编号也可以对我们的log-γ函数的函数变换进行编码,例如,两个参数L1和L2对EOTF的调节的亮度或明度子范围划界,并且一些参数限定变换,例如ax^2+bx+c,其中x为子范围中的运行坐标,a、b、c常数被编码到各个不同的D3、D4、…编号占位符中。编码器将知道函数表示什么,因为会存在用于函数变形的一些预约定编码机制。

然后,其他元数据将限定如何基于图像信号中编码的HDR图像1100导出LDR外观图像。该LDR图像可以例如是显示HDR图像(利用例如另外的伽玛函数映射到LDR)中可用的所有代码较小对比度的图像,或者保留许多可用LDR明度代码以用于HDR场景的重要LDR子范围并且在该区域之外剪切或软剪切的对比鲜明的LDR外观。

典型地,为了在明度上进行任意映射(现在保持(u,v)分量相同),将存在用于例如包含足够精确的LUT的元数据占位符1105,该LUT对HDR图像1101的明度与希望参数式共编码的LDR图像的那些明度之间的明度映射函数1110的形状编码。该函数可以具有任何形状,并且甚至无需是单调的(并且当然也可以被限定为亮度映射、RGB_max映射或者任何亮度相关映射)。此外,可以存在颜色处理,例如饱和度映射,其可以利用1DLUT1106进行,该LUT按明度限定乘法饱和度因子(在从HDR图像进行色调映射之后对于LDR图像实现依赖于明度的饱和度修改1120),或者更复杂的策略,这些策略可以例如允许分级者使得在LDR中不那么明亮的一些对象至少更加颜色丰富,或者依照另一种饱和度改变理念。信号的简单版本可以只有一个饱和编号位置,或者其他信号可以在元数据中具有附加的位置以便填充单个饱和编号,使得该单个乘数可以应用到所有像素颜色,而不管它们的亮度如何。这只是典型地可以编码到HDR+LDR图像信号中的东西的一个示例,并且可以存在各种不同的这样的编号集合,例如以便处理图像的局部可分割区域,但是它应当给予对于事实上如何可以依照我们给出的技术不仅对场景的HDR图像编码,而且对适合于在具有与例如5000尼特参考显示器不同的动态范围能力的显示系统上再现的该场景的共编码的各种不同的其他动态范围重新外观进行编码。

本文中公开的算法部件可以在实践中(整体地或者部分地)实现为硬件(例如专用IC的部分)或者运行于专用数字信号处理器或通用处理器上的软件等等。

根据我们的陈述,技术人员应当可理解哪些部件可以是可选的改进并且可以结合其他部件实现,以及(可选的)方法步骤如何与对应的装置构件相应,并且反之亦然。在本申请中,措词“装置”在其最广泛的意义上使用,即允许实现特定目的的一组构件,并且因此可以例如为IC(的小部分)或者专用器具(例如具有显示器的器具)或者联网的系统的部分等等。“布置”也预期在最广泛的意义上使用,因此它可以除别的以外还包括单个装置,装置的部分,协作装置(的部分)的集合等等。

当前实施例的作为外延的计算机程序产品应当被理解为涵盖命令集合的任何物理实现,这些命令在将命令输入到处理器中的一系列加载步骤(其可以包括中间转换步骤,例如翻译成中间语言和最终的处理器语言)之后使得通用或专用处理器能够执行发明的任何特有功能。特别地,计算机程序产品可以实现为诸如例如盘或带之类的载体上的数据、存储器中存在的数据、经由网络连接(有线的或者无线的)传播的数据,或者纸上的程序代码。除了程序代码之外,程序所需的特性数据也可以体现为计算机程序产品。应当清楚的是,我们用计算机表示能够进行数据计算的任何设备,即,它也可以是例如移动电话。再者,装置权利要求可以覆盖实施例的计算机实现的版本。

所述方法的操作所需的一些步骤可能已经存在于处理器的功能中,而不是在计算机程序产品中描述,例如数据输入和输出步骤。

应当指出的是,上述实施例说明了而不是限制了本发明。在技术人员可以容易地实现给出的示例到权利要求的其他区域的映射的情况下,我们为了简洁起见没有深入地提及所有这些选项。除了如在权利要求书中组合的本发明的元件的组合之外,这些元件的其他组合也是可能的。元件的任何组合可以在单个专用元件中实现。

在权利要求中,括号之间的任何附图标记并不预期用于限制该权利要求。措词“包括”并没有排除存在权利要求中未列出的元件或方面。元件之前的措词“一”或“一个”并没有排除存在多个这样的元件。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号