首页> 中国专利> 用于HDR图像编码和解码的基于视亮度区域的装置和方法

用于HDR图像编码和解码的基于视亮度区域的装置和方法

摘要

用于高动态范围场景的图像进行编码的图像编码器(549)包括:像素纹理编码单元(552),其被设置成利用包括N位码字的图像表示(Im_1)对图像的像素颜色进行编码;图像分析单元(550),其被设置成确定和输出区域微分器灰度值(gTS),其是亮度值,该亮度值划界在它以下的图像的至少一个块中的第一对象的所有像素的亮度和在它以上的图像的至少一个块中的第二对象的所有像素的亮度;以及格式化器(554),其被设置成在输出图像信号(S(Im_1,MET(gTS))中联合编码图像表示(Im_1)和区域微分器灰度值(gTS),使得图像编码HDR场景的高度多功能使用成为可能,特别是以与现有MPEG视频编码标准兼容的图像格式对它们进行编码。

著录项

  • 公开/公告号CN104541301A

    专利类型发明专利

  • 公开/公告日2015-04-22

    原文格式PDF

  • 申请/专利权人 皇家飞利浦有限公司;

    申请/专利号CN201380016969.1

  • 发明设计人 M.J.W.梅坦斯;

    申请日2013-03-25

  • 分类号G06T5/00(20060101);H04N1/60(20060101);H04N1/64(20060101);H04N19/102(20060101);H04N19/14(20060101);

  • 代理机构72001 中国专利代理(香港)有限公司;

  • 代理人张同庆;汪扬

  • 地址 荷兰艾恩德霍芬

  • 入库时间 2023-12-18 08:20:29

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-11-03

    授权

    授权

  • 2015-05-20

    实质审查的生效 IPC(主分类):G06T5/00 申请日:20130325

    实质审查的生效

  • 2015-04-22

    公开

    公开

说明书

技术领域

本发明涉及装置和方法以及得到的如数据存储产品那样的产品或编码信号,其用于对至少一个图像或视频进行改进的编码,特别是对相比于传统图像具有增加的动态范围的图像(称为高动态范围HDR图像,并且传统图像称为低动态范围LDR)进行编码,以及对用于或来自各种图像表示的、具有增加的明度信息(也称为高动态范围)量的图像信息进行编码。

背景技术

最近,关于对图像/视频(不论是捕获的场景还是计算机图形)进行编码的新发展已经出现,即期望的是,更好地捕获自然中出现的高达像例如25000尼特(nit)(例如日光照射的云)那样的大亮度值以及经常还有像0.01尼特那样的低值的客观亮度和颜色的整个范围,这被称为HDR(高动态范围)编码。迄今为止,经典的图像捕获系统(即在照相机处开始——以及甚至典型地相对均匀的适当的场景光照——其后针对例如图像存储或传输而编码,直到图像的显示的链)已经以严重失真的方式处置了高动态范围场景(即其中同时存在具有低亮度和其中显著的对象的重要暗区,以及具有高亮度的亮区,特别是如果还存在中间亮度(各种灰度)的各种重要区,特别是如果那些场景亮度中的若干个可能不易于由链中的组件映射成可使用的东西,诸如例如显示器上的基于线性映射的再现)。例如,如果动作发生在第一光水平(照度)的围封体积内部(诸如汽车或房间),诸如透过窗户看到的环境之类的较亮光照区可能已经被捕获,或者至少在信号中以非常低的质量(即柔和、褪色的或限幅的颜色)加以表示。相比于例如赛璐珞胶片的较为宽容的行为,这对于较便宜的基于CMOS的照相机而言尤为如此。特别地,几乎极少的有代表性的代码值可以已经与这些亮区中的对象相关联,这可能导致对象纹理的劣质表示,或者甚至对用于编码的颜色空间的最大值的生硬限幅。在所捕获的图像的亮度轴的这些区域中具有如此至少的数据的情况下,同样意味着处理功能(例如优化显示图像对比度)可能具有产生良好的最终像素数据方面的问题。在如今和在不久的将来具有可用的比以往更好的显示器(例如具有数千尼特的峰值视亮度)或者至少更加智能的图像处理技术的情况下,人们可能期望对该情形加以改进,以能够创建较高质量的再现图像。

出于种种原因,至少在将来许多年内,人们可能期望某些形式的向后兼容性,这意味着所谓的低动态范围(LDR)编码的数据必须可用或至少可从可用编码容易地确定,使得例如新颖的升级视频处理盒能够将LDR信号递送到较低动态范围显示器(例如移动显示器)。同样从存储的角度来看,以尽可能多功能的方式存储图像信号可能是非常有用的,即不仅仅具有关于场景的有用数据的最大的量,而且以该数据将服务许多潜在的将来应用的方式,尤其是如果以简单的方式。典型地,例如花费如此之多的心力拍摄电影,使得原始信号非常宝贵,并且人们以技术所允许的最佳的可能方式对其进行更好地编码。不要落入这样的圈套,即甚至对于节目的熟练编码是用于后代的更好质量的显示器系统而低于当数据被不同地编码时本可以达到的。这不仅避免了不得不到处做昂贵的特技,而且读者能想像到,像是王室夫妇的婚姻或者普通夫妇的婚礼视频那样的一些要记录的事件将不会重做。并且尝试重灌制这样的视频以用于新一代的显示技术,如果不是非常困难,也至少是棘手的。优选的是,正是通过其编码结构,编码允许在最开始就最佳地捕获场景,并且甚至容易地顾及稍后的改进。独立于其如何在特定显示器上再现和观看环境,以诸如JPEG之类的当前LDR编码呈现的信息(尤其取决于特定捕获场景和所使用的照相机系统)当前被视为(限于)大约11个线性位或停止。当然如果编码被直接用于再现(例如参考显示),一些信息位可能不是可见的。另一方面,编解码器可以包含来自最初的场景或者图形组合(参考场景)的信息,其例如当显示器正在借助于图像处理改变其人类可见的色域时能够变为相关的。因此重要的是使至少较为重要的图像对象良好地表示在所编码的图像中。

HDR捕获链不仅仅是使照相机指向具有在最暗与最亮的对象之间的大亮度对比率的场景处和线性地记录场景中存在着什么。它不得不算出用于所有对象的中间灰度值确切地是什么,因为这传达了例如电影的情绪(使场景已有的一些对象变暗可以传达阴暗的情绪)。并且这是复杂的心理过程。人们能够例如想像,在心理上,亮光是否以与其余再现的灰度值的如该光的场景亮度与其余场景对象亮度那样的比例准确再现在显示器上并不重要。相反,如果像素被再现有“一些”高显示输出亮度,则人们将具有实际的灯的可靠印象,只要这充分高于画面的其它部分即可。但是在自发光与反射对象之间的分布(在场景的各种照明区中)也是取决于显示器色域和典型观看条件的任务。并且人们可以想像到,优选地完成较暗区的编码以使得其能够被容易地使用在不同的再现情境中,诸如不同的平均周围光照水平,对于较暗图像内容具有不同水平的能见度。一般而言,因为这是困难的心理任务,艺术家将卷入创建最佳图像,其称为颜色分级。特别地,当艺术家做出分离的LDR分级时,其非常便利,即使这在“纯粹的HDR编码策略”中完成。换言之,在这样的情境中当编码唯一的HDR照相机RAW信号时,我们还将仍然生成LDR图像,这不一定是因为它在将来要被用于大LDR部分的视频消费市场,而是因为它传达关于场景的重要信息。就是说,在场景中将总是存在更重要的区域和对象,并且通过将这些放在LDR子结构(其在概念上能够被视为自动曝光算法的艺术对应物,不过在完整捕获之后,并且关于该范围外部的所捕获的照度)中,这使得更易于对中间范围表示(MDR)做出各种转换,其适于驱动具有特定再现和观看特性的显示器。通过使用这样的技术框架,我们甚至能够以单个编码图像,对例如具有50 尼特的峰值视亮度(室内,或与高室外照度竞争的较高视亮度)的像是移动显示器那样的LDR显示器、比方说1200 尼特的中间范围峰值视亮度MDR显示器和比方说8000 尼特峰值视亮度的HDR显示器同时进行泰勒(taylor)。特别地,人们可以根据若干准则调整该LDR部分,例如其以良好质量在标准参考LDR显示器上进行再现(颜色尽可能地看似在HDR显示器上的那些),或者传达某个百分比的总捕获信息(例如某些量的图像是可见的)等。我们将在我们以下提出的编解码器中实现,这样的接收显示器能够从该单个包罗万象的场景编码(或分级)能够容易地标识例如暗区是什么,使得它能够鉴于其显示系统的已知特性而最佳地对其合并的能见度进行泰勒。

不存在那么多编码HDR信号的方式。通常在现有技术中,人们只是本地地编码HDR信号,即人们(线性地)将像素映射到例如16位浮点字,并且然后在与LDR编码类似的基本原理中,最大捕获亮度值是HDR白色(尽管在心理视觉上,这通常不是场景中的某种反射性白色,而是灯的亮色)。这是如照相机所捕获的最初场景对象亮度的本地针对场景的编码。人们还可以经由一些“最佳的”亮度变换函数将完整范围HDR信号映射到8位LDR范围,这将会典型地是伽马函数或类似物。这可能牵涉损失颜色精度(鉴于在用于这样的编码的范围和精度之间的折衷)与对应的再现质量问题,尤其是如果在接收侧处诸如局部照亮之类的图像处理是可期待的,然而图像对象的主导灰度值分级(例如对象之上的平均)被大致维持(即其相对/百分比的亮度关系)。

现有技术也已经教导了针对每个HDR图像使用两个画面数据集的一些HDR编码技术,其典型地基于一种可缩放的编码概念,其中通过某个预测函数,精炼“LDR”编码的局部纹理的精度,或者更准确地说,即投影到该纹理的HDR版本,这典型地通过缩放LDR亮度(那些技术中的LDR时常不是已经适于在典型(参考)LDR显示器上的最佳再现的吸引人的LDR等级,而是典型地为HDR输入上的简单处理)。然后第二张画面是用于使预测的HDR图像接近于要编码的最初HDR图像的修正画面。通过充当某种范围/精度限定准则的预测函数,存在与单个HDR图像编码的某种类似性,只有在这些技术编码通过两张画面执行。

缩放基带图像的亮度牵涉应用变换,并且通常逐块地定义该预测变换,以减少要编码的数据量。这可能是已经浪费的数据方式,因为许多块将包含相同的对象,而且因而需要相同的变换。

如所述的,鉴于增强图像的范围和清晰度,最初HDR图像与预测的差异可以被尽可能地协同编码为到所期望的程度的增强画面。例如,可以表示1168的HDR灰度值,其除以8而到值146。该HDR值可以通过再乘以8来重建,但是由于值1169将会量化到相同的基层值146,人们将会需要等于1的增强值以能够重建高质量HDR信号。这样的技术的示例在专利EP2009921[Liu Shan等人,三菱电机:Method for inverse tone mapping (by scalling and offset)]中被描述。关于这样的方法的有趣问题总是增强方法实际上带来什么来作为视觉信息改善。它时常被盲目应用,而且可能例如对于纹理化的区域有时并未贡献相关的附加信息,尤其是对于快速改变的视频更是如此。

另一种两画面编码被描述在当前尚未公开的申请US61/557461中,其全部教导通过引用并入于此。

现在就所有的现有HDR编码而言都存在问题。根据内容创建者已经在例如电影(特殊效果)中投资如此之多后所期望的,仅仅应用全局变换可能过于粗糙。其它应用可能不太关键(像是电视节目制作),但是对最终外表的良好控制仍然是合期望的。以需要许多编码数据位为代价,那将会至少实现。另一方面,逐像素地指定错综复杂的变换还牵涉大量要编码的数据。这适用于例如需要编码作为光照提升映射的第二图像,以用于在第一图像中被编码的对象纹理反映。而且,人们随此盲目地编码可能发生在输入上的任何东西,而不太了解关于图像中实际有什么(即不允许多功能使用),甚至没有意识到在提升图像中可能存在大量冗余。不必说该盲目的数据易于用于智能算法,像是例如显示器侧的画面改善或优化算法。

以块为基础工作减少了数据量,但是仍然不是最佳的。特别地,该块结构同样对实际图像内容相当盲目,并且更恼人的是,强迫新的几何结构为块网格(其与底层图像无关,并且可能因此或多或少地与图像特性(特别是图像几何结构)方便地匹配),意味着可能发生若干块编码有关的伪像。事实上,块只不过是大的像素,并且并不真的是智能内容有关结构(既非关于该对象或区域的颜色-几何结构,也不是其语义含义,诸如它例如作为应当大部分被隐藏在黑暗中的对象)。

以下实施例旨在提供缓解那些伪像中的至少一些的简单技术措施。

发明内容

HDR图像的简单且可容易使用的编码可以通过在本文中呈现的实施例概念来实现,该实施例概念遵循涉及用于对高动态范围场景的图像进行编码的图像编码器(549)的原理,其包括:

-像素纹理编码单元(552),其被设置成用包括N位码字的图像表示(Im_1)对图像的像素颜色进行编码;

-图像分析单元(550),其被设置成确定和输出区域微分器灰度值(gTS),其是亮度值,该亮度值划界它其以下的图像的至少一个块中的第一对象的所有像素的亮度和在它以上的图像的至少一个块中的第二对象的所有像素的亮度;以及

-格式化器(554),其被设置成在输出图像信号(S(Im_1,MET(gTS))中协同编码图像表示(Im_1)和区域微分器灰度值(gTS)。

仅仅通过仅一个或几个这样的区域微分器灰度值(s),人们已经能够传达HDR场景的基本特性,诸如在图像中存在“白色之上(above_white)”或“过分明亮(overbright)”区域。白色之上意味着在正常照亮的区域中白色以上的场景亮度,例如在场景的主要部分中,将从正常(如例如根据光照设备设计者)照亮的白纸记录的白色。微分器是到协同编码场景的语义内容的优良方式。例如,在真实场景并不是仅存在一种白色,如经典的图像编码所假设的那样。在经典的LDR图像编码中,人们的确照亮其中动作近似均匀发生的场景,并且然后最白的反射对象(在主要图像区域的最亮照明中)将典型地确定图像编码的白色点。取代限幅例如室外对象,也可能包括一些白色之上对象,例如通过指定用于再生伽马曲线的特定曲线拐点的摄影师,但是这仍然链接到主白色(例如超过该白色6倍)。

在实际的场景中,可以存在例如非常明亮的阳光明媚的室外场合。甚至在将这两个区域一起塞进较少量的位编码中时(例如将其表示为8位经典画面),人们想要这两个区域/范围在亮度轴上彼此分离。这意味着稍后(或者例如在转码中间或者自动关于等等)人们可以更加智能地对待这些区域。我们已经在上文谈论了灯对象。再现显示器可能想要根据定义“尽可能明亮的”和“但是对观看者并不过于眼花撩乱”中的一个或多个的准则再现它们。然而为此,可能需要不同地并且甚至不连续地对待那两个图像区域(灯 对 场景的其余部分),并且因此可能需要知道在图像中什么是该灯对象。经典的基于伽马函数的编码将典型地在后处理期间将灯移动到取决于所使用的伽马而不是场景语义连同再现系统色度细节(诸如显示能力、周围光等等)的某个再现亮度位置。如果人们知道其组成亮度区域方式,即例如几个黑暗范围,例如“明亮黑暗”、“平均黑暗”和“超级黑暗”,可以为较暗区做出类似的技术推理。这样的代码(即灰度值微分器)可以数字地意指某件事物,但是我们的方法允许颜色分级员,从而制成例如用于比方说蓝光盘上的存储的最终主HDR,以将它们与在语义上有意义的区域搭配。例如,在恐怖片的黑暗地下室,平均黑暗可能是墙要再现的颜色(最终在再现显示器上,根据针对显示最佳性而映射的其最终最佳色调),而明亮黑暗(即要再现的在平均黑暗与明亮黑暗之间的亮度范围)可能是像是刀具和折磨器具的那些墙壁上的工具以使其更加可见(鉴于再现侧色度详情),并且超级黑暗可能例如是黑暗角落,其中可能隐藏罪犯。超级黑暗的角落区域然后是我们的第一对象,并且平均黑暗主区域是我们的第二对象,就像在室内/室外场景中,阳光明媚的室外可能是第二对象,并且室内是第一/主对象。

而且,这两个子区域(例如平均照亮的主要动作和灯或者阳光明媚的室外)在所编码的图像表示中可能如此接近以使得实际上接触以便不浪费其间的亮度代码,这使得它们在接收侧极其难以盲目地分离。而且存在该特定亮度值,其标记它们之间的边界,这因而被协同编码为用于在接收侧的容易(而且简单)的场景理解的区域微分器灰度值(gTS)。并且这然后允许各种应用,诸如HDR编码和从接收侧处的8位图像的容易重建,诸如颜色重映射之类的图像处理等等。

有利地,图像编码器(549)包括亮度映射确定单元(553),其被设置成确定用于第一和第二对象中的至少一个的亮度映射(TOM),该亮度映射限定了如编码在图像表示(Im_1)的像素亮度与第二图像表示(IM_RC_HDR)中的像素亮度之间的映射;并且被设置成向被设置成将其协同编码到输出图像信号(S(Im_1,MET(gTS),TOM)中的格式化器(554)供应亮度映射(TOM)。可以以各种方式确定这样的亮度映射,其中考虑到如一方面画面中的信息的最佳说明(例如相对可靠地编码特定复杂度的纹理所需要的代码量,像是树木的颗粒)以及另一方面通过例如限定典型地在参考显示器上的亮度位置的外观这样的原理。

内容创建者可以将其留在接收侧以完成其期望的处理,例如最终的显示再现。仅仅具有一个gTS对许多情形已经足够,因为接收侧系统然后显然知道明亮的对象是什么,因为它们具有在gTS以上的亮度。然而,(多个)联合编码区域微分器灰度值的该系统允许HDR场景的多功能得多的编码(在元数据中关于其组成或甚至语义含义的知识)和结果地,该数据的各种使用。例如内容创建者可以提供关于如何将编码在Im_1中的像素颜色/亮度映射到各种其它颜色空间的一个或多个情境,诸如用于在不同的显示器上的再现。他可以编码例如用于(大约)一种类型的显示器的若干值(例如具有接近4000 尼特的峰值视亮度,即旨在用于具有在3000和5000 尼特之间的实际峰值视亮度的LCD或者OLED显示器),使得显示器能够最终从所有编码的变换知识选择最终的再现策略(整理内容创建者期望他的图像最终看起来如何)。例如在具有较少可显示的动态范围的显示器上,用于较亮的区域的单个微分器可能已经足够,因为它不具有再现亮区的这样高的能力。然而,如果其包含指示不同种类的亮区的较多gTS值,8500 尼特显示器可能更加有利地利用内容,因为在知晓明亮亮度的物理可再现子色域的情况下,它可以来将不同的亮度子范围分配给例如室外阳光明媚的对象(关于例如第一种类的灯对象)和接近灯对象的较亮类别的峰值视亮度的更明亮的区域。

对在分级中投入大把时间不太感兴趣的内容创建者可以例如仅指定两个等级,例如他可以从Im_1或其某种自动的变换开始,作为用于LDR再现的“足够良好”,并且然后花一些时间微调改进该映射以获取改善的HDR图像(例如具有额外的明亮室外区域、光或窗户)。因此他可以指定例如8位LDR图像(我们将称其为LDR容器)以及然后的一些函数,首先从LDR_容器近似恢复原始主HDR图像(例如在本地浮点数16位编码中)的映射函数,以及其次允许该HDR图像的一个或多个调整的一些函数。例如,他可以指定例如90%以上的亮区的映射以用于显示在14000 尼特的第二参考显示器上(第一参考显示器可以是原始主HDR等级在通过下映射用LDR容器对其进行编码之前原始主HDR等级为其分级的显示器,例如5000 尼特显示器)。类似地,这些功能可以用于下调到大约2000 尼特的MDR显示器,例如通过反转其映射的行为。在最简单的变型中,投入较少时间的分级者可以仅仅指定一个或多个gTS值以用于电影中的至少一些场景,并且将其留给显示器或者再现器(例如打印机)来查明用于其再现特性的良好变换将是什么。

接收侧图像处理装置然后可以例如从信息的这两个或更多集合(Im_1中的所编码的LDR容器画面和至少一个微分灰度值gTS,并且如果可用,分级者根据他的期望指定无论什么映射函数信息)确定其最终等级。例如,参见图2b,内容创建者可以在信号中规定,对于非常暗的对象的HDR再现,部分映射PD_BLCK(i+2,j)要被使用(以下详细解释),并且对于LDR再现,较亮的映射PD_BLCK(i,j)可能或者应当被使用(即非常暗的对象然后被视为楼梯)。现在比方说1500 尼特峰值视亮度的接收显示器可以决定使用这两个策略中的任一个(例如最接近其峰值视亮度,LDR分级/映射用于至多750 尼特(因此可能对于400 尼特更多)和用于至少例如2000 尼特的HDR),或者可以以某种方式在它们之间进行内插,这对于这两个线性函数而言将会例如意味着在它们之间的一半处应用线性函数。系统允许内容创建者将HDR视为“HDR效果”(例如提升明亮光),像是从向导(wizard)的手发射的等离子体球。

我们的方法可以在Im_1编码是比原始的图像(主HDR)更少的位的编码(其与较少的动态范围不同)时使用,例如具有经典的8或10位亮度编码。在这种情况下,该图像Im_1可以被限定用于较低动态范围的参考显示(和峰值视亮度,典型地,例如500 尼特),并且微分器gTS可以用于自动地确定用于较高显示器动态范围的分级(例如用于具有2000 尼特的峰值视亮度的显示器)。但是当然类似地,单个编码图像Im_1可能例如被指定例如用于2000 尼特参考显示器(即直接可用于驱动该显示器,或在再现之前至少需要微小的色度修改),并且在这样的场景中,gTS值(和像是变换函数规范那样的其它数据)尤其对于下映射可能是有用的,以获取用于较低动态范围显示器的驱动图像,像是例如便携式显示器。

即有利地,图像编码器(549)在使用场景和技术构造中操作使得第一和第二图像表示之一是高动态范围表示,HDR表示被编码例如用于具有至少750 尼特以上的峰值视亮度的参考显示器。即它将是可使用的而无需大的进一步修改以用于驱动HDR显示器与艺术家所意图的近似地再现图像。这样的HDR表示可以例如是3x32位整数或3x16位浮点数表示(RGB,或YC1C2等等)等等。尽管该编码策略能够被用于各种颜色空间表示之间的各种场景(例如在具有第一白色、分配亮度代码等的伽马函数的第一16位HDR表示与例如第二12位HDR表示之间),但是如果至少一个图像(输入或者输出)或者图像的至少一部分是高动态范围则它特别有用(即无论这样编码的还是这样获取的都可用于利用高色度质量驱动HDR再现显示器,等等),并且特别地当用几个位(即例如8或者10而非例如14或者20)的亮度字来编码HDR时,它是有用的,在这种情况下,它能够使用具有传统能力或接近于此的能力的系统中。为了解释的完整性,最近的常见已知技术术语高动态范围典型地意味着在原始的场景或者再现中较高的视亮度,其比经典的当前LDR成像场景更高,或者甚至更准确,如下文所述:较大范围的光照表现(例如根据观看者的人类视觉系统,但是当然在像亮度那样的技术代码中体现)。尽管人们可以参考具有在不远的将来最大可预期技术能力的最终显示器而良好地定义这样的参考显示器的信号,理想地,至少部分地参考场景定义HDR图像(因为人们从不知道将来的显示器将对所编码的内容做什么,并且没有经验的狂热爱好者将会说图像需要至少存储潜在的非常高质量的照相机或图形程序可以捕获或产生的事物),但甚至然后代替使用参考照相机模型,人们可以仍将这编码为由其非常高质量的显示器近似的场景。事实上,在0与Lmax之间的任何编码,利用不管什么样的代码分配函数,也可以视为在具有Lmax的峰值视亮度的这样的理论显示器上可再现,并且甚至在遥远的将来,鉴于人类视觉的固定限制,人们将从不实际需要可靠地再现太阳的亮度,不是在大的墙壁包围显示器上,并且尤其不是用于在小的立体角处观看所有的图像内容的较小显示器。因此,分级者可以选择用他期望的任何参考显示器(无论是500,000 尼特的峰值视亮度中的最终理论上的一个,还是更务实的像是10,000 尼特的一个)来编码图像,只要他联合指定在他的编解码器定义中定义元数据的该比色法(colorimetry)。

有利的是,图像编码器(549)被设置使得它编码在包括从图像表示(Im_1)编码像素颜色的若干N位码字的区段之间的若干区域微分器灰度值(gTS_D_Loc_1,gTS_D_Loc_2)。这允许创建者(或甚至自动处理软件)能够分配例如用于图像的不同部分例如“最暗的阴影部分”的不同值,并且因此具有对图像的可调性的较高控制。例如,在图像中的中央几何区域中,人们能够(不)隐藏被定义为例如码值10以下的较暗对象,并且在角落里最暗的对象在代码值5以下。这可以处置各种物理情形,像是例如几何改变的照明,其中对于成功进行局部gTS的重定义的块,在黑暗和最暗对象像素之间的关系可以改变若干次。在物理关系(例如在可承载的存储器上)中的区域微分器灰度值到图像纹理数据(Im_1)的实际编码可以以各种方式执行,但是有利的是,如果所需的元数据被穿插编码有像素颜色块数据,正是在这些位置它是适用的,即典型地在具有gTS以下和以上的灰度值的双重关系的画面中的第一个块之前(典型地用于随后块的分段或处理)。

有利的是,图像编码器(549)被设置成其在若干连续图像的运行之前编码区域微分器灰度值,这作为用于所有那些连续图像的区域微分器灰度值。当然更重要的区域微分器灰度值可以以不太规律的间隔编码,因为它们可以适用于例如到整个镜头或场景。例如,人们可以编码若干策略以用于编码针对不同再现环境的较暗区以用于电影的黑暗恐怖惊悚的部分。稍后在电影里,在户外白天的场景中,在该场景的第一个图像之前,人们可以分离地编码要被主要使用的用于天空的光亮化策略。这允许在镜头或场景的基础上指定处理,例如确定地下室的最暗的部分,并且这样的定义可以在比方说两个黑暗地下室镜头之间中的户外的间歇性镜头后再次发生。

有利的是,图像编码器(549)被设置成它编码不与存储图像表示(Im_1)的存储器物理邻近的存储器中的至少一个区域微分器灰度值,连同允许每个相应的至少一个区域微分器灰度值与对其使用的图像表示(Im_1)的几何区域的关联的几何关联代码,几何关联代码典型地至少包括图像表示(Im_1)的块的坐标。这允许例如重制作原版盘或观看体验服务。公司可以采取例如传统电影(或者甚至是根据本原理已经处理的程序或游戏等),并且让分级者做图像的新的分析。然后可以例如在互联网上的服务器上保存区域微分器灰度值和新的映射函数等。然后,观看者可以选择,例如通过从服务器下载元数据观看“Artist_X新分级”之下的电影(潜在地覆写任何现有的划界和/或分级元数据)。该选项可以例如通过用户接口在开始电影时提供。各种灰度微分器gTS允许各种意图处理函数的联合规范,并且该结构可以被参数化地处置以用于例如最终再现设备色度映射的简单重说明或数据的重分级(其不需要改变Im_1代码)等。例如可以不需要较暗亮度子范围中的三个gTS来用于第一处理策略,其可以仅仅是在gTs1和gTs3之间的所有亮度之上的非线性伸展上的线性,但中间区域的第二gTS2规范可以使用在更复杂的映射策略中。例如再现侧显示器可以推选以处理给出良好的视觉对比度的gTS2和gTS3之间的亮度,但几乎限幅gTS2以下的值。转码器或类似的中间装置可以例如在gTS1和gTS2之间的亮度上应用软限幅,其仍包含原始捕获的一些信息,尽管具有很少的精度,因为这将无论如何是大多数显示器上几乎不可见的暗区,即需要更少的编码质量。创建者已经以这种方式使用gTS2来指定关于成像的场景的附加语义信息,即图像的哪些较暗部分不太相关。分离的结构可以比与像素数据块交织的元数据更复杂,并且被更自由地操纵。

有利地,图像编码器(549)被设置成它将区域微分器灰度值的第一预留值编码成输出图像信号(S(Im_1,MET(gTS)),这指示,对于位于根据贯穿图像的扫描方向超出利用第一预留值可标识的位置的、图像表示(Im_1)的至少一个几何区域,从如编码在图像表示(Im_1)中的像素值到第二图像表示(IM_RC_HDR)中的像素值的变换根据预定的算法执行。

用于区域微分器灰度值的特殊值,像例如“0”或“-1”(显然不是在[0,255]范围上的有效亮度)可以指示场景的以下区域要区别对待。例如,在编码中,解码器可以被称为图像信号的非常不同的部分(例如,连接可拆卸存储器的不同扇区),其现在被咨询以获取最终的输出信号(例如,由于某些原因,一些图像可以根据一些两层技术来编码,像是例如不同的信号特性,或来源等)。在这种情况下,编码器可以例如将该第二存储器扇区的这样的块拷贝到本地位置,例如,潜在地在其上做进一步变换之前在Im_1中,或者可替换地作为最终的亮度值。当处理图像时,输出亮度可以通过应用计算机图形再现算法来部分地获取。或者这样的代码可以指示另外的图像变换不得不被应用来改变局部像素亮度或纹理的外貌。假如扫描路径(将算法带到图像中的某种起始位置(x,y),即可标识的位置)是通过指定区域的一些另外的元数据补充的,则区域可以是任何事物,例如,它可以是始于从(x,y)偏离的位置或具有在该处的中心的椭圆。然而典型地实施例将在基于块的系统中有利地使用,在这种情况下例如(一些)连续的16×16像素块是几何区域。

有利地,图像编码器(549)被设置成它将区域微分器灰度值的第二预留值(gTR)编码成输出图像信号(S(Im_l),MET(gTS)),从而指示对于至少一个连续图像,显示器应当用预定值以下的最大输出亮度来再现它。例如值255或260可以指示图像的一部分或若干连续图像将被用减少的亮度再现以节省电力。

有利地,图像编码器(549)具有被设置成通过变换链接规则确定用于第一和第二对象中的至少一个的若干不同量度映射(TOM)或者被设置成利用处理指示符(PROC_IND)指示若干不同亮度映射可以用于将第一和第二对象中的至少一个的像素颜色变换成第二图像表示(IM_RC_HDR)的新的颜色表示的亮度映射确定单元(533)。由于现在各种相关(不同视亮度)对象在如编码在任何图像表示中的场景中可容易地标识,还易于以任何合期望的方式变换它们。例如,若干不同的颜色变换策略可以应用于比方说高度明亮的对象,用于若干意图不同的再现显示器,或者观看环境的周围照明,或用户偏好设定等等。例如,具有高峰值视亮度(即在再现图像的较亮子区域时的高水平能力)的一些显示器可以使用接近于或受启发于具有用于如第一映射策略限定的较亮区域的反差外观的第一策略的最终映射,而质量较差的较低峰值视亮度显示器可以严格或近似地遵循第二映射策略,其在这样的亮区的至少一些像素的跨亮度(interluminance)距离上具有减小的效果。并且这些变换可以是(部分)联合编码有或在图像信号中,或(部分)留到任何接收侧(无论最终的还是中间的),其中后一种情况下它可能是有用的,如果图像信号包含哪些变换的种类合期望或者反之不合期望的一些粗略指示等等。注意,取决于进一步的使用,一个或多个映射可以指定要严格遵循的变换,对比度最终的再现显示器应当做什么的粗略指示的变换。前一种情况将典型地发生,例如假若映射实际编码一些准确的分级(像是例如从其8位LDR容器编码的主分级),并且后一种情况可以应用在变换是指示主像素亮度数据可以为若干种类的显示器如何进一步优化的另外的变换时。例如,较低峰值视亮度显示可以研究软限幅策略的函数曲线(其可以在若干重要的语义gTS值之间指定),并且然后使用最终的色调映射,其近似地维持在规定的视觉外观。

在接收侧处人们可以构建作为用于解码高动态范围场景的编码图像表示(Im_1,MET)的图像解码器(605)的、解码器侧的大部分镜像的技术,包括:

- 像素纹理解码单元(608),其被设置成从编码图像表示(Im_1)获取像素颜色包括数据,其表示解码图像(IM_INTRM)的像素的亮度;以及

- 去格式化器(607),其被设置成从编码图像表示(Im_1,MET)提取区域微分器灰度值(gTS)。

该至少一个区域微分器灰度值gTS然后可以用于进一步的图像处理,诸如例如用于给定再现显示器和环境的最终的最佳颜色映射的确定。因此,我们的方法是链接原始的显示无关的颜色编码和最终的显示相关的颜色编码的良好方式,其作为目的可以例如具有例如它应当在显示器观看环境中如它们在原始场景中被人类观看者所看到的那样近似地再现颜色。然而,实际的图像编码可以是从其非常不同的(因为我们已经典型地参照一些现实的参考显示器编码它,然而这可能仍然非常不同于实际的再现情形:例如主HDR图像被编码用于相对暗的周围家庭观看条件,并且家庭电视然后微调它以得到最终稍微较亮的条件;然而:许多复杂性已经在朝向一个或多个现实的参考观看显示器的主级中完成,留下对显示器的较简单的最终颜色变换策略),由于正常来说将不存在像素亮度顺序的反转,当进一步成像时表征场景并且允许容易的显示情形可保持性的良好方式是通过在语义上将其拆分成亮度/亮度子部分,特别是典型地将是重要的并且关于它们在若干显示情境中高度可变的那些,像是例如图像的最暗或最亮区。要注意,我们可以使用字亮度来指定像是例如分段那样的所有数学运算,因为这样的亮度将经由某种编码映射策略涉及实际亮度(例如当图像在参考显示器上输出时),所述策略是如伽马2.2那样的伽马映射的(潜在不连续的)一般化。

有利地,该图像解码器(605)包括:图像分段单元(606),其被设置成使用区域微分器灰度值(gTS)以获取解码图像(IM_INTRM)中的较低亮度的段和更高亮度的段,即基于(多个)区域微分器灰度值做出图像理解分离,使得像是例如优化的噪声处理的稍后处理可以对最终不同地再现的区域不同地完成(具有例如在较暗的部分中噪声的较小的能见度)。

有利地,图像解码器(605)包括像素颜色变换单元(609),其被设置成应用第一颜色变换(PD_BLCK(i,j))从而将像素颜色的至少亮度值变换成例如较低亮度的段中的恢复的主HDR图像的像素,并且被设置成应用第一颜色变换(PM_BLCK(i,j))从而将像素颜色的至少亮度值变换成较高亮度的段中的像素。因此人们可以确定,例如高动态范围的显示器上再现的最佳驱动画面(低和高,较低和较高可以被技术人员理解为是指彼此,例如,如果图像像素的颜色编码应用于350 尼特的参考显示器,将其变换成意图用于2000 尼特的参考显示器的表示,这意味着该第二图像具有更高的亮度,或不同地表示比原始图像更高的动态范围)。这样的分离意味着高得多的质量但简单的编码。如果人们不得不用单个策略编码完整图像,可以通过平均出所有种类的错误来仅到达近似的外貌(例如面部不得不是亮的,但然后黑暗的地下室视亮度变得过高,因此我们使面部变暗得略低于理想,而地下室仅仅过亮了一点点)。然而现在,我们可以例如如我们所期望的变暗地下室,然后在本地通过用阈值和更新策略定义它来修正面部。另外该部分定义使得可以容易地改变仅仅一些映射。例如,通过地下室场景的镜头的若干图像,由于光改变和/或照相机运动,PM_BLCK(i,j)可以保持适用于整个场景,但较暗部分的捕获(或需要的外观)可以随着我们从头到尾观看镜头的连续画面而改变。然后,我们可以在例如镜头中的第五张图像之后加载不同的PD_BLCK(i,j)函数,从而抵消该黑暗的角落已经从现在开始变得有点较为明亮,并且需要映射策略,其适当使其变暗,当然也使用PD_BLCK(i,j)的适当的功能形状来处置纹理能见度等等。

有利地,图像解码器(605)被设置成将特定的颜色变换策略应用到第一和第二对象中的至少一个的像素颜色,如果去格式化器(607)提取预留值的区域微分器灰度值(gTS),诸如例如0或255的值。同样当在输入信号的任何地方检测到时这些预留值可用于立即恢复到任何回退处理策略。典型地另外的细节将在回退应用于的东西上可用(虽然不是必需的,因为接收器可以只是通过自身执行例如基于图像分析的任何事)。例如,如果图像信号存储在存储器上,可以存在连续的回退策略的扇区(例如,定义图像处理方法的算法代码和其所需的数据),并且然后在每次检测到特殊的回退预留代码时,接收图像处理装置跳转到下一个回退方法来应用它。或者代码可以指代应用哪一个回退(潜在地多次),例如260指示应当使用第一个存储的算法,261指示使用第二个存储的算法等。

有利地,图像解码器(605)包括变换确定单元(610)其被设置成从没有与任何编码的图像表示(Im_1,MET)的数据相关联的存储源选择像素颜色变换策略。以这种方式,接收侧解码器具有更多的多功能性,以决定什么要用于变换像素亮度。例如,它可以从它自己的存储器抓取函数,并且例如取决于所标识的对象的属性(诸如其平均亮度)进行决定。或者,它可以通过网络连接抓取功能,潜在地在运行时由服务器确定。通过指定应用例如(任何)变暗映射(即具有作为视觉结果,即对象以某种方式看起来更暗,的变换,如平均视亮度结合对比度修改,和/或在非常暗的,例如限幅到黑色像素等的对象中的增加的区域)是合期望的,信号仍可以部分地引导这方面,在这种情况下,再现侧应优选地不应用使非常暗的对象变亮的映射(当然考虑到由于周围照明等的能见度)。最终接收侧,不论是否在观看者的特定控制之下,当然可以决定(部分)符合该期望的联合编码的指南或忽视和遍历它们。典型地,虽然在图像编码(例如在其上编码的磁盘)可以例如规定变换不容忽视甚至也不松弛,但应严格遵循,或者反之并不严格遵循。

有利地,图像解码器(605)特征在于,变换确定单元(610)被设置成在再现环境中的至少一个参数的基础上,确定像素颜色变换策略,所述参数诸如显示器的特性,或周围照明的水平,或可以如通过照相机反映在显示器的前置屏幕上所见的颜色图案等。因此再次基于仅在其侧面可用的重要信息,接收侧装置可以至少部分地优化映射。内容创建者可以指定它的映射使用在某个显示器和观看环境的假设下(如大多数客厅的灯关掉,只用一些氛围光照,这可能确实是近似实现在现实中,其中观看者例如在观看者的一侧具有地板上的彩魅灯),但最终再现侧可以改变它们,对其甚至轻微的微调(这是最理想的情况)。虽然通常是不需要这样的量的精度,但是内容创建者指定在信号中,例如PD_BLCK(i + 2,j)意图用于存在比方说显示器周围的1 尼特的亮度,在这种情况下,如果再现显示器测量到2 尼特,他可以决定稍微改变PD_BLCK(i + 2,j)的斜率。在任何情况下,这可以是用于在接收侧处的处理算法的有用信息。

所描述的实施例可以以各种方式实现,例如,通过图像编码方法,其用于编码高动态范围场景的图像,包括:

- 用包括N位码字的图像表示(Im_1)编码图像的像素颜色;

- 确定并输出区域微分器灰度值(gTS),其为划界其以下的图像的至少一个框中的第一对象的所有像素的亮度并且其以上的在图像的至少一个块中的第二对象的所有像素的亮度的亮度值;以及

- 在输出图像信号(S(Im_1,MET(gTS))中联合编码图像表示(Im_1)和区域微分器灰度值(gTS)。

或者通过用于解码高动态范围场景的编码图像表示(Im_1,MET)的图像解码的方法,包括:

- 从编码的图像表示(Im_1)获取解码图像(IM_INTRM)的像素的像素颜色;以及

- 从编码的图像表示(Im_1,MET)提取区域微分器灰度值(gTS)。

或者作为包括软件代码的计算机程序,所述软件代码使得处理能够运行对应于所教导的实施例的任何方法,所述软件可以携带在盘或其它有形产品上,或者从网络下载,等等。

典型地,关于成像场景的编码的知识将从一个地点/装置行进到另一个(无论它们是在相同消费装置内的单元或者像是例如图像接收或处理盒和经由例如HDMI连接的电视或显示器那样的相同站点处的连接装置的系统,还是运行在不同国家中的装置上的服务),即借助于图像信号编码高动态范围场景区域的颜色,其包括N位码字编码至少区域颜色的亮度,以及区域微分器灰度值(gTS),其指示在用于编码N位码字的编码系统中,所述码字至少编码区域颜色的亮度、高动态范围场景中的较高亮度的像素的至少一个几何区域或编码那些的N位码字的较高值之间的划界,以及高动态范围场景中的较低亮度的像素的至少一个几何区域或编码那些的N位码字的较低值。代码系统是技术-数学表示,其定义从场景亮度(通过照相机捕获)并最终到要再现的亮度的偏离,典型地通过被称为亮度的物理量,其定义在轴上,并且典型地用覆盖轴的范围的数字码字(例如,00000000和11111111之间),或0.0和1.0之间的浮点数,并且具有分配函数(典型地是伽马函数),其将这样的亮度非线性地映射到亮度。可以典型地存在与代码系统相关联的另外的信息,诸如与最大代码值对应的再现峰值亮度。当我们谈到该信号,我们指的是指定的属性都以某种方式包含在信号中,但是它们可以以任何转化的方式被包含。例如,一些数据可以被合并或拆分,并以任何方式结构化。还可以存在到其它代码的变化,诸如例如调制,或冗余编码,以补偿潜在的位错误损失等。

HDR图像可以在存储器上被编码(例如,作为称为LDR容器的LDR 8位纹理图像Im_1,加上映射通过至少一个全局色调映射的主HDR级的重建的元数据),所述存储器诸如可拆卸的存储器,诸如例如存储这样的信号蓝光盘。

实际上,本发明的实施例可以在许多技术实现、情境或者使用中使用,诸如在任何网络技术之上的视频分发系统中,采用任何图像编码器、图像解码器、方法、图像信号或其它产品或任何所描述的实施例的实现,或该视频分发系统的任何使用。

以下描述的实施例的许多另外的变型当然是可能的,并且技术人员应当理解,它们可以例如在世界的不同几何区域中的不同的装置中实现,在不同的时刻应用它们的部分功能或者在各种商业使用情境中,在彼此之后应用若干次,等等。

附图说明

依照本发明的方法和装置的这些和其他方面根据以下描述的实现方式和实施例并且参照附图将是清楚明白的,并且将参照这些实现方式和实施例以及附图进行阐述,附图仅仅用作例示更一般的构思的非限制性特定图示,并且在附图中,虚线用来指明部件是可选的,非虚线部件不一定是必不可少的。虚线也可以用于指明被解释为必不可少的元件隐藏在物体的内部,或者用于不可触摸的事物,诸如例如物体/区域(以及它们可以如何在显示器上显示)的选择。

在附图中:

图1示意性地图示了高动态范围原始场景的各种表示,此时它们将在不同的情境中再现,即:图1a示出了用于当前高动态范围显示器、电影院显示、低动态范围显示器和室外使用的便携式显示器的相比于彼此的绝对再现输出亮度,并且图1b示出通用外观轴上的再现,其绝对参考系由标准人类观看者所定义;

图2(即图2a +图2b)示意性地图示了在两种颜色表示之间变换的各种子颜色变换如何(二者都在场景中限定了相同的图像视图)将被应用于非常不同的亮度(或明度)的各种对象的像素的至少亮度,其落入图像表示的块分解的若干块中;

图3示意性地图示了根据特定图像信号定义中的一些实施例来编码一些附加的元数据的方式,特别是如何编码在那些对其使用的像素颜色块之前的区域微分器灰度值;

图4示意性地图示了接收侧可以如何基于区域微分器灰度值获取图像中的非常不同的明度或光照的段;

图5示意性地图示了编码侧系统,其可以由颜色分级者、对应于我们的发明教导的编码器的示例性实现来操作;

图6示意性地图示了解码侧系统,其可以例如是包括作为主电视的这样的装置的消费者家庭显示系统,以及便携式图像浏览器,和图像处理装置,诸如中央计算机,其管理所有视频的分发和最佳处理以用于不同的显示器;

图7示意性地图示了设计亮度(或明亮度)范围映射到的区域如何能够被精心选择成缓解像是压缩错误的问题;以及

图8示意性地图示了我们的系统如何可以用于像素或对象颜色不得不被映射到最佳的颜色以用于具有相当可变的技术特性的许多显示器的情境中。

具体实施方式

图1(即图1a和图1b)示意性地示出了原始HDR场景(Orig_SCN)如何可以最佳地表示在4种类型的显示器中(3典型和假设的一个,以更好地说明这一点,即在晴朗照明之下的低对比度的电子阅读器,具有可再生的输出亮度的仅小范围R_ERDR_OUTS),以及图像编码技术应当如何适应于此。我们强调,人们需要在概念上将关于最终的场景再现的想法(即特定的显示器在物理上输出的亮度)从图像对象亮度的编码划分开。这是不同于像是MPEG2的经典电视成像技术(它总是使这两个对应的颜色空间相等)的技术理念,使得例如伽马2.2编码信号可以直接应用于(标准)显示,给出(近似)正确的(以校准方式确定的演播室侧)再现输出。这仅仅在如果具有封闭的链时有用,即为特定情境校准,但如果我们想要有像是在特定高动态范围(HDR)图像中的其它内容,和/或具有再现这些信号的根本不同的特性的各种显示器和/或观看环境,故事不成立。然而,人们仍然将会类似地希望只具有一个(或至少几个)的图像编码信号的简单性,而不是用于每个情境的不同的编码图像(虽然它们可以被重新包装(例如代码转换,另外颜色变换等),并经由不同的技术信道传播),其将会以其它方式意味着好莱坞或分级者不得不进行例如20个分级,而不是如之前那样的1或2(例如主电影级和DVD级)。

定义HDR图像或HDR成像技术可以导致讨论。这当然不是作为准则的单纯的位数,因为如果例如最大字长度(例如2  ^8与2  ^10)被用于某个白色(例如500 尼特),则不同之处是大部分或部分地仅一个精度(实际上,具有1.000.000:1的要求保护的对比率的显示器甚至不可以区分性地再现最低的这些代码,并且在伽马2.2信号编码中这样的深黑色也可以不进行编码,除非显示在黑色上进行某种令人印象深刻的黑化变换)。

高动态范围场景的通常定义为最大亮度除以最小亮度。这可以是从硬件的角度来看例如用于再现显示的良好定义。

例如,在原始的场景中,确定相机的成像传感器的功能应当是什么,而且,如果该操作例如具有多重曝光技术,因为任何不能被可靠地记录的事物被限幅到要么白色要么黑色(当然还存在四舍五入和噪声)。这也是良好的方式,以指示显示器可以在物理再现什么,当然只要是在公平的方式进行,其中包括例如显示器生成的光在玻璃前板上的散射,以及从环境(例如在电视机前的观看者的白色T恤)中的反射。所有种类的光散射和反射是为什么实际捕获或观看的动态范围通常低于所引述的营销数字的理由,无论是因为光通过从场景的较亮点至较暗的地方的所有种类的路径漏出(场景的点亮期间,除非精心构建它并且管理阴影区域),照相机中的虚假路径(如镜头混浊,或体反射),还是到观看者自己的眼睛的观看环境问题(例如,在显示器的前面板中显示或环绕光散射或反射进入匀光器的显示器内的反射等)(然而,虽然观看者可能当在其视觉域中具有强光源时开始损失黑暗区分精度,特别是当附近是暗区时,但是我们将忽略该因素,因为显示器可以理想地需要比观看者更好,并且至少图像编码应当更好,因为我们不提前知道接收侧将如何处理它并且影响图像区域的能见度)。因此通过这样的对比率定义,人们应当作为最低水平使用实际上最终眼睛仍可区分的事物(给定噪声等),而不是例如断开的LED给出(接近)零输出亮度的理论值(因此标准征用例如棋盘图案来测量较为公平的对比率),因为从没有零光的情形。

然而亮度比不是这样好的动态范围准则来用于HDR图像的编码。必须要编码的是并不是什么是可再现的问题,而是场景中的东西和至少在理论上可以感知的东西,即图像信号需要准确地或近似地包含能够重建所期望的外观所需的数据,并且在所有的显示环境中可预期再现图像,甚至可能在遥远的将来的更好的显示器(例如直接照射到眼睛中)上。

例如刚刚指定的对比率不计及在黑暗的环境(如电影院)中视觉系统需要更多的对比度以看见出现在图像中的相同场景这一事实(而最小值和最大值上的纯倍增缩放将产生相同的对比率)。对比度事实上也是局部现象,因为如果周围有更亮的对象,相对亮的对象可被认为是更暗的(空间对比度)。事实上,在心理上观看者开始分析画面,并且标识他认为是黑色、白色、白色之上等的颜色。并且观看者可以将某件事物视为黑色或白色,直到他感觉到更深的黑色或更亮的白色。因此“动态”画面看上去如何不仅仅是在场景中的“黑”和“白”的函数,也是可以在灰度值分配的基础上定义的其它更多的局部对比度测量的函数(如人们可以通过增加纹理中的不同灰度的亮度距离来创建不同的外貌——例如使岩石纹理更加坚硬——或者使阴影更暗,或者甚至在清晰度和对比度之间的相互关系上进行发挥。人们可以由此想象,如果一个人想为面部给出不同的外貌(更光滑,更具反差,多皱纹等),定义面部纹理的代码必须允许这样的操作,即例如如果一个人只有定义面部纹理的两个灰度值,改变面部的对比度将是非常困难的操作。面部颜色的这样的参差不齐可能是若干当前图像编码技术的一个问题。

为了更清楚地陈述问题,示出示例,即从编码的角度看,动态范围不只是关于最暗的黑色和最亮的白色,而且关于在成像场景中究竟有什么,黑白图(即只有两个不同的灰度值)可以以5000尼特白色和0.5 尼特黑色再现在HDR显示器上(即具有高亮度动态范围),但我们会真的把这个称为HDR图像?我们甚至可以提出另外的问题,像是是否我们想要无论如何分别以显示器的最大白色(峰值白色)和黑色特性显示这样简单的信号。那会不会不自然,或者至少是没有必要的,更何况是否需要像那样直接编码这些值(例如,使用代码0和10000而不仅仅是例如0和2)。事实上,例如当分级白色区域时一般能够开始发生的一个外观伪像是纹理化的白色区域开始看起来向白垩的(好像用粉笔画出),它不同于区域应当具有的实际的物理纹理。我们将会再次面临以下问题:什么是“黑”与“白”。事实上,在阳光明媚的照明下,假设我们的示例将是黑白画,例如,白色可以有5000尼特的真实场景亮度,但在不同的照明下它也可以仅为50尼特。除非一个人从场景照明中剧烈地屏蔽黑色区域,否则它们正常将在某处大约1%的白色,而不是1/10000th。因此,忽略更多反差再现图像可能会在一定程度上具有优选的外貌,我们将很可能想要以例如HDR显示器的高亮度子范围上的近似100:1亮度范围内的高视亮度示出黑白画面以创建阳光照亮的图的外观。否则无论如何我们都冒风险,即使所再现的画面看起来并不奇怪,因为眼睛对再现亮度中的一些差异打了折扣,所以有了分级者,给定图像中存在的作为内容的东西,以及鉴于时间效应,甚至先前和后续的图像,我们将总是希望最佳地使用可用的显示动态范围。还注意到,虽然朦胧的图像常规地被认为是低动态范围,但是其中同样具有亮光的这样的图像将至少需要被映射到显示器可再现颜色的亮度轴的高子区域。

我们的编码理念是,编码需要考虑这两个因素,即,一方面是动态图像将典型地如何最终被呈现,而另一方面成像场景包含哪类或多或少明亮的对象。因此,我们的目的(尤其是图像表示或编码)更准确的说是HDR图像是包括以下的图像:沿光照外观轴足够远离的许多范围的足量的灰度值(光照作为一个心理量不要与亮度或编码的亮度相混淆)。因此,我们可以以“嵌套外观范围”的概念更好地解释HDR图像的物理和所需的技术实现,如图1所阐明的那样。

在图1中我们看到场景(Orig_SCN)被捕获,其同时含有许多黑暗和明亮的亮度,即在黑暗和明亮点亮的区域二者中在恢复范围之上的明显纹理细节。对于明亮的区域/对象(BR_obj)有彩色的玻璃窗,其具有应当被准确编码和再现的许多漂亮的颜色。在大楼的黑暗内部,有深色的木质楼梯(DRK_obj),和更黑暗的对象(VDRK_obj)。即,站立在原始场景中的人将会看到在彩色玻璃窗中的许多明亮亮度(和事实上的颜色)和在楼梯上的不同阴影区域的许多不同的暗亮度。当转动头部时,他的视网膜和大脑处理将适配于观看彩色的玻璃窗,或者反之试图在较暗区域中区分黑暗外貌的对象。当然,每件事物看起来多暗取决于场景构建器从较亮个体隔离较暗区域有多好,但是人们例如可以想象,在非常晴朗的日子试图看穿人行道上的小下水道孔的示例。即“较暗”的区域可以从看起来暗灰色变化到不可区分的和最终的黑色(或在夜间不可区分的更加灰黑色)。在再现显示器上,给定能力,我们想创建至少是有点类似的经验(如不可区分的泛黑颜色,具有低到足以使它们至少看起来相当泛黑的亮度),即平衡两方事实,即显著多的每个亮度子范围的输出亮度依旧再现具有良好可见质量的亮和暗二者的所有对象的对象纹理,与彩色玻璃窗应当看起来明显比平均值更亮(考虑到显示器的特定动态范围,这可能更多的是使用心理视觉“虚幻”的效果的模拟与用于高视亮度显示器的实际大光度差),并且楼梯比平均值更暗(平均为例如为周围被照亮的房间的大约18%的灰度水平)。不论显示屏将如何最佳地做到这一点,图像编码至少应当包含所有信息,并且优选地以简单可管理的方式。

现在可以捕获和编码这种场景,利用单个数据信号(例如0-1023,利用用于将输入或输出亮度映射到代码的固定伽马函数;即例如如果伽马函数定义了输出亮度,人们可以首先将所捕获的图像转换成参考N 尼特的例如16位显示(线性或以其它方式,例如以4000尼特的峰值视亮度),然后将那些“新场景值”编码到例如10位表示,带有在参考显示器上准确重建将会发生的意图,并且例如2000尼特显示器将近似于外观)。或者人们可以优化各种编码信号以用于不同的情境,例如,应用不同的伽马函数以用于电影院信号,以补偿人类视觉系统的黑暗环境行为。但理想地,主处理——鉴于人类视力的高度局部和非线性行为,其可以非常复杂——应当已经在很大程度上存在于所编码的一个或多个分级的图像中(在简单的HDR图像编码中LDR分级被同时编码在HDR主分级内部,通过使用LDR容器概念,即通过该原理人们可以从该LDR编码分级重新获取主HDR图像(如经典编码的MPEG-AVC图像),通过反转被用于使其来自主HDR分级的颜色映射策略,通过使用编码该映射的联合编码的元数据;但是当然图像编码可以包含若干分级,无论是通过若干映射函数还是至少部分的另外的像素图像),即已经为许多典型的显示情境大致正确地确定了外貌。在这种情况下,实际显示优化将通过相对简单的操作创建近似正确的最终外貌,例如最终的简单的伽马函数以增加对比度来用于较暗环绕观看等。

在任何情况下,最终的外观将看似如图1b中所示。并且光度可测量的输出亮度将如图1a中那样。第一个情境是将信号显示在HDR显示器上(如所述,无论是利用其自身的最优化的、具有至多最小化的处理的HDR(例如一些真??正的硬件细节喜欢模仿CRT般的行为与LCD阀物理量的附加补偿)以直接用于驱动??HDR显示器,或从单个编码HDR图像/视频信号得到驱动信号)。显示器能够显示5000尼特的峰值视亮度(白色)和0.5尼特的输出最小亮度。注意,较低的值是平均值近似,因为它将临界地随几个周围参数而变化。甚至在受控环境中,影院安全灯可能会泄漏光到屏幕上,并且人们接通他们的移动电话的不可预知的因素亦是如此(虽然一般效果是有限的,但特别是在最暗的亮度中,它可能影响再现)。在正常的家庭中,照明情况可能有很大变化。

但是问题仍然是人将如何感知这样的亮度,因为这将取决于他的视觉系统的状态,特别是通过室内照明确定,他是否可以多次透过窗户看到外面等,观看者可以通过改变他的远程控制上的画面设置来控制这方面。在任何情况下,HDR显示器具有可用于再现彩色玻璃窗的亮值的相对较大的子范围(即,它被示出相对大,覆盖范围R_D_HDR的上部)。同时,楼梯可以被示出足够暗,即远低于50尼特。假设对于我们的示例,这具有作为心理视觉冲击,这些楼梯看起来都相比于视觉估计的平均亮度(例如,18%的灰色)变暗,但也仍然容易明显从纹理细节看出在环绕显示器的前玻璃的反射照明(如其中观看者已经将他的周围光照调暗到电影观赏水平,并且平均灰度主要由电视及其图像内容本身决定的情境)。该HDR显示器(+观看环境)是如此之好,它甚至可以示出具有更暗的显示输出亮度和对应的心理视觉光照的非常暗的对象。

如果我们现在在影院的数字电影放映机上显示相同的信号(同样,无论是否被最佳伽马校正),我们现在发现该剧院呈现将不会示出大约50尼特以上的白色,然而,作为黑暗的环境,至少较暗的镜头可能示出下降到比方说0.05尼特的亮度,即比家庭房间的HDR显示器再现暗得多。即电影院输出亮度范围R_CIN落在0.05~50尼特。我们不能说将被分配在R_CIN高亮度较小的子区间的彩色玻璃窗在HDR显示器上与具有近似相等输出亮度的楼梯同样黑暗,因为观看者已经适应了黑暗的电影室,因此将较低输出亮度视为(近似)白色。即,同样在电影院中我们可以至少在画面间具有相对较大的动态范围(并且至少如果不是在正膜或数字信号上它可以被编码,然后在负主本上)。特别是通过一些心理视觉模拟,像是例如利用在文化上建立的偏白天或偏夜晚的颜色,影院观看者仍然具有解决方案,在黑暗的地下室场景之后有人走进阳光下(这在HDR显示器上不太令人印象深刻)。

人类视觉系统在图1b的心理外观表示中可以更好地看见这一事实,其中我们将各种再现输出图像置于光照外观轴(Appear_SCAL)上。这其实是大脑所看到的(通过所有复杂的处理),但我们大致可以将其映射到视网膜锥如何表现(或至少连同神经节细胞连接)。无论如何,在我们的技术理念中,复杂性可以由人类分级者处置,因为它总是应当作为内容创建者喜欢来负责他的内容的外观。我们的确看到HDR家庭房间显示器(DISPL_HDR)和电影院再现(MOV_THTR)上的再现是相当类似的(至少相对微暗环境下也能进行模拟,以及明亮的外表)。然而,电影院再现不能够表示这样非常明亮的区域,至少确切地说无任何颜色变形(其示出由彩色玻璃窗的颜色稍深的象形图,从超亮移动到外观轴的明亮区)。我们想强调的是,这种效果的原因还在于在电影院与在家的HDR显示器的分离的再现,因为如果同时在电影院的HDR显示器上再现,比较再次变得不同(因为现在在相对昏暗的投影屏上的亮区可以直接相比于HDR显示器上的那些)。然而,在比较深的黑暗中,剧院再现可以模拟非常暗的场景,像是例如夜间场景,在其中太阳开始慢慢向地平线上升起。坐在明亮的太阳光线充足的客厅的人可能永远都不具有该外观。也有亮区的任何环境(如共同放置明亮照耀的HDR显示器)将在较小或较大程度上破坏完全黑暗的夜景的视觉“错觉”。甚至忽略了在显示器上再现暗色将低于前玻璃反射亮度,以大角度从环境进入眼睛的所有光颜色将打破幻觉(这利用电子阅读器示例更好地说明)。当然,在原则上人们可以使一个人的客厅比在电影院甚至更加黑暗,因为在家里安全不是问题,这将意味着然后HDR显示器还具有用于更深的黑色的更高的能力,但通常人们在家想拥有一定程度的舒适的周围照明(在任何情况下,满足各种情况下的再现编码的图像也很容易被喜欢在漆黑的客厅中以最可怕的方式观看他们的恐怖电影的人们优化,其中优化将意味着该图像中最暗的区域需要编码有足够的精确度和色度优化处理的简单可访问性二者)。还注意,在非常暗的环境中,如人类视觉系统所看到的场景对比度可能严重降低(即因为人们将看到原始场景),因此可能需要通过用漆黑以上多个刻度(stop)的深灰再现最黑暗的对象,并且用白色参考区带光照以下多个刻度的浅灰再现白色对象来模拟那些(在例如电影院中该效果是并不如此强)。

因此,有可能不是在每个可能的显示器上精确地再现的区域,但我们仍然想对其进行编码,因为可以或将存在能够再现它们的显示器(例如在明亮化之后),该示例给出用于电影院的超暗区,以及用于一些HDR显示器的超亮区。注意到,人类视觉系统的超暗区可以在具有高水平的人类视觉适应的低侧上的某处结束,诸如例如用于编码非常昏暗的洞穴里,其中一些光通过在远处的裂纹泄漏。然而,这样的水平对于甚至在(理论值)最黑暗的电影院中的显示器是不相关的,因为图像/视频内容的明亮部分将不允许视觉系统最佳地适配(没有人看着山洞中的山洞的电影)。然而它可能与其中眼睛开始看得杂乱和迷离的水平相等,诸如例如,在一直处于太阳下之后,当人进入黑暗的房间时。这样的视觉体验是人们想要再现的事物,因为它传达了视觉质量的新的水平,就像明亮侧上的炫目光。即,它是其中平衡了(刚好)可以看到和不能看到的制度。但问题是,黑暗的环境再现能够更好地显示非常暗的对象,因为它可能在它的外观轴的暗部区域的下方再现它,那里是超暗区开始的地方。

第三显示器是LDR家用显示器(DISPL_LDR再现),例如,“经典”的电视用比方说300尼特的目前峰值视亮度(我们将假设我们的讨论对例如100尼特峰值视亮度的较旧的显示器表现相对类似)。假设它可以显示多少不那么深的黑色(当然,在黑色中它可以类似于HDR显示器,但是为了说明,让我们说,它已经例如全局变暗,而不是2D LED变暗)。同样,它可以再现更少的暗颜色,因为可能鉴于较低峰值视亮度,它需要预留其LDR范围R_D_LDR的较大子区域以用于明亮的和中间的亮度,所以它将再现楼梯和与具有至少在视觉上近似相同的深灰色的非常暗的对象二者。事实上,它将预留只有少数亮度水平以用于楼梯,使得它被不太详细地纹理化,而且非常暗的对象通常会被限幅为黑色(甚至相比于限幅成的楼梯的黑色部分是不可见的)。LDR显示器的另一典型属性是它不能可靠地再现超亮对象,并且将典型地将其(软)限幅到非常小的(接近)白色范围内,所有这些尤其取决于人想要什么对比度来用于接近中灰的中间范围。限幅和近似策略可以具有强大的心理视觉冲击,因为大脑认识到一些特别的事情正在发生。

因此,我们看到再现实际上是场景的(人类视觉适应调节的)亮度(即实际上用于人的视觉系统的对应光照和视亮度)到各自的显示可再现的亮度范围的不同子范围的分布。一些显示器只能再现(至少从一个侧面)被嵌套在总体范围中的总体范围的子部分,并且一些显示器可以相对可靠地再现几乎所有的外观。即当映射到输出亮度或事实上的显示驱动图像值(即用于驱动例如LCD阀和一些背光驱动)时,就必须做出一些近似,从而将场景对象或区域的确切外观稍微改变到仍然相当类似并且如果没有令人信服也至少是可接受的外观。在户外阳光下的电子阅读器示例被选择以强调失真的问题。这里必须迫使场景亮度的大范围几乎到单个的可再现的亮度值上(其亮度范围E_ERDR_OUTS是非常小的),并且必须在外观轴的相当长的距离之上使图像的区域移动(在任何情况下,因为大部分的黑色将被阳光的反射过晒,至少外观范围将是小的,并且显示器也可以仅仅通过使用在对应的小输出亮度范围中的物理驱动值来补偿)。这具有例如作为暗区不能被整个再现的结果,并且人们必须做出严重扭曲的选择。取代于示出例如10%的黑色(如果50%是最低的可见值),人们也可以再现接近50%的那些值,或者甚至更好,用映射到高于它的值的色调。例如,人们可以将整个较暗区限幅到该显示器将其作为其“黑色”(即最低再现值)的程度,通过这样小范围的亮度可以甚至看起来不是黑色的,因为在较亮亮度之上散布黑暗对象亮度的替换不是一个选项,因为它们然后变得比一些彩色玻璃窗像素更浅。类似地必须放弃一些场景可以可靠地再现在印刷品中的期望。人们只能尽力使用映射和心理视觉原理来至少具有良好的等价物(但没有闪亮的窗,除非人们并入荧光油墨或类似物并且用UV源强烈光照)。注意,为了简单起见,我们只讨论了在简化一维光照轴上的原理。实际色域的三维性质(即主要是再现设备的那些)也对颜色的颜色处理具有有趣的影响(例如其饱和),在一些情形中这在视觉上甚至可能与视亮度部分地混淆/均衡。

注意到,为了完整性,我们也显示出饱和外观,因为它们发生在自然场景中,例如看向灯时,或例如接近太阳。这是当锥视蛋白水平在很短的时间被严重扭曲(漂白)时,并且你可以看到斑点。例如,在一个冬天的场景,你可能会看向低的太阳,并且它周围的空气可能会很明亮,阳光反射在环绕太阳的云粒子可能会更加广阔。这在任何的HDR显示器中当然是不合期望的,视色素以饱和鲜艳的色彩呈现这些地区,但有可能会分配两个不同的亮度子范围在超亮区域,即例如显示这些区域至少有一点不快的明亮。另一方面,人们也可能认为这些颜色无论如何不那么重要(无论如何,谁会在乎白炽灯灯丝的实际视亮度或颜色,即便灯火通明的彩色房子,或者甚至有些镜面反射,或彩色的TL管商业标志的编码等可能无论如何仍然是重要的)并且利用类似于限幅的值(可以称其为超亮,或接近最大代码(例如值1023)的区域)来编码它们。然后显示器可以选择是否要再现那些不快的光亮,或用少许更低的输出亮度,在这种情况下,大脑可以从限幅估计亮度。这还允许内容创建者将重点放在他所需要被准确地编码的东西,和当被几乎直接用于驱动如HDR显示器时哪一个将对所有那些区域(比如两个暗室内,更黑暗的房间,晴天在户外)产生良好的品质(例如对比度),以及他认为哪一个非常明亮的区域不那么相关并且可以总是被限幅(可能利用例如在省电模式下的低于峰值视亮度的输出亮度),甚至在HDR显示器上。这种省电模式可以通过显示屏可以更好地实现如分级者定义的许多这样的“不相关地亮”的区域,通常利用几个GTS值,节电器可以使用其来为许多增加的省电模式扭曲所有这些值以上的图像。实际上创建者可以甚至艺术地使用一个或多个“饱和”的代码,从场景放弃如成像的重要内容,以实现高度饱和的外观。

现在人们可能想要将第一色度中的场景的表示――尤其是根据第一分配规则(定义编码为像素亮度的局部场景对象补丁亮度;和色彩饱和度;以及虽然代替明亮度我们也可以例如利用XYZ系统中的亮度来编码像素,但是我们将为简单起见,将编码灰度值称为明亮度)利用沿着明亮度或亮度或类似的灰度值相关的轴(假设为简单起见,两个彩色坐标被固定在两个表示中,例如,色调和饱和度)的第一坐标来定义该场景对象的颜色空间――变换成第二色度。仅作为示例便于描述下面本发明的一些概念和实施例,我们将假设我们有一个亮度比例如为2097152:1,或21比特(如果线性编码)的原始场景。当然这仍然可以补充有2  ^21的值所对应的最亮点的精确的亮度值(其对于有阳光的户外场景可能不同于黑暗黄昏的室内场景)。在实践中,由于无论如何没有显示器能够编码太阳,我们将进一步为简单起见而假设我们可以利用16位主HDR编码(至少针对亮度Y,并且现在我们不关心它是浮点数还是整数)来相对可靠地(即具有心理视觉上不太重要的扭曲,如在其显示器呈现的版本中降低太阳的亮度)编码这些原始的HDR场景。这是因为人们可以限定编码沿其亮度轴为非线性的,即通过使用一个主伽马来将场景对象亮度映射到HDR颜色空间码。

另一个示例是编码,即将该16位编码映射成新的色度??/颜色空间,即8位的代码,例如使用标准的2.2伽马。几个色域映射存在以用于该目的,例如,人们可能只是线性地压缩亮度范围,但因为这给出不好的结果,人们通常采用更渐进的,例如S形曲线,并且人们可以使用更复杂的模型,像是例如将压缩应用到图像的低通滤波版本,然后在其中加入更多强烈的高通细节。或者映射可以大致模拟人类视觉系统(当然存在上述的不可能性来在有限的硬件上做一些种类的再现)将会如何看到原来的场景,如果从例如具有低得多的动态范围的显示器(即LDR显示器)的新的框架中观看的话。人类视觉系统非线性地工作,从而减少不太重要的视觉方面,并例如原始场景中刺目的影子(至少有些相机看到它的方式)可以被看作是相对浅灰。人们不应当犯将其映射为LDR色域的错误,从而使大部分的阴影靠近该显示器的最小的黑色,因为然后视觉系统当然将把其解释为太黑暗。应该通过降低(本地)的对比度来多少软化它一些,这样它会看起来不那么深,就像在原始的场景中那样。一般而言,映射到LDR色域的色域可以使用应用局部优化等的各种数学方法。应用

因此总之,变换函数被应用到16位表示的像素,以获得8位表示。例如首先是全局变换,然后是一些进一步的空间局部变换。反之亦然,通过另一种颜色/亮度映射,可以转换(例如预测)来自8位编码的HDR(所以如我们的16位表示)表示。这种系统的一个示例公布在WO2012004709(从低动态范围图像产生高动态范围图像)。

让我们再一次通过专注于从8位LDR编码到16位HDR表示的映射来简化解释,该16位HDR表示可用于驱动比方说5000尼特峰值白色的??HDR显示器,并由此给出对于原始的场景在艺术上令人愉悦(即好的质量)的呈现(例如,它看起来相当类似,在于阴影看上去仍然险恶地黑暗等;注意如果原始16位主编码是由计算机艺术家根据导演和/或DOP的指示而最优地调整分级,例如,使阴影区域甚至更加暗黑或险恶地黑暗,则质量意图可以是使得最终的再现HDR显示器尽可能好地传达该险恶外观,即如所意图的)。

可以有不同的方式从像素的8位码值将像素(对于相同的空间位置)映射成具有新的不同的16位的代码值的像素。例如,该映射可以提高彩色玻璃窗口的所再现的视亮度,由于HDR显示器能够呈现这样的明亮区域,其将与对应的变换相对应以基于HDR显示器如何工作以及HDR代码如何定义来获得HDR图像的像素亮度(假设为简单起见,这直接驱动HDR显示器)。需要注意的是,当我们描述了成像对象的视亮度的行为和谈论例如提高时,我们将未来简单起见而比较输出亮度(例如在显示器上再现的亮度= 500中的400,vs 在HDR显示器上3000),其中在实际编码的亮度空间中可以实现相同的处理,例如通过使得较暗的区域变暗(给出相对相同的结果),并保持彩色玻璃窗对于HDR和LDR编码两者都为高。

变换可以是全局的,即无论该像素位于图像中何处,变换的函数形式仅依赖于LDR / 8比特图像的像素值,即:Y_16b = F(Y_8b),其中Y_16b是16位的亮度,其可以例如表示为二进制码字,或0和1之间的浮点值等,并且对于8位的亮度Y_8b是同样的。这样的函数的示例是全局伽马:Y_16b = g * Y_8b ^gamma,其中g为增益因子,并且gamma为幂函数的系数。

这样的全局函数的优点在于,人们仅需要编码少量的数据,例如可以在发送每个图像,或者甚至具有相同图像特征的相同场景的画面镜头之前发送gamma和增益。

这样的全局函数的缺点在于,如果使用它从HDR/ 16变成LDR / 8位(即在比方说200尼特的峰值白色的LDR显示器上应该很好看的信号),虽然它大约使外观是正确的(线性地压缩具有高亮度区域的HDR图像的主导行为,是过于压缩较暗部分,从而使得画面在LDR显示器平均看起来黑暗,但伽马函数已经可以均衡地处置大约两个区域:较暗与更明亮的),因为通过较少地利用合适的伽马形状来这么做,来校正该画面的较暗部分中的压缩。但它只是一个单一的、简单的函数形状。当精密地调整背景中的某些颜色时,前景对象中相似的颜色可能以对于该对象不那么合期望的方式发生这样的改变。同样当从8位到16位移动时,可以例如把明亮的光置于正确的HDR显示器的输出亮度的位置(即正确的Y_16b),但通过这样做,通过调整/拉伸伽马函数,可以例如使较暗区域比期望的更为明亮。或者,人们可以使用更复杂的映射函数,像是具有最佳选择控制点的样条,但人们仍然可以冒险将一些中间灰色移动到不合期望的亮度,不要说这也许不是控制图像的颜色外观的最简单方法。

问题加剧,因为可以进行例如将原始的HDR场景有损映射到8位的LDR图像,这可能发生,例如对于黑暗的楼梯和很暗的对象。尽管原始在要捕获的场景中,非常暗的对象比楼梯暗得多,但是在8位的图像中,它可能有对应于至少一些的楼梯像素值的亮度值。即应该有(非常)不同的亮度值的像素现在具有相同的值(或至少像素集合的直方图可能会重叠它们不应该重叠的地方),但好消息是,它们可以驻留在图像的不同空间区域中。对于编码灰度值的单一函数操作可以不再区分这两种情况。即如果一个人想将非常暗的对象变换为非常低的Y-16B亮度,则一些楼梯台阶会发生同样的错误(导致例如该台阶的部分区域的过度对比度变暗),反之亦然。即艺术家或颜色变换装置将希望能够将不同的变换应用到这两个对象。

其他变换类为本地亮度(或一般来说颜色)变换,其对每个像素应用不同的功能。人们可以例如看看像素周围的遮蔽区域,并根据周围的值是什么来提高一点其亮度,例如,如果它们几乎相同但略有不同。这样的一个示例是对象边缘周围的峰值,其中,人们希望提升本地像素亮度,稍高于或低于在边缘附近的步进简档(step profile)值。在HDR图像的变换/编码的示例是JPEG-HDR原理,其中针对纹理使用正常的JPEG图像,然后协调编码具有针对每个像素的提升因子的提升图像。它的优点是人们可以协调编码作为最终结果在这样的图像中实现的、算法的局部变换期望的任何东西(例如,以第一种方式增加纹理对比度,并且以另一方式增加半全局照明梯度,分级艺术家可以将其优化到如其所愿),然而这是以增加要被编码的数据量为严重代价,因为现在对于每个HDR图像两个LDR图像不得不被编码(与我们上面提到的单个例如LDR容器图像)。我们甚至可以问一下自己,如果编码8bit_texture * 8bit_boost,仅原始地编码16位HDR不管是不是更好。

现在有一个折中的办法,因为如果某个提升是合期望的,则它通常对于整个对象是合期望的,如彩色玻璃窗。即,提升图像中的像素亮度/提升值将不被完全空间地去相关的,甚至更是这样,如果人们巧妙地处理/编码,则它们可以是这样相关,以致人能更简化地表示它们。即,可以在函数方式在参数上指定它们,甚至就像利用能够被存储在协调编码的元数据中的单个提升数字一样简单。

这将需要编码对象,或者更一般地,几何图像区域。

该分割成块的简单的示例是定义块的网格,然后确定针对每个矩形子区域的最佳的变换。例如,可以针对如EP2009921 [Liu Shan等,三菱电机:逆色调映射方法]中的那些区块中的每一个定义一增益乘数和偏移,或针对每个不同的块协调编码本地伽马。这种方法通常很快遭受块伪像。例如,人们可以得出将被应用到块BLCK(i + 1,j-1)(参见图2a)并且可能用于超出它的像是高达块BLCK(i + 1,j)而不用于块BLCK(i+ 2,j)的块的不同的最佳增益或gamma比数据块。那是因为,对于前者的块,可以通过高度数值化楼梯的最佳外观来优化变换,而对于后者的块,可以例如通过聚焦在非常暗的对象的能见度标准而优化能见度。即使在曲线(即对一些可用像素亮度 Y_8b)的一部分中的小的偏差,也可能会导致在这两个区块中背景部分/对象的亮度 Y_16b的统计差异的能见度,即导致感知到可视的边界,因为大脑被训练成拾取这样的统计差异,这可能意味着检测到老虎隐藏在黄色的草地上。当应用一些算法时,可以看到粗糙的网格,它的能见度通过在变换到Y_16b后对于底层区域的颜色统计进行时间调制而增加。

现在还有一种可能的解决这个问题的方法,即可准确地编码所有对象,并因此保证黑暗前景对象的所有像素获得其最佳本地变换,并且在该区域中的所有块的背景区域的像素获得的同样的变换,该变换给予它们最佳的再现,因此没有视觉块边缘。

但是,鉴于编码效率,即再次需要的比特量,这样做的所有希望会化为泡影,从而驱使我们走向有义务接受两个图像编码,或者甚至可能是原始Y_16b编码(也许然后对于向后兼容性,将附加地需要另一个Y_8b编码)。此外,不仅精确编码如我们的楼梯的实际边界涉及很多要编码的数据,例如样条函数,而且分级者时常喜欢让自己的对象选择不那么精确,尤其是当需要处理电影中的100秒或1000的镜头时。

在过去,这种面向对象的编码已经在MPEG4-2框架中尝试,但由于若干原因,他们从来没有成功。不能只提取这些对象,因为一个人不知道自己的空间变化的纹理图案定义是什么,所以人们被引导来编码他们的边界。但是,这一方面导致复杂的编码结构(相对于基于块的编码技术的普及简单),诸如例如样条或蛇形,其次可能需要人工干预以最佳地定位这些蛇形(因为边界未对准是很多算法的困扰所在,例如缺少一个角件对象),再次,编码这些边界曲线需要很多额外的代码值的。所有这些复杂的因素似乎并不支持在实际的视频或静止图像编码标准中进行简单的改动。

但发明人意识到,在特定的HDR编码的情况中(即之间的第一,如较低的动态和第二转换时,一个场景,例如高动态范围的亮度表示)几乎总是存在图像的特定属性,它确实允许具有准确分割的所有优点的编码,并且还具有只需要几个比特的额外数据优点。在图1的所有再现中(或底层图像的编码),总会有区域的亮度(跨越不同的亮度或亮度范围)的层次结构,比如,窗口总是会成为最明亮的对象。并且,虽然在空间上可能有在左边的较暗对象,在中间的较亮对象,并还有在右边的较暗对象,典型地在每一个局部区域中总是存在是较暗的图像的一些部分,并且一些部分是亮的(实际上可能有几个班,也一样中间的黑色对象,但至少有一些像素是最聪明的,有些是最黑暗的,通常他们甚至有像玻璃窗的凸纯色填充结构相对简单的几何结构)。但要注意的是,即使我们具有在块中对着明亮的天空的监狱条(jail bar)的图案,那也是没有问题的,因为所有的监狱条都在块中轻易地识别为具有较暗的像素。还通过多个程序段的分布通常是很容易管理的,即使它需要在块之间有时沿着扫描路径重置某些gTS值。对于一个奇怪的情况下,这碰巧将困难,当然可以求助于辅助方法或策略。

其原理用图2a和图2b说明。

在图2a中现在我们已经显示具有深色木质楼梯及其块子划分叠加的彩色玻璃照明的我们的图像。正是在这些块中例如自动图像分析算法会分析图像局部统计数据,诸如例如局部亮度直方图(或显示器再现的、从亮度直方图推导的,例如在参考色度中的场景表示),并得出一个命题,即通过变换Y_8b LDR图像来创建Y_16b HDR图像。例如,它可能会使用关于典型的图像将开起来如何的统计原理和知识(如果楼梯已经相对暗,则特定的第一映射通常可以使其在LDR显示器上过于黑暗,或分级者可以通过检查它而仅仅测试这样的情境),然后选择例如4.3的映射伽马。这种理想的变换的一个示例示于图2b中。正如上面所说的,每个像素不必有一个完整的变换功能或算法(代替伽马函数,人们可以拥有一套程序化的规则,像是例如计算局部纹理的措施,在亮度的局部变化处而是本地的等,以得出针对一个或多个本地像素的最终亮度值),但我们期望半全局优化变换,即通常每个对象或类一个变换。在由数据块BLCK(i-1,j-4)覆盖的图像区域中,我们看到具有包括两个对象的该块的在该区域中所选的本地子场景,即彩色玻璃窗的一部分,并在其周围的壁(这可以例如有砖或壁纸,其纹理也可以不得不利用良好的质量来呈现,但为简单起见未画出),它占据不属于彩色玻璃窗口的块的那些像素。因为这些对象有很大的不同(针对明亮的室外较暗的像素的逆光成像,不开始解释,即使该着色剂的玻璃窗口的发光饱和度的颜色可能需要特殊的处理),我们可能希望应用非常不同的变换以得到诸如例如Y_16b的图像的新编码,至少对某些类别的显示器,该信号是通常所意图的或至少是有用的。窗口与壁是非常不同的对象,并且特别地,它们被不同地照射。不仅是由任何光线照亮的墙壁(具有任何物理属性,它本身,诸如BDRF,反射率等)是在房间的内部,而且它通常通过反射来自其周期的光而创建其颜色/亮度,特别是它的(多个)主照明源。另一方面,窗口是半透明颜色,因为它直接通过吸收调制来自外部的光。至少人们愿意看到的窗口在任何显示器呈现更明亮,但也可能有额外的再现质量标准,鉴于此不同颜色的产生机理。这可能是这个人想在HDR显示器上以表相对暗淡的显示输出亮度来显示墙壁,与LDR将显示的,或者处于显示器和观众的黑乎乎的观看环境中的真实墙壁将会反射的不是太不一样。另一方面,人们可能希望提高玻璃窗口,它比方说利用不比墙壁的亮度值高得多的亮度值而被编码LDR图像中,因为否则LDR显示器无论如何不能将它们(相对可靠地)显示在亮度上,该亮度靠近HDR显示器的可实现色域的顶部某处,即具有高亮度Y_16b坐标。即,不得不利用较暗的墙壁和非常明亮的窗户构建合适的HDR图像。

在图2b中我们示出另一个示例,其显示如何处理楼梯,并且示出了总共行为亮度映射函数TM_BLCK(i,j)以用于所期望的:假若任何可能的输入亮度Luma_in会出现在该块的像素,那么HDR Y_16b图像的经变换的输出亮度Luma_out是什么。当然,有些颜色现实中不存在(该块中没有彩色玻璃窗),所以我们已经用虚线表示它们。相关的是存在的用于那些范围的Luma_in的变换函数。所以本领域技术人员应当理解,这允许对多个实施例的实现,尤其基于期望的通用性或编码复杂度。人们可以存储整个函数TM_BLCK(I,J),其虚线部分被给定某些值(因为这是很容易实现的,如果利用诸如伽马函数之类的函数形式来编码变换,而且如果该变换被编码为查找表,并且中间值可能会在它们存在的(多个)图像的部分中很方便地得出),或者可以在单独的位置仅存储子变换,诸如在luma_in范围RNG_COD_DRK上定义的楼梯所需的部分变换PD_BLCK(i,j),这样的部分变换缝制(sewing)在一起具有很多优点。它们可以存储在任何地方并且以任何理由。可以理解,部分变换PD_BLCK(i,j)可以被存储在某个地方(例如,在该图像的镜头的开始处,或者甚至在电影的开头),作为编码墙纸的映射行为的大得多的变换,也可以被存储在它是轻得多的位置,因为它是例如由在其附近的本地灯照亮的。但随后只从中提取在范围RNG_COD_DRK内的部分(并且例如当将应用亮度映射算法应用到该块TM_BLCK(i,j)的所有像素时,被存储在临时存储器中)。这种部分变换甚至可以作为例如Internet或其他网络服务而被递送,例如,在版权保护服务中,或只是在提供对于一些对象的更美好的再现的单独服务中,或在像是游戏等当前运行(on-the-fly)场景中。

所以这个示例的TM_BLCK(i,j)显示了两个相关的部分亮度映射,即首先是用于楼梯的PD_BLCK(i,j)部分,其是具有偏移的线性拉伸,与其暗LDR图像编码(即Luma_in)相比,该线性拉伸使得该楼梯稍稍明亮,然后稍稍提升对比度,从而使得木头中的颗粒更可见。其次,存在用于那儿的房间背景的部分变换PM_BLCK(i,j)(它可以在这种情况下可以是一些地板而不是壁纸),它在本示例中是变化的(弯曲的)的拉伸。相同的映射将通常适用于块BLCK(i + 1,j-1)的两个部分。

然而,如果现在我们得出块BLCK(i + 2,j),该映射策略对于背景部分可能仍处理得很好,但是对于具有范围RNG_COD_DRK 中的luma_ins的像素则不行,因为它们现在编码非常暗的对象。这应当被暗得多地显示在HDR显示器上得,即在从LDR图像映射的HDR图像中具有较低的luma_outs Y_16b。这由较粗的线示出,其显示用于该块的新的部分变换策略PD_BLCK(i + 2,j),即,在该块中的不同的新的对象。它有温和得多的伸展系数,因为它希望将所有非常黑暗的对象的颜色保持为很暗,几乎不可区分。

因此,我们需要一种新的技术机制,其允许在各个块的部分上块快速改变这种部分映射策略,这实际上对应于真实对象需要不同的最佳再现或分级。

现在的发明者已经意识到,在HDR影像世界(即通常涉及(多个)相同图像的不同颜色表示之间的映射,例如基于Y_8b到Y_16b的颜色空间)存在几乎总是在块内的这样的部分区域或对象之间的特殊关系,即,它们的代表性亮度(或亮度或类似表述)是不同的。代表性亮度可能是平均亮度,但通常更严格的性质是,所述第一对象的最暗的亮度(在块BLCK(i + 2,j)的示例中的背景(地板))浅于/高于在较暗的部分区域中的像素(在非常暗的对象的这个示例中)的最浅的亮度。即,人们可以通过至少针对该块(通常超过许多块)仅仅编码“区域微分器灰度值”来划分这两者(假设某个扫描方向,例如左到右的Z字形)。该区域微分器灰度值因此是亮度(或颜色表示的类似亮度坐标,其实人们总是可以重新编码它以用于图像的亮度范围的不同定义,正如人们可以重新定义例如从同一图像的纹理数据的[0,255 ]编码到[0.0, 1.0]编码的映射策略)边界,低于该边界第一对象被编码,而高于该边界第二对象被编码。并且,虽然在块BLCK(i + 1,j-1)中的楼梯可能需要另一个区域微分器灰度值,因为这些楼梯包含在LDR图像中的比=非常暗对象更亮的一些值,原理保持不变。对于包含块的彩色玻璃窗,顺序颠倒并且现在背景是这些块中最暗的部分区域,但原理保持不变。有了这样简易的区域微分器灰度值,接收端设备可以完美,像素精确地重建必要的对象。在通用的面向对象的编码中,这将是不可能的,因为例如鱼可能在其内部包含例如蓝色的颜色,该颜色在它周围的海洋中也存在,但在HDR图像表示问题总是与图像较暗区域共同位于某处的具有轻得多的区域中的一个。这种情况通常会发生,因为例如那些区域被不同地照亮,或者甚至是自发光体,像是灯具。另一属性是,这样的(非常)不同的亮度区域在图像中是几何上稍微分离的,即常常在不同的块中,这允许进一步的优化。这是非常暗的对象的示例,其确实是黑乎乎的,像是楼梯,并且甚至可以使用LDR图像中的(一些)相同的亮度代码。但是,因为它发生在不同的块中,需要优化的唯一的东西是表示语义元数据,其可以像单个区域微分器灰度值那样简单,在本示例中其可以是例如RNG_COD_DRK的上限值。即在接收端上的对象分割模块(它实际上可以是与在发送端,或实际上存在于发送端的装置为相同类型的装置,但它通常是一个模块,其通常得到包含各种所需要的一个或多个区域微分器灰度值的LDR图像+元数据)能够基于在随楼梯开始的第一个块之前它接收的区域微分器灰度值的值来准确地分割所有相关对象,并且 对所有连续的块是类似的。至少这个编码将被用于包括楼梯的所有块,即直到在很暗对象所驻留的BLCK(i + 2,j)中,新情况第一次发生。在此块开始之前,通过发送区域微分器灰度值的新值来传递该新的情况。现在同样在接收端,解码器被如此重置并被指示新的适当值,以便在此正确地进行分割,正如在完成发送端上的存储之前已经得到了验证的。通常编码器可以与例如可以轻松地允许分级者定义相关gTS值的软件连接起来。例如,他可能有一个滑块来设置值,并且然后看到在伪色(例如红与绿)中场景的哪些(对于选择的块也许是局部)部分被确定为低于或高于gTS。或者他可以大致选择区域,并且该设备可以已经半自动辅助分级者,分析统计数据,和例如基于对在视亮度上显著改变的内在区域的估计而提出gTS的第一值。或者分级者可以迅速地在区域上涂抹,如彩色玻璃窗里面,和针对与之相随的gTS已经至少选择起始值,然后他可能会通过各种用户界面控制器中的任一个来微调该起始值。

而一旦有这些分段,将它们与所需要的变换相关联就是一个简单的任务。解码器可以例如标记所有背景像素为“对象= 0”,并且例如应用在画面的开始之前被编码的全局颜色或亮度映射策略(或者甚至对于一种类型的参考HDR显示器(诸如伽马4.0)为默认的)。或者解码器(和首先模拟可解码性的编码器)可以在特定的块之前更新要被应用于背景/对象= 0的对象的映射。楼梯可以被标记为“对象= 1”,并且一些链接规则将映射与那些(分段的)像素相关联。例如默认的规则可以是,如果新的映射在块之前被编码,则该映射函数(或算法)要应用应用于低于目前的“区域微分灰度值”的像素亮度。或者映射函数可以被这样编码,例如,适用于(大部分或唯一的)这样的亮度范围,以致于它显然要被用于两个(或更多)的区域的较明亮对象。

因此,我们只需要一点点额外数据来编码对象,即一次或更多次,这取决于图像的复杂性,即区域微分器灰度值。对于具有例如仅一个窗口通往外部的最简单的图像,单个gTS可能是足够的。假若两个部分区域之间没有明显的亮度不连续,我们甚至可以使用这个策略来微调映射,例如对于沿背景墙??纸的照明梯度,人们可以使用具有变化的区域微分器灰度值的这一机制来将有所不同的映射应用于例如较暗的亮部分,以例如修改能见度。

若干情境是可能的。针对大部分HDR场景,每个块将会仅存在两个不同的光照区域,并且可以甚至仅由几个不同的光照区域,例如2个(假若与对于画面的剩余部分被满意地判定的全局映射相比,只有彩色玻璃窗需要不同的映射)。在该情况下,人们将只需要几次以发送在块的像素颜色代码之间的区域微分器灰度值(或者相似的编码,像是例如在与块的扫描一起联合可追踪的数据结构中,在像素数据外部)。的确,在彩色玻璃窗的简单情境中单个区域微分器灰度值可能是足够的,即,其可能在包含该场景的店中中的图像的镜头之前被联合编码。在该情况下,分段模块将理解,在区域微分器灰度值上的每个亮度被当做是对待/映射为明亮的窗户。在一些场合中,一个区段位置可能有超过两个对象交叠,在该情况中,我们将会有一个比较暗的对象,一个中等亮的和一个较亮的。在那情况中,它们能通过发送两个区域微分器灰度值由相同的原理分段,例如在该块之前。假若只有较暗的对象是在当前块(例如具有中间亮度之一)中,并且更轻的对象之一仅仅在几个块之后发生,即然后对于比方说10个连续块的顺子,人们联合编码这两个区域微分器灰度值,则人们也可以做出同样的处理。只有一个不频繁出现的场景,其中相似亮度的两个对象/亮度发生在同一个块,即,它们具有许多相同的亮度的像素,这意味着它们不能明确分配给任一对象,或者另有说明,其覆盖范围重叠(相当的,否则,往往也没有那么有问题)。这将是这种情况,如果黑暗的对象是:1)利用双重分配的代码被真实地编码(即对于我们非常暗的对象不预留例如仅仅三个码,亮度0、1和2,这些值然后不存在于楼梯中;以及2)这两个对象都没有分开,如在我们的示例中,但并置在同一个块中,例如通常是重叠的。在这种情境下,无论如何,假若内容创建者将仍然在意他有那些黑暗的区域的如此高品质的编码,则我们的编码器将需要使用回退情境,例如在HDR图像编码策略中,而不是通过基于我们目前被教导的元数据指引的分割的分段-局部映射来预测整个画面,我们将需要不同的编码,例如此外人们可以联合编码正好是直接包含所需的Y_16b值的块的大小的小图像,然后在该块中的像素位置将那些叠加在HDR图像中。并且人们可以通过使用特定的预留阈值来仍然使用区域微分器灰度值机制。例如零或-1的区域微分器灰度值似乎“没有任何意义”,因为没有亮度低于它,即,它可能意味着回退(如叠加)编码策略。除了发出替代HDR(或其他图像)编码策略的信号,像是例如编码来自视频的、不是Y_8b LDR而是RAW部分(例如Y_16b图像)的图像的一小部分,当产生较高的动态范围的图像时,将被用于替换该图象的那个区域(也通常经过适当的变换),人们还可以使用预留值用于其他原因。例如260的区域微分器灰度值可以指示下列块是如此难以分段,基于在所编码的亮度范围中的一个或多个区域微分器灰度值(例如,16,200,和240)将是不可能的,而需要另一个分割策略。例如在检测到这个260的预留值时,接收侧可以将已经分割的图用于至少在当前或更多个分段的块。即它然后将看看在小的联合编码的分段图象中,其中对于至少连续的块,像素被标记为例如“0”,“1”,或“10”,假若这些是本对象的三种类型。在不再需要此回退分割之后,常规的基于“区域微分器灰度值”的算法可以通过例如在第一个数据块之前重新编码而被重新启动,常规分割将把老的非预留值(例如,16,200,和240)再次应用于该第一个块,或者,像270的另一个预留的gTS代码可以被用来指示常规分割-元数据编码被继续开始,并且以前的(通常被存储在接收侧的工作存储器中)gTS值再一次是适用的。

但是无论如何,即使当有时候需要另一针对罕见的非常复杂的情形的回退策略时,我们有非常数据-高效的编码(因为大多数情况我们只需要映射和在其上需要应用映射的像素上划分的区域微分器灰度值,和通常用于精确地指定该链路的一些另外的元数据(例如变换链路规则:对象=3→使用映射=5)),因为只有非常少的情况我们需要消耗可替换回退编码的更多位。但是此外,在处理应用中它还是非常多功能的,像例如调整以用于在不同的显示器上再现。因为通过我们的方法,我们有以简单的方式定义的场景的HDR语义,其需要被调谐以用于朝向不同显示器。并且链路规则可以是动态的,例如可以存在许多被存储的规则。例如可以通过取决于例如哪个输出HDR图像颜色表示将被映射到(例如,Y_16对Y_10b)或其将用于哪个显示器(例如5000尼特 HDR显示器,或50000尼特 HDR显示器、或1500尼特 HDR显示器)等的结果的不同映射而进一步填满映射=5。

并且本领域技术人员应当理解,可以以各种方式实现该编码,例如通过不同的规则,例如改变在初始化处的从“对象=3→使用映射=5”进入“对象=3→使用映射=7”的链路规则,或者通过取决于特定的输出HDR图像产生不同分段代码的分段模块,或者通过参考另外的细节(类似指向不同算法或LUT或在不同的等式的列表中的条目的开始的可变指针等)。这也允许例如针对容易的用户接口命令处置,诸如例如用户控制的场景的“整体视亮度外表”的修改,其能通过重新分配各种新的映射函数到不同的场景对象而实现,所有对象/灰度值域在特定的映射关系(例如彩色玻璃窗可能大部分是未经修改的,因为它已经亮了,也许相比于图像的剩余部分进一步被变亮,以便不会由于与图像的剩余部分的亮度比而损失太多的HDR外表,但周边空间内部可以变亮,因为它是主要影响图象的视亮度外表的该平均视亮度部分; 当变暗显示器时反之亦然,因为例如用户把它视为令人不舒服的光亮)中被视亮度修订。然后,仅覆盖部分需要被区别对待,但如果它是太困难的和关键的,可能无论如何需要复杂的再现处理。因此,内容创建者在例如什么被变亮和如何被变亮方面有更好的发言权,因为变亮不需要是简单的偏移或乘法,但可以是平衡子区域的视亮度的复杂策略(例如将某个百分比的像素限幅为白色),其在色域受限显示器情景中通常是智能的,其中当前的算法可以导致伪像。

在图6的接收侧家用系统中图示了另一非常方便使用的预留分段划界阈值。这里电视602接收信号SB,例如来自通过空气的电视站。其在元数据中包括METB,和(多个)HDR设置规范代码SET_HDR,其以各种方式(但是典型地作为在一连串图像的开始处的元数据)被联合传送,并且指定显示器在此后应如何运转。有趣的SET_HDR代码可用于HDR和LDR再现之间的切换,回退例如以节约电力,因为我们当前流式传输例如演播室新闻节目,其不需要HDR电影效果的最大量。所以,例如在其之前的商业或电影与消息之间,“render_LDR”的SET_HDR代码可以被传输(或在例如家庭硬盘记录器或互联网网络化的视频存储服务器上存储的视频节目中被联合编码),其意味着从其上朝向HDR显示器将以例如仅500尼特的最大白色视亮度(尽管其具有5000尼特的峰值视亮度能力)再现。现在作为我们的当前公开的发明的实施例,人们通过设置区域微分器灰度值gTR等于255可以容易地这样做,其表示以下的所有亮度(即,8位图像中的所有可能的亮度)需要利用相同的映射来处理,其可以例如是与图像联合存储的,或者预存储在显示器伽马映射中,其然后再现任何事物到最大500尼特。例如,人们可以使用划分哪些灰度将被再现的gTS值、或许被变暗,以及在其之上所有的灰度可以被限幅成相对暗的变暗的白色。

现在重要的是理解存在两种映射/变换以应用到亮度(或类似的光照相关的编码)。

首先是简单数学“硬件相关”映射,其只是针对特定观看显示器和环境而修正。例如,如果图像针对伽马2.2 CRT(参考显示器)被编码,但是被显示在具有S形光电传送函数的LCD上,则显示器自身能够使用基本的色度数学以对其修正,从而使得LCD再现图像,如同其是参考CRT。类似地,人们可以利用简单数学针对观察环境特性进行大幅地优化。首先当然,当缩放到较暗的再现时,人们需要降低与图像编码相关联的参考视亮度。这已经通过将最大代码值(例如255)映射到再现显示器的峰值视亮度而大部分实现。然而,还能够更复杂地实现,例如图像的亮度的特定子范围能够被分配到显示器的再现的亮度的特定范围。但是典型地还必须应用伽马修正,考虑将这样的事情作为对比度的改变,该对比度取决于再现的图像和其周围的亮度。这给出相当可接收的结果,如果光照范围信息内容(即在各种呈现子范围上的信息的编码)在两个系统中是相对类似的,不过当呈现范围非常不同时是困难的。为了达到非常窄的动态范围,人们必须决定哪个子范围仍然必须以什么质量(即典型地以哪一个内部对象对比度和哪一个内在对象对比度)来显示,并且时常地重叠范围由映射算法生成。其它方式甚至更加困难。如果我们仅有几个压缩的对象范围,将难以判断把它们放入输出HDR呈现范围的哪里,更不必说发明新的亮度/呈现值。从LDR映射的图像生成良好、自然的HDR图像将变得甚至更加困难,在该LDR映射的图像中场景亮度不相似对象的8位亮度范围已经被不适当地编码,彼此重叠(像当模拟非常均匀的照明时,破坏原始场景照明的所有或足够的信息)。

对象像素的灰度值(或一般而言,颜色)的所有其它变换可以被看做一般的变换,其可以是局部的而不是全局的,其典型地由艺术家(针对如果以上用于不同观看情景的简单数学校准不够精确,他甚至可以修正)完成。艺术家可以做非常复杂的艺术分级,其中他们例如改变在画面中的云中存在的不同亮度,以使得风暴看起来更加险恶。或者他们甚至可以使用计算机图形渲染效果,以使得光线束从机器人的眼睛出来,如由期望的像素亮度/颜色所表示的。针对我们的讨论,我们能够以两个典型的情景作为示例。要么在对象像素灰度值(颜色峰值分级)的亮度范围上的所有重要定位已经被在主HDR图像(IM_MSTR_HER,参见图4,其可以是例如具有特定定义伽马的16位图像)上完成,要么LDR图像(Im_1)仅仅通过在该主HDR上简单的数学变换(像例如伽马函数,其伽马因子基于如HDR图像的直方图这样的特性而被调整)推导出,即HDR到LDR的转变仅仅是灰度值的简单合适移动(典型地在不过大的偏离上),使得所有信息相对精确地被包含,无论是否在不同的编码策略中。在这种情况下,将在HDR显示器上再现的最终HDR图像能够通过应用该反向数学映射策略而从LDR图像推导出来。或者,人类分级者520可以可替换地基于从作为主HDR图像IM_MSTR_HDR中被编码的主分级开始的而被进一步最优地调整的分级来推导LDR图像(即,他例如以[0,1.0]图像开始,犹如它是LDR,并且根据他的无论什么品味在色度上自由地开始变换它)。即,在该情境中,存在用于在HDR图像IM_MSTR_HDR中的HDR再现系统的最优外表的编码以及用于LDR系统的另一最优外表两者,在被分级的LDR(例如,有利地,8位)图像Im_1中被编码。虽然我们的方法适用于针对像素颜色的第一和第二颜色空间定义之间的对象(典型地具有各种位深度和/或意图的显示器峰值视亮度)的任何颜色或亮度变换(所需要的唯一事情是在至少一个颜色表示/图像编码中的较亮和较暗区域之间存在良好顺序关系),但是,我们将集中我们的范例在第二类型的示例上。即,分级者可以已经指定许多精细调整的颜色映射,即具有用于(多个)图像的各种子对象或区域的通用的luma_in到luma_out的函数形状(例如,如LUT),在我们的策略中其将被转换为一系列(一个或多个)的区域微分器灰度值(gTS)、许多变换函数或算法,以及典型地还有将可获得的分段与将被应用的转换进行链接的一个或多个链接规则(例如,如果存在三个连续的区域微分器灰度值,则在第一gTS1之下的对象可以被分段为“0”,在gTS1之上分段为“1”,并且然后如果第二gTS2是可应用到相同集合的对象(即相同亮度范围)的较高值,则在gTS2之上将是分段“2”,但是下面的亮度已经属于“1”。如果gTS2只是较暗或较亮对象的重定义,像在我们非常暗的对象示例中,则阈值以上的亮度将在两种情况中都是分段“1”背景,但是较低的亮度将分别是分段“0”和分段“2”。如果关系是清楚的,不需要另外的数据被联合编码,但是典型地可以存在解释区域微分器灰度值的意义的一些另外的元数据。例如,定义区域微分器灰度值的类型为“further_demarcation_in_same_luma_range”或“modified_demarcation”等可能完全是足够的。但是针对更复杂的情况,以及的确因为不需要这么多的附加数据,编码器可以选择总是像这样做,人们可以利用例如分段值分配规则而只联合编码针对每种情形必须被完成的东西,例如“如果亮度<gTS1→对象/分段=0”,如果“亮度>gTS2→分段=2”等。以这种方式人们保证不发生任何可能的错误解释和导致不正确的转换。

图3阐明了如何编码以上实施例的一个可能的有利示例,适应当前图像编码技术的框架,诸如例如像AVC的MPEG视频编码标准,或类似物。

可以从在全局标头(每个画面,或用于画面示例的镜头的第一画面)中放置一些元数据开始,其是典型地对主导的变换是有用的。例如,对于简单的镜头,在此编码要被应用到大多数的画面的第一映射Glob_TM1以及要被应用到一些,例如更亮的区域的第二全局映射Glob_TM2,可能就足够了。第一映射可以应用于图1的我们的房间(即一切作为背景、楼梯和非常暗的对象),然后在第二映射可应用到照亮/提升彩色玻璃窗。并且借助于该编码区域微分器灰度值gTS_glob,这两个对象之间的差异很快在接收侧被发现(典型地该窗口在Y-8b的LDR图像中将具有比对象的剩余部分高(得多)的亮度,但如果没有这个元数据,自动地确定可能是非常困难的)。如果人们在室内旋转摄像机,可能例如彩色玻璃窗开始变得更加明亮,因为有更多的阳光照射通过。这可以通过针对镜头中的连续图像逐渐改变Glob_TM2和可能地gTS_glob来编码。这允许例如保持Y_8b图像中的彩色玻璃窗的编码在连续图像上为相同的(例如,使用可能最好的代码分配以保留彩色玻璃上的绘画中细节的最大量),因为人们可以通过改变映射Glob_TM2(即光照改变是在功能转换中而不是像素化纹理颜色编码中)来提升窗口的视亮度。然后许多数字像素数据块被编码,例如通过DCT。如果全局编码对于整个图像是足够的,则所有的像素数据遵循全局标头,直到镜头或甚至电影限幅的结束。然而,我们假设在本例中,我们有更复杂的情境,其中图像中的某处,在特定块(i-1,J-2)之前开始,我们必须开始做本地转换。即典型地我们仍可以使用一些如已经在Glob_TM1等中编码的全局转换知识,例如,用于转换壁纸的背景像素,但是我们必须为至少一个局部的新对象做新的转换。即一些转换策略将在本地重新定义,例如重写。在该示例中,本地元数据Loc_MET_1包含用于划分gTS_L_loc_1上的较亮部分的新的策略,例如因为在那里存在一个像光的较亮的对象。还存在用于确定一个或多个暗对象(S)gTS_D_loc_1的区域微分器灰度值被联合编码。在该示例中,光对象仍能够利用用于光区域的当前可用的和可应用的变换而被充分地变换,但是新的映射Loc_TM_DK被编码以用于变换暗的对象(例如,这里楼梯第一次出现,并且我们已经知道如何变换窗和壁纸,但是还不知道如何变换暗楼梯)。变换链接规则LnkRL_1的示例也被联合编码,该规则规定,低于暗对象区域微分器灰度值gTS_D_loc_1的亮度利用用于楼梯Loc_TM_DK的变换而要被映射。

该信息又是足以用于许多连续的块(或一般地,通用定义的形状),包含背景或楼梯,直到我们在块(i+2,j)之前结束,其中我们必须对允许对非常暗的对象进行分段的区域微分器灰度值gTS_D_loc_2及其映射策略Loc_TM_DK_2进行编码。DAT_TM给出数据的顺序,诸如例如沿着扫描路径的块的空间的(或传输中的时间的)顺序,如从图像编码众所周知的。

虽然我们仅描述了散布的示例,但是我们还意图覆盖在其中元数据被从像素块数据物理地分离,然而可以与特定块定位相关联的系统。虽然一些视频编码结构可以完全包含上述的示例(因为他们已经具有被随意使用的专用或通用的元数据存储器占位符,其它视频编码结构可能不具有足够的元数据存储器以存储所有事物,或者如果一些数据被散布地写入,则通过搅乱旧系统而失去后向兼容性。因此,其他等效的实现可以在信号(例如,在盘上的电影的开始处,或在广播期间的定期间隔处等)的分立部分中编码所有元数据(gTS等),然后通过与特定块或其它区域的几何关联的代码的方式使得该数据可关联。最简单地做到这一点的方式是在数据之后写入块的数目(以及潜在的还写入图像数目、电影/内容数目等),例如像:“gTS1 = 230/ImageNr/TimeCode=2541,Block_loc=(X=20,Y=12)”。该分立的元数据部分,甚至可以例如驻留在不同信号中,并通过不同的方式供应,例如电影放在播放器中的蓝光上,但是元数据“解释”它像(多个)区域微分器灰度值是从在例如互联网上的网络化存储(例如允许改进的HDR再现的专用服务)检索的。

图4示出分段将典型地看起来如何,在其中我们还解释了例如彩色玻璃窗如何在子区域中被子划分,其将是有用的,例如,如果下面部分较少明亮的照亮,例如由于外侧部分屏蔽一些光。在这种情况下,新的分段类型SEGM_TYP_2将导致,例如分段=“5”。我们现在理解到,通过与最优地确定的区域微分器灰度值的简单比较,分段规则如何可以容易地生成不同光照(典型地在HDR场景中的不同光照)的对象,其可以被精确的分段,不考虑其与块的关系。因此人们可以以块为基础编码所有其它有用的数据,诸如当前要使用的映射,同时结果仍是应用对象精确的,即没有任何晕圈或块伪像等。

我们想要多说一点关于gTS值。我们已经提到,它们可以被定义而不考虑被使用的任何技术亮度编码,例如,人们能够在伽马2.2 YCrCb颜色空间中使用亮度gTS值,或在对图像颜色进行XYZ编码时使用亮度Y微分器值等。这留下有趣的问题,即gTS值是定义在第一还是第二图像(例如,初始或最终图像)的参考颜色空间中。如果使用被映射的LDR表示来编码HDR主分级,将通过从该LDR图像映射的亮度提高来恢复该HDR图像。所以沿着LDR图像编码亮度轴定义gTS值将是有意义的,虽然在通常的情况下,原则上人们还可以沿着HDR亮度轴指定它们,因为经由HDR恢复映射函数的反向,那些基于HDR的gTS值可以被转变为与基于LDR的gTS值等价。典型地元数据将在视频编码开始处指定哪个定义是适用的。现在,让我们钻研更深一点,关于在某些情境下基于LDR的gTS值能够发生什么。原则上人们可以具有从主HDR到第二,LDR图像的映射,该LDR图像(略)重叠区域的亮度直方图,其在原始HDR图像中是分立的(例如楼梯的一些较暗部分可以获取还在非常暗的对象中发生的LDR中的亮度)。然后,我们可以指定gTS微分器中间的重叠直方图尾,或者在更好的亮度位置处。虽然原则上当提高时可能存在问题,针对若干映射策略这不必是问题,特别是如果它们在重叠周围具有相对光滑的行为(即不提升象素间对比度)。然而,我们将在下文限制我们自己到通常应当具有在LDR和HDR图像二者中分立的直方图。各种装置实施例可以被约束到考虑该约束,例如,通过限制分级者可以选择的HDR到LDR映射的选择等。这对于非压缩的(其意味着像频率技术(像DCT)的心理视觉空间压缩,而不是亮度子范围的压缩)编码将是容易的。针对压缩编码,我们对于像是例如来自不完整的DCT编码的棋盘结构的问题必须多一点小心。虽然这种需要在实践中并不总是问题,但是有时伪像在视觉上可以变得更加严重,例如看起来像更多噪声的区域。特别地,如果在原始未压缩的LDR中楼梯和背景直方图是分立的(或许是接触的,或者其间有一些未使用的代码),这可能发生,但在DCT基础分解后,恢复的信号会有来自较亮周围的一些较暗棋盘斑点,其落入分配给较暗楼梯的子范围中。如果人们还有一个色调映射曲线,其沿着楼梯和背景之间的gTS值严重地拉伸(例如具有两个色调映射部分之间的大偏移的不连续函数),那么这可能是因为那些斑点在至少靠近楼梯的背景中变成显著的较暗。各种装置(或方法)实施例可以以若干方式处理这些,并且特别地,用户接口可以给分级者提供不同的方式与编码行为进行交互并指定该编码行为。首先,他可以使色调映射曲线较不陡峭,并且该装置可以要么最初向他提供仅不太陡峭的映射的选择,要么通过提供分级者仅针对其中他判断伪像太严重的区域而重指定该映射,可以迭代地(至少一次迭代)修正那些。同样,该映射可以是使得存在一些备用代码。特别地,人们可以利用两个gTS值很容易地定义这样的行为。图7示意性图示了这种情境。在该图中Luma_in将是HDR图像的亮度,并且其对应LDR编码的luma_out,我们将例如通过传统MPEG编码器发送它。在HDR图像中,亮区具有距暗区远远分离的明亮度/亮度,其从它们沿luma_in轴的分离示出。从理论上讲,我们可以设计一个映射,其使得它们沿着Luma_out(LDR)轴接触,但现在我们设计了一个映射,其在它们之间留下空白代码的一些范围ProtRng。这些代码不应该在LDR编码内存在,但在DCT的解压之后,棋盘的一些较暗部分可以落入该ProtRng中。然而,解码器能够识别这一点,并从该信号将它们移除,例如,通过将它们限幅到亮范围内的最低Luma_out值,先于执行亮度提升以恢复HDR图像。利用该原理,我们甚至可以减少该保护性范围ProtRng,甚至到这种程度,即DCT解压后一些代码可以落入LDR图像的暗范围,并且通过暗映射MapDrk而不是那些像素的修正映射(即亮映射MpBrght)的反向而被映射(潜在地远离HDR图像中的亮范围)。但这样的DCT伪像通常具有结构,其越过几个中间值到棋盘中最黑暗的斑点。所以解码器可以例如从块中的一些不正确的值中检测可能存在的潜在的问题,并且在DCT解压后但先于将这样的值亮度提升到LDR图像的亮范围中的值(即使那些像素实际上是来自暗对象中的像素)改变,只是为了安全起见(稍微不正确的HDR效应,但是还没有强的潜在伪像)。该编码器可以使用预留代码以用于该“限幅到范围”(0或1)以指示这是否应当应用于块,或其是否它应当被单独留下并且只是被提高,以及分级者可以通过例如利用他的鼠标点击它们或对于相关的问题块的集合乱写一气来指示有问题的块。虽然解码器可能不知道其中的差别,但是编码器能够具有原始信号和确定该问题是否能够发生的所有信息,所以可以存在伪色模式,利用该伪色模式分级者可以在显示为例如亮饱和红色的不正确的像素与在HDR图像的(不正确)重建之后的实际颜色之间反转。若干其他(交互性)选项也是可用的,例如,编码器可以对分级者选择为有问题的块使用更多的DCT的代码字,或者相反地较少的DCT块,使得仍存在较低的频率误差,但是假若这给出更好的最终外表,则迅速棋图案被移除。或者例如能够做出对原始数据或DCT系统的小的改变,例如,副模式在DCT编码之前可以应用到LDR块,使得最低棋盘值不再落入暗LDR范围等。

图5示出在内容创建侧的可能的分级装置510的示例,其由分级者520控制(技术人员将理解到我们的发明的同一实施例实现将如何应用在例如数学的基于色度的自动化转码装置或任何其它实现中)。

在分级装置510内部是用于编码高动态范围场景的图像的图像编码器549,该图像可以已经在先前被捕获,例如通过赛璐珞胶片或电子数码相机系统,可以已经对其增加特殊效果,并且在视频的情况下其可以是最终时间组合序列中的图像。图像编码器(我们现在为了简单起见假设其是象IC的单元,但是其可以是软件套装,其中一些组件可以甚至运行在远程服务器上等)典型地可以包括各种子组件(典型地在软件控制下,允许分级者选择参数),并且将典型地包括像素纹理编码单元552的一些变型,其被设置成根据特定定义的图像表示(Im_1)编码图像的像素的颜色,例如通过N位代码字的亮度,像是例如8位或10位或12位码字,和像是Y_Cr和Y_Cb的色度编码。因为已经存在若干编码变型,从VC1、VP8以及相似的MPEG类编码,到甚至不太常用的分形编码器不等,所以我们将不需要进一步阐明那方面。

然而,还包含图像分析单元550,其能够应用更简单或更复杂的图像分析。在如示出的示例中的这样的专业分级装置典型地是可用的大量的软件实施的算法,给予分级者在图像上几乎完全的控制,既当希望研究其性质和组成,又当希望任意地改变它时。他可以例如使用吸管以采样特定颜色(并且然后通过例如选择采样颜色周围的适当色度边界,能够从该采样像素颜色定义典型的“对象颜色”),或者查看信号波形或直方图或区域的其他表示(例如,系统可以将亮度的子范围映射到区域的顶部上,例如通过伪颜色)。他可以例如(暂时地)变亮特定区域,以便更清楚地在视觉上检查其在一个或多个参考显示器530上的纹理。典型地,他能够应用许多图像过程,像锐化区域,或应用照明效果,或另一效果。他可以通过利用套索在对象周围绘制边界以划分对象等。

现在典型地图像分析单元将至少将对象转换为区域微分器灰度值(gTS),或者换言之,与至少确定的与gTS相关的对象相关联。它可以例如确定所选择对象区域的直方图,并确定它包含的最小亮度值比周围区域(例如,整个图像)高。可以包括交互处置,例如分级者可以首先变亮该区域,使得现在其新的最小值比图像的剩余部分,或几何上涉及对象的相关部分的最高值高(例如在对象边上)。

该区域微分器灰度值gTS将被输出到格式器554,其能够(还遵从一些(传统的或新颖的)图像编码标准的规则)在输出图像信号(S(Im_1,MET(gTS))中联合编码图像表示(Im_1)和区域微分器灰度值(gTS),典型地后者以预先商定的文本元数据格式。例如该图像信号可以被烧录到蓝光盘511上,或者保存到一些其他存储器,像是网络服务器的盘或固态存储器,或在信号传输连接的实时发送图像信号等。对本领域技术人员应当清楚的是,虽然我们在当前的物理构造中描述了该功能性,但是其它的实现是可能的。

典型的当在分级装置上分级时,分级者将同时使用其亮度映射确定单元553以确定用于至少一些对象(其他对象则当然也具有变换,可能是恒等变换,但是该变换可以是例如默认的,像是预定义的,或由再现显示器选择的,等)的亮度映射(TOM)。他将在如编码在第一图像表示(例如,输入Y_16b HDR图像)中的像素亮度和第二图像表示(例如,LDR图像Im_1),或其他方式中的像素的亮度之间定义映射。亮度映射确定单元553自身可以数学地确定映射函数,例如作为初始建议将其提议给分级者,通过查看例如HDR图像的各区域的视觉特性,以及它们如何仍然能够合理地表示在LDR编码中。这可能会导致应用例如S形曲线或多分段映射,其具有例如通过分离全局直方图的特定子瓣,或诸如脸部检测之类的图像理解,或其任何变形而确定的膝盖和肩膀的曲线。然后分级者可微调此功能,例如,通过移动或弯曲S形的肩部。在我们的方法中,他可以做到涉及gTS值的这一点。例如,分级装置可以已经定义了重要灰度值(例如999),其可以是用于例如多分段映射曲线的部分的控制点,但是然后分级者可以改进这一点,例如移动它使得对象(像是例如楼梯)的更相关的部分现在由部分亮度(/色调)映射来变换。我们将进一步通过图8的示例来图示一些方面。如已经提到的,我们可以仅仅在编码方法中使用我们的方法,例如,在其中HDR图像应当经由被编码的、传统的可用LDR图像(LDR容器)而被编码。在该情况中,典型地将仅存在用于两个图像之间的映射的一些固定的函数。然而,通过图8我们描述了我们的系统如何能够与gTS值一起被用在显示器可调性的另外情境中,其中针对不同的显示器确定另外的分级,不管该信息是否已经全部被分级(即分级者至少检查这种转换将如何观察多个非常不同的参考显示器,像HDR、具有小动态范围的子LDR)并且被编码在图像信号中典型地作为要被应用到一个或多个纹理图像(Im_1)的各种函数,还是是否只存在被编码用于良好的外表HDR分级并可能是良好的LDR分级的数据,并且在再现侧显示系统(例如显示器或计算机)正在基于该数据和我们的gTS值确定至少一个另外的分级以用于例如中间动态范围显示器MDR。在该图中,我们使用绝对值(absolute)的最终亮度表示。Luminance_in可以是如同它会在例如一些参考显示器上显现那样而定义的输入信号,并且luminance_out可以是在具有不同亮度能力的各种实际显示器上的输出再现亮度。我们假设较低亮度对象基本上是被正确地编码并因此被再现,所以显示器(DIS1,DIS2)二者将使用相同的色调映射TM_FDrk,这可以是恒等变换,或一些对比度拉伸。现在上述gTSh1启动图像中的亮区,并且存在两个亮区(例如,被高达gTSh2的落日照亮,以及被gTSh2以上的强足球场照明照亮)。显示器1可以具有非常高的峰值视亮度,所以我们有许多空间用于分配其明亮的子范围到不同的视觉照明类。第一明亮处理色调映射TM_TBri1_Dis1可为明亮的显示器相当大地拉伸原始数据,使得该区域看起来恰好明亮且对比强烈。第二明亮处理色调映射TM_TBri2_Dis1甚至可以偏移该区域到非常高的再现亮度,使得该区域视觉上与由太阳照亮的部分非常不同,例如体育场照明确实看起来非常刺目。该分辨可以很容易地利用gTS值完成(例如,在该线性映射的示例中,他们甚至可以参数化映射函数)。对于具有较小峰值亮视亮度的显示器,例如确定最终映射的计算机可以针对由gTS值确定的各个区域做一些其他事情。例如,它可以用对比不那么强烈的映射函数TM_Bri1_Dis2来处理较低明亮,从而仍存在一些空间留给体育场光照点亮区域,然而,其需要利用函数TM-Bri2_Dis2进行软限幅。

该亮度映射(TOM)最终被格式化器554联合编码成输出图像信号(S(Im_1,MET(gTS),TOM),根据商定的图像信号定义规范。同样,这样的映射可能在原则上从使用任何第一颜色编码规范确定用于任何第一参考显示器的任何第一图像(特别地具有任何输出亮度动态范围)映射到类似的任何第二图像编码(特别是具有较高或较低的峰值视亮度,更小或更大的动态范围等),只要它被清楚地指定并且被接收侧同意。

典型地根据本实施例的概念,图象编码器549被设置成智能地联合编码所选择的(多个)区域微分器灰度值(gTS),其对于从高视亮度的区域划分平均视亮度的区域是有用的,即,例如低于某一百分位的亮度直方图和某个百分比的最高值的部分,特别是当由未使用的代码(或基于再现亮度的类似定义)分离时。因此这对于HDR场景的编码非常有用,在任何格式/颜色空间中该图像将最终以至少一个版本(例如Y_8b或Y_10b,或Y_16b,并另外的定义,像是意图的白色亮度、黑色、伽马曲线,等)被编码,因为这些HDR场景典型地不具有类似的场景对象亮度,并且因此不具有相机捕捉后的图像亮度,鉴于由照明设计者使用的均匀照明,如在LDR生产中,但是它们具有非常不同的照明区域。并且gTS值可以适当的表征那些区域。

因此,基本上分级者只是将他的经典操作应用于(多个)图像上,像是对象选择,从而为该对象等的不同部分(典型的亮度子范围)定义最佳映射曲线,并且编码器549把它转换成本发明的实施例中的参数,诸如区域微分器灰度值gTS。

我们已在图5中利用家庭娱乐内容制作系统阐明了本发明,例如经由连接器581可以访问视频服务器580,其包含视频文件,诸如比方说一些电影或电视秀(show)的主HDR分级IM_MSTR_HDR,其是在制作该电影或秀时被制作的,作为最终的参考分级。然后它将被转换成家庭影院分级以用于家庭版本发行,被编码例如为一个8位MPEG-AVC图像Im_1,以及根据给出的实施例中的任一个的元数据。当然,编码器也可被并入其他系统、装置或使用情境中,例如,用于从通过(例如,无线)图像/视频连接505来自相机501的原始相机信号直接确定一个或多个主分级,或者用于重新灌制,等。

图6示出一个可能的接收侧系统的实施例,即家庭消费图像或视频再现系统。电视602可以直接接收第一视频(或图像)信号SB(IM_1,MET),例如通过空气。该示例视频馈送已经在上面解释,并且使用一连串图像(典型地是从一个内容到另一个,或节目部分,像是新闻节目中的报道)之间的区域微分器灰度值,其应当利用高视亮度和HDR精度(即还关于在确定图像的外观的若干对象的输出亮度轴上的精确分配)用电影的方式来再现,或应当利用(近LDR)降低的视亮度(和功率)来运行。还可以存在图像处理装置601(像例如,机顶盒或PC),其可通过到互联网(I_net)的一个或多个连接而获得它的视频。例如,youtube服务器或类似物可提供HDR信号,其优选地既被简单地编码,又对于各种不同的可能的再现显示器以多功能的方式可使用(即,所谓的“显示器可调整性”的准则)。除了例如HDR信号的Y_8b编码Im_1,它将包含一个或多个上述实施例中的元数据,并且例如还包含处理指示符PROC_IND,其指定了该画面Im_1可以如何被处理,例如以获得HDR图像的版本。例如,它可以指定,接收侧可以使用若干颜色/亮度变换策略,例如具有像是“receiver_determines_optimal_mapping”的指示符。在这种情况下,像是机顶盒或电视的接收设备可确定自身应用第一映射,例如如果观众在他的观看房间中接通光,并且应用第二映射,如果灯被关断。事实上,可以根据公差或百分比的变化来指定允许的处理,例如可以允许再现侧装置应用高达1.2但不强于某个分级的伽玛函数,例如如果显示器具有在参考显示器的峰值视亮度范围内的峰值视亮度(例如,分级可以被确定以用于700尼特参考显示器,并且被允许是可稍微修改的,如果该实际显示器在其50%的范围内,即具有350和1050尼特之间的峰值视亮度)。处理指示符还可以指定,只有一个或几个具体确定的变换之一可以被使用,等等。指示符可以具有可变的定义,其可变得复杂,例如它可以包括用户接口控制的详细指南,从而指导观众通过选择以具有电影的最佳外观(给他一些创建者认可的优化选项,就像改进深色的几个方式,从而使它们更加丰富多彩但有些减少图像的气氛),如内容创建者所期望的(例如利用选定的图像子集手动校准)等。典型地由于观众具有最终控制权,将会有回退情境,所以可以忽略或否决这些指南,但本实施例确实允许高度的多功能性,像是例如内容创建者关于他的内容要如何被再现在最终再现环境中的更密切的话语权(无论是在家、影院、户外、、在例如足球场处的专业显示器等)。

图像解码器605典型地可以包括若干以下单元。像素纹理解码单元608需要被设置以使得它可以执行任何必要的数学处理以解码输入的图像信号,其可根据许多标准进行编码,所以例如可以运行软件,其可以被升级,如果新的小波编码器得以发布。当然会有信号解包并且也许有解调等(其将典型地通过格式化器607来完成,连同提取,并且潜在地还解码像是(多个)区域微分器灰度值的元数据),但在像素纹理解码单元608将能够做这样的事情,如例如算法解码,逆DCT解码等,就像在MPEG-视觉标准中的所有组件以及类似物一样。图像分段单元606将执行分段,并如所述,通过设置gTS值的阈值可以很容易地完成它,但也可以支持更复杂的分段策略。然后象素颜色变换单元609将执行至少象素亮度的映射,其可以如重新编码例如函数PD_BLCK(i+2,j)的输出值的那样简单,该输出值属于作为输入值(Luma_in)的该特定Im_1像素的像素亮度值。该输出值将被写入HDR输出图像IM_RC_HDR在该像素位置。该图像可以是在连接688上被发送到tv的那一个(例如,用于由电视或通用显示器中的图像处理单元620的直接驱动或进一步处理,这也能够进行颜色变换)。

可能存在涉及的中间图像IM_INTRM,虽然这可以以任何参考表示,当前我们为简单说明起见假设它是一个8位的亮度图像(对于两个颜色通道表示还具有8位字)。如果输入图像表示Im_1未被(例如,DCT)压缩,那么这可以是Im_1的简单副本,否则它典型地是从解压缩得到的图象。

该系统还示出经由像是天线699到便携式显示器630(例如IPAD,观众使用它在他的卧室里在床上继续看电视)的网络通信连接手段的家庭网络视频分发。这很好地说明了实施例的通用性,因为该装置601可接着为这个设备最佳地预调另一图像信号IM_RC_MDR,其可以例如仅具有在LDR(我们可定义其大约高于750尼特峰值视亮度结束)和高品质的HDR之间的中间动态范围,其从高于比方说2500尼特开始。通过使用甚至用于像素的纹理的相同Im_1,以及相同的(多个)区域微分器灰度值,但改变的映射函数以用于映射到显示器再现输出亮度的不同范围MDR图像然后可以被编码在IM_RC_MDR中。

这些实施例还允许在再现侧改进用户界面的交互性,因为观众可以例如在参数上调整他的映射函数。例如使得很暗的对象变亮可以像控制函数PD_BLCK(i+2,j)的斜率一样简单。智能算法可与触摸单个按钮(使能例如智能视亮度函数)美学上同步地对(多个)图像中的所有对象应用协调的亮度修改,但它也可能通过提供更复杂的用户接口来使能对各种对象的控制。例如,当看电视时,用户可以使用自己的便携式显示器630作为遥控器,并在使得电视图像的一个副本在该遥控器的显示屏上,其中利用区域微分器灰度值方法已预先选定各种显著对象。然后,观众可以迅速用(例如,在对象的顶部上弹出的一些滑块)几个改变指示他对于一个或几个图像(例如在电影的开始,一些重要的特征场景,或者根据暂停命令,将要播放的场景的当前图像)的偏好再现。取消按钮可以恢复情境等。人工智能可用于从观众的动作,甚至通过存储用于在像是在不同日子的非常不同的播放时刻的无关节目的细节,来推断他的喜好。该系统因此可以推断,观众可能喜欢他的黑色是漆黑的,或者反过来变亮起来,然后应用该知识到其他的图像。

本文中公开的算法组件可以(全部地或者部分地)在实践中实现为硬件(例如专用IC的部分)或者实现为运行在专用数字信号处理器或者通用处理器等等上的软件。它们可以在以下意义上是半自动的:至少某用户输入可能/可能已经(例如在工厂中或者消费者输入或者其他人类输入)存在。

技术人员根据我们的介绍应当可理解哪些部件可以是可选的改进并且可以与其他部件组合地实现,以及(可选的)方法步骤如何对应于装置的各构件,反之亦然。一些部件在本发明中以特定的关系(例如在单幅附图中以特定的配置)被公开这一事实并不意味着其他的配置不可能作为本文中公开以申请专利的相同发明思想下的实施例。再者,出于务实的原因仅仅描述了有限的一组示例这一事实并不意味着其他的变型不能落入权利要求书的范围下。事实上,本发明的部件可以在沿着任何用途链的不同变型中实施,例如,像编码器那样的创建侧装置的所有变型可以与分解系统的消费侧的相应装置(例如解码器)类似或者相应,并且反之亦然。所述实施例的若干部件可以被编码为用于传输的信号中的特定信号数据,或者另外的用途,诸如协调,在编码器与解码器之间的任何传输技术中等等。在本申请中,措词“装置”在其最广泛的意义上使用,(即允许实现特定目的的一组构件),并且因此可以例如为IC(的小部分)或者专用器具(例如具有显示器的器具)或者联网系统的部分等等。“布置”或“系统”也被意图在最广泛的意义上使用,因此它可以除别的以外还包括单个物理的可购买的装置,装置的部分,协作装置(的部分)的集合等等。

计算机程序产品外延应当被理解为涵盖命令集合的任何物理实现,这些命令在将命令输入到处理器中的一系列加载步骤(其可以包括中间转换步骤,例如翻译成中间语言和最终的处理器语言)之后使得通用或专用处理器能够执行发明的任何特有功能。特别地,计算机程序产品可以实现为诸如例如盘或带之类的载体上的数据、存储器中存在的数据、经由网络连接(有线的或者无线的)行进的数据,或者纸上的程序代码。除了程序代码之外,程序所需的特性数据也可以实施为计算机程序产品。这样的数据可以以任何方式(部分地)提供。

本发明的任何实施例或者依照当前实施例的任何理念可用的任何数据(比如视频数据)也可以实施为数据载体上的信号,所述数据载体可以为可移除存储器,比如光学盘、闪存、可移除硬盘、经由无线构件可写的便携式设备等等。

操作任何给出的方法所需的一些步骤可能已经存在于本发明的处理器或者任何装置实施例的功能中,而不是在本文描述的计算机程序产品或者任何单元、装置或方法(具有本发明实施例的细节)中描述,例如数据输入和输出步骤,公知的典型地结合的处理步骤,例如标准显示器驱动,等等。我们也希望保护得到的产品和类似的结果,比如例如所述方法的任何步骤或者所述装置的任何子部分中涉及的特定新颖信号以及这样的信号的任何新的用途或者任何相关的方法。

应当指出的是,上述实施例说明了而不是限制了本发明。在技术人员可以容易地实现给出的示例到由权利要求书的其他区域的映射的情况下,我们为了简洁起见没有深入地提及所有这些选项。除了如在权利要求书中组合的本发明的元件的组合之外,这些元件的其他组合也是可能的。元件的任何组合可以在单个专用元件中实现。

在权利要求中,括号之间的任何附图标记并不意图用于限制该权利要求,附图中的任何特定符号也如此。措词“包括”并没有排除存在权利要求中未列出的元件或方面。元件之前的措词“一”或“一个”并没有排除存在多个这样的元件。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号