首页> 中国专利> 使HDR观看为内容所有者同意的过程

使HDR观看为内容所有者同意的过程

摘要

为了即便当电影数据中的一些被盗版时也允许用于出售HDR电影(或至少DHR体验)的增加的安全性,图像变换装置(201)被布置成从低动态范围图像(LDR_CONT)得到例如高动态范围图像(HDR_PRED)或者从任何动态范围输入图像得到任何动态范围图像(例如显示驱动图像),其中所述得到包括低动态范围图像中的像素的亮度通过应用至少一个预定义映射算法(gam)到高动态范围图像的像素的亮度的色调映射,所述图像变换装置包括:-对于包括低动态范围图像的数据递送系统(205)的输入端(204);-对于至少一个预定义映射算法(gam)数据的数据安全输入端(206);以及-控制单元(202),其被布置成在低动态范围图像中的艺术内容的所有者的控制下管理对预定义映射算法数据的访问,这允许对内容在它将被渲染时的授权的正规性的更好控制,这因为我们的特殊HDR图像编码策略而是可能的。

著录项

  • 公开/公告号CN104620281A

    专利类型发明专利

  • 公开/公告日2015-05-13

    原文格式PDF

  • 申请/专利权人 皇家飞利浦有限公司;

    申请/专利号CN201380047495.7

  • 发明设计人 M.J.W.梅坦斯;

    申请日2013-09-08

  • 分类号G06T5/00;H04N21/2343;H04N21/462;

  • 代理机构中国专利代理(香港)有限公司;

  • 代理人李舒

  • 地址 荷兰艾恩德霍芬

  • 入库时间 2023-12-18 08:40:01

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-08-14

    授权

    授权

  • 2015-10-14

    实质审查的生效 IPC(主分类):G06T5/00 申请日:20130908

    实质审查的生效

  • 2015-05-13

    公开

    公开

说明书

技术领域

本发明涉及用于允许高动态范围图像或视频的改进的安全递送的装置和方法以及像数据存储或传输产品或编码信号这样的结果得到的产品。

背景技术

最近,图像捕获、显示以及特别是编码已从所谓的低动态范围(LDR)成像(诸如像PAL或MPEG2这样的经典系统)改进为所谓的高动态范围成像(HDR)。本质上,光照的范围能够从太阳光的100,000 lux经过大约500 lux的典型办公室或房间光照再到例如四分之一月光下的0.05lx。世界中的辉度(L)的范围从日轮的十亿nit到灯的10,000个nit、到太阳光中的对象(例如建筑物、云边缘或白纸)的几(十)千个nit、到(重)阴天或室内的对象的几百或10几个nit、到月光下的白纸的0.1 nit等。这未必意味着一个人应该以确切地相同的方式将这些辉度渲染在显示器上,相反,图片应该看起来是艺术上良好的,至少意味着对于对象在被渲染在显示屏幕上时的区域辉度来说应该存在大致类似的外观差异。一个人应该理解,用于在特定显示器上渲染的色调映射是就从捕获或编码解耦的现今存在的许多显示器而言的,其导致三个链接的表示。一般而言,要能够将例如明亮的白色墙壁与相邻的明亮的灯不同地渲染在显示器上的HDR成像的要求是它们相应的像素同样编码有不同的亮度(Y)值。传感器或相机正变得更强大,在于实际上它们能够如实地捕获世界中的那些许多不同的辉度中的大多数(无论在更大的井深、不同地曝光的图片等情况下),并且为了简单我们将它们天然的颜色表示认为是在[Lmin, Lmax]内的线性辉度编码 + 色度信息。我们然后可以对于我们的传输编解码器使用完全地任意地指定的定义(当然根据期望的要求,诸如例如经编码的信息的像局部变亮或数据压缩关注等这样的后期加工性能)。最后这个编码数据(Y_C1C2或类似物)然后再次能够被以许多方式转换为渲染侧表示,我们能够为了简单将其与例如LCD像素颜色的驱动值视为等同的。显示器正得到更多可渲染的动态范围,使得它们能够首先渲染更多的明亮区域,并且其次同时地或连续地渲染更多的黑暗区域。这允许采用最佳渲染的输出颜色沿着可渲染色域放置所有这些各种辉度对象。

对于内容创建者值得考虑的问题是,尽管他们努力保护他们的内容以便它能够被正当地出售而不是非法地拷贝,但是各种各样的盗版翻印者分发内容并且有时大量分发。当设计新的图像编码标准时,除了从例如数据压缩观点来看如何表示像素颜色之外,一个人能够作为目标同时地在新的要求(诸如标准的可保护性)方面设计。我们提出了用来以这样一种方式对HDR图像进行编码的方式,即,它们被实际地表示为LDR图像,加上用来再次从包含在其中的所有HDR效果信息恢复原始HDR图像的一组变换策略。我们然后能够稍微放松内容保护的约束。图像(纹理/像素)数据本身可以被窃用,但是然后盗版翻印者具有极坏的图片,不是原始HDR主分级。变换策略 - 其在我们的框架中同时是主HDR分级的图像和旧的可用的LDR变例的协同编码 - 然后能够被强烈地保护,例如,在我们新的编解码器中HDR信息的这个另一半能够仅在观看期间被安全地传送(以及例如如果它同样挪开所解密的数据连接则从不超出图像处理IC的硬件之外,并且被尽可能快地从IC内暂时存储器删除)。这将在内容创建者想要出售HDR电影时允许具有更好控制的应用,例如他可以事实上仅出售HDR恢复功能或算法。

发明内容

目标通过图像变换装置(201)被实现,所述图像变换装置(201)被布置成得到第一图像,第一图像包括被编码成在第一动态范围的显示器上产生所期望正确(例如不太明亮的面部颜色或提高的强光部分等)辉度的亮度,第一图像例如是用于4000 nit显示器的高动态范围图像(HDR_PRED),或例如在从相对于较高的基准峰值白色定义的输入图像开始时的2000nit基准峰值图像,基准峰值白色定义这些亮度意指什么,因为经渲染的辉度如果被显示在实际地具有与基准峰值白色相对应的假定6000nit的物理峰值白色基准的这样的显示器上则应该是正确的,对应于其的输入图像数据根据第二动态范围图像(LDR_CONT)(例如在从较低动态范围输入图像的辉度上转换的情况下为较低的例如100nit动态范围图像)被定义,但是在映射是到例如2000nit物理峰值白色显示器的最佳图像的下映射的情况下,这还可能是较高动态范围定义的输入图像,例如具有6000nit的基准峰值亮度的主分级的信号,其中所述得到包括低动态范围图像中的像素的亮度通过应用至少一个预定义映射算法(gam)到高动态范围图像的像素的亮度的色调映射,所述图像变换装置包括:

- 对于包括低动态范围图像的数据递送系统(205)的输入端(204);

- 对于至少一个预定义映射算法(gam)数据的数据安全输入端(206);以及

- 控制单元(202),其被布置成在低动态范围图像中的艺术内容的所有者的控制下管理对预定义映射算法数据的访问。

一个人可能想要预定义映射算法(gam)数据的存在尽可能严格且间歇,以便它难以访问,并且即便当被拷贝时,实施例将使得难以在渲染时实际地使用那个数据,因为该第二阶段也总是仍然存在的。可能存在其中关于亮度渲染影响第二图像具有较低质量(尽管它可以包含关于像素纹理的相同信息)的数个情况。例如一个人可能具有其中一个人利用映射参数将较低质量LDR图像(例如如根据参考100 nit峰值白色的亮度代码的任何标准一样)转换为高质量HDR图像的情形,其中例如激光射线可以具有高亮度,水上的反射在被渲染在较高动态范围显示器上时可以最佳地闪耀等。但是同样当第二图像已经是较高质量图像时,例如颜色编码参考6000nit的主基准峰值白色(即对于在6000nit峰值白色的实际显示器上的渲染来说理论上最佳,但不是高得多或低得多),然后映射参数可以将向例如2000nit的显示器或在该峰值白色附近映射,并且例如第二映射参数可以被用于在范围2500-3500 nit峰值白色范围内(即大约3000 nit)的显示器上得到(更)最佳的渲染图像。我们将采用LDR至HDR转换例子在下面非限制地描述原理,技术人员当然理解然后经由交换同一技术如何在颜色/亮度映射的另一个方向上工作。即,各种实施例总是能够在映射数据的每次使用时检查一切是否是正规的且授权的。即这个系统使非正规使用变得如此困难,当然除非一个人构建整个系统,但是用户典型地购买正规的图像变换装置或显示器,其然后能够被使得严格地根据经授权的方法表现。通过这,一个人甚至能够放松系统,因为在一些实施例中预定义映射算法(gam)数据可以是相对自由地可用的,但是情形的正规性仍然通过图像变换装置(201)在每个渲染期间或之前被检查。所有者的控制能够被以各种方式实现(事实上所有者未必是版权所有者本身,因为控制可能已被委派,但是某人或为了某人的利益而起作用的某个装置必须给出用于做出HDR的映射数据可以被释放的放行信号),但是控制单元必须检查它。例如,所有者可以指示这个内容是免费的(这可能例如是被先前广播并且存储在图像变换装置的存储器中的信息),在此情况下映射数据可能从任何服务器或源中被检索到(在这样的情况下可能是,一个人仅需要做出到电影制作公司的标准服务器的连接以便查看这个电影标题是免费的(并且涉及它的任何另外的信息可以在这个检查之后在没有任何进一步干扰的情况下被免费获得)。当然,关于图像内容一个人有什么权限(例如哪些服务器或实体被允许供应映射数据)的更复杂规范还可以通过服务器被指定,或者通过例如如从较早的通信会话预先保存在图像变换装置的存储器中的这样的所有者的期望被指定。例如,一组处理规则能够被指定用于将预加载的映射数据拷贝到同一域中的用户的另一设备(例如,当被与图像变换装置连接以用于诸方面的动态检查时),例如这个第二装置还应该对服务器做一些检查,而不管与来自图像变换装置的通信同步与否等。

有利地,图像变换装置(201)具有控制单元(202),所述控制单元(202)被布置成在渲染在高动态范围图像(HDR_PRED)的显示器上的时间附近的时间间隔内经由数据安全输入端(206)获得至少一个预定义映射算法数据。甚至从深入在硬件内的存储器中去除映射算法的所有痕迹对于一些情况能够增加安全性。例如,一个人不能够对任何设备进行逆向工程。

有利地,图像变换装置(201)具有被布置成通过诸如互联网这样的网络与艺术内容的所有者的服务器(207)形成专用安全连接的控制单元(202)。尽管许多系统将不需要这样严格的安全性,但是一个人也能够实施避免窃取的通信措施,即使其它措施使所偷的映射数据例如因为它与特定显示器或图像变换装置相匹配而变得更少或不可用。

有利地,图像变换装置(201)具有被布置成发送至少识别低动态范围图像(LDR_CONT)的方面的内容识别数据(id_rend)的控制单元(202),所述内容识别数据诸如例如版本号或它被购买所在的地方,以及可选地此外发送图像变换装置(201)或HDR显示器(290)或那些装置的所有者的识别数据。通过每次识别渲染的情形,服务器207已增加评估该情形的机会。例如,如果突然地用户和内容和/或装置不再匹配,则可能内容不知何故被拷贝了,并且正被非正规地使用。当然如果用户将他的内容正规地再出售给新的所有者,则他可能已在服务器上如此注册(但是然后例如装置细节可以在那个内容的首次播放时被检查,并且被覆盖以便下一次该情形将不被判定为不适当的)。

有利地,图像变换装置(201)具有被布置成以加密的方式将至少一个预定义映射算法数据存储在存储器(270)中的控制单元(202),所述存储器可以是固定的或可拆卸的。一些用户或情况在每个渲染时可能不想要正规性检查,但是例如在内容的所谓的初始化中检查一次。这能够通过例如再次以尽可能安全或期望的方式存储映射数据而被布置。

有利地,图像变换装置(201)具有被布置成从高动态范围图像(HDR_PRED)的用户获得表征信息(诸如例如个人代码或生物计量信息)的控制单元(202)。为了使系统更安全,例如通过允许服务器207做更深入的调查,一些实施例可以获得有关渲染情形的各种附加的数据,并且甚至只有如果它们获得有关渲染情形的各种附加的数据才工作。

并且,预定义映射算法数据(gam, gam_enc)供应服务器(207)被布置成接收从图像变换装置(201)的任何变例打开的数据连接,并且被布置成基于来自图像变换装置(201)的传送的内容识别数据(id_rend)来执行测试低动态范围图像(LDR_CONT)是否被正规地购买或获得的测试,并且布置成随即将预定义映射算法数据(gam, gam_enc)供应给图像变换装置(201)。服务器将在它针对单一使用或永远针对那个硬件渲染情形释放映射数据之前做简单的或更复杂的测试。典型地它至少想要对内容如何被获得做一些简单的测试,例如它可以验证它包含陈述这个内容被大量地免费分发的标识符,或被认为不再是版权强制的。但是内容还可能已被分发(例如作为预告片),以便后来人们将购买映射数据以得到HDR体验。或者内容可能先前已被服务器207本身或已知服务器等传送。在更复杂的变例中,服务器可以做更多的测试以便评估情形,并且如果它判断情形是非正规的则不供应映射参数,或者在它给用户提供来使情形正规化的情况下启动过程,例如给出例如基于在显示器上示出的预定义调查表来使服务器更确信他是正规用户和/或做了正规购买的更多信息。

有利地,预定义映射算法数据(gam, gam_enc)供应服务器(207)被布置成执行另外的测试,具体地为图像变换装置(201)是正规装置还是不适当地表现的装置。这能够以各种方式完成。例如,服务器可以测试它是否正在将映射数据释放到由黑客模仿来自消费电子装置制造商的正规图像变换装置(201)所设计的设备。用来做这个的简单方式是同意识别例如装置是由飞利浦构造的秘密代码,所述代码然后被控制单元发送。能够做允许估计一个人是否正在对最近焊接的PCB仿真器或某个仿真软件等对话的各种进一步测试,例如服务器能够检查它的通信是否进入特定IC等。

有利地,预定义映射算法数据(gam, gam_enc)供应服务器(207)被布置成维持预定义映射算法数据(gam, gam_enc)的部分信息的与图像变换装置(201)的精确时间通信。如果映射数据被不时发送,则这不仅允许使拷贝变得更困难,而且它还能够允许另外的测试。例如拷贝者可能需要数据被更迅速地发送,不管他是否急于不被发现和阻止,或他是否具有关于数据供应的同意的时间顺序的不足细节(例如发送前三个场景的数据,并且然后什么也没有直到在第四场景之前,或者在第四场景之前不晚于10秒钟)。无论这是否保密,并非所有盗版翻印者可能费力构建仿真所有这样的可能方面,这将意味着对于电影的一部分他们最后能够具有HDR体验,从而使得他们能够创建良好的公开性预告片。

有利地,预定义映射算法数据(gam, gam_enc)供应服务器(207)被布置成基于关于{低动态范围图像(LDR_CONT)、图像变换装置(201)、用于渲染高动态范围图像(HDR_PRED)的连接的HDR显示器(290)、HDR显示器(290)的环境的光学特性以及图像变换装置(201)的用户}中的至少一个方面的信息来分析在渲染侧的情形,并且由此确定哪一个(若有的话)预定义映射算法数据(gam, gam_enc)要发送到图像变换装置(201)。取决于所期望的所有方面,即使映射数据的供应是简单的,一些实施例也能够发送各种数据,至少不管用于监测和记录正规内容和非正规内容如何得以分发。

我们的发明的方面能够进一步由从低动态范围图像(LDR_CONT)得到高动态范围图像(HDR_PRED)的方法来实现,其中所述得到包括低动态范围图像中的像素的亮度通过应用至少一个预定义映射算法(gam)到高动态范围图像的像素的亮度的色调映射,所述方法包括:

- 从数据递送系统(205)获得低动态范围图像;以及

- 在低动态范围图像中的艺术内容的所有者的控制下管理对经由数据安全输入端(206)获得的预定义映射算法数据的访问,以及一种供应预定义映射算法数据(gam, gam_enc)以用于通过这样的预定义映射算法数据(gam, gam_enc)的可连接到具有控制单元(202)的图像变换装置(201)的源来将仅对于LDR显示器渲染最佳的低动态范围图像(LDR_CONT)变换成对于HDR显示器渲染最佳的高动态范围图像(HDR_PRED)的方法,所述控制单元(202)被布置成在低动态范围图像中的艺术内容的所有者的控制下管理对预定义映射算法数据的访问,由源执行的所述方法测试图像变换装置(201)是否正在使用授权的低动态范围图像(LDR_CONT),并且在肯定验证下将预定义映射算法数据(gam, gam_enc)传送到图像变换装置(201)。

有利地,得到高动态范围图像(HDR_PRED)的方法在渲染在高动态范围图像的显示器(290)上的时间附近的时间间隔内做出通过网络到服务器(207)的专用安全连接。尤其如果映射数据立即深入(篡改保护的)IC内并且在它不再是需要的时被破坏,一个人能够做出非常安全的系统。但是一个人当然能够在不同的构件和保护措施上变化,以便为映射数据做出不太严格的管理系统,以及一个人以其能够或者不能够做出(一个或多个)HDR图像的结果得到的方式。

有利地,得到高动态范围图像(HDR_PRED)的方法具有在渲染高动态范围图像(HDR_PRED)的位置处的将识别低动态范围图像(HDR_CONT)的内容识别数据(id_rend)发送到服务器(207)的控制单元(202)。关于什么细节在渲染侧的数据被传送的越多,内容所有者的服务器做出能够做出的推理越多,诸如在特定条件下允许特定信息、供应其它更适合的映射数据等。

有利地,供应预定义映射算法数据(gam或gam_enc)以用于将仅对于LDR显示器渲染最佳的低动态范围图像(LDR_CONT)变换成高动态范围图像(HDR_PRED)的方法分析如根据关于经由控制单元(202)接收到的在那个渲染侧的那个渲染情形的信息可识别的渲染情形的方面。如所说,服务器能够基于它得到的信息的类型来推理各种事情,例如设法跟踪用户如何获得了特定的例如盗版的数据(例如,如果许多相同的盗版电影出现,则服务器能够尝试他是否还能够下载它们 - 例如如果图像变换装置已(暂时)存储它从它下载了电影的网站,则它可以将这传送到服务器)。当然,装置的其它变例可能不想要存储或者公开如此多的信息。所传送的信息可以在更大程度上在图像变换装置开始时或在来自服务器的请求时被确定。

所传送的映射算法数据能够基于各种指定信号或编码而被递送(并且在适用情况下出售)、存储在各种物理媒体上等。

附图说明

根据本发明的方法和装置的这些和其它方面从在下文中所描述的实施方案和实施例以及附图将是明显的,并且将参考在下文中所描述的实施方案和实施例并参考附图而被阐明,附图仅仅用作举例说明更一般概念的非限制性特定图示,并且在附图中虚线被用来指示构件是可选的,非虚线构件未必是必要的。虚线还能够被用于指示被说明为必要的元件被隐藏在对象的内部,或者用于诸如例如对象/区域(以及它们可以如何被示出在显示器上)的选择这样的无形东西。

附图中:

图1示意性地图示了我们如何将HDR图像实际地编码为LDR图像,所述LDR图像可用在LDR显示器上,但是在HDR显示器上没有足够的视觉质量,除非一个人获得我们的编码方法的映射算法数据;以及

图2示意性地图示了各种图像变换装置中的一个,其被布置成优选地在渲染HDR图像的时刻附近典型地与内容所有者的服务器通信从而在正确的安全条件下递送所需要的映射算法数据。

具体实施方式

图2示意性地示出了允许在艺术内容所有者的增加的控制下渲染(一个或多个)HDR图像的渲染系统。我们已作为例子将我们要求保护的发明的图像变换装置201阐明为例如具有图像处理能力的机顶盒或任何消费者侧装置。读者当然将理解,主要取决于什么程度的安全性对于任何特定应用是期望的,这个配置可以被以不同的方式具体化。例如在严格安全系统中,一切(来自经由数据安全输入端206与存储映射算法的存储器进行通信的通信处理单元,包括实际的色调映射单元280,并且甚至可能地包括用于计算实际的显示驱动信号的信号格式器)可以被包括在显示器本身中,甚至在单个IC中。数据安全输入端然后可以例如是例如连接到天线的IC的引脚或总线。如果黑客将例如分接(tap)从IC的引脚中的一些出来的显示驱动信号,则这个信息鉴于显示器依赖对他将是很大程度上不可用的。但是当然当不太严格的安全性足够时,一个人能够例如在标准化编码中发送HDR图像HDR_PRED本身,而无论是在显示器的内部总线之上,还是如在图1的示范性阐明中一样在像例如HDMI连接这样的通用视频通信链路291之上。在这样的情况下,HDR图像当然可以通过机顶盒与显示器之间的同意的算法被加密。实际上,图像变换装置201甚至可以是专业装置,其可以例如被用在提供电影购买服务的商店中,或者用在图像/视频分发系统的服务器侧等。

我们将首先用图1说明我们的对HDR图像/视频进行编码的方法如何工作。内容创建者(例如好莱坞电影工作室)已做出主分级原始HDR信号HDR_ORIG,其可以例如采用具有20比特线性亮度表示的编解码器被编码。这个图像是HDR,因为它被如此分级以致它在至少具有较高的辉度(典型地高于1000 nit峰值白色)并且通常还具有更深的黑色、较高的颜色渲染精度等的显示器上将看起来是最佳的。(我们为了简单将说明集中于图像像素的亮度/辉度分量上,但是当然典型地系统还将做颜色映射以便达到最佳地渲染的颜色)。这样的信号不可简单地用在旧LDR显示器上。首先,因为它被不适当地编码。在我们的方法中我们典型地对图像进行编码,同样以后向兼容的方式对HDR图像进行编码,也以10比特或甚至8比特亮度进行编码。忽视实际的像素颜色,这样的图像然后可以通过经典图像传输系统例如通过MPEG2、AVC、VP8、JPEG等编码而被压缩和处理。但是,实际的像素颜色也重要,并且这是在我们的编码方法添加第二阶段的地方,否则它将出错。我们以这样一种方式对HDR图像进行编码,即它直接地可渲染在旧显示器上,换句话说,它将在这样的显示器上看起来有足够的视觉质量(图像对象的颜色合理接近它们将在原始场景中看起来像什么,或者至少和LDR显示器能够在无论如何给定在那个信号中不丢失HDR图像效果信息的重要约束的条件下来渲染其一样好)。我们因此应用在原理上为可逆的变换(即,从HDR_ORIG到LDR_CONT的映射能够被取消,以便通过应用相反的亮度/颜色映射策略从LDR_ORIG获得HDR_PRED),或者至少,使得根据我们获得的LDR编码LDR_CONT,我们能够完美地(或至少在最小误差情况下)检索到原始主分级HDR_ORIG作为映射的估计HDR图像HDR_PRED。这意味着做亮度(和颜色)映射的算法应该是诸如不破坏HDR信息。为了更精确地强调这个重要点:HDR信息尽管不是完美地可渲染的(例如一个人可以将图像的一些较暗的部分挤在一起,以便它们在典型环境条件下在低峰值亮度LDR显示器上对于眼睛来说不再是可区别的),但是通过应用映射算法仍然是可恢复的(亮度10、11、12、...15例如能够被映射到HDR亮度25、30、48、...100,尤其是在不太多的像条带这样的赝像由此在通过映射估计/重建的HDR图像中是可见的情况下。所以尽管我们可以说LDR_CONT是LDR分级/图像,但是它是特殊DLR分级/图像,在于它仍然包含 - 因为我们使用了适当地受约束的映射来链接HDR_ORIG和HDR_CONT - 主分级HDR_ORIG的(至少几乎)所有HDR信息。

不对HDR_ORIG的甚至8比特编码应用这样的校正亮度映射对于旧设备将产生不可用的图像,因为它们将看起来在色度上也失真。例如,一个人可以具有带明亮强光部分的黑暗基底场景。因为高峰值辉度HDR显示器能够渲染具有相对高的输出辉度的较低亮度像素代码,所以我们可以将低像素亮度分配给所有这些像素(例如0...10),并且然后没有具有中间亮度的像素,以及明亮光的值(250-255)(如果我们将用8比特表示对HDR分级进行编码)。然而在LDR显示器上示出这个信号使它二值化。所有黑暗值典型地被视为相同的黑色。所以我们需要应用使较暗的亮度预变亮(采用加性和倍增映射,例如0...5成为10...20)的亮度映射F_TM1,以便当这个HDR编码被直接地渲染好像它是LDR图像时黑暗房间在LDR显示器上仍然可见。所以我们对HDR图像进行编码好像它是LDR图像,或者换句话说,我们采用相同的图片表示来对HDR图像和LDR图像进行编码。但是,这个LDR_CONT图像不可直接地用来将正确的主分级HDR_ORIG渲染在HDR显示器上。因为我们例如已使房间的黑暗部分变亮以便它们将在LDR显示器上看起来是可区别的,所以它们将在HDR显示器上看起来是非常明亮的,并且丢失如内容创建者所预期的所有可怕的情绪(mood)。用来再次让它们得以正确的解决方案是在逆亮度映射算法FL2H中。

这个算法gam甚至对于整个场景或电影可能在一些情况中和应用单个伽玛函数(例如HDR亮度Y_HDR=a*Y_LDR^g)一样简单,或者还考虑局部颜色最佳化可能是更复杂的,因为视觉系统相对地看到颜色外观。例如,粗分割策略可以在图像中的成组块之前定义一些阈值。在之字形扫描中,在块(X,Y)之前一个人使用第一亮度映射函数,然后在块(X,Y)之前两个LDR亮度阈值g_l和g_h被指定,指示对于具有在中间的像素亮度的在从(X,Y)向前的位置处的区域,这些边界应该被不同地处理,例如采用第二亮度映射策略/算法。例如,如果等于128的LDR亮度Y_LDR通过第一亮度映射函数被映射到Y_HDR= 2099(用某个同意的表示,例如20比特;为了简单,在图中我们已使重建的HDR亮度的范围为浮点数[0.1]范围),则它现在能够通过第二映射算法被例如映射到Y_HDR=200。例如一个人可以处理衬衫的白色以便它们不发光太多。后来在块(X+K, Y+L)之后的那个相同图片中,可能在LDR图像表示LDR_CONT中存在相同范围的Y_LDR值,但是这可能是非常明亮的灯。它能够借助于第三局部映射算法被不同地处理以便产生非常明亮的Y_HDR亮度。

在任何情况下,映射算法的所有信息(函数参数、诸如例如呈现时间这样的图像数、局部形状定义信息等)是再次获得原始主分级HDR_ORIG或至少看起来是(非常)接近于它的HDR分级HDR_PRED的关键。这个分级将如预期那样看起来在基准HDR显示器或具有接近于基准HDR显示器的物理特性并且在特定位置处例如不太明亮或者一般而言具有不正确颜色的任何明亮显示器上是最佳的。

现在我们的系统允许内容创建者指定哪些映射算法将被用来获得最好外观,实际上是它们的主分级。它们例如能够对于不同的HDR显示器指定不同的映射算法,因为一个人能够想象一个人可以将不同的映射用于通过1000 nit显示器和25.000 nit显示器上的窗口来映射明亮的阳光外型。所以这样渲染已经能够由内容所有者定制(这已经使盗版变得不太容易,因为非法翻印者必须累积映射的所有版本,因为否则如果他将错误版本发送到新的显示器,则最终结果可能仍然离最佳很远,从而不会给出全质量内容创建者预期的体验)。并且这甚至允许创建者由于一些原因而指定一些不同的外观(例如一个人能够设想一种半-HDR的较便宜外观)。但是此外,在这个/这些映射算法中具有所有这个视觉质量允许创建者附加于现有措施实施大大地增加的内容保护,并且因此得到对他努力的公平回报值。当然用户能够选择通过将任何盗版的LDR版本(例如从正规系统某处提取的LDR_CONT)放在他的HDR显示器上来观看低质量版本,并且实际上如果HDR体验要求过分价格则将这样做。但是如果他想最佳体验,则利用我们目前的系统他将在内容所有者的同意下这样做,存在在易用的情况下使安全性平衡的数个变例。

现在返回到图2,我们将阐明可能的实施例中的一些。所以在所有实施例中固有的基本图像变换装置201首先通过输入端204能够访问包括(一个或多个)LDR_CONT图像的数据递送系统205。作为例子我们已示出购买的蓝光磁盘。有趣地,即使用户已购买这个磁盘,在一些实施例中他也仍然不具有用于HDR渲染的充分信息,但是磁盘声明它是HDR磁盘(当然他能够总是在旧模式下(例如在LDR显示器上)观看它)。控制单元例如在磁盘的每次插入时负责这。有经验的读者理解,数据递送系统能够具有许多其它形式,例如它可以是到视频提供服务器的网络连接。它识别磁盘是(正规地购买的容许的)磁盘,可以例如提取唯一识别代码。可选地,具有数据输入能力的(移动)设备260(被连接或可连接的)可以被用来输入例如当前已经存在于软件上的唯一代码。这个设备甚至可能已增加保护措施,例如经由内容所有者的服务器207进行通信以得到它是正规用户的设备的确认(并且在不适当使用(例如试图盗版)的情况下阻止被例如唯一地分配给显示器的设备)。控制单元与内容所有者的服务器207进行通信,并且中继这个信息。这个服务器然后能够确定用户是想要渲染正当地购买的产品(例如来自内容所有者的另一服务器,或允许分发拷贝(诸如youtube上的LDR版本)的某个组织),或是从盗版视频源210获得的产品。事实上,该装置的一些实施例还将允许使不适当的内容合法。即使用户已从盗版视频源210获得了(一个或多个)图像(例如经由另一图像数据输入端222),服务器也可以在观看之前例如经由可以为移动电话或膝上型电脑的移动设备提供为映射算法(gam)付款,在这之后映射算法总之被发送。控制单元和/或服务器的一些实施例可以通过检查用户有哪一个LDR_CONT来进一步识别它们是否应该向他发送更好质量版本(例如,如果内容来自某个渲染的模拟相机捕获,则颜色行为将偏离所期望的值)。但是如果(一个或多个)HDR图像未被正当地付款,则装置将不给出所需要的映射算法,并且可以甚至做一些另外的动作,例如调查情形并且累积系统数据、向用户通知他的不适当行为等。

在已接收到映射算法数据之后,不管原始的(gam)还是根据一些同意的算法加密的(gam_enc),色调映射单元280可以将LDR图像LDR_CONT变换成HDR图像HDR_PRED,并且开始在显示器290上渲染。连接217可以取决于要求而具有各种形式。有趣变例是在装置(例如被并入显示器,诸如电视)大约在期望观看时(即在渲染时间附近的时间间隔内)请求映射算法。这个时间间隔可以由系统指定,例如在来自控制单元202的请求时由服务器207确认,并且例如是提前几天。但是在更严格的安全系统中,控制单元将被通知时间间隔是例如提前10分钟,并且在不使用情况下,它必须在2小时内删除算法数据。所以在一些实施例中,每当一个人想要渲染时,一个人应该例如采用电视的互联网连接与服务器207联系。一个人可以做出各种安全性级别的这样的连接,例如一个人甚至能够做出https(安全超文本传送协议)连接或类似的安全通信机制,从而再次减小在任何地方窃用的机会。代替在开始电影之前被全部预加载,映射算法参数还可以在需要它们之前不久针对低延迟网络207被下载,例如在场景改变之前几秒钟或分钟,从而需要另一映射策略。图像变换装置201的一些实施例可以被布置以便它们不仅以正确地定时的方式而且甚至经由某个外部(可能甚至预定的网络到服务器)连接需要这个映射数据,从而使得窃用变得非常困难(因为一个人不仅需要不同的映射算法,而且需要经由仿真正确获得的附加盗版设备来供应它们;并且因为这可能需要被连接到显示器内部的IC的(一个或多个)引脚而不是附连到例如USB总线,所以这样的高度安全的实施例对于一般用户来说及其复杂而不能大量实现)。技术人员理解,LDR图像和映射的正确时间同步能够例如采用图像数据储存器和/或信号(例如BD磁盘、来自存储器棒或远程视频服务器的信号等)以其被实施的各种方式可以包括识别和请求“仅仅几个”或特定映射算法的定时代码,其中服务器207典型地(从例如传送的呈现时间戳)知道哪些映射数据是需要的,或者服务器可以自主地管理所有这,并且主动地向控制单元指示和/或给它供应新的映射算法。所以许多事情可以经由控制单元发生。我例如可以在用户已使它的观看房间灯变暗之后请求一种新的映射策略,或者,另一方面,它可以简单地显示HDR观看是不可能的或不被容许的消息,并且典型地建议能够被进行以便结束于可渲染的HDR图像的步骤。所以,内容所有者的控制可以和简单的“放行信号”一样简单,其典型地被实现为将映射算法数据供应给控制单元的许多可能策略中的一些,或者它可能必需复杂的确定情形,其中服务器207分析用户的观看情形的细节(诸如例如他的观看房间里的光照),并且然后为在他的HDR显示器上的最佳渲染提出实时最佳化的映射算法。此外,在各种实施例中,控制单元可以还取决于基于如例如隐私这样的考虑事项所同意的东西而(靠自己,但是典型地应服务器207的意图)将许多数据值发送到服务器207。例如,控制单元可以迅速地分析视频,并且检查LDR_CONT中的亮度的统计分布是否如它(在一个图像内容或图像内容的数个现有变例中的一个中)应该是的,或者它可以分析数据中的水印,以便获得关于内容的源的更多信息(例如,它被从分发拷贝到特定电影院)。它可以读取系统中存储或输入的管理信息,例如来自厂商的地址等。当期望时,各种方法能够被用来目前渲染的购买,例如控制单元能够询问用户HDR电影(或实际地LDR_CONT)购买是否是通过信用卡完成的(或仅仅使它想起它是),并且询问最后四个数字、对于黑客来说难以做的事情,除非他还监测了那个购买,或者它是他自己的购买(但是至少它避免偷别人的拷贝,其观看在一些系统中对于正规用户可能被禁用)。即使非法翻印者掩饰为正规用户并且正规地为一个拷贝付款,我们的同时限制电影的渲染使用的实施例(例如,可能不存在正规信号输出,并且如果其外壳被打开或修改则装置201能够停止运行)也使得除了自我观看外难以做任何事情。各种各样的进一步信息可以被存储从而识别这个(仅要被渲染的)内容如何被获得,如果它例如通过在某处监测某个信号而被拷贝则这可能导致奇怪的结果。例如,可以记录正规地购买的LDR_CONT应该与特定显示器(或其号码,从而允许例如在已知和注册的/可识别的朋友的地方处观看)驻留在一起,而不是在另一站点处。在许多情况下,用户给出购买的任何细节(例如信用卡数字)例如将是不需要的,因为系统将被如此配置以致充分地清楚内容被正规地购买了,但是实施例在其它情况下可能有用。

但是其次,服务器207能够获得(典型地在来自用户的显式同意时)来自用户自己的信息,例如他的存储在HDR显示器290的图像变换装置中的存储器中的名字,或用于启动系统的密码,或插入智能卡的用户等。高级装置201能够通过例如使用可能已经被内置的指纹传感器来至少建立用户的身份。控制单元不必实际地将这个指纹的所有特性发送到服务器207,而是仅发送诸如“the_usual_viewer_is_using_the_system(普通观众正在使用系统)”这样的数据的概要。但是更高级系统能够监测某人是否正在观看电影超过20次,他可能是非法翻印者而不是真正地喜爱那个电影的某人,特别是,如果那个相同版本(如果每用户或每组用户识别的细粒度)正在其它物理位置以及还甚至在相同的时间被观看。即服务器207除提供更严格安全的数据分发之外可以在一些实施例中实施一些监测策略,并且从装置201请求所必需的数据。第三,服务器可以获得有关渲染系统的细节的各种各样的信息(例如显示器的峰值亮度或电光传递函数、环境光照特性)等。前者数据典型地用于注册和/或允许HDR渲染(或监测不根据系统的正规使用发生的事物的方面),然而如果存在数个变例,则第三种参数可以帮助通过传送最适当的映射算法参数来最佳化HDR渲染体验(这甚至能够通过动态计算)。当然第四,关于服务器207或装置201是否是正规的各种各样的信息可以被传送,例如以便避免盗版视频供应商仿真整个内容所有者验证服务,并且这可以例如通过将许多互联网地址硬编码在装置201中而完成。

较低安全性的其它实施例可以给用户提供一些更多自由。尽管像例如电视这样的许多装置可能能够访问像例如互联网连接这样的至少某个网络,但是可能的是,一些用户(例如不太复杂的用户)可能仅仅想要例如在他们还能够在显示系统上播放(在HDR中)的BD上某个最终内容,其不具有网络连接(例如在他们的汽车后面)。此外,一些实施例可以允许将映射算法存储在某个存储器270中(不管深入在装置201或显示器中还是在可拆卸的便携式存储器上),例如在BD或安全存储器棒的可写部分上,当然典型地以严格地加密的方式)。例如密钥可以基于密码或甚至下载算法数据的次数被使用。典型的系统可以将例如便携式显示器(无论实际地经由存在于被连接电缆上,还是通过稍后经由存储器棒来交换数据)连接到图像变换装置201,并且然后在那时为磁盘和便携式显示器定义加密策略。例如,磁盘上的映射算法数据可以基于仅在那个便携式显示器的硬件中的生成的密钥被加密。对于特定显示器具有唯一密钥(以及管理和生成此的工具(例如密钥可以基于显示器中的标识符被部分地生成))再次使窃用变得非常困难,因为即使一个人拷贝映射数据,它也可能是不可用的。取决于典型地内容所有者(通常与装置制造商一致,并且有希望地与用户的某个表示一致)可能想要多强的数据保护,系统甚至可能仅在正确的用户密码正在给出的条件下工作(否则兼容的HDR显示器或图像变换装置甚至不读取映射算法数据,因此不能够使用映射算法数据),但是另一方面,一个人还能够考虑采用映射算法数据的最小加密所充分地保护的系统(或对于某个硬件配置来说甚至没有针对正规用户的加密,例如如果参数在单个初始化时间被直接地写入便携式显示器的内部存储器的话,典型地与它们适用于的(一个或多个)图像/电影的标识符一起)。所以这个正规化行为可以发生一次,例如在用户购买磁盘时,他立即在家使它正规化,其中他使所有必需的技术构件(和写下的密码或无论什么)可用。一些用户然而可能不期望此,例如当他们在假日购买他们立即想要看到它的内容时,或者当他们具有不足的系统(例如在家没有互联网)时等。对于这些用户来说,图像变换装置的实施例可以被放置在商店中。在购买期间,一个人例如使“空白”BD(即仅包含了LDR编码LDR_CONT但是不包含映射算法数据的BD)正规化,这能够由商店厂商通过他的连接到服务器207并且将算法数据例如存储在包含电影的便携式存储器的可写扇区上的装置而完成。这样的装置201实施例可以例如被连接/可连接到用于输入用户专用代码等的小键盘。一些变例可能询问用户的硬件的某个识别,例如电视将它的加密代码写在存储器棒上,所述存储器棒被附连到商店中的装置210。有利地,如果商店立即将购买的一些信息发送到服务器207,则例如如果用户已忘记他的密码,这能够帮助第二次正规化(有希望地在用户的家中而不是再次在商店中)。

为了简单我们能够将gam称作算法,因为与指定它的数据不存在混淆(其例如幂的至少一个系数低,或者规定某个颜色变换的软件代码等)。并且有经验的读者应当理解,控制单元202可以包括(或者被连接到)各种其它单元,诸如被布置成应用所需要的通信协议、做数据格式化和保护等的通信单元,或允许它与用户进行通信并且例如示出用于在其便携式显示器上安全输入金融信息以便使非正规LDR_CONT正规化的窗口的用户界面等。还应该清楚图像处理(颜色映射、(DCT)(解)压缩等)能够如何完成,并且我们不必钻研显示器驱动的细节等。注意,当然装置201可以连接到各种服务器,以便协调地或独立地允许数个所有者为例如电影或节目的子部分指定映射数据。一个人例如可以考虑另一提供商的材料被交织在其中的材料,或者甚至,尽管一些好莱坞制片商可以拥有电影,但是针对一些场景中的图形的映射可以直接地从特殊效果工作室的服务器被递送,然而其它映射数据可以例如来自集中式Disney(迪斯尼)或Paramount(派拉蒙)服务器。还应该清楚,我们采用第一至第二颜色表示的映射亮度技术上意指什么。亮度是经由色调定义曲线与最终辉度有关联的技术代码(例如Y=[0,255]),而无论例如作为摄像机捕获的还是显示器渲染涉及的。各种替代技术实现能够存在,例如在线性表示中这个第三颜色坐标可能是辉度本身,但是技术上充分地有经验的读者应该完全地理解它是什么(为了简单我们假设亮度范围是浮点数(除我们在伽玛2.2的情况下假定经典8比特等的LDR_CONT之外),但是当然一个人还可以例如从某个10比特亮度定义映射到某个15比特亮度定义)。

本文本中所公开的算法构件可以(完全地或部分地)在实践中作为硬件(例如专用IC的部分)或作为在特殊数字信号处理器或通用处理器等上运行的软件被实现。它们在至少一些用户输入可能/一直(例如在工厂或消费者输入或其它人类输入中)存在的意义上可以是半自动的。

根据我们的呈现对于技术人员而言应该可理解的是,哪些构件可以是可选的改进并且能够被与其它构件相结合地实现,以及方法的(可选的)步骤如何对应于装置的相应工具,并且反之亦然。一些构件在本发明中用特定关系(例如在单个图中用特定配置)被公开的事实不意味着其它配置在与针对本文中要求获得专利权所公开的相同的发明思想下不可能作为实施例。并且,由于重实效原因仅有限系列的例子已被描述的事实不意味着其它变例不能够落在权利要求的范围之下。事实上,本发明的构件能够沿着任何使用链被具体化在不同的变例中,例如像编码器这样的创建侧的所有变例可以与在分解系统(例如解码器)的消费侧的对应装置类似或相对应,并且反之亦然。实施例的数个构件可以作为特定信号数据被编码在信号中以用于传输,或进一步在编码器与解码器之间的任何传输技术中使用诸如协调等。本申请中的单词“装置”在它最广泛的意义上被使用,即允许特定目标的实现的一组工具,并且因此例如可以为IC或专用器具(诸如具有显示器的器具)(的一小部分),或联网系统的一部分等。“布置”或“系统”也旨在在最广泛的意义上被使用,所以它可以尤其包括单个物理可购买的装置、装置的一部分、协作装置的(的诸部分)的合集等。

计算机程序产品表示应该被理解成包含命令的合集的任何物理实现,所述命令在用于将命令输入到处理器的一系列加载步骤(其可以包括中间转换步骤,诸如到中间语言和最终处理器语言的转化)之后使得通用或专用处理器能够执行发明的特有功能中的任一个。特别地,计算机程序产品可以被实现为诸如例如磁盘或磁带这样的载体上的数据、存在于存储器中的数据、经由网络连接(有线或无线)行进的数据或纸上的程序代码。除程序代码之外,程序所需要的特有数据还可以被具体化为计算机程序产品。这样的数据可以被以任何方式(部分地)供应。

本发明或像视频数据这样的根据目前实施例的任何理念可用的任何数据还可以作为信号被具体化在数据载体上,所述数据载体可以是可拆卸存储器,例如光盘、闪速存储器、可拆卸硬盘、经由无线工具可写入的便携式设备等。

对于任何呈现的方法的操作所需要的步骤中的一些可能已经存在于本发明的处理器或任何装置实施例的功能性中,而不是在本文中所描述的计算机程序产品或任何单元、装置或方法中被描述(用发明实施例的细节),诸如数据输入和输出步骤、诸如标准显示器驱动这样的众所周知的典型地并入的处理步骤等。我们同样期望对像例如在方法的任何步骤处或在装置的任何子部分中牵涉的特定新颖信号这样的结果产品和类似结果、以及这样的信号的任何新的用途、或任何有关的方法的保护。

应注意,上面提到的实施例图示而不是限制本发明。在技术人员能够容易地实现所呈现的例子到权利要求的其它区域的映射的情况下,我们出于简洁尚未深入地提到所有这些选项。除如权利要求中组合的本发明的元件的组合之外,元件的其它组合是可能的。元件的任何组合能够被实现在单个专用元件中。

在权利要求中的括弧之间的任何附图标记不旨在用于限制权利要求,附图中的任何特定符号也不旨在限制权利要求。单词“包括”不排除权利要求中未列举的元件或方面的存在。在元件之前的单词“一”或“一个”不排除多个这样的元件的存在。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号