用于合成叠加图形的外观映射的系统和方法

摘要

本文描述了用于将第二图像/视频数据叠加到第一图像/视频数据上的系统和方法。第一图像/视频数据可能要被呈现在具有例如HDR、EDR、VDR或UHD能力的某些特性的显示器上。第二图像/视频数据可以包括图形、隐藏字幕、文本、广告，或者可能期望叠加和/或合成到第一图像/视频数据上的任何数据。可以根据第一图像/视频数据的图像统计和/或特性来外观映射第二图像/视频数据。另外，可以根据要呈现合成数据的显示器的特性来进行这样的外观映射。期望这样的外观映射在期望的显示器上呈现令观看者视觉上愉悦的合成数据。

说明书

相关申请的交叉引用

本申请要求于2013年2月21日提交的美国临时专利申请第 61/767,553号的优先权，其整体通过引用合并到本文中。本申请还涉及于 2013年2月21日提交的美国临时专利申请第61/767,522号，其整体通过 引用合并到本文中。

技术领域

本发明涉及图像处理，尤其涉及用于将图形和合成图像映射到图像/ 视频数据上的方法和系统。

背景技术

动态范围(DR)涉及图像中强度(例如亮度(luminance、luma)) 的跨度。真实世界场景中的DR通常较大。用于捕获、表示和展示图像信 号和视频信号的不同图像和视频应用可以具有不同DR。例如，照相底片 可能具有相对大的动态范围，而照片、一些目前现有的(例如常规的)电 视(TV)机和计算机显示器可能具有较小的DR。

DR还涉及感知图像中的例如从最暗的暗色到最亮的亮色的强度(例 如，亮度)范围的人类心理视觉系统(HVS)的能力。从这个意义上讲， DR涉及“所涉及的场景的”强度。DR也可以涉及充分地或近似地呈现 特定宽度的强度范围的显示设备的能力。在这个意义上讲，DR涉及“所 涉及的显示的”强度。从另一意义上讲，DR也可以指“所涉及的信号的” 强度，该强度可以在一定程度上是理论强度。例如，VDR信号可以向上 变化达到10000尼特(nits)，并且HDR信号可以变化到甚至更高。多数 情况下，不存在针对该范围的分级显示。除非在本文的说明书中的任意一 点处明确地说明了特定意义具有特定意义，否则应当推知该术语可以以任 何意义，例如可互换地使用。

常规电视机和电脑显示器的呈现经常被限制在约三个数量级的动态 范围，其代表低动态范围(LDR)，该约三个数量级的动态范围也被称为 标准动态范围(SDR)。与LDR图像相反，高动态范围(HDR)图像基 本上包含原始场景中的所有的动态范围。HDR能够跨某个14至15个数 量级的动态范围。能够用任何位深来表示HDR图像，但是通常使用10 至16比特或更多来减小过大的步长。

对于诸如分配的压缩的许多应用，HDR图像的编码可能是不必要的 并且实际上可能是有些计算昂贵的或带宽消耗的。另一方面，LDR图像 可能也只是未满足需要。替代地，这些应用可以有利地使用、创建、存储、 传输或呈现由视觉动态范围或可变动态范围VDR表征的图像。关于HDR 截位的VDR图像基本上包括典型HVS能够同时感知(例如在任何给定 时间视觉感知)的所有亮度和颜色。VDR跨约5至6个数量级的动态范 围。因此，虽然VDR相对于HDR更窄，但VDR仍然表示宽DR宽度。 虽然在HDR图像与VDR图像之间DR不同，本文中使用的术语EDR表 征与LDR相比具有拓宽的动态范围的任何图像。

发明内容

本文公开了显示系统及其制造和使用的方法的若干实施例。

本文描述了用于将第二图像/视频数据叠加到第一图像/数据上的系统 和方法。第一图像/视频数据可以要被呈现在具有例如HDR、EDR、VDR 或超高清(UHD，例如4K或8K水平分辨率)能力的某些特性的显示器 上。第二图像/视频数据可以包括图形、隐藏字幕、文本、广告，或者可 以期望被叠加和/或合成到第一图像/视频数据上的任何数据。可以根据第 一图像/视频数据的图像统计和/或特性来外观映射第二图像/视频数据。另 外，可以根据要呈现的合成数据的显示器的特性来进行这种外观映射。期 望这种外观映射呈现对观看者来说视觉上令人愉悦的合成数据，合成数据 呈现在期望显示器上。

在一个实施例中，公开了一种用于将第二图像数据叠加到第一图像数 据上的方法，该方法包括：接收第一图像和第二图像，第一图像在动态范 围和尺寸方面与第二图像不同；接收关于第一图像的第一元数据；接收关 于第二图像的第二元数据；根据第一元数据和第二元数据执行第二图像的 外观映射以确定经调整的第二图像，所述经调整的第二图像在动态范围方 面与第二图像不同；以及形成将经调整的第二图像叠加到第一图像的至少 一部分上的合成图像。

在另一实施例中，公开了一种用于将第二图像数据合成到第一图像数 据上的系统，该系统包括：显示管理模块，该显示管理模块能够接收第一 图像；合成器模块，所述合成器模块能够接收第二图像，其中，所述合成 器模块还能够接收关于第一图像的元数据，并且能够根据关于第一图像的 所述元数据执行外观映射第二图像，以形成外观映射的第二图像；以及混 合模块，所述混合模块能够将外观映射的第二图像混合到第一图像上以形 成合成图像，该合成图像要被呈现在显示器上。

在另一实施例中，公开了用于动态广告的系统和方法，其中，由具有 第二叠加图像/数据的第一图像/视频数据形成的现有合成图像可以被映射 和/或转换成另一合成图像，其中，第二叠加图像/数据的全部或一部分可 以被第三叠加图像/视频数据替换。

当结合本申请中展示的附图阅读时，下面将在具体实施方式中展示本 系统的其它特征和优点。

附图说明

在附图所涉及的图中图示了示例性实施例。本文公开的实施例和图意 在是说明性的，而不是限制性的。

图1示出本申请的一个实施例可以在其中操作的一个示例性环境。

图2A和图2B分别示出先是没有外观映射然后应用了外观映射的包 括EDR/VDR图像数据和图形与隐藏字幕的叠加的呈现图像的两个示例。

图3示出分别为图像、场景和电影的三个可能的处理情境的图像/视 频处理。

图4和图5是可以影响有EDR/VDR能力的显示器上的视觉上令人愉 悦的合成图像/视频信号的本系统的两个实施例。

图6是可以影响传统显示器上的视觉上令人愉悦的合成图像/视频信 号的本系统的一个实施例。

图7描绘用于将叠加/合成图像/视频数据外观映射到第一图像/视频数 据上以随后呈现在显示器上的模块/例程的一个示例性实施例。

图8描绘关于动态范围、最小亮度、反射白点和绝对最大值的外观映 射的一个示例性实施例。

图9A、图9B、图9C和图9D描绘关于色域的外观映射的一个示例 性实施例。

图10A、图10B和体10C描绘执行动态内容替换的一个示例性实施 例。

图11是动态内容替换的另一实施例。

具体实施方式

在整个以下描述中，阐述具体细节以向本领域的技术人员提供更全面 的理解。然而，为了避免不必要地模糊本公开内容，可能没有示出或详细 描述公知的要素。相应地，以下描述和附图被看做有说明性意义，而不是 限制性意义。

引言

在使用当前的传统消费者电视的典型视觉体验中，几乎不存在对使用 诸如Rec.709和DCI规格的标准的传入视频流的外观和映射的控制。对 于可能期望被整合在第一视频流上，被混合并且随后被呈现以供个人观看 的图形或视频叠加来说尤其如此。在本系统的一个实施例中，可能期望提 供通过以下方式提供合适的图像处理和/或将这些第一图像/视频数据流上 的这些叠加混合：为合成图像和/或视频的观看者提供外观匹配和/或改善 的视觉体验。

图1图示根据本申请制造的系统(104)的一个实施例的环境(100)。 在该环境(100)中，本系统104可以接收要被呈现在显示器114上的第 一数据和/或元数据102(例如，VDR、EDR、HDR或一些其它图像和/ 或视频数据/元数据)。另外，可能存在另一外部数据/内容流106(例如， 来自可能的多个源——因特网、IP、其它数据源等)。该其它数据/内容流 可以表示要被合成或者以其它方式与第一数据流混合的图形、图像和/或 视频。应当理解的是，流102和流106也可以从相同源并且以相同方式来 到系统104。

数据流102可以被输入到适合在显示器114上呈现的用于图像处理的 显示管理(DM)模块108中。合成器110可以是输入合成数据流(106) 以及来自DM 108的数据和/或元数据的另一图像处理/视频处理模块。合 成器110可以将合成数据流格式化为GUI、隐藏字幕(CC)、画中画(PIP) 或者针对要与第一数据流混合和/或合成的合成数据的任何其它可能的格 式。元数据也可以包括关于其上可以呈现合成图像的显示器的呈现特性的 元数据。这些元数据可以包括平均/最小/均值/最大亮度、反射白色、白点、 色域和任何其它已知图像呈现特性和/或说明。

观看者可以例如经由远程控制、膝上型计算机、平板计算机、智能电 话或另一合适的控制器(116)来具有至合成器110的可选控制输入，以 输入针对这种合成呈现的观看者期望或要求。

合成图像/视频数据和第一视频流(在已经由DM 108应用了任何处 理之后)可以被输入到混合模块112中。混合模块112可以例如使用本文 所描述的和已知的任何先进图像/视频处理算法来将合成图像/视频数据合 适地叠加到第一数据流上，以提供令人愉快的观看体验。如本文进一步所 描述的，可以通过将合成图像/视频数据外观匹配第一图像数据的特性和/ 或在要在其上呈现最终合成图像/视频的显示器(114)的特性来加强这种 令人愉快的观看体验。

应当理解的是，虽然DM、合成器和混合模块可以存在于显示器本身 中(作为功能模块)，但是有可能DM、合成器和混合模块可以物理地存 在于其它地方并且可以彼此远离。例如，可以将这些模块中的一个或更多 个放置在机顶盒中，并且使该机顶盒与显示器通信(例如通过任何已知有 线或无线配置)。在另一实施例中，DM、合成器和/或混合器可以位于显 示器所在的物理空间之外。在其它实施例中，可以将这些模块中的任何一 个或全部三个的功能置于单个模块中。例如，DM模块可以被构造成包括 典型DM的功能以及合成器和混合器的功能。

在一个实施例中，可能期望具有用于图像处理中已知的各种统计的计 算的图像统计计算模块(如也在本文中进一步描述的)。本系统可以进一 步使用(例如第一图像/视频数据、第二叠加图像/视频数据等的)这种统 计，以帮助将第二叠加图像/视频数据外观映射到第一图像/视频数据上。 如本领域中已知的做法，本文中所提到的模块中的任何模块可以包含图像 统计模块。

在一个实施例中，这些模块可以存在于图像/视频前端供应商(例如， 有线运营商、卫星运营商和/或其它媒体供应商)处。因此，可能期望区 分和/或注意图形叠加被注入到内容的位置，例如，在内容创建方处产生 的内容(例如字幕)、在广播公司处产生的内容(例如标识)、在机顶盒处 产生的内容(例如UI、电视指南、cc)、在电视本身处产生的内容(例如 UI)、在AV接收器处产生的内容(例如音量条图形叠加)或者可以添加 图形或修改输入视频流的任何信号开关/修饰符/AV处理器。在任何这样 的阶段，可以有区别地处理叠加和合成。也可能期望使UI和叠加注入点 知道彼此(即途径认知(pipeline-awareness))。在这种情况下，可以避免 再次分析和再次映射已被嵌入到视频流中的UI图形(例如，通常广播标 识被较早嵌入在流中)。除了一般的UI呈现，也可以将所有这些信息提供 至播放设备的操作系统，使得例如智能电视上运行的网页网浏览器能够访 问这些信息。

如上面所提到的，在一个实施例中，视频流可以是HDR、EDR和/ 或VDR数据/元数据流，并且同样地，视频处理系统的某部分可以影响 HDR、EDR和/或VDR图像/视频处理。在以下共有专利申请中可以获得 涉及HDR、EDR和VDR数据和元数据处理的各种系统、技术和/或工艺：

(1)于2013年1月31日公布的、题目为“QUALITY ASSESSMENT  OF HIGH DYNAMIC RANGE,VISUAL DYNAMIC RANGE AND  WIDE COLOR GAMUT IMAGE AND VIDEO”的Li的美国专利申请 20130027615；

(2)于2013年1月3日公布的、题目为“QUALITY ASSESSMENT  OF IMAGES WITH EXTENDED DYNAMIC RANGE”的Gish的美国专 利申请20130004074；

(3)于2012年12月20日公布的、题目为“VIDEO DISPLAY  CONTROL USING EMBEDDED METADATA”的Messmer的美国专利 申请20120321273；

(4)于2012年12月13日公布的、题目为“VIDEO DELIVERY AND  CONTROL BY OVERWRITINGVIDEO DATA”的Messmer等的美国专 利申请20120315011；

(5)于2012年12月13日公布的、题目为“HIGH DYNAMIC  RANGE,BACKWARDS-COMPATIBLE DIGITAL CINEMA”的Ninan 等的美国专利申请20120314944；

(6)于2012年12月13日公布的、题目为“DRIFT-FREE, BACKWARDS COMPATIBLE,LAYERED VDR CODING”的Gish等 的美国专利申请20120314773；

(7)于2012年11月29日公布的、题目为“SYSTEM AND  METHODS OF IMAGE PROCESSING THAT ADJUST FOR VIEWER  POSITION,SCREEN SIZE AND VIEWINGDISTANCE”的Atkins等的 美国专利申请20120299817；

(8)于2012年9月13日公布的、题目为“INTERPOLATION OF  COLOR GAMUT FOR DISPLAY ON TARGET DIAPLAY”的Longhurst 的美国专利申请20120229495；

(9)于2012年2月16日公布的、题目为“VDR METADATA  TIMSTAMP TO ENHANCE DATACOHERENCY AND POTENTIAL  OF METADATA”的Messmer等的美国专利申请20120038782；

(10)于2009年12月31日公布的、题目为“METHOD AND  APPARATUS IN VARIOUS EMBODIMENTS FOR HDR  IMPLEMENTATION IN DISPLAY DEVICES”的Atkins的美国专利申 请20090322800；

(11)于2013年1月3日公布的、题目为“QUALITY ASSESSMENT  OF IMAGES WITH EXTENDED DYNAMIC RANGE”的Gish的美国专 利申请20130004074；

(12)于2010年5月13日公布的、题目为“VIDEO IMAGE  COMPRESSION USINGUNEQUAL WEIGHTS”的Demos的美国专利 申请20100118957；

(13)于2010年1月21日公布的、题目为“INTERPOLATION OF  VIDEO COMPRESSSION FRAMES”的Demos的美国专利申请 20100014587；

(14)于2008年11月6日公布的、题目为“METHOD AND SYSTEM  FOR IMPROVINGCOMPRESSED IMAGE CHROMA  INFORMATION”的Demos的美国专利申请20080273809；

(15)于2007年11月22日公布的、题目为“INTERPOLATION OF  VIDEO COMPRESSION FRAMES”的Demos的美国专利申请 20070268967；

(16)于2011年5月5日公布的、题目为“HIGH PRECISION  ENCODINGAND DECODINGOF VIDEO IMAGES”的Demos等的美 国专利申请20110103470；

以上专利申请整体通过引用合并到本文中。

另外，显示管理系统可以包括用于提供针对第一数据流上的这些合成 图像/视频数据的令人愉悦的观看体验的系统的一部分。DM系统通常包 括处理器、计算机可读存储以及适于影响例如亮度映射、色域映射、动态 范围映射的各种各样的图像处理算法和技术的一组计算机可读指令。

在以下共有的美国专利申请中进一步描述了DM系统：

(1)于2012年12月20日公布的、题目为“VIDEO DISPLAY  CONTROL USING EMBEDDED METADATA”的Messmer的美国专利 申请20120321273；

(2)于2012年12月13日公布的、题目为“VIDEO DELIVERY AND  CONTROL BY OVERWRITINGVIDEO DATA”的Messmer等的美国专 利申请20120315011；

(3)于2012年9月13日公布的、题目为“INTERPOLATION OF  COLOR GAMUT FOR DISPLAY ON TARGET DISPLAY”的Longhurst 的美国专利申请20120229495；

(4)于2012年8月9日公布的、题目为“RESOLUTION  MANAGEMENT FOR MULTI-VIEW DISPLAY TECHMOLOGIES”的 Todd等的美国专利申请20120200593；

(5)于2012年5月24日公布的、题目为“METHOD AND SYSTEM  FOR DISPLAY CHARACTERIZATION OR CALIBRATION USING A  CANERADEVICE”的Dickens等的美国专利申请20120127324；

(6)于2012年3月29日公布的、题目为“METHOD AND SYSTEM  FOR 3D DISPLAY CALIBRATION WITH FEEDBACK DETERMINED  BY ACAMERADEVICE”的Hovanky等的美国专利申请20120075435；

(7)于2012年3月29日公布的、题目为“METHOD AND SYSTEM  FOR DISPLAY CALIBRATION WITH FEEDBACK DETERMINED BY  ACAMERADEVICE”的Erinjippurath的美国专利申请20120074851；

(8)于2012年12月22日公布的、题目为“QUALITY  EVALUATION OF SEQUENCES OF IMAGES”的Pahalawatta等的美 国专利申请20110311147；

(9)于2011年8月11日公布的、题目为“COMPATIBLE  COMPRESSION OF HIGH DYNAMIC RANGE,VISUAL DYNAMIC  RANGE,AND WIDE COLOR GAMUT VIDEO”的Gish等的美国专利 申请20110194618；

(10)于2009年4月2日公布的、题目为“VIDEO COMPRESSION  AND TRANSMISSION TECHNIQUES”的Leontaris等的美国专利申请 20090086816；

以上专利申请整体通过引用合并到本文中。

一个合成图像示例

在一个实施例中，为了提供令人愉悦的视觉体验，可能期望根据第一 信号和/或显示器的特性将合成信号与第一图像/视频信号混合。例如，随 着视频和显示器技术的改进，存在向能够呈现VDR/EDR/HDR数据的显 示器移动的趋势。这些数据以及能够呈现这些数据的显示器提供了合适的 手段，以按照导演所意图的方式，即在用于显示和/或呈现数据的显示硬 件的能力内忠实地重现电影/视频。在一个实例中，可以重现特别对于强 光区(highlight)更高的亮度级，这在使用传统方法的情况下通常是不可 能的。

除了分发给显示器/电视的更高质量图像/视频数据，其它图像要素(不 是必须包括实际电影/视频内容)是其它用户界面要素，例如菜单、光标 以及诸如隐藏字幕或蓝光光盘菜单的其它屏上显示要素。然而，在 EDR/VDR中通常不定义那些要素的外观呈现，并且该外观呈现通常也与 传统视频无关。

因此，本系统的一个实施例使用本文公开的系统和方法影响显示设备 上的用户界面要素的感知上的准确呈现，以影响那些之前提到的用户界面 (UI)要素和其它图像/视频内容的比色(colorimetricy)、感知和美学上 地正确呈现。

图2A和图2B是呈现图像(分别为200和200’)的两个示例。在图 像200中，存在描绘包括高动态范围对比度的图像，例如接近很暗的部分 (如在阴影中所看到的，例如显示单词“Text”的位置)的很高亮度的部 分(如通过电弧焊机的光所看到的)。另外，存在已经与高动态范围图像 合成的叠加的图形和文本要素(例如，菜单202和字幕呈现“Max. Codeword Closed Captioning Text”)。

在图2A中存在许多要注意的视觉特征。例如，可以看到菜单202示 出了亮度带，即亮度的分级，其中，具有顶部处的高亮度，具有底部处的 至较暗亮度的逐渐变暗。另外，可以看到，以最大码字强度等级将隐藏字 幕发送至显示器，该最大码字强度可以导致以例如与焊枪火焰相同的亮度 显示文本。这似乎会由于强亮度使文本的观看者分心或者对文本的观看者 产生不适，特别是，如果在第一图像/视频部分中也存在较低亮度的区域 (例如在单词“Text”周围)。

检查图2A的传统方法，被呈现为完整码字的白色文本将在 EDR/VDR电视上倾向于过亮。代替地，可以以反射白色级(例如 300cd/m²)以及强白点(prevailing white point)(这里为4000K的CCT) 在EDR电视上呈现文本。可以注意到，上述图像显现为可以被分级为最 大4000cd/m²。在被显示在有这种能力的电视上的情况下，图2B中的文 本将显现为反射的(或者类似于“纸张白”)，而图2A中的文本将显现为 发光。

当具有最大可能码值(例如，略低于12比特中的EDR码值4096) 的白色菜单文本的呈现往往可能使文本被感知为发光时，由于文本与电影 /影片背景之间的强动态范围差异它也可能产生不适。代替以预设码值呈 现，如EDR输入和显示设备能力进一步限定的，可以应用绝对亮度等级 (例如300尼特或者基于从VDR极限研究得出的结果)以及白点(例如 对场景、章节或整个电影取平均)。另外，能够考虑色域的范围以调整叠 加文本和图形所使用的色度范围(例如避免黑色场景和白色场景上的高度 饱和的绿色文本)。

这些效果对于在DVD和蓝光中呈现字幕也是可能的。许多电影中字 幕可能是彩色的。为了保持亮度和颜色的一致性，可能期望将叠加的字幕 图像映射到内容的特性。可以使用基于场景的参数影响该映射，因为使用 内容可以随后将叠加向下映射到显示能力，其中映射可以是场景自适应的 (scene-adaptive)。向上映射过程和向下映射过程这一对过程往往可以使 字幕在感知上正确和一致地显现。

对比之下，图2B示出包括基本上相同的高动态图像(即黑暗车库里 的焊接机)和类似的菜单(202’)以及CC文本的合成图像200’。在这种 情况下，已经根据第一HDR图像的特性(以及可能地，呈现它的显示器 的特性)合成了菜单202’和CC文本。可以看出，新合成图像不显示如在 菜单202中看到的宽亮度带/分级。另外，文本和菜单的高亮度不分散观 看者对第一HDR图像的低亮度部分的细节的注意力。

一个实施例

图3是可以包括受本系统的各部分影响的模块和/或处理的某图像/视 频处理300的一个实施例。图3描绘三个可能的处理情景——图像、场景 (例如相关图片的集合)以及电影(例如相关场景的集合)。在图像302 的情况下，可以计算和收集元数据。例如，可以计算图像统计，诸如图像 的平均亮度、最小/均值/最大亮度、反射白色、色温和/或白点。对于场景 304，可以针对场景内的每个图像计算相似的统计，然后针对场景本身进 行计算。对于电影306，可以针对场景内的每个图像计算相似的统计，然 后针对场景本身进行计算，然后针对整个电影进行计算。除了本质上为静 态的元数据或图像统计之外，也可能存在可以表征场景内的图像的改变或 电影内场景的改变的时间行为的元数据。

除了那些提到的图像统计之外，可以例如通过分析直方图、空间像素 相关或其它图像和/或场景固有特性，针对每个图像、场景和/或电影来计 算色盘。图像统计和/或色盘的组合可以包括元数据集(例如分别为302’、 304’和306’)。另外，可以关于例如亮度(最小、均值、最大)、色温、反 射白点、色域、原色等的显示器的能力来收集类似的元数据。然后，系统 的某部分例如合成器或者DM(如果已经将该功能合并到DM本身中)可 以使用该元数据。

涉及EDR电视的实施例

如前面所提到的，电视和/或显示器显示呈现更高动态范围图像/视频 的更多能力。有EDR/VDR呈现能力的显示器(例如超高清(UHD)机 组(sets))正变得越来越被消费者接受。同样地，图4和图5是可以影响 到这样的机组的视觉上令人愉悦的合成图像/视频信号的本系统的两个实 施例。在图4中，系统400可以以UHD EDR解码器404可以接受第一 EDR/VDR/HDR图像/视频数据为开始。在基本上同一时间，显示管理模 块406可以接受要与输入图像/视频数据合成的叠加和/或其它图像数据。 可以计算EDR元数据且与模块406共享EDR元数据，并且模块406可 以输出对于观看者往往在视觉上更能接受的要被合成的经处理的图像数 据。

可以通过混合模块408混合或者以其它方式叠加第一图像数据和合 成图像数据。混合模块408的输出可以被输入到HDMI传输模块410中。 模块410可以接受以下作为输入：EDR元数据、合成图像数据(即与合 成图像数据混合的第一图像数据)，以及关于显示EDR图像数据的显示器 的能力的信息。

如在图2A中看到的，虚线402可以概念地标示以下线：在该线处， 图像和处理来自显示装置之外(例如线402的左手侧)以及该装置本身和 /或机顶盒内的处理(例如线402的右手侧)。如上面所提到的，在不损失 本申请的范围的情况下，由于处理可以存在于该途径的许多部分中，所以 本系统并不一定限于这些分界线。此信息可以来自显示器的EDID。在一 个实施例中，电视/显示器的EDID可以通知STB(或者图像处理链进一 步向上的处理)显示器是EDR电视/显示器还是传统电视/显示器。如果 显示器是传统显示器，则STB(等)可能想要处理EDR信号并且适当地 呈现图形叠加。如果显示器有EDR能力，则EDID可以被配置成将信息 反馈回STB(或进一步向上)，这可以帮助在提供关于显示器的更加准确 的数据以在电视本身内进行更好的外观映射处理的情况下(在同时)，处 理(例如在感知上映射)图形叠加。

HDMI接收器模块412可以接收到合成信号，并且可以将该信号(使 用或不使用附加的处理)传送至DM模块414。DM模块可以提供某附加 处理以保证图像数据与显示器416的能力一致，以为观看者提供令人愉悦 的观看体验。

图5是用于处理有EDR/VDR功能的显示器上的图像/视频数据的本 系统的又一实施例。在图4和图5两者中类似编号的要素(例如416和 516)执行基本上类似的功能。然而，在图5中，可以看出，关于显示器 的能力的信息的反向通道在图像处理途径中被进一步向回发送，例如，向 回发送到显示管理模块506(其与图1中的合成器模块类似)。在该情景 下，在第一图像内容的前端/创建者附近可以发生更多的合成处理。如在 本文中将关于广告进一步讨论的，这在控制叠加内容的更多方面的内容分 发器的情况下可能是期望的。

涉及传统电视/显示器的实施例

图6是电视/显示器为传统电视/显示器(即没有或具有非常有限的显 示高动态和/或宽色度图像/视频数据的能力)的一个实施例。在本实施例 中，系统600可以在解码器602处接收EDR/VDR图像数据。可以计算元 数据，并且可以将该元数据发送至也可以接收叠加/合成图像/视频数据的 叠加映射器606。DM模块608可以接收第一图像/视频数据、EDR元数 据和显示器的色域数据(例如，xvYCC或Rec 709)，以进一步处理。可选 的缩放器610可以被放置在图像处理途径中。在一个实施例中，可以使用 缩放器来产生具有原始空间分辨率的内容。例如，如果到UHD EDR解码 器604的输入具有UHD分辨率并且显示器618仅具有1080p，则缩放器 可以将输入信号的空间分辨率减小至1080p。

在混合器模块612处，第一图像/视频数据可以与合成图像/视频数据 混合或者以其它方式合成，并且随后被发送至HDMI收发器614。模块 614可以(经由EDID接口)从HDMI接收器模块616接收显示器能力， 并且可以发生合适的图像处理以与显示器618能力一致。

在另一实施例中，如果没有EDR能力的传统设备(例如PC、游戏 控制台、VCR等)可以显示画中画(PIP)内容，则可能期望的是：在该 内容被叠置入VDR图像中时管理该内容的动态范围。该管理/映射信息可 以例如为来自DM处理的最小/最大反射白色和白点。在又一实施例中， 如果连接的设备为个人计算机，则那些值也能够被向回传递给PC(例如， 经由HDMI反向通道)，以在将其发送至显示器之前调整显卡的呈现。

一个处理实施例

就本文公开的可以包含用于将第二图像/视频数据叠加和/或合成到第 一图像/视频数据上的许多可能的配置的各种实施例来说，图7是合成处 理模块和/或例程的一个可能的实施例。这样的处理模块/例程(700)可以 存在于合成器、DM模块、这些模块的组合内，或者替选地，可以存在于 有合适的处理器和计算机可读存储器的任何位置处。

在700处开始，合成模块/例程在702处可以输入叠加/合成图像/视频 数据(也被称为第二图像/视频数据)的元数据。可以将这些元数据计算 和/或编译成图像统计或色盘(例如，如先前讨论的)或者任何其它已知 方式(例如，具有第二图像/视频数据的流元数据)。在704处，模块/例程 可以输入关于第一图像/视频数据的元数据(例如，亮度、动态范围、白 点等)。可以将这些元数据计算和/或编译成图像统计或色盘(例如，如先 前所讨论的)或者任何其它已知方式(例如，具有第一图像/视频数据的 流数据)。在706处，模块/例程可以输入关于要在其上呈现合成图像/视频 数据(即第一图像/视频数据和叠加/合成图像/视频数据)的显示器的特性 的元数据。在708处，模块/例程可以执行外观映射或者叠加/合成图像/ 视频数据的其它方式的合成(这提供令人愉悦的视觉体验)以形成或者以 其它方式创建合成图像/视频数据。此映射可以考虑到被嵌入到提供这种 令人愉悦的外观的模块/例程中的许多可能的启发式规则和/或目标。或者， 如果期望或适当，模块/例程可以在第一图像/视频数据上执行外观映射。

使用各种技术，这些规则和/或目标可以影响对亮度、动态范围、色 域、颜色外观等的接近良好拟合。在共有美国专利申请中进一步公开了用 于修改显示设定(例如动态范围和实现色貌模型)的一些这样的方法和/ 或技术：

(1)于2012年3月1日公布的、题目为“LIGHT DETECTION, COLOR APPEARANCE MODELS,AND MODIFYING DYNAMIC  RANGE FOR IMAGE DISPLAY”的Kunkel等的美国专利申请 20120051635；

(2)于2011年12月15日公布的、题目为“IMAGE PROCESSING  AND DISPLAY METHODS FOR DEVICES THAT IMPLEMENT  COLOR APPEARANCE MODELS”的Kunkel等的美国专利申请 20110305391；

(3)于2012年12月20日公布的、题目为“SYSTEM AND METHOD  FOR ADJUSTING DISPLAY BASED ON DETECTED  ENVIRONMENT”的Longhurst等的美国专利申请20120320014；

(4)于2012年2月2日公布的、题目为“SYSTEM AND METHOD  OF CREATING OR APPROVINGMULTIPLE VIDEO STREAMS”的 Atkins等的美国专利申请20120026405；

(5)于2010年9月16日公布的、题目为“ARTIFACT MITIGATION  METHOD AND APPARATUS FOR IMAGES GENERATED THREE  DIMENSIONAL COLOR SYNTHESIS”的Kang的美国专利申请 20100231603；

上述专利申请整体通过引用合并到本文中。

一旦计算和/或接近这种映射，然后就可以形成合成图像并且在710 处可以将所得到的图像/视频数据向前发送至显示器。在存在要被叠加的 图像/视频时，此处理可以无限期地继续。

HDR/EDR/VDR处理的实施例

图8描绘了将叠加/合成图像/数据外观映射到第一图像/视频数据上以 关于动态范围、最小亮度、反射白点和绝对最大值在设备上呈现的一个示 例性实施例。图8中示出的所有动态范围条与在这里反映完整VDR信号 范围804的802中示出的基准动态范围有关。每个动态范围条的范围被图 示为从最小亮度到最大亮度。动态范围条内的中间交叉线指示表示反射白 色的亮度值。

图8图示了如何可以将逐个场景的动态范围映射到包括如808所表示 的动态范围的显示器上。输入VDR信号804可以被潜在地映射到物理显 示设备的最大动态范围808。然而，基于输入VDR场景中的实际动态范 围，由场景1、场景2和场景3(分别为810a、810b和810c)所图示的， 显示管理(DM)模块可以向主要显示上的每个场景分配不同的动态范围 间隔和反射白点。

此映射信息可以被发送至合成器(或者具有与如先前所提到的合成器 类似的处理的任何模块)。此合成器(等)可以接收叠加/合成内容以作为 输入，并且将该内容映射到分别由810a’、810b’和810c’图示的DR范围 内。

应当注意到，叠加/合成输入图像数据(例如UI、CC、文本等)上的 实际内容的动态范围可以不使用显示器的完整的动态范围。替代地，系统 选择以下范围：该范围将趋向于在动态范围和亮度方面与第一图像数据和 显示器的能力尽可能接近的感知匹配。

色度映射的实施例

除了关于动态范围在视觉上令人愉悦的映射以外，也可能希望将图像 /视频数据映射和/或合成到视觉上令人愉悦的色域。图9A、图9B、图9C 和图9D描绘了将叠加/合成图像/视频数据映射到第一图像/视频数据上以 关于色域在显示设备上呈现的一个示例性实施例。图9A表示如第一图像 /视频数据流中可以展示的色域(例如，如位于CIE xy色度图900中的 902)。此图像/视频数据可以包括白点906，白点906可以位于黑体曲线 904上的任何位置处或者色度图之内的任何其它位置处。

在DM处理期间(如由图9B所描绘的)，色域可以相对于第一图像/ 视频数据中可用的完整色域缩小。此可能的更小的色域908可以表示物理 显示器色域的极限，并且它也可以显示不同的白点910。

图9C分解成由显示器示出的小色域，并且在第一图像内容的动态颜 色映射期间(可以逐图像、逐场景地发生)。可以看到，给定图像(C) 的整体色度向量以及色域的外侧范围可以在图像之间改变(如多个实线色 域圈和虚线色域圈所表示的)。

当要将合成图像(即第一图像/视频数据以及叠加数据)映射到显示 器上时，可能发生另外的色域映射(如图9D中所示)。就图9C而言，多 个色域(即，914、916、918)可以逐图像地出现，每个图像具有其各自 的可能的整体色域向量C以及白点WP，以在整体色域912内适应。为了 使叠加/合成图形在感知上匹配DM’d VDR流的实际色域，可能希望使帧 /场景色域、色度和/或白点设定在图9C和图9D之间基本相同或至少相似。

可能的广告示例/实施例

作为本文所提到的合成图像处理的一个可能应用，可以和/或期望考 虑用图像/场景和/或电影替换动态内容。一个示例性情况将是在现有内容 中放置广告，或者用其它广告替换现有内容中的广告。图10A、图10B、 图10C描绘可能受本系统和/或方法影响的动态内容替换的一个实施例， 在这种情况下，新内容是广告。在其它实施例中，除了广告，可以叠置任 何其它内容，例如天气信息、股市信息、网站和社交媒体内容等。根据需 要也可以动态地插入和/或更新这些信息。在一个实施例中，动态映射可 以是用第三和/或不同图像/视频数据替换第一图像/视频数据，或者替选 地，可以是用第三和/或不同图像/视频数据替换第二叠加图像/视频数据 (例如其可以已经与第一图像/视频数据合成)。用另一图像/视频数据集替 换一个图像/视频数据集的这样的替换可以是完全替换，或者仅替换所替 换的图像/视频数据的子集。在一个实施例中，如本文所描述的，本系统 可以包括动态映射模块，该动态映射模块能够进行这样的替换：用另一图 像/视频数据替换一个图像/视频数据集。

图10A描绘可一个示例性图像/场景(例如，在此示例中，道路和广 告牌1002的场景)。如内容创作者和/或所有者所期望的，广告牌1002表 示此图像/场景内的有机会叠加不同广告的区域。例如，可以对观看者/消 费者放置“目标”广告(如果例如通过分析社交媒体网络可以知道、猜测 或统计得到关于观看者的、观看者喜欢的和不喜欢的信息)。在另一示例 中，可以过一段较长的时间更新图像。一个这样的示例可以是更新较旧的 电影、电视内容或者存在于现已破产/解散的公司的广告牌中的其它这种 较旧内容/传统内容。为了更新该电影(并且使其看起来是目前有关的)， 可以向该区域添加新的广告牌内容，从而覆盖该广告牌中的旧图像数据。

在图10A中，可以看到，该广告牌可以包括表示广告的实际像素信 息1004，以及可以与边界框1008组合的α通道1006。该边界框可以限定 执行针对广告牌上广告的合适的叠加和/或合成的图像处理的区域。1008 之内的所有像素(以及其实际尺寸)可以在帧与帧之间改变。

图10B示出了具有交换内容差异的图10A的内容(例如，代替1002， 其能够具有1010)。应当理解的是，可以保持主场景帧基本相同，同时可 以动态地改变广告(或者其它内容)。例如，内容1002可以基本上是1004， 并且内容1010可以基本上是1012。在一个实施例中，被显示为1002或 101的信息可以作为外部内容106被提供至合成器(例如110等)。尽管 为了将1008合成到第一图像/视频数据中可以提供亮度和/或颜色基准，但 这可能是在完整的信号规范下，作为原始VDR流102或其任何可能的子 集(例如，超级采样压缩、子采样压缩、低位深压缩或者任何其它形式的 压缩)。

图10C描绘了用于动态广告的处理的另一方面，例如，当一个帧与 同一场景的后续帧(也许例如随后的10个帧等)相比较时。如在图10C 中所看到的，在广告牌的区域内可能存在一个物体(例如，路灯柱)。另 外，可能存在可以与广告牌的图像相互作用的图像的另一部分(例如水洼 1002’，其可以反射广告牌上的图像)。在这种情况下，将期望本系统维持 这些影响的适当处理。例如，在不管可以上广告牌的特定广告的情况下， 线1012可以被认为永远处在广告牌图像的前景中。另外，为了将新的和/ 或不同的广告适当地合成到广告牌上，本系统可以将单独的区域包括到边 界框结构1008中。

另一实施例可以提供纹理，随后可以通过使用诸如图形处理单元 (GPU)等的几何变换模块将该纹理映射到广告牌上的位置中。

另外，对于合成到现有的EDR视频流中的实时合成，可以使用与α 通道组合的外观/DM元数据以将信息合成到图像中。这可以被用以帮助 交换在电影胶片中出现的广告牌上的广告。如果已知电影的外观参数，则 可以在观看者没有意识到该合成的情况下映射该广告。随着播放设备的计 算力的增强，这在不久的将来是可行的。

向现有图像/视频添加附加内容

当修复和/或重新格式化传统图像/视频内容时，可能期望识别这样的 传统内容内的区域以添加新的额外的内容。例如，可能的是，能够识别传 统电影/电视节目中有价值的广告区域。在一个实施例中，可以采用用于 VDR分级电影的几何映射功能，以帮助执行本合成。如下面所描述的， 也可以采用像素/顶点着色器程序(例如，如在计算机图形/游戏中经常使 用的)，以帮助将新内容合成到这些VDR流中。

图11是执行对新内容的区域进行识别以及执行将这样的新内容合成 到现有内容和/或传统内容中的一个实施例。

当修复/重新分级传统内容时，系统1100可以与该电影/电视节目1104 的所有者合作识别有价值的广告区域。这可以通过离线处理1102来执行， 并且可以被用于创建顶点和像素着色器程序1106。这样的色器程序将描 述如何将任何纹理(例如矩形图像1112)映射成需要将其合成到VDR流 中的2D形状。在一个实施例中，创建这样的着色器程序1106可以以较 小的附加成本/人力来实现，因为只需要对感兴趣的区域(例如，广告) 而不是整个电影进行操作。这可以是自动的、半自动的(使用诸如特征跟 踪、动作矢量分析等的计算机视觉方法)或者手动的(由专业人员执行)。

然后，顶点和像素着色器程序1106被提供给电影/电视节目，顶点和 像素着色器程序1106创建VDR元数据的子集，提供该VDR元数据的子 集作为附至VDR流的元数据，或者经由外部装置(例如因特网)提供该 VDR元数据的子集。

通过将几何映射器和着色器(1116)与顶点和像素着色器程序(1106) 一起使用，该映射功能(1106)现在能够被用于从矩形纹理(1112)转变 为合适的边界框(1118)中的合适的经映射的像素数据(112’)。

使用DM模块(1120)，最终边界框(1118)现在可以被映射到动态 范围和/或色域(或者其它图像特性)中，以匹配或基本上匹配第一图像/ 视频数据的经映射的输出(1104’，在1130之后)。应当注意的是，两个 DM模块(1120和1130)可以使用相同或相似的VDR元数据集1108， 以创建匹配映射结果。现在通过使用图像合成模块(1128)，以与图10A、 图10B和图10C中所描述的方式同样的方式，可以与任何其它期望的合 成结合将其(例如使用诸如1122和1126的输入的GUI、CC等)合成到 VDR电影(1132)中。这产生可以被显示的包括感知上正确合成的广告 的VDR电影(1134)。

在一个实施例中，伴随任何新内容1108可以无限地重新使用(一旦 创建)程序1106。广告客户只需提供纹理，并且在一些实施例中，只需 提供外观映射数据(例如，他们的广告的要素如标识或产品的准确比色描 述)。使用在将该电影修复/重新分级成VDR时创建的顶点和像素着色器 程序可以将该纹理合适地映射到VDR电影中。应当注意的是，本实施例 不限于单帧纹理。使用广告剪辑(例如短片)也是有效的。

随同附图一起阅读，现在已经给出了示出本发明的原理的本发明的一 个或更多个实施例的详细描述。要理解的是，虽然结合这些实施例来描述 本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求限制， 并且本发明包括众多替选方案、修改和等同方式。已经在该说明书中阐述 了众多具体细节以提供本发明的全面理解。提供这些细节的目的在于示 例，并且可以在没有这些具体细节中的一些或全部的情况下根据权利要求 来实践本发明。为了清楚起见，没有详细描述本技术领域中已知的、与本 发明有关的技术材料，从而不使本发明不必要地被混淆。