首页> 中国专利> 使用由摄像设备确定的反馈校准三维显示器的方法和系统

使用由摄像设备确定的反馈校准三维显示器的方法和系统

摘要

这里公开了3D显示系统的若干实施例以及用于它们的校准的系统和方法。在一实施例中,一种系统和方法用于使用反馈来校准3D显示器,该反馈指示由摄像设备测量的从3D显示器发射的(典型地在测试图案的显示期间)光的测量值。在一实施例中,该摄像设备是手持式摄像设备,包括不昂贵的未校准的摄像机。在另一类实施例中,还公开一种系统,包括3D显示器(待重新校准)、耦接到该显示器的视频处理器、以及反馈子系统,该反馈子系统包括可操作来测量由该显示器发射的光的摄像设备。

著录项

  • 公开/公告号CN102823259A

    专利类型发明专利

  • 公开/公告日2012-12-12

    原文格式PDF

  • 申请/专利权人 杜比实验室特许公司;

    申请/专利号CN201180016026.X

  • 申请日2011-09-21

  • 分类号

  • 代理机构中国国际贸易促进委员会专利商标事务所;

  • 代理人冯玉清

  • 地址 美国加利福尼亚

  • 入库时间 2023-12-18 07:41:11

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2015-01-21

    授权

    授权

  • 2013-01-30

    实质审查的生效 IPC(主分类):H04N13/00 申请日:20110921

    实质审查的生效

  • 2012-12-12

    公开

    公开

说明书

相关申请的交叉引用

本申请要求2010年9月23日提交的美国专利申请No.12/888,873 和2011年7月8日提交的美国专利申请No.13/179,291的优先权,其 通过引用整体合并于此。

技术领域

本发明的一些实施例涉及用于校准3D显示器的系统和方法,更特 别地,涉及使用摄像设备(例如,手持式摄像设备)校准这样的3D 显示器。

背景技术

贯穿本公开,包括在权利要求书中,“对”信号或数据执行操作 的表述(例如,对信号或数据进行滤波或缩放)用于广义上表示直接 对信号或数据执行操作,或者对信号或数据的处理变体(例如,对在 对其执行操作之前已经经历了初步滤波的信号变体)执行操作。

贯穿本公开,包括在权利要求书中,表述“系统”用于在广义上 表示设备、系统或子系统。例如,实现滤波器的子系统可以称为滤波 器系统,包括这样的子系统的系统(例如,响应于多个输入产生X个 输出信号的系统,其中该子系统产生M个输入,其它X-M个输入从 外部源接收)也可称为滤波器系统。

贯穿本公开,包括在权利要求书中,名词“显示器”和表述“显 示设备”用作同义词来表示可操作来响应于输入信号显示图像或显示 视频的任何设备或系统。显示器的示例是计算机监视器、电视机和家 庭娱乐系统监视器或投影仪。   贯穿本公开,包括在权利要求书中,术语显示器的“校准”和“重 新校准”表示调节显示器的至少一个参数或特性,例如,显示器的颜 色、亮度、对比度和/或动态范围特性。例如,显示设备的重新校准可 以通过对输入图像数据(将由显示设备显示)执行处理以使得显示设 备响应于所处理的图像数据发射的光(典型地在对其执行进一步处理 之后)具有一种或更多预定颜色、亮度、对比度和/或动态范围特性来 实现。

贯穿本公开,包括在权利要求书中,术语“处理器”用于广义上 表示可编程或以其它方式配置(例如,用软件或固件)为对数据(例 如,视频或其它图像数据)执行操作的系统或设备。处理器的示例包 括现场可编程门阵列(或者其它可配置集成电路或芯片组)、编程和/ 或以其他方式配置为对视频或其他图像信号进行管线处理的数字信号 处理器、可编程通用处理器或计算机、以及可编程微处理器芯片或芯 片组。

贯穿本公开,包括在权利要求书中,所测量的“光强”在广义上 使用,且能表示所测量的亮度或者在使用该表述的上下文中适当的光 强的其他测量表示。

贯穿本公开,包括在权利要求书中,术语“摄像机”用于广义上 表示光传感器(例如,色度计或其他传感器,其输出可被分析以确定 所感测的光的颜色或频谱)、或者包括图像传感器阵列的摄像机(例 如,CCD摄像机)、或者任意其他类型的摄像机。本发明的典型实施 例采用手持式摄像设备,其包括可操作来感测监视器或其他显示器显 示的图像并输出指示所感测的图像(或其一个或更多像素)的数据的 摄像机。

贯穿本公开,包括在权利要求书中,表述“摄像设备”表示包括 (例如,是)摄像机和耦接为接收摄像机的输出的处理器的设备,该 设备可操作来以模拟由具有已知灵敏度函数的参考摄像机测量相同光 的方式,测量显示设备所发射的光的至少一种特性(例如,在显示设 备显示至少一个测试图像时),但没有预知该摄像设备的摄像机的灵 敏度函数。例如,包括摄像机和耦接为接收摄像机的输出的处理器的 移动电话可以是本段落中定义的摄像设备。本发明的典型实施例包括 或采用作为手持设备(HHD)或其他便携设备的摄像设备。本发明的 另一些实施例包括或采用不易于便携的摄像设备。在本发明的典型实 施例中,摄像设备(例如,实现为HHD)可操作来下载指示显示器的 先前表征或校准的数据(例如,指示用于进行先前的表征或校准的参 考摄像机的灵敏度函数的数据)且操作来利用摄像设备的摄像机和所 下载的与显示器的重新校准相关的数据测量由显示器发射的光的至少 一种特性。在显示器表征操作中(在本发明一些实施例中,是利用摄 像设备校准显示器的颜色的预备步骤),具有已知灵敏度函数的参考 摄像机用于测量显示器响应于测试颜色和白点的作为波长函数的输出。 一组参考值(例如,将显示器对每个测试颜色和白点的响应匹配到参 考摄像机的响应的传递函数的值,以及参考摄像机的灵敏度函数的值) 被存储且后来被提供到摄像设备,从而摄像设备响应于显示器发射的 光的输出(例如,在显示至少一个测试图像期间)可以与参考值一起 用来模拟由参考摄像机测量相同的光。

对于用户而言常规的是,在显示设备显示测试图案(例如,响应 于从DVD或其他盘片读取的测试图案数据)时手动调节显示设备的 控制器以调节或校准设备。在显示设备显示测试图案时,对于用户而 言也常规的是,使用色度计或摄像机来产生表征显示设备的数据和/ 或指示用于调节或校准显示设备的推荐设置(例如,以匹配目标设置) 的数据。知晓了这些数据,用户可以手动调节(或输入命令以导致调 节)显示设备的控制器以获得视觉愉悦和/或可接受的显示图像质量或 者以匹配目标设置。对于用户而言亦常规的是,使用这些数据来产生 控制值,并将控制值断言到显示设备的图形卡以校准显示设备。例如, 已知使用用适当软件编程的计算机来响应于这些数据产生确定查找表 (LUT)的控制值并将控制值断言到图形卡(例如,以匹配先前提供 到计算机的目标设置)。

在专业参考环境(例如,工作室和生产后的维修设备)中,这种 常规技术可用于校准显示器以用作参考来对内容分级和调节内容的颜 色、亮度、对比度和/或色彩参数。在生产环境中校偏的显示器会导致 可怕的后果,维修和/或重新校准可能是非常昂贵的。在这种环境中, 需要一种闭合回路的精心表征的测量系统,其能自动校正显示器校准 中的变化。

还需要一种闭合回路的精心表征的测量系统,其能自动校正在各 种环境中对显示器进行校准时的变化(例如,家庭娱乐系统显示器, 以及家庭或商业计算机系统的显示器),而不需要用户采用高度校准 的成像色度仪(这种色度仪一般是昂贵的且难以装配)或其他昂贵的 校准了的光或图像传感器。显示器通常需要用最少的现场支持来现场 重新校准(例如,在消费者家中),且通常需要适应于不同的外部光 照环境。在本发明之前尚未知晓如何用摄像设备实现这样的系统,该 摄像设备的摄像机的灵敏度函数事先未知(例如,包括不昂贵的未校 准的摄像机的不昂贵的手持式摄像设备),但其可操作来以模拟由具 有已知灵敏度函数的参考摄像机(例如,昂贵的高度校准了的成像色 度仪)的测量的方式测量由显示器发射的光。

还需要一种闭合回路的精心表征的测量和校准系统,其能自动且 动态地校正显示器的校准变化,其中该显示器没有被配置为响应于控 制信号被自动校准(重新校准),该控制信号响应于摄像机对由显示 器发射的光的测量而自动产生(没有人类用户的干涉)。例如,这种 显示器可配置为仅响应于人类用户对颜色、亮度、对比度和/或色彩控 制的手动调节而被重新校准,或者它可以是计算机系统的显示设备, 其可以仅响应于用户手工操纵系统的输入设备而输入的命令(例如, 通过在看着所显示的用户界面的同时输入鼠标点击)来被调节或重新 校准。此类显示器通常需要以最少的现场支持被现场重新校准,且应 动态地适应不同的外部光照环境。然而,在本发明之前尚未知晓如何 实现闭合回路的精心表征的测量系统以自动校正此类显示器的校准变 化(包括外部光照环境变化导致的变化)。

对于3D显示器的校准(例如,3D投影仪显示系统),已知这种 3D显示系统可以偏离关于颜色和亮度图像再现的校准。如果例如3D 投影仪使用诸如滤色轮(其本身的校准尚存疑)的其他部件的话,这 会是额外成问题的。可切换滤色轮像Dolby CAT-832组件可引入基于 颜色分离的3D投影系统的校准方面的额外挑战。如同其2D显示器同 类物那样,3D显示器期望可以动态地适应于外部光照环境。

发明内容

在一类实施例中,本发明是利用指示用摄像设备的摄像机对3D显 示器发射的光的测量的反馈校准3D显示器的方法和系统,所述摄像 机具有事先未知的灵敏度函数。该摄像机的灵敏度函数在如下意义上 “事先”未知:尽管它可以在执行本发明的方法期间从该摄像机的测 量以及本身不确定该摄像机的灵敏度函数的参考值来确定,但是在执 行本发明的方法之前不需要知晓(且典型地不知晓)。为了表征3D 显示器,摄像机感测显示器发射的光(典型地,在显示至少一个测试 图案期间),并且响应于摄像机输出,摄像设备产生指示所发射的光 的测量数据,从而在该测量数据指示具有已知灵敏度函数的参考摄像 机(例如,高度校准的成像色度仪或其他校准了的参考摄像机)对所 述光的至少一种测量的意义上,该测量数据模拟参考摄像机对光的测 量。典型地,该摄像设备是手持式摄像设备,其摄像机是不昂贵的未 校准摄像机。在典型实施例中,摄像设备包括处理器,该处理器耦接 且配置(例如,用软件编程)为产生测量数据(即,接收来自摄像机 的原始输出并处理该原始输出以产生测量数据)并将测量数据作为反 馈发送到远程服务器。

在第二类实施例中,本发明的系统包括3D显示器(待重新校准)、 耦接到该显示器的视频预处理器、以及反馈子系统,该反馈子系统包 括操作来测量该显示器发射的光的手持设备(例如,手持式摄像设备)。 该反馈子系统耦接且配置为响应于测量数据(指示手持设备的测量) 自动产生预处理器控制参数并将预处理器控制参数作为校准反馈断言 到视频预处理器。该视频预处理器操作来通过对将要显示的输入图像 数据(例如,输入视频数据)进行过滤(例如,自动且动态地校正显 示器的校准的变化)而响应于该控制参数校准(例如,重新校准)该 显示器。该预处理器控制参数通过手持设备单独地或者(优选地)通 过手持设备结合反馈子系统的远程显示器管理服务器(或者其他远程 设备)自动地产生。在第二类实施例中,本发明的系统具有反馈控制 回路架构。在一些优选第二类实施例中,反馈子系统包括远程服务器, 手持设备包括处理器,该处理器耦接且配置(例如,用软件编程)为 产生测量数据且发送测量数据到远程服务器(例如,经由因特网或者 另一网络),远程服务器配置为响应于测量数据自动地产生预处理器 控制参数。在一些第二类实施例中,手持设备包括处理器,该处理器 耦接且配置(例如,用软件编程)为产生测量数据,响应于所述测量 数据产生预处理器控制参数,以及将预处理器控制参数发送到视频预 处理器(例如,经由因特网或其他网络)。

基于HHD的校准方法在管理投影屏幕增益的变化方面可以是合 意的。典型的数字3D技术由于在光路和3D眼镜中的过滤而损失显著 量的光传输。示范性剧院具有多个屏幕,其中的一些或全部可以或者 可以不具有相同增益、尺寸或几何形状。由于投影仪不一定固定不变, 可能复用地轮换到不同放映室,所以关于变化的增益收集的数据可以 促进屏幕特定配置的有效管理。结果可以是一种管理反射光水平量变 化的多个屏幕的有效机制,而与屏幕分类、几何形状或投影技术无关。

在另一实施例中,基于HHD的校准系统可以采用在圆偏振系统中 且可用作动态座位地图生成器,识别受到重像(ghosting)或热点(hot  spotting)的座位。以此方式,受影响的座位可以被排除以确保观众有 高级观影体验。对于圆偏振,需要银幕以维持圆偏振和更高亮度水平。 银幕的使用产生热点,同时减少最佳位置中的座位数。这是因为在离 轴座位中的有限量的投影仪产生的光,离轴座位包括屏幕最左和最右 的许多座椅。当2D内容在相同礼堂中播放时,热点的存在导致所占 据的离轴座位有差的观影体验。

在另一实施例中,基于HHD的校准系统可以用于利用一种形式的 近场通信(NFC)或蓝牙使用本说明书描述的技术动态和/或迭代地更 新投影系统。

附图说明

图1是校准系统的实施例的框图,其可涉及所有种类的显示器。

图2是一实施例中采用的测试图案。

图3是一实施例中采用的另一测试图案的图示。

图3A是校准系统的实施例的框图。

图4A是均匀国际象棋棋盘测试图案的图示。

图4B是图4A的图案的快速傅立叶变换(归一化2D FFT大小) 的图示。

图5A是一实施例中采用的另一测试图案的图示。

图5B是图5A的图案的快速傅立叶变换(归一化2D FFT大小) 的图示。

图6A是一实施例中采用的另一测试图案的图示。

图6B是图6A的图案的快速傅立叶变换(归一化2D FFT大小) 的图。

图7是在一些实施例中生成或使用的量以及所执行的步骤的图表。

图8是直视LCD系统和校准的另一实施例的框图。

图9是直视LCD系统和校准的另一实施例的框图。

图10是3D投影仪系统和校准系统的一个实施例。

图11是在3D投影仪系统的一个实施例中应用到图像信号的传递 函数的框图。

图12是应用到3D投影仪系统的校准系统的传递函数的框图。

图13A和13B分别是校准和未校准格式的可通过至少一只眼睛的 视野来观看的3D投影图像的的示范性全部色彩范围。

具体实施方式

将参照图1-3来描述本发明的系统和方法的实施例。

图1是本发明的系统的一实施例的框图。图1的系统包括显示设 备1,其配置来响应于来自源2的视频输入信号顺序地显示图像。显 示设备1可以实现为任意各种显示设备(例如,标准LCD显示器、 高对比度LCD显示器、或者其它显示设备)。例如,在一类实施例 中,设备1是包括前面板(包括LCD或LED像素的阵列)和用于照 亮前面板的像素的背面光照(或边缘光照)系统的LED或LCD显示 器。背面光照系统典型地包括背光面板,背光面板包括可独立控制的 LED的阵列。边缘光照系统典型地包括沿前面板的边缘布置的可独立 控制的LED以及将来自这些LED的光引导到前面板的像素的子系统。

视频处理器9耦接为将视频信号断言到显示设备1以用于驱动显 示设备1的像素,且在显示设备1包括背面光照或边缘光照系统的情 况下,将辅助视频信号断言到显示设备1以用于驱动设备1的背面光 照或边缘光照元件。

视频预处理器7耦接且配置为接收来自源2的视频输入信号,对 其执行预处理,且将预处理了的视频信号断言到视频处理器9。

图1的系统的元件1、7和9可以实现为单个显示设备的子系统, 或者元件7和9可以实现在(或实现为)与显示设备1不同但耦接到 显示设备1的单个设备中。然而,典型地,图1的系统的元件1和9 实现为单个显示设备的子系统,但其输出耦接(例如,通过线缆)到 显示设备的输入。于是,预处理器7可以根据本发明用于校准(或重 新校准)包括元件1和9的显示设备,或者预处理器7能被省略(例 如,如果用户不希望根据本发明校准包括元件1和9的显示设备的话)。

图1的设备3包括摄像机3A和耦接成接收摄像机3A的输出的处 理器4。典型地,设备3是如上定义的摄像设备。在优选实施例中, 摄像设备是手持式摄像设备。替选地,设备3是手持设备,该手持设 备不是如上定义的摄像设备。

图1的系统优选配置为使用设备3来捕获环境光变化和显示设备 1的特性(例如,对比度设置),且根据本发明一实施例使用设备3、 远程服务器5(操作期间耦接到设备3的处理器4)和预处理器7来动 态地进行色调映射(将表征显示设备1的显示颜色和亮度值映射到另 一组颜色和亮度值)。

服务器5配置为响应于指示使用设备3进行的对显示设备1的颜 色、对比度和亮度的测量的数据,将显示器管理参数断言到视频预处 理器7。视频预处理器7可操作(耦接且配置)为通过利用来自服务 器5的显示器管理参数预处理用于显示设备1的输入视频信号,动态 地对设备1执行校准(例如,重新校准)。校准典型地包括色调映射。

显示设备1的颜色、对比度和亮度的测量可以根据下面描述的技 术利用设备3来进行。这些测量可以利用设备3的处理器4上运行的 软件(例如,测量/获取应用软件)进行滤波和/或另外处理。操作中, 处理器4与远程服务器5耦接(例如,在因特网或另一网络上),设 备3的输出被送到服务器5。响应于设备3的输出(指示设备3的摄 像机3A测量的一组值),服务器5产生用于视频预处理器7的一组 新的(更新的)控制参数。服务器5将每组预处理器控制参数发送到 预处理器7(例如,通过因特网或另一网络)。

设备3典型地是不昂贵的手持摄像设备,其摄像机3A是灵敏度函 数事先(即,在执行本发明的方法之前)未知的不昂贵的摄像机,尽 管其灵敏度函数可以在以下述方式执行本发明的实施例期间得到确定。 设备3可操作(根据本发明的实施例)为以模拟具有已知灵敏度函数 的校准了的参考摄像机(例如,昂贵的高度校准了的成像色度仪)的 至少一种测量(例如,多种测量)的方式测量显示器1发射的光。设 备3的处理器4耦接且配置为接收来自摄像机3A的原始输出且对原 始输出执行至少一些处理以产生将要提供到服务器5的测量数据。

预处理器7可以配置为实现多种色调映射算法中的任意算法以处 理断言到其的输入视频数据,从而实现显示设备1的校准(例如,重 新校准)。服务器5产生的每组预处理器控制参数的内容和格式可用 于预处理器7来实现适当的色调映射算法。

例如,预处理器7可以实现称为Reinhard色调映射算子(RTMO) 的一类常规色调映射算法。RTMO描述于例如Erik Reinhard、Mike  Stark、Peter Shirley和Jim Ferwerda的题为“Photographic Tone  Reproduction for Digital Images”的文章(ACM Transactions on  Graphics,21(3),2002年7月,Proceedings of SIGGRAPH 2002)中。

一些常规色调映射算法(例如,上述RTMO算法)将屏幕所涉及 内容的颜色和亮度范围映射到显示设备的颜色的动态范围。它们典型 地利用指示显示设备能显示的最大亮度和显示器对比度的值(或者显 示器能显示的最大和最小亮度)、输入图像的像素的平均亮度(有时 称为“布景亮度(scene luminance)”)、将要映射到显示设备可显 示的亮度值范围中部的输入图像像素的亮度、以及在其上每个输入像 素将映射到显示设备能显示的最大亮度的阈值输入图像像素亮度值, 响应于一组N个输入亮度值(一个用于输入图像的每一像素)产生一 组N个色调映射输出亮度值(一个用于待显示的N个像素中的每个)。

为了生成一组预处理器控制参数供预处理器7使用以实现这种常 规色调映射算法从而校准显示器1,服务器5通常配置为处理来自设 备3的指示下列值的数据:环境亮度(例如,从利用摄像机3A对显 示器1的周围环境的亮度的测量来确定,可用于校正摄像机3A对显 示器1在显示测试图像期间发射的光的测量),显示器1在显示至少 一个测试图像时发射的最亮白点的亮度,以及显示器的对比度(其又 确定显示器1在显示相关测试图像时发射的最暗黑点的亮度)。

服务器5产生的预处理器控制参数是指示设备3对显示器1发射 的光的测量(典型地在显示至少一个测试图案期间)的反馈。图1的 元件3、5和7因此是图1的系统的反馈系统,耦接且配置为响应于测 量数据(指示设备3的测量)自动产生预处理器控制参数且将预处理 器控制参数作为校准反馈从服务器5断言到视频预处理器7。视频预 处理器7可操作(耦接且配置)为通过对将要显示的输入图像数据(例 如,输入视频数据)进行滤波而响应于控制参数来校准(例如重新校 准)显示器1(例如,从而自动且动态地校正显示器校准的变化)。

在图1实施例的变型中,预处理器控制参数通过摄像机或手持设 备(例如,设备3)单独自动地产生,而不是由摄像机或手持设备与 远程显示器管理服务器(例如,服务器5)结合来产生。在图1的系 统的操作中,设备3的处理器4耦接且配置(例如,用软件编程)为 产生测量数据并将测量数据发送到远程服务器5,远程服务器5配置 为响应于测量数据自动地产生预处理器控制参数。在图1实施例的变 型中,摄像设备包括耦接且配置(例如,用软件编程)为产生相同或 类似测量数据的处理器,从而响应于测量数据产生预处理器控制参数, 且将预处理器控制参数发送(例如,经由因特网或其他网络)到视频 预处理器(例如,预处理器7)。

为了产生供预处理器7使用以实现显示设备1的颜色校准的一组 预处理器控制参数,服务器5配置为处理来自设备3的指示设备1响 应于测试图像(或测试图像的序列)发射的光的数据,该测试图像(或 测试图像的序列)指示原色(例如,标准颜色空间诸如Dcinema P3、 REC709或REC601的原色)和至少一个白点(例如,标准白点,诸 如已知的D65或D63白点)。

优选地,预处理器7执行显示设备1的颜色、对比度和动态范围 校准这三种中的全部,服务器5产生使预处理器7这样做所需的预处 理器控制参数。为了允许对比度和动态范围颜色校准,下面将描述的 测试图案优选断言到显示设备1以供显示。

优选地(例如,在显示设备1配置为实施针对亮度的动态参考模 式的情况中),设备3的测量期间由显示设备1显示的测试图案(即, 用于显示设备1的颜色、对比度和动态范围校准的测试图案)选择为 使显示设备1响应于测试图案发射的光的亮度水平足够低以避免使设 备3的摄像机3A的传感器在特定曝光设置下饱和。

下面更详细地描述显示设备1的颜色校准(根据本发明方法一实 施例)。图7是在本发明方法的该实施例中产生或使用的量以及所执 行的步骤的图表。

在预备显示器表征操作中(根据本发明,是利用实现为摄像设备 的设备3对显示器1进行颜色校准的预备步骤),在具有已知的灵敏 度函数fc(λ)(其中λ表示波长)的意义上预校准了的参考摄像机(例 如,参考CCD摄像机)用于测量显示器1响应于由至少一个测试图 案确定的每个测试颜色和白点的作为波长函数的输出,fD(λ)。测试图 案指示原色(例如,标准颜色空间的原色)和至少一个白点(例如, 标准白点)。

该操作确定fT(λ)=fD(λ)/fc(λ),其是将显示器响应(对于每个测试 颜色和白点)匹配到参考摄像机响应的传递函数。对于每个测试颜色 和白点,一组值fT(λ)=fD(λ)/fc(λ),以及对于一组波长中的每个波长λ, 一组参考摄像机灵敏度值fc(λ),被存储以供稍后提供(例如,通过因 特网或另一网络下载)到设备3。这些值由图7的“存储信息”指示。

然后(在稍微“初始”时刻,图7中指示为“T0”),设备3(例 如,实现为手持式摄像设备,包括不昂贵的未校准的摄像机3A)用于 表征显示设备1。设备3的摄像机3A具有灵敏度函数f′c(λ),其可以 是(并且通常是)事先未知的(在预备显示器表征操作的开始处)。 在初始时刻,摄像机3A针对一组波长中的每个波长λ测量显示设备1 响应于相同测试颜色和白点(例如,响应于与在预备显示器表征操作 中采用的相同的显示器测试图案)的输出f′D(λ)。针对每个波长的先前 确定的值fT(λ)=fD(λ)/fc(λ)以及fc(λ)被提供(例如,经由因特网从设备 1或3的制造商处下载)到设备3的处理器4。经编程的处理器4操作 来根据所测量的f′D(λ)值和所提供的fD(λ)/fc(λ)值确定f′c(λ)= (f′D(λ)fD(λ))*(fc(λ))=f′D(λ)/(fD(λ)/fc(λ)),其是摄像机3A的摄像机灵敏 度函数。

所确定的f′c(λ)值(通常还有f′D(λ)值)存储于设备3中的存储器 (与处理器4相关联)中。然后,稍后时刻(图7中由时间“T1”指 示)为了重新校准显示设备1(例如,为了匹配其在初始时刻的设置), 设备3再一次被用于测量显示设备1响应于每个测试颜色和白点的输 出f″D(λ)。使用所测量的f″D(λ)值和所存储的fc(λ)及f′c(λ)值,设备3 确定每个波长的f″′D(λ)=(fc(λ)/f′c(λ))*f″D(λ),这就是用校准了的参考 摄像机而不是摄像机3A测量的显示器响应函数(在时刻T1)。f″′D(λ) 值被发送到服务器5,用于产生供预处理器7用于重新校准显示器1 的预处理器控制参数。

在典型的实现中,图1的系统的服务器5被编程为使用f″′D(λ)值 来产生(且发送到预处理器7)一组更新的预处理器控制参数以用于 显示器1的重新校准,例如重新校准显示器1以匹配目标概貌(profile)。 目标概貌可以是但不一定是显示器1的初始概貌(例如,在工厂确定 的初始概貌)。替选地,目标概貌是另一显示设备的概貌,在这种情 况下本发明的方法提供将显示器1的概貌匹配到另一显示设备的概貌 的一种途径。更一般地应意识到,这里描述的校准技术可用于以与常 规显示器匹配技术不同的方式执行显示器匹配。

在一些实施例中,设备3的处理器4利用所测量的f″D(λ)值及所 存储的fc(λ)、f′c(λ)和f′D(λ)值确定针对每个波长的差异值dD(λ)= (fc(λ)/f′c(λ))*(f″D(λ)-f′D(λ))。函数dD(λ)是用校准了的参考摄像机而不 是摄像机3A测量的时间T1处的显示器响应函数与初始时刻的显示器 响应函数之间的差异。差异值dD(λ)的值可以发送到远程服务器5,供 服务器5用于产生(并发送到预处理器7)一组更新的预处理器控制 参数以供预处理器7用于重新校准显示器1以匹配其在初始时刻的设 置。

视频预处理器7因此可用于基于设备3捕获的失调测量将显示设 备1发射的光的原色重新调节到一组预期原色。

下面将更详细地描述显示设备1的对比度和动态范围校准。

对比度比值可定义为显示白场区时发生的光强度对显示黑场区时 发射的光强度的比值。通常合适的是通过确定一个或更多“局部”对 比度比值来测量显示器的“局部”对比度,“局部”对比度比值是显 示图像内的不同局部区域中(在特定空间位置处)的对比度比值。使 用具有暗(黑)和白场区的单个测试图案确定的对比度比值有时称为 “帧内(intra-frame)”对比度比值。帧内对比度比值通常利用包括 呈国际象棋棋盘布置的矩形白和暗(黑)场区的国际象棋棋盘测试图 案(例如,图4A所示的均匀国际象棋棋盘图案)来方便地测量。

根据本发明方法的某些实施例,为了使用图1的系统进行对比度 校准,利用设备3如下测量显示设备1的局部对比度。设备3感测显 示设备1响应于非均匀(在其各个场区的尺寸随着显示图像中的空间 位置而变化的意义上)的国际象棋棋盘测试图案显示的图像,以确定 作为显示图像内的空间位置的函数的局部(帧内)对比度。典型地, 设备3的处理器4执行应用软件,该应用软件通过识别与每个位置相 关联的特征尺寸(例如,在图2、3、5A或6A的国际象棋棋盘图案的 局部区域中的“场区(field)”或“框(box)”的尺寸)来识别显示 图像内的位置,并确定在一个或更多位置中的每个处的对比度。均匀 国际象棋棋盘图案的场区变平滑的分辨率(特征尺寸)(测试图案的 特征的最小可分辨显示特征尺寸)可容易且有效地被确定。在优选实 施例中,摄像机3A感测显示设备1响应于具有许多不同尺寸特征的 非均匀测试图案(例如,图2、图3、图5A或图6A的图案)显示的 图像,在非均匀测试图案中特征尺寸随空间位置(例如,沿穿过图案 的线性路径)以良好定义的方式变化。适于该操作的优选非均匀国际 象棋棋盘测试图案的示例是图2(或图5A)所示的图案。图2的图案 具有矩形外边界,其每个场区(块)的尺寸随着离图案中心增大的径 向距离而增大。适于该操作的优选非均匀国际象棋棋盘测试图案的另 一示例是图3所示的二分栅格(dyadic grid)图案。图3的图案也具 有矩形外边界,其每个场区(块)的尺寸随着离图案的一个外拐角的 距离增大而增大。采用图2、图3、图5A或图6A的非均匀测试图案 (或者类似的非均匀国际象棋棋盘图案),在显示图像中与特定特征 尺寸对应的空间位置处,国际象棋棋盘变成平滑颜色(灰)。这表明 图像上的帧内对比度限度。该值的测量在测量调制LED背面光照和边 缘光照显示系统(其中局部对比度受到LED相对于LCD像素的间距 的影响)的帧内对比度中特别有用。

在替选实施例中,均匀国际象棋棋盘测试图案的序列(其每个在 是具有均匀块尺寸的国际象棋棋盘图案的意义上来说,跨显示屏幕是 均匀的)可以被显示以确定局部对比度和最小可分辨显示测试图案特 征尺寸。这将具有如下优点:消除了对摄像机3A与显示器1准确对 准的需要(摄像机中心点可简单地与测试图案中心附近的任意点对准)。 然而,将不会允许局部(帧内)对比度和最小可分辨显示测试图案特 征尺寸二者的有效确定。

非均匀国际象棋棋盘图案(例如,如图2或3所示)可提供局部 帧内对比度的有效测量。作为二维图案(与垂直条构成的图案对照), 其允许以有效方式(用减小的时间要求来表征这种对比度)测量沿水 平和垂直方向的局部对比度变化。

优选地,测试图案中的单个图案(例如,图2或3的图案)由显 示设备1显示,作为响应,设备3确定单个对比度值(或对比度值的 集合)以及可选地还有指示最小可分辨显示特征尺寸的值。这些所确 定的值然后与其他测量值(利用其他测试图案确定的)一起用于(例 如,断言到服务器5)产生用于预处理器7的一组更新的预处理器控 制参数。

用于图1的系统的特定实现中的对比度校准的优选测试图案的选 择可以取决于所显示的测试图案与用于校准的摄像机3A的对准的简 易度。例如,当摄像机3A是CCD成像摄像机时,图3(或图5A)的 图案可以是优选图案,因为这样的摄像机能以风景模式(landscape  mode)操作,同时设备3的处理器4执行应用软件以识别测试图案中 的特殊图案(例如,图3的图案的中心6处具有特殊尺寸特征的特殊 图案),从而促进所显示的测试图案的中心与摄像机的CCD阵列的 中心的对准。

应理解,图4A的均匀国际象棋棋盘测试图案由于其均匀间隔开的 栅格状空间谱结构而具有主要由基波的奇次谐波构成的简单的傅立叶 谱。图4B是图4A的图案的快速傅立叶变换(归一化2D FFT大小) 的图。

相对照地,图5A和图6A中的每个是在本发明方法的实施例中采 用的非均匀国际象棋棋盘测试图案的图。图5B是图5A的图案的快速 傅立叶变换(归一化2D FFT大小)的图,图6B是图6A的图案的快 速傅立叶变换(归一化2D FFT大小)的图。从图5B(或6B)显见, 图5A(或6A)的图案由于其矩形特征的变化尺寸而具有比图4A的 图案更复杂的傅立叶谱。图5A(或6A)的图案是展示复杂的空间变 换域特性的结构简单空间图案的良好示例(在本发明的一些实施例中 作为测试图案是有用的)。

摄像机的动态范围是摄像机可测量的最大和最小光强度的比值。 显示器的动态范围是显示器可发射的最大和最小光强度的比值。为了 根据本发明方法的一些实施例执行显示器1的亮度或动态范围校准, 设备3的摄像机3A和显示器1之间的动态范围关系如下进行确定。

摄像机(例如,摄像机3A)可测量的最小光强度通常由在所采用 的曝光值处摄像机的噪声确定。手持式摄像设备通常具有有限数量的 摄像机曝光设置。因此,当设备3实现为这种典型的手持设备时,摄 像机噪声可以通过操作摄像机3A来拍摄一些黑表面的摄像机图像来 评估。摄像机3A可测量的最大光强度(摄像机动态范围的高端)由 摄像机3A中的传感器(例如,CCD)开始饱和时的测量强度确定。 为了测量摄像机3A中的传感器(例如,CCD)开始饱和时的强度, 摄像机3A可以操作来对由显示设备1(优选地,用实现为高动态范围 或“HDR”显示设备的显示设备1)显示的具有在不同空间位置处的 发射亮度值范围的黑和白测试图案进行成像。优选地,测试图案使得 发射亮度随着离显示图像的特定空间位置的距离增大而增大。例如, 测试图案可以是国际象棋棋盘图案或者VESA框(包括白和黑特征的 图案),其局部区域中总白特征面积对总黑特征面积的比随着离测试 图案上的特定空间位置的距离增大而增大(连续地或者阶梯式地)。 替选地,测试图案可以是具有粗略水平的灰度斜坡(例如,16个垂直 布置的灰度水平)。通过显示这种其亮度不使接收从显示图像的任何 空间位置发射的光的摄像机3A中的任何传感器饱和的测试图案,显 示器1的动态范围可以通过外推作为显示图案的空间位置的函数的、 由摄像机响应给出的所显示的亮度的知识中的步伐(step)来评估。

在设备3的测量期间,可以使显示设备1以多种不同方式中的任 意方式显示测试图案。例如,设备3可以将它们作为输入图像数据直 接发送到预处理器7或处理器9。或者,指示测试图案的序列的输入 视频可以响应于来自设备3的命令从源发送到显示设备1(例如,作 为输入图像数据从源2或者服务器5到预处理器7或处理器9,以及 从那里到设备1,或者从预处理器7或处理器9到设备1)。命令可选 地从设备3通过远程服务器(例如,图1的服务器5,在服务器5本 身不是测试图案源的情况下)中继到测试图案源。

在图1的系统的一些实现中,远程服务器5在执行本发明的方法 期间经由因特网(或另一网络)耦接到设备3。远程服务器5可以由 出租服务器5(租给设备3的用户)的实体操作以用于执行校准软件 以响应于设备3的输出产生预处理器控制参数(例如,远程服务器5 可以居于Amazon弹性计算云上,有时称为“EC2”云,或者另一云 计算系统)。

在一些实施例中,远程服务器5配置为可响应于设备3的输出操 作来使用从设备3的输出确定的控制参数对针对特定显示设备(即, 设备1)色调映射的输入视频(或者另一输入内容)进行重新着色, 并将重新着色的内容馈送到预处理器7(或者直接馈送到处理器9)。

在图1的系统的一些实现中,服务器5产生的预处理器控制参数 被预处理器7用来校正显示器非均匀性。这种预处理器控制参数可以 由服务器5使用设备3产生的显示器均匀性掩码(mask)来产生,或 者可以由设备3利用这样的显示器均匀性掩码来确定并直接从设备3 发送到视频预处理器7。

在本发明的一些实现中(例如,在图1的系统的一些实现中), 供预处理器用于校准显示器的控制参数(例如,远程服务器5产生的 控制参数)插入在输入视频流的消隐间隔中。这可以通过输入视频源 (例如,图1的源2)响应于从服务器5接收到的预处理器控制参数 来进行。预处理器7可以配置为从消隐间隔提取预处理器控制参数并 使用所提取的预处理器控制参数来确定将要应用到输入视频以实施显 示器1的校准的预处理。

在一些实现中,本发明的系统配置为执行显示设备的全局对比度 表征。一种这样的系统是图3A的系统,其中元件1、3和9与图1的 元件1、3和9相同。图3A的系统配置为作出(或者允许用户作出) 关于显示设备1的全局动态范围的推断。在图3A的系统中,摄像设 备3的处理器4可以获得摄像机3A产生的原始CCD像素值。处理器 9被馈送有斜坡输入(测试信号E1),其在被设备1显示时亮度沿显 示屏幕的宽度而线性增大。图像E2是由动态范围比显示设备1更宽 的校准了的成像色度仪(其不是本发明的系统的一部分)测量时显示 器1响应于图像E1的实际输出。由于显示电路(输入动态范围)和 显示器光学器件(显示动态范围)的固有动态范围限制,图像E2沿 顶端(高亮度处)饱和且在底端处(低亮度处)被钳制。图像E3是 用摄像设备3测量时显示设备响应于图像E1的输出。图像E3由于显 示器1和摄像机3A之间的动态范围失配而不同于显示器1的响应(图 像E2)。通过知晓在初始时刻显示器1与摄像机3A之间的动态范围 关系或者传递函数,处理器4能评估后来时刻显示器1的全局对比度。 这可以馈送到处理器9(或者馈送到耦接到处理器9的输入的视频预 处理器)以用于显示设备1的自动重新校准。

给定显示设备1的EOTF(电-光传递函数)知识,显示设备1响 应于特定输入信号码字的发光亮度可以得到准确地预测。因此,给定 摄像机3A在特定亮度(低于最大亮度)的响应和显示设备1的EOTF, 可以非常有效地评估在摄像机的饱和范围中摄像机3A的响应。这种 评估用在本发明的方法的一些实施例中。

对于特定的摄像设备(例如,实现为手持式摄像设备的设备3), 预期用于特定显示器的指示颜色匹配和/或颜色响应函数的参考数据 (例如,上述参考摄像机灵敏度函数fc(λ)和显示器响应fD(λ))可以打 包(例如,由制造商)到摄像设备可读取的文件中(例如,与已知的 “可扩展标记语言”或XML兼容的格式的文件)。为了校准显示器 的颜色或对比度,用户可以将参考数据和适当的应用程序加载到摄像 设备中。在执行软件的同时,摄像设备可以在那时对显示器发射的光 进行必要的测量,将它们与所测量的显示器的参考数据的对应值进行 比较,并优选地还确定指示测量值与对应的参考数据值之间的差异的 差异值。

例如,在时间T1,使用指示参考摄像机灵敏度函数fc(λ)的参考数 据和先前利用参考摄像机产生的显示器响应fD(λ),设备3可以确定指 示设备3的摄像机3A的灵敏度函数的值f′c(λ)=f′D(λ)/(fD(λ)/fc(λ))、以 及指示显示器响应函数f″′D(λ)=(fc(λ)/f′c(λ))*f″D(λ)的值,其是利用用 于产生先前确定的显示器响应fD(λ)的参考摄像机测量的在时间T1处 显示器1的响应函数,其中f″D(λ)是利用设备3的摄像机3A测量的在 时间T1处显示器1的响应函数。设备3的处理器4于是可以针对一 组测量波长中的每个波长计算差异值ΔD(λ)=(f″′D(λ)-fD(λ))。该差 异值指示显示器1自从利用参考摄像机的原始校准之后的特性改变, 且然后将被用于重新校准显示器(例如,差异值从图1的设备3发送 到远程服务器5,远程服务器5响应于其产生视频预处理器控制参数 且将视频预处理器控制参数发送到视频预处理器7,视频预处理器7 使用它们来重新校准显示器1)。更一般地,差异值可以用于下列操 作中的一个或更多:显示器的自动重新校准;输入图像数据(待由显 示器显示)的反馈预处理以用于正确的显示器管理。

应理解,来自本发明的优选实施例中采用的摄像设备的摄像机传 感器的原始数据(例如,来自包括CCD传感器阵列的摄像机的原始 CCD图像数据)、或者这样的原始数据的极轻微处理了的变体,可被 访问且实际上根据这种实施例被处理以获得显示器校准和/或表征的 准确实施。

还应理解,这里描述的技术可以用于显示设备的参数或特性中的 非线性变量的准确表示。例如,作为频率范围(例如,可见光谱中的 全频率范围)上的频率的函数的显示器响应函数的确定可以允许对非 线性变量的非线性补偿,而确定显示器在少量频率中的每个(例如, 红、绿和蓝范围中每个范围一个)处的响应将不会允许对非线性变量 的这种补偿。通过基于显示器的全谱进行变换,与通过简单线性算子 例如颜色旋转矩阵实现的相比,可以实现显示器的更准确校准。

在一些实施例中,本发明的系统的摄像机或手持设备(例如,图 1的设备3)、远程服务器(例如,图1的服务器5)和视频预处理器 (例如,图1的预处理器7)中的至少一个是或者包括现场可编程门 阵列(FPGA),或者其他集成电路或芯片组,其被编程和/或另外配 置为响应于断言到其的数据执行本发明的方法的实施例的步骤。在一 些实施例中,本发明的系统的摄像机或手持设备(例如,图1的设备 3的处理器4)、远程服务器(例如,图1的服务器5)和视频预处理 器(例如,图1的预处理器7)中的至少一个是或者包括可编程数字 信号处理器(DSP),其被编程和/或另外配置为对数据执行管线处理, 包括本发明的方法的实施例的步骤。替选地,本发明的系统的摄像设 备(例如,图1的设备3的处理器4)、远程服务器(例如,图1的 服务器5)和视频预处理器(例如,图1的预处理器7)中的至少一个 是或者包括可编程通用处理器(例如,PC或其他计算机系统或微处 理器),其耦接为接收或产生输入数据,且用软件或固件编程及/或另 外地配置为(例如,响应于控制数据)对输入数据执行多种操作中的 任意操作,包括本发明的方法的实施例中的步骤。例如,本发明的系 统的摄像设备(例如,图1的设备3的处理器4)、远程服务器(例 如,图1的服务器5)和视频预处理器(例如,图1的预处理器7)中 的至少一个可以是或者包括计算机系统(例如,PC),该计算机系统 包括输入设备、存储器和图形卡,该图形卡被适当地编程(及/或另外 地配置)为响应于断言到其的输入数据执行本发明的方法的实施例的 步骤。图形卡可包括图形处理单元(GPU)或GPU的集合,专用于 处理图像数据且配置为执行本发明的方法的实施例的相关步骤。配置 为执行本发明的方法的实施例的步骤的通用处理器(或FPGA)通常 耦接到输入设备(例如,鼠标和/或键盘)、存储器和显示设备。

直视LCD显示器的实施例

图8是体现本发明的示范性系统的框图。图8的显示设备包括前 LCD面板1B和位于前面板1B后面的带状边缘光照背光单元1A(“子 系统”1A)。子系统1A(其可以如2010年9月15日提交的美国专 利申请No.12/882,825所描述的那样实现)包括沿显示面板的边缘布 置的可单独控制的LED,以及将光从这些LED引导到子系统1A的显 示面板的像素区的子系统。美国专利申请No.12/882,825的公开和全 文通过引用合并于此。从子系统1A发射的光用于背面照射前面板1B 的LCD。显示设备的处理器(未示出)耦接且配置为断言用于驱动面 板1B的像素的视频信号以及用于驱动子系统1A的边缘光照元件和像 素的辅助视频信号。

根据本发明,图8的摄像设备3(其可以与图1的摄像设备3相 同)捕获环境光变化和显示设备的特性(例如,对比度设置),设备 3的处理器4将指示捕获信息的数据断言到远程服务器。远程服务器 包括LCD驱动生成器5B和边缘光照背光单元控制信号生成器5A。 响应于处理器4的输出,生成器5B产生(并断言到显示设备的处理 器,或者断言到耦接到这种处理器的输入的预处理器)控制参数用于 控制根据本发明由显示设备的处理器(或者耦接到其的预处理器)对 控制面板1B的校准(或重新校准)。响应于处理器4的输出,生成 器5A产生(并断言到显示设备的处理器,或者断言到耦接到这种处 理器的输入的预处理器)控制参数用于控制根据本发明由显示设备的 处理器(或者耦接到其的预处理器)对子系统1A的校准(或重新校 准)。用于子系统1A的校准控制参数可以产生为用于子系统1A的像 素的区带或区域(而不是用于子系统1A的像素中的个体像素),例 如,通过平均化或者应用其他平滑函数到子系统1A的像素中的个体 像素的校准控制参数并且断言平滑或平均化了的参数以用于控制子系 统1A的边缘光照元件。

在图8的系统的变型中,显示设备是背光显示器,具有在LCD前 面板正后方的背面光照LED的网格(而不是边缘光照背光子系统), 背面光照LED能根据本发明被控制(被校准)。

图9是体现本发明的另一示范性系统的框图。图9的显示设备包 括正(彩色)LED面板1D和位于面板1D后面的背面光照子系统。 背面光照子系统包括静态光照面板1E、在面板1E前面的无色无过滤 LCD面板1C、以及在面板1C和1D之间的一个或更多扩散膜1F。 背面光照子系统和局部减暗子系统可以如2010年5月14日提交的美 国专利申请No.12/780,749中描述的那样实现(美国专利申请No. 12/780,749的公开和全文通过引用合并于此)。从背面光照子系统发 射的光用于背面照射前面板1D的LCD。显示设备的处理器(未示出) 耦接且配置为断言用于驱动面板1D的像素的视频信号以及用于驱动 面板1C的像素的像素的辅助视频信号。

根据本发明,图9的摄像设备3(其可以与图1的摄像设备3相 同)捕获环境光变化和显示设备的特性(例如,对比度设置),设备 3的处理器4将指示捕获信息的数据断言到远程服务器。远程服务器 包括彩色LCD驱动生成器5D和无过滤LCD驱动生成器5C。响应于 处理器4的输出,生成器5D产生(并断言到显示设备的处理器,或 者断言到耦接到这种处理器的输入的预处理器)控制参数用于控制根 据本发明由显示设备的处理器(或者耦接到其的预处理器)对控制面 板1D的校准(或重新校准)。响应于处理器4的输出,生成器5C产 生(并断言到显示设备的处理器,或者断言到耦接到这种处理器的输 入的预处理器)控制参数用于控制根据本发明由显示设备的处理器(或 者耦接到其的预处理器)对面板1C的校准(或重新校准)。用于面 板1C的校准控制参数可以产生为用于面板1C的像素的区带或区域 (而不是用于面板1C的像素中的个体像素),例如,通过平均化或 者应用其他平滑函数到用于面板1C的像素中的个体像素的校准控制 参数。

用于校准3D显示系统的实施例

这里描述的各种实施例的原理可以扩展到所有方式和类型的3D 显示系统。现在将特别地参考3D投影仪显示系统描述用于它们的类 似方式的校准的实施例。

基于HHD的校准方法就管理关于投影屏幕增益的变化而言可以 是合意的。典型的数字3D技术由于光路和3D眼镜中的过滤而丧失显 著量的光传输。示范性影院具有多个屏幕,其中的一些或全部可以或 可以不具有相同增益、尺寸或集合形状。由于投影仪不一定是固定不 变的,可能复用地轮换到不同放映室,所以关于变化的增益收集的数 据可以促进屏幕特定配置的有效管理。结果可以是一种管理反射光水 平量变化的多个屏幕的有效机制,而与屏幕分类、几何形状或投影技 术无关。

在另一实施例中,基于HHD的校准系统可以采用在圆偏振系统中 且可用作动态座位地图生成器,识别受到重像(ghosting)或热点(hot  spotting)的座位。以此方式,受影响的座位可以被排除以确保观众有 高级观影体验。对于圆偏振,需要银幕以维持圆偏振和更高亮度水平。 银幕的使用产生热点,同时减少最佳位置中的座位数。这是因为在离 轴座位中有限量的投影仪产生的光,离轴座位包括屏幕最左和最右的 许多座椅。当2D内容在相同礼堂中播放时,热点的存在导致所占据 的离轴座位有差的观影体验。

图10示出示范性3D投影仪系统1000的仅一个实施例根据这里的 原理被校准。投影仪系统1200这里示为包括数字投影仪1008,数字 投影仪1008进一步包括滤色轮和电机组件1010。组件1010可由从滤 色轮1006发射的信号驱动,滤色轮1006又可接收来自数字影院服务 器1004的信号。与上述类似地,数字影院服务器1004可以接收来自 远程显示器管理引擎/服务器1026的信号。当用在投影仪系统1002的 校准中时,这种引擎/服务器可以与摄像设备1020以有线或无限配置 耦接。摄像设备1020还可包括光传感器1022和处理器1024。如这里 描述的那样,许多合适的摄像设备可满足本当前应用的目的,包括具 有测量应用的iPhone。如这里描述的那样,摄像设备1020输入投影 到屏幕1012上并从其反射的可见图像。

作为起始点且参照前面的论述,校准了的摄像机(例如,CMOS 或CCD)感测的原色的实际值可以被测量且作为设置存储在手持设备 上。这也可以用于计算特定手持设备匹配所投影的原色的颜色传递(匹 配)函数。因此,可以存在一组原色颜色响应函数和颜色匹配函数以 表征特定手持设备摄像机。一旦存储在手持设备的存储器中,就可以 进一步用于测试显示器原色和白点的有效性和精确度。

采用谱分离的3D系统

具有了适当地表征摄像设备的数据之后,现在将描述3D显示系统 的校准。典型地,3D显示屏幕的校准包括使用能测量左眼和右眼镜片 的红、绿、蓝和白测试图案的剪辑的3D颜色系数的色度仪。校准3D 系统的特定技术还可考虑实现3D图像的方式。特别地,一种3D技术 称为“谱分离”,其大致论述于题为“Spectral Separation Filters for  3D Stereoscopic D-Cinema Presentation”的共有美国专利申请公开No. 2008/0284982(申请号No.11/804,602)中,该申请通过引用整体合并 于此。如该申请No.2008/0284982中论述的那样,谱分离通过对左眼 和右眼进行谱过滤而在投影仪处提供分离。该系统与视差图像 (anaglyph)的不同之处在于对左眼和右眼的过滤每个都通过一部分 红、绿和蓝光谱,提供全色图像。左眼滤色器的带通光谱与右眼滤色 器的带通光谱互补。眼镜包括具有相同的一般谱特性的滤色器,如用 在投影仪中那样。

在3D影院的谱分离法中,可以采用双投影仪或单投影仪设计。谱 分离通过在眼镜和投影仪的光谱滤色器之间的红、绿和蓝光谱的互补 带中对左眼和右眼进行光谱过滤来实现,投影仪的光谱滤色器在双投 影的情况中可以是固定不变的,或者对于单投影而言可以是旋转的。 在谱分离导致全色图像的同时,在过滤的图像和用投影仪的色域投影 的原始图像之间存在色域的稍微减小。由于所述差异,颜色校正可期 望用于确保高度的颜色准确性。

数字投影仪1008可以是双投影系统或者单投影系统。双投影系统 包括影院服务器、滤色器控制器和两个数字投影仪。单投影包括影院 服务器、滤色轮控制器以及带有旋转滤色轮和电机组件的投影仪。

图10示出用于捕获左眼和右眼镜片1014和1016分别的原色的颜 色系数的系统,其可匹配用于3D投影仪的3D眼镜1018上的镜片。 替选地,左镜片1014和右镜片1016可以与眼镜分离地单独使用。所 捕获的数据用于利用由远程服务器产生的显示管理参数动态地色调映 射和动态地预处理输入视频信号。为了经由摄像机1020来对光进行分 析,光可穿过3D眼镜(左眼和右眼,分别地)或者分别穿过单独的 左透镜和右透镜1014、1016。这种个体镜片也可以单独售卖,如在校 准套件中。

使用这里描述的技术,可以利用手持设备进行所投影的测试图案 的颜色和亮度测量。这些测量可以利用运行于手持设备上的测量/获取 应用被过滤/处理且转发到远程服务器,远程服务器进行分析并产生用 于有关系统的更佳显示管理的新参数,其被发送到视频预处理器。

对于特定手持设备(示例:iPhone),制造商可以将特定显示器 的颜色匹配函数和颜色响应函数打包到文件(例如,XML)中。当用 户想要重新校准显示器的颜色和对比度时,用户可以加载应用,该应 用将进行必要的测量并且将它们与对应于所测量的显示器的文件中的 参数进行对比。差异可以用于下列中的一个或者更多:

1.3D显示投影的自动重新校准;

2.用于准确的3D显示管理的反馈预处理;

3.通过预选屏幕上可用作重复测量的枢点(pivot)的位置进行3D 投影和屏幕的均匀性评定和估计。

这些功能可以利用上面参照直视LCD显示器描述的系统和技术 以及高级成像系统诸如基于半导体激光器的投影、有机发光二极管 (OLED)和基于量子点的显示系统来实现。

本文档中描述的技术可以实现于宽范围的手持设备中。例如,通 过使用iPhone SDK中的图像拾取器控制器类,可以从iPhone的背侧 照射CMOS摄像机传感器收集数据。这里例如参照图7描述的技术能 以适当的修改来采用以表征和/或校准3D系统。

图11绘示了表征和/或校准3D投影仪系统的系统和方法的一个实 施例。如上所述,大致在投影系统的光路中的任何滤色器或光学元件 可以通过传递函数来表征。如图所示,3D滤色轮1102和3D眼镜1104 (或者替选地,左镜片和右镜片1014和1016分别地)可以通过它们 的传递函数W(f)和F(f)(分别为1110和1112)来表征。这些传递函 数可以如这里描述的那样计算或推导,或者替代地,可以实验或启发 式确定。

如果将传递函数带入频域,如本领域所知,则对于给定的源谱X(f), 输出谱Y(f)可通过图像的光学路径中的各种传递函数的相乘来计算。

Y(f)=F(f)×W(f)×X(f)

图12示出到目标谱Y(f)的特定重新校准的情形,可以如上所述地 计算所应用的滤色谱H(f)。

基本方程:

Y(f)=H(f)×F(f)×W(f)×X(f)

转换为

H(f)=Y(f)/[F(f)×W(f)×X(f)]

根据所计算的H(f),可以得到一矩阵,该矩阵更好地近似用于特 定组输出原色的颜色RGB旋转矩阵。

例如,图13A绘示了对于谱平滑校准了的光源发射的光穿过完美 校准了的滤色轮,例如3D眼镜的右眼所看到的R、G和B原色的分 析-如色域三角形1302所示。作为比较,色域三角形1304指的是P3 颜色空间的投影。

图13B绘示了对未校准光源或未校准滤色轮的分析。如所见,3D 眼镜的右眼看到的R、B和B原色(由色域三角形1306表示)不同于 校准状态。根据谱传输特性以及色域三角形1306和1302的知识,我 们可以获得滤色器谱H(f)且将其近似为3×3颜色旋转矩阵。

这里给出的3D校准方法可以扩展超越谱分离、圆偏振和主动快门 眼镜技术。例如,有机发光二极管(OLED)已知为当屏幕寿命接近 设计极限是有均匀性问题。典型地,蓝OLED比红和绿OLED具有 更短的寿命,因此导致亮度、颜色准确度和均匀性的显著减弱。所述 校准方法也可以用在基于半导体激光器的投影和直接显示系统中。在 该实施例中,HHD校准系统用作例如强度水平调整中的诊断和校准工 具以适应长期暴露到高热的受损微镜。

虽然本发明的特定实施例和本发明的应用已经描述于此,但是本 领域普通技术人员将意识到,对这里描述的实施例和应用的许多变化 是可行的,而不偏离这里描述和主张的发明的范围。应理解,虽然已 经示出和描述了本发明的特定形式,但是本发明不限于这里描述或示 出的特定实施例和所描述的特定方法。

EEE1.一种使用包括摄像机的摄像设备校准3D显示器的方法, 该方法包括步骤:

(a)操作该摄像机以利用该摄像机来测量从该显示器发射的且被 设计来呈现3D效果的一个或更多光学元件过滤了的光,所述摄像机 具有事先未知的灵敏度函数,并且操作所述摄像设备以产生指示所述 光的测量数据,使得该测量数据指示由具有已知灵敏度函数的参考摄 像机对所述光的至少一种测量;以及

(b)利用该测量数据作为反馈以用于控制该显示器的校准。

EEE2.根据EEE1的方法,其中设计来用于呈现3D效果的一个 或更多光学元件包括一个组,该组包括:滤色轮、偏振眼镜和滤色眼 镜。

EEE3.根据EEE1的方法,其中在步骤(a)期间,该摄像机在所 述显示器显示至少一个测试图案时测量从该显示器发射的光。

EEE4.根据EEE1的方法,其中该摄像设备是手持摄像设备,且 步骤(a)包括步骤:

操作该摄像设备以在所述显示器显示至少一个测试图像时利用该 摄像机测量从该显示器发射的光,其中该至少一个测试图像指示至少 一种测试颜色和至少一个白点;以及

向该摄像设备提供参考数据以用于生成测量数据,其中该参考数 据指示:

将该显示器对每种所述测试颜色和每个所述白点的响应匹配 到所述参考摄像机对每种所述测试颜色和每个所述白点的响应的 传递函数的值;以及

参考摄像机的灵敏度函数的值。

EEE5.根据EEE4的方法,其中该参考摄像机的灵敏度函数的值 是fc(λ),对于一组波长中的每个波长λ,传递函数的值为fT(λ)= fD(λ)/fc(λ),其中值fD(λ)指示由该参考摄像机测量的在该组波长中的每 个所述波长处该显示器响应于每种所述测试颜色和每个所述白点的输 出,且其中所述参考数据还指示值fD(λ),且步骤(a)包括步骤:

操作该摄像设备来测量由该显示器发射的光,由此确定在该 组波长中的每个所述波长处该显示器响应于每种所述测试颜色和 每个所述白点输出的值f′D(λ);

根据该f′D(λ)值和该参考数据在该组波长中的每个所述波长处 确定值f′c(λ)=f′D(λ)/(fD(λ)/fc(λ));以及

在该组波长中的每个所述波长处,产生将指示差异值dD(λ)= (fc(λ)/f′c(λ))*(f′D(λ)-fD(λ))的所述测量数据。

EEE6.根据EEE5的方法,其中步骤(b)包括步骤:

响应于该测量数据产生预处理器控制参数;以及

响应于该预处理器控制参数,操作视频预处理器来重新校准该显 示器。

EEE7.根据EEE4的方法,其中该参考摄像机的灵敏度函数的值 是fc(λ),对于一组波长中的每个波长λ,传递函数的值为fT(λ)= fD(λ)/fc(λ),其中值fD(λ)指示由该参考摄像机测量的在该组波长中的每 个所述波长处该显示器响应于每种所述测试颜色和每个所述白点的输 出,且其中步骤(a)包括步骤:

在第一时间,操作该摄像设备来测量由该显示器发射的光, 由此确定在该组波长中的每个所述波长处该显示器响应于每种所 述测试颜色和每个所述白点输出的值f′D(λ);

根据该f′D(λ)值和该参考数据在该组波长中的每个所述波长处 确定值f′c(λ)=f′D(λ)/(fD(λ)/fc(λ));

在该第一时间之后的第二时间,再次操作该摄像设备以在该 组波长中的每个所述波长处测量由该显示器响应于每种所述测试 颜色和每个所述白点发射的光以确定该显示器的输出值f″D(λ); 以及

在该组波长中的每个所述波长处,产生将指示值f″′D(λ)= (fc(λ)/f′c(λ))*f″D(λ)的所述测量数据。

EEE8.根据EEE4的方法,其中该参考摄像机的灵敏度函数的值 是fc(λ),对于一组波长中的每个波长λ,传递函数的值为fT(λ)= fD(λ)/fc(λ),其中值fD(λ)指示由该参考摄像机测量的在该组波长中的每 个所述波长处该显示器响应于每种所述测试颜色和每个所述白点的输 出,且其中步骤(a)包括步骤:

在第一时间,操作该摄像设备来测量由该显示器发射的光, 由此确定在该组波长中的每个所述波长处该显示器响应于每种所 述测试颜色和每个所述白点输出的值f′D(λ);

根据该f′D(λ)值和该参考数据在该组波长中的每个所述波长处 确定值f′c(λ)=f′D(λ)/(fD(λ)/fc(λ));

在该第一时间之后的第二时间,再次操作该摄像设备以在该 组波长中的每个所述波长处测量由该显示器响应于每种所述测试 颜色和每个所述白点发射的光以确定该显示器的输出值f″D(λ); 以及

在该组波长中的每个所述波长处,产生将指示差异值dD(λ)= (fc(λ)/f′c(λ))*(f″D(λ)-f′D(λ))的所述测量数据。

EEE9.根据EEE8的方法,其中步骤(b)包括步骤:

响应于该测量数据产生预处理器控制参数;以及

响应于该预处理器控制参数,操作视频预处理器来重新校准该显 示器。

EEE10.根据EEE1的方法,其中步骤(b)包括步骤:

响应于该测量数据产生预处理器控制参数;以及

响应于该预处理器控制参数,操作视频预处理器来校准该显示器。

EEE11.根据EEE10的方法,其中该视频预处理器操作来响应于 该预处理器控制参数执行该显示器的颜色、对比度和动态范围校准中 的全部。

EEE12.根据EEE10的方法,其中该摄像设备包括处理器,该处 理器耦接且配置为接收来自该摄像机的原始输出且处理该原始输出以 产生该测量数据,且步骤(b)包括步骤:

将该测量数据发送到远程服务器,并操作该远程服务器以响应于 该测量数据产生预处理器控制参数。

EEE13.一种3D显示器校准系统,包括:

3D显示器;

摄像设备,包括摄像机,该摄像机能操作来测量从该显示器发射 的且被设计来呈现3D效果的一个或更多光学元件过滤了的光,所述 摄像机具有事先未知的灵敏度函数,该摄像设备还包括处理器,该处 理器耦接且配置为从该摄像机接收原始输出且处理该原始输出以产生 指示该光的测量数据,使得该测量数据指示由具有已知灵敏度函数的 参考摄像机对所述光的至少一种测量;以及

校准子系统,耦接且配置为响应于该测量数据产生控制参数,并 响应于该控制参数校准该显示器。

EEE14.根据EEE13的系统,其中该摄像设备是手持式摄像设备, 所述一个或更多光学元件包括一个组,该组包括:滤色轮、偏振眼镜 和滤色眼镜。

EEE15.根据EEE13的系统,其中该摄像设备是手持式摄像设备, 来自该摄像机的原始输出指示在所述显示器显示至少一个测试图像时 从该显示器发射的光的至少一种测量,该测试图像指示至少一种测试 颜色和至少一个白点,且

该处理器配置为响应于参考数据和来自该摄像机的原始输出产生 测量数据,其中该参考数据指示:

将该显示器对每种所述测试颜色和每个所述白点的响应匹配到该 参考摄像机对每种所述测试颜色和每个所述白点的响应的传递函数; 以及

该参考摄像机的灵敏度函数的值。

EEE16.根据EEE13的系统,其中该控制参数是预处理器控制参 数,该校准子系统包括:

远程服务器,耦接且配置为响应于该测量数据产生预处理器控制 参数;以及

视频预处理器,耦接且配置为通过响应于该预处理器控制参数对 待显示图像数据执行预处理来校准该显示器。

EEE17.根据EEE16的系统,其中该视频预处理器操作来响应于 该预处理器控制参数执行该显示器的颜色、对比度和动态范围校准中 的全部。

EEE18.一种系统,包括:

3D显示器;

视频预处理器,耦接到该显示器;以及

反馈子系统,包括操作来测量该显示器发射的光的手持设备,其 中该反馈子系统耦接且配置为响应于指示该手持设备的测量的测量数 据自动产生预处理器控制参数并将该预处理器控制参数作为校准反馈 断言到该视频预处理器。

EEE19.根据EEE18的系统,其中该手持设备是手持式摄像设备; 且

其中进一步地所述手持设备光学耦接到能为观众呈现3D效果的 至少一个光学元件。

EEE20.根据EEE19的系统,其中该视频预处理器耦接为接收该 预处理器控制参数且操作来通过对待由该显示器显示的输入图像数据 进行过滤而响应于所述预处理器控制参数校准该显示器。

EEE21.根据EEE18的系统,其中该手持设备是手持式摄像设备, 该视频预处理器耦接为接收该预处理器控制参数且操作来通过对待由 该显示器显示的输入图像数据进行过滤而响应于所述预处理器控制参 数校准该显示器。

EEE22.根据EEE18的系统,其中该反馈子系统还包括:

远程服务器,耦接且配置为响应于该测量数据产生该预处理器控 制参数,并将所述预处理器控制参数断言到所述视频预处理器。

EEE23.根据EEE18的系统,其中该手持设备包括:

摄像机,能操作来测量从该显示器发射的且被配置为呈现3D效果 的一个或更多光学元件过滤了的光,所述摄像机具有事先未知的灵敏 度函数;以及

处理器,耦接且配置为从该摄像机接收原始输出且处理该原始输 出以产生测量数据,使得所述测量数据指示由具有已知灵敏度函数的 参考摄像机对所述光的至少一种测量。

EEE24.根据EEE23的系统,其中来自该摄像机的原始输出指示 在所述显示器显示至少一个测试图像时从该显示器发射的光的至少一 种测量,该测试图像指示至少一种测试颜色和至少一个白点,且该处 理器配置为响应于该参考数据和来自该摄像机的原始输出产生测量数 据,其中该参考数据指示:

将该显示器对每种所述测试颜色和每个所述白点的响应匹配到该 参考摄像机对每种所述测试颜色和每个所述白点的响应的传递函数; 以及

该参考摄像机的灵敏度函数的值。

EEE25.根据EEE18的系统,其中该视频预处理器操作为响应于 该预处理器控制参数执行该显示器的颜色、对比度和动态范围校准中 的全部。

EEE26.一种用手持设备校准3D显示系统的方法,该3D显示系 统包括配置为向至少一个用户呈现3D效果的一个或更多光学元件, 所述手持设备包括摄像机和处理器,所述处理器具有存储器以存储与 所述一个或更多光学元件的传递函数、所述摄像机的传递函数和来自 至少一个测试图像的参考光值对应的数据,该方法的步骤包括:

用所述摄像机测量从所述3D显示系统产生的光值,所述光值由测 试图像产生;

应用传递函数到所测量的所述光值以产生中间光值;

比较该中间光值和参考光值;以及

发送校正控制信号到所述3D显示系统。

EEE27.根据EEE26的方法,其中配置为呈现3D效果的所述一 个或更多光学元件包括一个组,该组包括:滤色轮和3D眼镜。

EEE28.根据EEE27的方法,其中所述滤色轮的传递函数是W(f), 所述3D眼镜的传递函数是F(f),所述摄像机的传递函数是H(f)。

EEE29.根据EEE28的方法,其中进一步地所述测试图像产生的 光值的传递函数是X(f)。

EEE30.根据EEE29的方法,其中应用传递函数的步骤还包括: 计算中间光值Y(f)。

EEE31.根据EEE30的方法,其中计算中间光值的步骤包括:

Y(f)=H(f)×F(f)×W(f)×X(f)。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号