一种在日常照明环境下的投影显示颜色再现方法

摘要

本发明公开了一种在日常照明环境下的投影显示颜色再现方法，包括投影显示颜色再现特征化、确定等价再现目标颜色值以及颜色等价再现三个部分。投影显示颜色再现特征化用来分析描述投影仪相机系统、显示表面以及环境照明的颜色特征；确定等价再现目标颜色值用来分析确定整个系统在当前显示环境下的再现能力，并借此获得在再现能力范围内并与输入原始图像颜色等价的目标颜色值；颜色等价再现用来对目标颜色值进行处理，并根据输入输出的颜色转换关系，获得再现目标颜色值所需的输入颜色值。不依赖于其他物理设备的测量，运算成本低，有利于投影显示向便携式灵活的移动应用方向发展。

说明书

技术领域

本发明公开一种投影显示领域的颜色再现方法，尤其涉及一种在日常生活中常见的有环境照明且带有纹理的物理表面上进行投影显示时的等价颜色再现方法。

背景技术

投影显示是一种将图像投射在辅助表面上的显示方式，大画面以及显示屏幕与自身设备分离是其两大显著特点，而且通常以漫反射白色屏幕以及暗室观察环境为应用前提。随着投影显示应用的普遍深入，传统的CRT投影显示技术逐渐被LCD、DLP、LCOS等多种现代投影显示技术所替代，其应用场合也逐渐从教育多媒体、商务会议、数字影院等高端场合拓展至展厅演示、家庭娱乐等低端场合。如今，投影仪已经进入了消费型电子产品行列，在市场上出现了各种体积小且携带方便的娱乐型投影仪。同时，为了满足现代社会消费者多样化的需求，单方向的演示在很多场合也已经不能满足要求，而需要给投影仪增加交互式的功能，以增加信息传播的生动性和趣味性。于是，在投影显示领域发展起来了基于投影仪相机系统的大屏幕拼接以及交互式投影显示技术，如文献“Introduction to building projection-based tiled display systems”所述。投影仪相机系统通常由投影仪、相机和计算机三个部分组成，相机充当人眼完成智能传感的功能，计算机则是整个系统的控制中心，完成信号显示、收集、处理及分析等功能。如图1所示为投影仪相机系统在日常生活中常见的有照明环境下物理表面上进行投影显示的示意图，输入图像首先由计算机系统输出到投影像面，再经过投影光学系统投影到显示表面；然后，投影图像经显示表面反射及环境照明的调制形成现实物理空间中的投影显示图像；投影显示图像又可以由相机光学系统捕获到成像像面并产生图像输出到计算机系统，从而构成了一个闭环的控制回路。另一方面，随着投影显示应用的普遍深入，固定地以漫反射白色屏幕以及暗室观察环境为应用前提在很多情况下将无法满足，而需要将画面投影显示在生活环境周围的物理表面上，以沉浸自然的形式来丰富交流的方式。此时，由于投影显示图像将会受到显示表面图案和环境照明调制的影响而颜色失真，依靠现有投影显示的颜色再现技术方法在日常生活中常见的有照明环境的且带有图案的物理表面上将无法得到高质量的投影显示图像。于是，以投影仪相机系统的应用为基础，发展投影显示颜色再现新技术将进一步拓展投影显示的应用范围，促进投影显示向更灵活且更高质量的现代化方向发展。

发明内容

本发明的目的在于针对现有投影显示颜色再现技术的局限性，提供一种在日常照明环境下的投影显示颜色再现方法。

本发明的目的是通过以下技术方案来实现的：一种在日常照明环境下的投影显示颜色再现方法，该方法包括以下步骤：

(1)投影显示颜色再现特征化：获得投影仪的阶调响应查找表P-LUT_i、投影仪的阶调响应逆向查找表P-iLUT_i、耦合矩阵M_pc、反射调制系数ρ_c、环境照明光亮度L_ec和相机输出的零点颜色值D₀。

(2)确定等价再现目标颜色值：根据步骤(1)获得的参数确定投影显示颜色再现的亮度范围，并由输入图像的颜色值获得目标输出图像的颜色值。

(3)颜色等价再现：根据目标输出图像的颜色值计算其等价再现所需的输入颜色值，将输入颜色值由计算机或者微处理器控制输出到投影仪，并驱动投影仪的颜色信号发生器，再由投影仪的照明光学系统在显示表面上形成颜色刺激，并由扫描系统产生近似于白色屏幕上显示效果的再现图像。

本发明的有益效果是，本发明的常见物理表面投影显示等价颜色再现技术方法不限于漫反射白色屏幕以及暗室观察环境，可以应用在日常生活中常见的有环境照明的带有纹理的物体表面上进行投影显示，并达到再现图像颜色与原始图像颜色亮度比较接近而色度一致的等价再现目标。该再现方法包括投影显示颜色再现特征化、确定等价再现目标颜色值以及颜色等价再现三个部分。投影显示颜色再现特征化用来分析描述投影仪相机系统、显示表面以及环境照明的颜色特征；确定等价再现目标颜色值用来分析确定整个系统在当前显示环境下的再现能力，并借此计算在再现能力范围内并与输入原始图像颜色等价的目标颜色值；颜色等价再现用来对目标颜色值进行处理，并根据输入输出的颜色转换关系，计算再现目标颜色值所需的输入颜色值。不依赖于其他物理设备的测量，运算成本低，有利于投影显示向便携式灵活的移动应用方向发展。

附图说明

图1是基于投影仪相机系统的投影显示图像再现示意图；

图2是基于投影仪相机系统的常见物理表面投影显示颜色再现流程图；

图3是常见物理表面投影显示等价颜色再现流程图；

图4是投影显示颜色再现特征化流程图；

图5是确定等价颜色再现目标值的流程图；

图6是颜色等价再现的流程图；

图7是估计相机伽马系数时所采用的拍摄场景图；

图8是采用多次曝光技术自动定标获得的相机响应特性曲线图；

图9是常见物理表面测试实例图；

图10是环境照明在显示表面上的平均照度分布图(单位为1x)；

图11是系统中投影仪阶调响应查找表P-LUT和P-iLUT颜色特征化结果图

图12是获取通道耦合矩阵所采用的色块图实例；

图13是ISO标准测试图像实例，(a)为BIRDS图，(b)为MON图；

图14是由HOU测试图像计算得到的再现目标图像、再现输入图像和再现输出图像结果图，其中，(a)为再现目标图像，(b)为再现输入图像，(c)为再现输出图像；

图15是由BIRDS测试图像计算得到的再现目标图像、再现输入图像和再现输出图像结果图，其中，(a)为再现目标图像，(b)为再现输入图像，(c)为再现输出图像。

具体实施方法

通常来讲，基于投影仪相机系统的颜色再现过程可以采用如图2所示的流程图来描述。首先，若采用D＝[d_r，d_g，d_b]^T表示图像颜色值向量，则投影仪相机系统首先将输入的颜色值D_in转化为投影仪各个基元色的激励值I_p，该过程的实现由投影仪的颜色再现技术原理以及显示参数的具体设置所决定，其正反向映射关系可以分别描述为：

$\left(\begin{array}{c}\overline{I_r^p}=P-\mathrm{LU}{T}_r\left(d_r^{\mathrm{in}}\right)\\ \overline{I_g^p}=P-\mathrm{LU}{T}_g\left(d_g^{\mathrm{in}}\right)\\ \overline{I_b^p}=P-\mathrm{LU}{T}_b\left(d_b^{\mathrm{in}}\right)\end{array}\right)---\left(1\right)$

和

$\left(\begin{array}{c}{d}_r^{\mathrm{in}}=P-\mathrm{iLU}{T}_r\left(\overline{I_r^p}\right)\\ d_g^{\mathrm{in}}=P-\mathrm{iLU}{T}_g\left(\overline{I_g^p}\right)\\ d_b^{\mathrm{in}}=P-\mathrm{iLU}{T}_b\left(\overline{I_b^p}\right)\end{array}\right)---\left(2\right)$

其中，P-LUT_i(i＝r，g，b)和P-iLUT_j(j＝r，g，b)分别表示投影仪各通道的正反向阶调响应查找表。

然后，刺激值经投影仪相机系统交叉耦合转换为投射图像像素点的光强度I_pc，可以描述为

$I_{\mathrm{pc}}=M_{\mathrm{pc}}\overline{I_p}---\left(3\right)$

其中，M_pc为3×3的耦合矩阵。

随后，投射图像像素点的光强度I_pc经投影空间传输到达显示表面并和环境照明的照度叠加在一起，再由显示表面反射调制形成投影显示图像像素点的光亮度L_pc，即

L_pc＝ρ_cI_pc+ρ_cE_e    (4)

最后，投影显示图像各像素点的光亮度经过伽马非线性校正并和系统暗噪声叠加在一起转换为输出图像像素点的颜色值D_out，也即

$D_{\mathrm{out}}={\left(L_{\mathrm{pc}}\right)}^{{\gamma }_0}+D_0---\left(5\right)$

其中，γ₀为伽马系数。将(1)～(4)代入(5)可得方程如式

$D_{\mathrm{out}}={({\rho }_c{M}_{\mathrm{pc}}g(P-\mathrm{LUT}\left(D_{\mathrm{in}}\right))+L_{\mathrm{ec}})}^{{\gamma }_0}+D_0---\left(6\right)$

根据方程(6)，本发明的日常物理表面投影显示颜色等价再现技术方法的具体实施分为四个部分，每个部分可以理解为投影仪相机系统中计算机或者微处理器上的一个运算模块，一系列指令或者一部分代码，按顺序依次运行。第一部分，投影显示颜色再现特征化，用来确定方程(6)中的未知参数，包括P-LUT，P-iLUT，M_pc，ρ_c，L_ec和D₀；第二部分，确定等价再现目标颜色值，用来根据颜色特征化过程确定的方程(6)的参数确定投影显示颜色再现的亮度范围并由输入图像的颜色值计算目标输出图像的颜色值；第三部分，颜色等价再现，用来根据目标输出图像的颜色值计算其等价再现所需的输入颜色值，并将该颜色值再现为颜色刺激。

(1)投影显示颜色再现特征化

投影显示颜色再现特征化过程是再现技术方法的基础部分，包括五个子过程：

第一子过程，建立投影仪像面和相机像面对应像素点之间的几何坐标映射关系。例如专利文献“投影图像校正方法与装置”中的几何映射方法，实验采用红、绿、蓝、黑、白五种颜色且包括256色块的编码图来完成该子过程。

第二个子过程，获得相机输出的零点颜色值即D₀。关闭相机盖子并采集输出一幅噪声图像，记为CKOI，则D₀就等于CKOI所有像素的平均值。

第三个子过程，获取相机通道响应的伽马系数。首先采用如文献“RecoveringHigh Dynamic Range Radiance Maps from Photographs”中的估计方法获得各通道响应值所对应的输入强度值，然后通过幂函数拟合的方法求得伽马系数。

第四个子过程，设置颜色特征化空间的参考白点。找一块白色的屏幕放置在投影显示系统的正前方(或者找一块均匀的白色物体)，将颜色值为(255，255，255)的h×h厘米(h大于投影显示区域尺寸的五分之一)白色块投影在屏幕(物体表面)上，并由相机采集输出，取色块中央大约二分之一面积内的平均值作为白色色块的颜色值，记为与此同时，将颜色值为(0，0，0)的h×h厘米)黑色块投影在屏幕(物体表面)上，取色块同样大小面积内的平均值作为黑色色块的颜色值，记为由相机的伽马系数分别计算两种色块所对应的输入亮度值，分别记为和计算公式为

${\tilde{L}}_i={({\tilde{D}}_i-D_0)}^{\frac{1}{{\gamma }_0}},i=W,E---\left(7\right)$

并随后求得相机的白点校正系数为

${\alpha }_W=\frac{L_{\max }}{{\tilde{L}}_W-{\tilde{L}}_E}---\left(\text{8}\right)$

式中L_max为向量三个分量中的最大值。

第五个子过程，获取环境照明亮度值L_ec。在亮彩色表面上投影一副颜色值为(0，0，0)的全黑图像，记为CBI，并由相机采集输出一幅包括环境光和暗噪声的背景图像，记为CEOI。将CEOI减去CKOI即可计算得到环境照明光亮度L_ec为

$L_{\mathrm{ec}}={\alpha }_W{(D_{\mathrm{CEOI}}-D_0)}^{\frac{1}{{\gamma }_0}}---\left(9\right)$

其中，D_CEOI为CEOI图像的像素颜色值。

第六个子过程，获得显示表面反射调制系数ρ_c。将一副颜色值为(255，255，255)的全白图像投影在显示表面上，记为CWI，并由相机采集输出一幅包括显示表面反射比信息的彩色图像，记为CWOI，则反射调制系数ρ_c可计算为

${\rho }_c={\alpha }_W(D_{\mathrm{CWOI}}-D_0{)}^{\frac{1}{{\gamma }_0}}-L_{\mathrm{ec}}---\left(10\right)$

其中，D_CWOI为CWOI图像的像素颜色值。

第七个子过程，建立投影仪各通道的正反向阶调响应查找表。在显示表面上投影一组尺寸为h₁×h₁厘米的灰色色块(h₁大于10)，其颜色值分别为

(d_i，d_i，d_i)i＝0，1，…，m+1

其中，d₀、d₁、…、d_m+1分别为…、m≥8。求得每个色块各像素对应的投影仪刺激响应强度I_p为

$I_p={\left({\rho }_c\right)}^{-1}\{{\alpha }_W{(D_i-D_0)}^{\frac{1}{{\gamma }_0}}-L_{\mathrm{ec}}\},i=1,...,m+1---\left(11\right)$

并取色块中央像素平均值作为该色块颜色的刺激强度。由该组色块对应的D_in和I_p并采用插值的方法建立查找表P-LUT_i和P-iLUT_i(i＝r，g，b)。

第八个子过程，求解耦合矩阵M_pc。在显示表面上投影一副彩色色块图，记为CPI，色块色颜色值是在RGB空间中均匀抽取的，即(d_i，d_j，d_k)，其中(i＝0，2，…m)，(j＝1，2，…m)，(k＝1，2，…m)，m≥1。彩色色块图由相机采集输出，记为CPOI。求得CPOI中各像素对应的投影仪刺激响应强度I_p，然后以各样本色块内中央区域的平均值作为该颜色样本的刺激响应强度，同时由P-LUT_i(i＝r，g，b)求得各颜色样本的响应强度I_pc。获得一组I_p和I_pc并分别采用Moore-Penrose伪逆的方法估计得到M_pc。

(2)确定等价再现目标颜色值

等价再现颜色值的确定分为三个子过程：

第一个子过程，分析确定输出颜色的亮度再现范围。求得显示表面上每个像素点ρ_c和L_ec的亮度分量，分别记为Y(ρ_c)和Y(L_ec)。于是，每点的亮度再现范围为Y(L_ec)～Y(L_ec)+Y(ρ_c)。

第二个子过程，计算输入图像各个像素点颜色值所对应的亮度分量，记为Y(L_in)，其中

第三个子过程，计算等价再现目标亮度值。包括四个步骤：

第一步，将输入原始图像所有像素点颜色值的亮度都平移一个最小量：

Y(L′_in)＝Y(L_in)+ΔY    (12)

其中，

ΔY＝max{max{Y(L_ec)-Y(L_in)}，0}

第二步，对反射调制系数进行空间不均匀性校正。首先，将所有像素点的Y(ρ_c)组成空域灰度图像，并通过低通滤波的方法去除其高频分量，记为FYI。然后，找到滤波后灰度图像的最大值，记为最后，由FYI对ρ_c进行校正：

${\rho }_c^{\prime }={\rho }_c\frac{Y_{\max }^{\mathrm{FYI}}}{Y_{\mathrm{FYI}}}---\left(13\right)$

式中，Y_FYI为FYI中像素的亮度值，ρ′_c为校正后的彩色调制系数。

第三步，对L′_in进行非线性校正。校正公式为

$Y\left(L_{\mathrm{pc}-\mathrm{out}}\right)=\left(\begin{array}{cc}m·{\left(\frac{Y\left(L_{\mathrm{pc}}\right)}{m}\right)}^2,& 0\le Y\left(L_{\mathrm{pc}}\right)\le m\\ 1-(1-m)·{\left(\frac{1-Y\left(L_{\mathrm{pc}}\right)}{1-m}\right)}^2,& m\le Y\left(L_{\mathrm{pc}}\right)\le 1\end{array}\right)---\left(14\right)$

其中

$L_{\mathrm{pc}}=\frac{L_{\mathrm{in}}^{\prime }-L_{\mathrm{ec}}}{K},$

K＝max{(Y(L′_in)-Y(L_ec))(Y(ρ′_c))^-1}，

m＝mean{Y(L_pc)}

第四步，计算目标颜色值。计算公式为

$\left(\begin{array}{c}Y\left(L_{\mathrm{obj}}\right)=Y\left(L_{\mathrm{pc}-\mathrm{out}}\right)+\mathrm{\Delta Y}\\ C\left(L_{\mathrm{obj}}\right)=\mathrm{KC}\left(L_{\mathrm{in}}\right)\end{array}\right)---\left(15\right)$

和

$D_{\mathrm{obj}}={\left(L_{\mathrm{obj}}\right)}^{{\text{γ}}_0}+D_0---\left(16\right)$

(3)颜色等价再现

根据第二个过程确定的目标颜色值，可以计算目标色再现所需的颜色值，并将该颜色输出到投影仪而再现为颜色刺激形成投影显示图像，分为以下七个子过程，依次进行：

第一个子过程，去除系统暗噪声，记为D_sub。计算公式为

D_sub＝D_obj-D₀    (17)

第二个子过程，伽马校正，记为L_cor。计算公式为

$L_{\mathrm{cor}}={\left(D_{\mathrm{sub}}\right)}^{\frac{1}{{\gamma }_0}}---\left(18\right)$

第三个子过程，环境照明补偿获得预期的投影显示亮度，记为补偿公式为

$L_{\exp }^{\mathrm{pc}}=L_{\mathrm{cor}}-L_{\mathrm{ec}}---\left(19\right)$

第四个子过程，显示表面反射调制补偿获得预期的投影仪输出的光强度，记为计算公式为

$I_{\exp }^{\mathrm{pc}}={\left({\rho }_c\right)}^{-1}{L}_{\exp }^{\mathrm{pc}}---\left(20\right)$

第五个子过程，去通道耦合获得预期的阶调响应值，记为计算公式为

$\overline{I_{\exp }^p}=M_{\mathrm{pc}}^{-1}{I}_{\exp }^{\mathrm{pc}}---\left(21\right)$

第六个子过程，阶调响应非线性校正求得输入颜色值，记为D_com。校正公式为

$\left(\begin{array}{c}{d}_r^{\mathrm{com}}=P-\mathrm{iLU}{T}_r\left(I_r^{\exp }\right)\\ d_g^{\mathrm{com}}=P-\mathrm{iLU}{T}_g\left(I_g^{\exp }\right)\\ d_b^{\mathrm{com}}=P-\mathrm{iLU}{T}_b\left(I_b^{\exp }\right)\end{array}\right)---\left(22\right)$

第七个子过程，将输入颜色值由计算机或者微处理器控制输出到投影仪，并驱动投影仪的颜色信号发生器，再由投影仪的照明光学系统在显示表面上形成颜色刺激，并由扫描系统产生近似于白色屏幕上显示效果的再现图像。

下面根据附图和实施例详细描述本发明，本发明的目的和效果将变得更加明显。

实施例子

作为实验例子，采用了型号为VGA NEC LT 30+的投影仪和型号为HITACHIHV-D30的相机来组成投影仪相机实验系统来实施并验证再现技术方法的有效性。投影仪和相机的颜色通道数均为3，各个通道的量化位数为8位。投影仪和相机由计算机连接控制图像信号的输入输出，其主频和内存分别为2.13GHz和1GB，采用RADEON R9200SE显卡将图像信号输出到投影仪，并由Matrox MeteorII/Multi-channel图像采集卡将摄像机采集到的图像信号输入到计算机存储器。调整相机的视场使其包含整个投影显示区域，并调整相机的光圈和快门使得投影仪的输出亮度范围在相机的动态范围之内。

采用1s，0.84s，0.68s，0.52s，0.36s，0.20s，0.04s等7次曝光时间对如图7所示的场景进行拍摄，样窗口的大小设置为12×12个像素，采样点数设为50，求得通道响应曲线如图8所示。通过Gauss-Newton算法拟合得到R、G、B通道的伽马系数分别为0.407、0.397、0.406。以如图9所示的带有色块图案的表面作为测试表面，测试显示区域内环境照明的平均照度分布如图10所示。取m＝8，建立投影仪的阶调响应查找表如图11所示。采用如图12的色块图求得的耦合矩阵为

$M_{\mathrm{pc}}=\left(\begin{array}{ccc}0.624282& -0.047295& -0.130973\\ 0.351587& 0.939922& 0.168140\\ 0.061751& 0.170224& 1.054579\end{array}\right)$

选取一组ISO标准图像作为测试对象，以如图13所示的图像为例子，首先求得再现目标图像和再现输入图像，然后将再现输入图像分别投影在彩色表面上并由相机采集获得再现输出图像，如图14和图15所示。为了对颜色再现的结果进行评价，分别求得再现目标图像和再现输出图像所有像素颜色值各个分量的平均误差和均方根误差如表1所示。从表中数据结果可以看出，再现目标图像和再现输出图像的亮度差平均在10左右，色度分量的差异平均都在3以下，达到了等价再现的目标。

表1标准测试图像在“色块”彩色表面上的等价颜色再现评价结果

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。