一种小半径大曲率畸变曲面投影校正融合的方法

摘要

本发明涉及一种小半径大曲率畸变曲面投影校正融合的方法，包括二次校正方法、基于二次曲线衰减的边缘的融合方法、基于纹理切割的图像信息同步方法、基于点对点的抗光线干扰方法四个部分。在视景显示系统中，采用本发明一种小半径大曲率畸变曲面投影校正融合技术，有效地解决了构建多投影显示墙时产生的几何校正问题、边缘融合问题、系统信息同步问题以及系统光干扰问题。

说明书

技术领域

本发明涉及计算机应用技术和计算机视觉领域，具体涉及一种小半径大曲率畸变曲面投 影校正融合的方法。

背景技术

多投影显示墙是对图形、图像等进行大范围、高分辨率显示的一种有效实现方式，它具 有成本低、可扩展、沉浸感强等优势。因此，在视景显示系统中采用的是多投影显示墙方式。 但在构建多投影显示墙时，主要存在以下四个问题：1、几何校正：由于采用的是小半径大曲 率高畸变的多投影显示墙，硬件校正因为其复杂度太高几乎没有办法实现，基于相机的软校 正由于投影图像大大超出投影显示墙，导致特征图像拍摄不完整影响几何校正效果；2、边 缘融合：在多投影显示系统的拼接中，为消除硬拼接带来的物理拼缝，使系统达到一体化， 一般采用软拼接方式，但软拼接通过将投影图像在接合处重叠来消除物理拼缝，这也造成了 重叠区域的光学亮度带；3、信息同步：未经过精准同步显示的图像易出现撕裂，从而造成视 觉上的混乱，视觉效果不佳；4、系统光干扰：各投影仪将图像投射至投影墙后光线不可避免 的二次反射会相互干扰，导致投影墙上显示画面出现“灰蒙蒙”的雾状效果，与单台投影仪 显示效果相比，出现严重退化。

发明内容

本发明的目的在于提供一种小半径大曲率畸变曲面投影校正融合的方法，解决现有的在 构建多投影显示墙时，特征图像拍摄不完整影响几何校正效果，边缘融合效果差，易造成视 觉上的混乱视觉效果不佳，以及二次反射会相互干扰影响显示画面质量的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种小半径大曲率畸变曲面投影校正融合的方法，包括二次校正方法、基于二次曲线衰 减的边缘的融合方法、基于纹理切割的图像信息同步方法、基于点对点的抗光线干扰方法四 个部分，

所述二次校正方法，包括以下步骤：

1)，预先设计了一张透明薄膜，并打印出水平垂直网格线，将其紧密贴合投影屏幕；

2)，根据视景显示分辨率、融合比率、投影视角等参数计算出视景视锥体的近裁剪面， 获得视景画面；

3)，采用等角度分解的算法生成与透明薄膜数量一致的经纬度角度网格，再计算出等 经纬度几何网格；

4)，通过几何校正服务器调整等经纬度几何网格，使得视景图像上的经纬度网格与薄 膜上的网格重合，调整纹理图像的顶点坐标pGrid；

5)，将帧缓存中的纹理图像映射至调整之后的顶点坐标上，即得到第一次校正之后的 视景图像；

6)，在第一次校正结果的基础上，将一副预处理的全景地图图像作为当前帧缓存中的 纹理，利用纹理校正服务器调整全景图像使其与薄膜上对应网格重合，调整纹理坐标 pTexGrid；

所述基于二次曲线衰减的边缘的融合方法，包括以下步骤：

1)，利用二次衰减曲线计算边缘亮度衰减校正位图；

2)，利用OpenGL提供的多纹理映射，将校正位图作为纹理映射至各自通道的图像上， 实现通道间边缘亮度融合；

所述基于纹理切割的图像信息同步方法，包括以下步骤：

1)，由单一主视景端C生成整个纹理图像I；

2)，将单一视景端C虚拟为n个视景客户端，即C₁、C₂，...，C_n，其中n为视景客户 端数量；

3)，将整幅纹理图像切割为I₁、I₂,...,I_n，并将其分别分配给虚拟视景客户端C₁、 C₂，...，C_n；

4)，经过校正融合等后续处理后虚拟客户端连接投影仪输出显示；

所述基于点对点的抗光线干扰方法，包括以下步骤：

1)，用相机拍摄特征图像并建立投影机与相机间的像素级映射关系；

2)，将待测试的投影机Ptest关闭，单独开启另外一台投影机P1并投影0～255的256幅 灰度图像，同时拍摄显示墙上Ptest的显示区域；

3)，保持Ptest关闭，关闭P1并打开另外一台投影机P2，重复上一步骤，得到256张 由P2引起的亮度增益表，如此循环则Ptest就对应有256×(n-1)张亮度增益表；

4)，每个客户端利用服务器传来的平均亮度信息找到对应的亮度增益表，然后从亮度增 益表中读出其余所有客户端对测试客户端的逐像素亮度增益；

5)，利用亮度响应曲线(intensity transfer function,ITF)将亮度增益I_M转换为客户 端帧缓存上的亮度修正值L_M，

L_M＝ITF^-1(I_M)

则修正后渲染客户端帧缓存中像素点M的亮度值为L_△，则有，

L_Δ＝L-L_M

其中，L是原本的亮度值，完成抗光线干扰的纠正。

更进一步的技术方案是，所述二次校正方法中，根据视景显示分辨率、融合比率、投影 视角等参数计算出视景视锥体的近裁剪面，获得视景画面，具体方法是：

假设视锥体视角为(l_v,r_v,t_v,b_v)，视景客户端数n，相邻通道融合比率a，单通道水平视角 θ，总水平视角单通道视景分辨率(W×H)，视场下视角b，则有

由上式公式计算出每个通道的水平视角范围和融合区水平视角范围，

对于左右对称上下不对称的投影方式，每个通道左右视角大小相等，等于

由上式公式计算出每个通道的水平视角范围和融合区水平视角范围，

对于左右对称上下不对称的投影方式，每个通道左右视角大小相等，等于

r_v＝-l_v＝θ/2

将虚拟视点到投影图像中心点的距离设为1，算出投影平面水平宽度width、投影屏幕高 度height，分别为

width＝2×tan(θ/2)

height＝width×H/W。

由高度height、视点到投影平面边缘的半径长度R和已知的下视角b，计算出上视角

R＝1/cos(θ/2)

t_v＝arctan((tan(b)×R+height)/R)。

更进一步的技术方案是，所述等经纬度几何网格是根据视锥体视角的4个视角(l_v,r_v,t_v,b_v) 计算得出，具体算法是：

假设等经纬度角度网格的集合为AngleGrid，(angleH_ij,angleV_ij)表示第i行第j列的经纬 度向量，表示如下

AngleGrid＝{(angleH_ij,angleV_ij)∈[l_v,r_v,]×[t_v,b_v],i＝1,2,...,m；j＝1,2,...,n；}

其中m表示角度网格的行数,n表示角度网格的列数，而所述

$\mathrm{angle}{H}_{\mathrm{ij}}=l_v+j\times \frac{r_v-l_v}{n}$

$\mathrm{angle}{V}_{\mathrm{ij}}=b_v+i\times \frac{t_v-b_v}{m}$

将等经纬度角度网格在计算机帧缓存中进行归一化即可得到等经纬度几何网格，令等经 纬度几何网格集合为GeoGrid，(geoX_ij,geoY_ij)为第i行第j列的几何坐标，则有

GeoGrid＝{(geoX_ij,geoY_ij)∈[0,1]×[0,1],i＝1,2,...,m；j＝1,2,...,n；}

其中m表示几何网格的行数n表示几何网格的列数，所述

$\mathrm{geo}{X}_{\mathrm{ij}}=0.5+\frac{\tan \left(\mathrm{angle}{H}_{\mathrm{ij}}\right)}{\mathrm{width}}$

$\mathrm{geo}{Y}_{\mathrm{ij}}=(\frac{\tan \left(\mathrm{angle}{H}_{\mathrm{ij}}\right)}{\cos \left(\mathrm{angle}{H}_{\mathrm{ij}}\right)}-R\times \tan \left(b_v\right))/\mathrm{height}$

将视景图像在计算机帧缓存中的归一化后的纹理坐标数据称为等经纬度纹理网格，令其 几何为TexGrid，(texX_ij,texY_ij)第i行第j列的纹理坐标，则有

TexGrid＝{(texX_ij,texY_ij)∈[0,1]×[0,1],i＝1,2,...,m；j＝1,2,...,n；}

其中m表示纹理网格的行数n表示纹理网格的列数，所述

$\mathrm{tex}{X}_{\mathrm{ij}}=j\times \frac{\mathrm{geo}{X}_{\mathrm{ij}}}{n}$

$\mathrm{tex}{Y}_{\mathrm{ij}}=i\times \frac{\mathrm{geo}{Y}_{\mathrm{ij}}}{m}.$

与现有技术相比，本发明的有益效果是：在视景显示系统中，采用本发明一种小半径大 曲率畸变曲面投影校正融合技术，有效地解决了构建多投影显示墙时产生的几何校正问题、 边缘融合问题、系统信息同步问题以及系统光干扰问题。

附图说明

图1为一副世界地图的全景图。

图2为图1所示全景图的几何校正图。

图3为投影面重叠示意图。

图4为通过曲线衰减得到一个边缘亮度衰减的校正位图。

图5为通道间边缘亮度融合图。

图6为纹理切割示意图。

图7为几何校正后顶点坐标分布示意图。

图8为系统运行过程中一帧投影至投影墙上的局部视景效果图。

图9为帧缓存中的纹理图像。

(备注：图1-图9均为图像本身效果图，非照片。)

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发 明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用 于限定本发明。

图1示出了：一种小半径大曲率畸变曲面投影校正融合的方法，包括二次校正方法、基 于二次曲线衰减的边缘的融合方法、基于纹理切割的图像信息同步方法、基于点对点的抗光 线干扰方法四个部分，

所述二次校正方法，包括以下步骤：

1)，预先设计了一张透明薄膜，并打印出水平垂直网格线，将其紧密贴合投影屏幕。 假设视锥体视角为(l_v,r_v,t_v,b_v)，视景客户端数n，相邻通道融合比率a，单通道水平视角 θ，总水平视角单通道视景分辨率(W×H)，视场下视角b，则有

由上式公式计算出每个通道的水平视角范围和融合区水平视角范围，

对于左右对称上下不对称的投影方式，每个通道左右视角大小相等，等于

由上式公式计算出每个通道的水平视角范围和融合区水平视角范围，

对于左右对称上下不对称的投影方式，每个通道左右视角大小相等，等于

r_v＝-l_v＝θ/2

将虚拟视点到投影图像中心点的距离设为1，算出投影平面水平宽度width、投影屏幕高 度height，分别为

width＝2×tan(θ/2)

height＝width×H/W。

2)，根据视景显示分辨率、融合比率、投影视角等参数计算出视景视锥体的近裁剪面， 获得视景画面；

由高度height、视点到投影平面边缘的半径长度R和已知的下视角b，计算出上视角：

R＝1/cos(θ/2)

t_v＝arctan((tan(b)×R+height)/R)

所述等经纬度几何网格是根据视锥体视角的4个视角(l_v,r_v,t_v,b_v)计算得出：假设等经纬 度角度网格的集合为AngleGrid，(angleH_ij,angleV_ij)表示第i行第j列的经纬度向量，表示如 下：

AngleGrid＝{(angleH_ij,angleV_ij)∈[l_v,r_v,]×[t_v,b_v],i＝1,2,...,m；j＝1,2,...,n；}

其中m表示角度网格的行数,n表示角度网格的列数，而所述

$\mathrm{angle}{H}_{\mathrm{ij}}=l_v+j\times \frac{r_v-l_v}{n}$

$\mathrm{angle}{V}_{\mathrm{ij}}=b_v+i\times \frac{t_v-b_v}{m}$

将等经纬度角度网格在计算机帧缓存中进行归一化即可得到等经纬度几何网格。令等经 纬度几何网格集合为GeoGrid，(geoX_ij,geoY_ij)为第i行第j列的几何坐标，则有

GeoGrid＝{(geoX_ij,geoY_ij)∈[0,1]×[0,1],i＝1,2,...,m；j＝1,2,...,n；}

其中m表示几何网格的行数n表示几何网格的列数，所述

$\mathrm{geo}{X}_{\mathrm{ij}}=0.5+\frac{\tan \left(\mathrm{angle}{H}_{\mathrm{ij}}\right)}{\mathrm{width}}$

$\mathrm{geo}{Y}_{\mathrm{ij}}=(\frac{\tan \left(\mathrm{angle}{H}_{\mathrm{ij}}\right)}{\cos \left(\mathrm{angle}{H}_{\mathrm{ij}}\right)}-R\times \tan \left(b_v\right))/\mathrm{height}$

将视景图像在计算机帧缓存中的归一化后的纹理坐标数据称为等经纬度纹理网格。令其 几何为TexGrid，(texX_ij,texY_ij)第i行第j列的纹理坐标，则有

TexGrid＝{(texX_ij,texY_ij)∈[0,1]×[0,1],i＝1,2,...,m；j＝1,2,...,n；}

其中m表示纹理网格的行数n表示纹理网格的列数，所述

$\mathrm{tex}{X}_{\mathrm{ij}}=j\times \frac{\mathrm{geo}{X}_{\mathrm{ij}}}{n}$

$\mathrm{tex}{Y}_{\mathrm{ij}}=i\times \frac{\mathrm{geo}{Y}_{\mathrm{ij}}}{m}.$

3)，采用等角度分解的算法生成与透明薄膜数量一致的经纬度角度网格，再计算出等 经纬度几何网格；

4)，通过几何校正服务器调整等经纬度几何网格，使得视景图像上的经纬度网格与薄 膜上的网格重合，调整纹理图像的顶点坐标pGrid；

5)，将帧缓存中的纹理图像映射至调整之后的顶点坐标上，即得到第一次校正之后的 视景图像；

6)，在第一次校正结果的基础上，将一副预处理(预先绘制了水平垂直网格)的全景 地图图像作为当前帧缓存中的纹理，利用纹理校正服务器调整全景图像使其与薄膜上对应网 格重合，调整纹理坐标pTexGrid；

所述二次校正方法可以抵消投影仪摆放位置的随意性和屏幕的不规则性带来的几何错 位，对投影仪的输出画面进行预变形，这样变形后的图像在投影变换后在显示墙上即可得到 正确的图像，可以增加几何校正精度，并增加校正过程的客观性，预先设计了一张透明薄膜， 并打印出水平垂直网格线，将其紧密贴合投影屏幕为后续几何校正服务。

所述基于二次曲线衰减的边缘的融合方法，包括以下步骤：

1)，利用二次衰减曲线计算边缘亮度衰减校正位图；

对于如图3所示投影面重叠示意图融合区内任意点P，d₁为到投影面1边缘的距离，d₂为到投影面2边缘的距离。采用二次衰减曲线：

$f_1\left(d\right)=\left(\begin{array}{c}2{\left(d\right)}^2..................0\le d\le 0.5\\ 1-2{(1-d)}^2.........0.5\le d\le 1.0\end{array}\right)$

f₂(d)＝1-f₁(d)

其中d＝d₁/(d₁+d₂)，f₁(d)，f₂(d)分别为两投影面重叠区域中一点的衰减系数。

该衰减曲线在重叠边缘处斜率小变化平缓，对于边缘处像素位置具备很好的容错度，以 此同时中段部分斜率不大能够实现亮度的平稳过渡。通过曲线衰减得到一个边缘亮度衰减的 校正位图，如图4所示。

2)，利用OpenGL提供的多纹理映射，将校正位图作为纹理映射至各自通道的图像上， 实现通道间边缘亮度融合，如图5所示。

所述边缘融合的主要目标是消除重叠区域的光学亮度带，对相邻通道重叠区域高亮部分 进行平滑过渡处理，这里采用合适的二次衰减曲线对重叠区域图像进行衰减算法，然后利用 多纹理映射实现了通道间边缘亮度融合。

所述基于纹理切割的图像信息同步方法，包括以下步骤；

1)，由单一主视景端C生成整个纹理图像I；

2)，将单一视景端C虚拟为n个视景客户端C₁、C₂,...,C_n，其中n为视景客户端数量；

3)，将整幅纹理图像切割为I₁、I₂,...,I_n，并将其分别分配给虚拟视景客户端C₁、 C₂,...,C_n；

4)，经过校正融合等后续处理后虚拟客户端连接投影仪输出显示。

我们以3通道为例，融合比率按25％计算，根据上述算法，首先生成一幅大纹理，假设 其分辨率为3W×H(3W代表图像的宽度，H代表图像的高度)，而后根据通道数和融合比率 将纹理进行切割，具体计算过程如下：

令视景渲染通道数目为n，纹理切割后每个通道的纹理宽度为w，相邻通道融合比率为a， 整幅纹理的纹理坐标取之范围为[0,1]，则有：

n×w-(n-1)×w×a＝1

由上式可得到w＝0.4。从而每个通道的纹理坐标取值范围可以计算得到，第一通道为 [0,0.4]，第二通道为[0.3,0.7]，第三通道为[0.6,1.0]。图6给出了纹理切割示意。

针对高速率大数据量的多通道显示系统信息不同步问题，提出了基于纹理切割的图像同 步算法，通过对同一副纹理图像进行切割分配的方式实现同步，具有非常高的画面一致性， 在中小规模的多投影显示系统中具有很高的实际应用价值。基于纹理切割的图像同步技术是 利用单个渲染节点渲染整个视景画面，使用OpenGL双缓存渲染机制，抓取后台缓冲区每帧渲 染完成后的纹理图像切割成若干个纹理画面，交换前后台缓冲区，将前台缓冲区中切割好的 纹理图像分配至对应投影仪输出，后台缓冲区继续渲染并等待抓取。

所述基于点对点的抗光线干扰方法，包括以下步骤：

1)，用相机拍摄特征图像并建立投影机与相机间的像素级映射关系；

2)，将待测试的投影机Ptest关闭，单独开启另外一台投影机P1并投影0～255的256幅 灰度图像，同时拍摄显示墙上Ptest的显示区域；

拍摄时对每幅灰度图像拍摄10帧低动态范围图像，再利用HDR技术合成一幅高动态范围 图像，即相机图像的亮度增益。利用步骤①中建立的映射关系得到渲染客户端帧缓存中每个 像素点所对应的亮度增益，生成一张亮度增益表T(a,b,i,j)，0≤a≤255，1≤b≤n， 1≤i≤W，1≤j≤H，其中n为系统中总的投影机(客户端)数量。这样总共得到256张由 P1引起的亮度增益表。

3)，保持Ptest关闭，关闭P1并打开另外一台投影机P2，重复上一步骤，得到256张 由P2引起的亮度增益表，如此循环则Ptest就对应有256×(n-1)张亮度增益表，

4)，每个客户端利用服务器传来的平均亮度信息找到对应的亮度增益表，然后从亮度增 益表中读出其余所有客户端对测试客户端的逐像素亮度增益；

客户端上任一像素点M(s,t)总的亮度增益：

$I_M=k\underset{i=1}{\overset{n}{\Sigma }}T(I_j,i,s,t)$

其中，k为增益调整系数，0<k<1。

5)，利用亮度响应曲线(intensity transfer function,ITF)将亮度增益I_M转换为客户 端帧缓存上的亮度修正值L_M，

L_M＝ITF^-1(I_M)

则修正后渲染客户端帧缓存中像素点M的亮度值为L_△，则有，

L_Δ＝L-L_M

其中，L是原本的亮度值，完成抗光线干扰的纠正。

为了减少雾状效果，增强图像显示质量及用户沉浸感，采用了图像增强技术通过增强图 像饱和度及亮度，从而减少雾状效果，增强图像显示质量。

所述Ptest的意思是投影机Ptest所对应的投影区域。此外，算法中所涉及的亮度信息 均为在HSV颜色空间中的亮度信息。

实验效果：

图7为几何校正后顶点坐标分布示意图。二次校正后纹理图像的最大拼接误差控制在3 个像素之内，从全局角度上达到了像素级精度。

图8为为系统运行过程中一帧投影至投影墙上的局部视景效果图，可以看到图像无任何 变形扭曲，融合区域平滑，各通道信息绝对同步。

图9为帧缓存中的纹理图像(这里为了完整显示将三个通道的图像融合至一张画面 上)，经过投影仪投射之后即可得到完整的视景图像。