一种投影式高分辨率多视点自由立体显示系统

摘要

一种投影式高分辨率多视点自由立体显示系统，其特征在于含有：光学显示屏幕、n*m台投影仪阵列，n为行，m为列、计算机集群绘制子系统以及一台供用于几何和亮度校正的照相机。投影仪阵列分成m组单视点投影仪组，每组单视点投影仪组由n台投影仪通过组合显示墙技术耦合显示一个高分辨率、大显示区域。每组投影仪显示场景的一个视点图像，m组投影仪同时显示场景的m个视点图像，实现了多视点的环视的立体效果。

说明书

技术领域

本发明涉及一种投影式高分辨率多视点自由立体显示系统，特别涉及投影式高分辨率多视点自由立体显示系统中的投影仪阵列空间位置排列方法、光学屏幕制作等相关技术。

背景技术

自由立体显示技术是指不需佩戴诸如立体眼镜等附属设备的三维立体显示技术。它解决了佩戴附属设备所带来的恶心、头晕等不适感。

自由立体显示技术主要有液晶自由立体显示技术与投影式自由立体显示技术两种。液晶自由立体显示系统的屏幕大小目前还受到限制，提供的视点数有限。投影式多视点自由立体显示技术具有分辨率高、视场大、沉浸效果好、适合多用户、能提供运动视差等优点。

自由立体显示技术主要采用柱透镜光栅或视差光栅分离视点。视差光栅多用于液晶自由立体显示系统。缺点是光栅中黑条纹的不透光性降低了图像亮度；大尺寸时串挠现象明显；视点数多时光栅容易产生衍射效应等缺点。视差光栅实现的的视点个数有限，很少用于投影式多视点自由立体显示系统。柱透镜光栅可以实现多视点，视点个数理论上不受限制，多用于投影式多视点自由立体显示系统中。

多投影组合显示墙系统能提供给用户一个廉价的高分辨率、大显示区域。目前采用大规模计算机集群驱动投影仪阵列，且计算机和投影仪一一对应，通过利用几何校正算法及亮度校正算法将多台投影仪耦合为一个低成本、高分辨率的显示墙技术已经成熟。

发明内容

为此，我们发明了一种投影式高分辨率多视点自由立体显示系统。系统提供给用户可自由观看的立体，同时利用组合显示墙技术提供高分辨率、大显示区域。

投影式高分辨率多视点自由立体显示系统特征在于含有：光学显示屏幕、n*m台投影仪阵列，n为行，m为列、计算机集群绘制子系统以及一台供用于几何和亮度校正的照相机，其中：

所述的光学显示屏是一个采用柱透镜光栅构造的正投式光学显示屏幕，由柱透镜光栅和正投影屏幕两部分组成，该正投影屏幕分成r行s列子屏幕区域，每个子屏幕区域的尺寸相同并给与编号；

所述n*m台投影仪阵列，分成m组单视点投影组，每组投影仪显示场景的一个视点图像，m组投影仪同时显示m个视点图像，所述每组单视点投影仪由n台投影仪组成，n＞＝1，该n台投影仪采用r行*s列的方式组合显示一个大显示区域，n＝r*s；

每台投影仪的分辨率为resolution_x*resolution_y，n台投影仪组合显示后的分辨率为(resolution_x*s)*(resolution_y*r)，所述系统的总分辨率为(resolution_x*s)*(resolution_y*r)*m；

在所述每一组单视点投影仪组内，各投影仪的镜头中心在垂直方向上共线，称为投影组视点中心线；在所述的不同的单视点投影仪之间，所述投影组视点中心线在水平方向上等间距排列，间距小于等于人眼平均瞳距65mm；

对于所述n*m台投影仪阵列，在显示视点图像个数m，每个视点图像的显示组合方式r*s以及所述系统的分辨率确定的条件下：

所述n*m台投影仪的安装方式位于离所述光学显示屏距离为D且与所述光学显示屏平行的平面内，所述距离D由所述每台投影仪的显示子区域的尺寸查表得到，在所述安装区域内，所述n*m台投影仪阵列的中心与所述光学显示屏幕的中心对齐，所述m根投影组视点中心线以所述光学显示屏的中心为中心，以所述人眼平均瞳距65mm为间距排列；

所述各投影仪的镜头中心位于所述投影仪安装区域内的安装位置网格上，所述安装位置网格是由q*n条水平线与所述m根投影仪组视点中心线构成的，q＝[pw/65]，pw为投影仪宽度，所述q*n条水平线是以安装区域的水平中心线为中心，以ph*k为间距对称分布的水平线，ph为投影仪高度，k是为了保证上下相邻投影仪之间的间距，推荐值为1.2，每条投影仪组视点中心线上排列n台投影仪，同视点组投影仪上下间隔的网格交点数为q，相邻投影仪视点中心线上的投影仪相互错开；

所述计算机集群绘制子系统，其中每台计算机控制每个单视点投影仪组中的至少一台投影仪依及按以下步骤进行计算机集群绘制：

步骤(1).通过视点变换生成所述m个视点图像；

步骤(2).所述每个视点图像细分为所述r行s列子图像；

步骤(3).把细分后所述各子图像分发给对应的投影仪显示，使第i组单视点投影仪组中第j台投影仪显示第i个视点图像中第j个子图像，通过偏转所述各投影仪的方位角使每台投影仪的显示区域完全覆盖对应的子屏幕区域；

步骤(4).计算所述每组单视点投影组的总显示区域dislayA，

${\mathrm{dislayArea}}_i={\cup }_{j=1}^{j=n}{\mathrm{displayArea}}_i^j,i\in [$

步骤(5).计算所述n*m台投影仪阵列的最大公共矩形显示区域commDislayA，

$\mathrm{commDislayArea}={\cap }_{i=1}^{i=m}\mathrm{displayA}$

步骤(6).确定所述n*m台投影阵列最大公共显示区域的细分网格commDislayA，网格间距dist为设定值；

步骤(7).使用所述数码照相机在设定的位置拍摄每个投影仪的显示结果；

步骤(8).用几何校正方法使所述n*m台投影阵列中的每组单视点投影仪组所显示的图像为对应视点图像，组间显示的图像相互对齐；

步骤(9).使用边缘融合亮度校正方法消除各单视点投影仪组内重叠区亮度突变，使各子图像间亮度均匀。

所述的种投影式高分辨率多视点自由立体显示系统，其特征在于所述n*m台投影对应的安装区域的最小高度为1800mm。

投影式高分辨率多视点自由立体显示系统实现了高分辨率多视点自由立体显示，提供多视点和环视的自由立体效果。

附图说明

图1.投影式高分辨率多视点自由立体显示系统的结构示意图；

图2.多投影集群绘制方法示意图；

图3.柱透镜光栅光学显示屏幕示意图；

图4.柱透镜光栅光学显示屏幕视点分离示意图；

图5.投影仪阵列空间位置排列方法的示意图；图5a.2*3子区域组合显示方案；图5b.投影仪安装区域；图5c.投影仪组的垂直光轴线；图5d.投影仪安装位置网格；图5e.6*8投影仪阵列空间布置方案；图5f.第i组投影仪显示区域示意图；图5g.第j组投影仪显示区域示意图；图5h.m组投影显示区域求交的公共投影区域；图5i.公共投影区域网格细分结果示意图；图5j.公共投影区域网格细分结果示意图。

1为柱透镜光学显示屏幕，2为投影仪阵列，3为计算机集群绘制子系统，4为高分辨率照相机，5为柱透镜光栅，6为正投屏幕，7为双面胶，8为视点1，9为视点2，10为视点3，11是投射视点1图像的投影仪，12是投射视点2图像的投影仪，13是投射视点3图像的投影仪，14为组合显示中的显示子区域，15为投影组视点中心线，16为投影仪位置所在的水平排列线，17为投影仪安装区域，18屏幕中心线，19安装区域水平中心线，20为投影阵列的最大公共矩形显示区域。

具体实施方式

投影式高分辨率多视点自由立体系统包括有：光学显示屏幕1、n*m台投影仪阵列2、计算机集群绘制子系统3、一台用于几何和亮度校正的高分辨率照相机4。

其中，n*m台投影仪阵列分成m组单视点投影仪组，每组有n台投影仪。每组单视点投影仪组采用r*s(r行，s列)方式组合显示场景的一个视点图像。即每组投影仪组合显示一个高分辨率大显示区域，此区域由r行s列子显示区域组合，每个投影仪显示其中一个子区域，且n＝r*s。m组投影仪显示场景的m个视点图像，它们的显示区域互相重合。集群绘制系统驱动n*m投影仪阵列同时投射场景的m个视点图像于光学屏幕上，系统通过柱透镜光栅将m个视点图像在空间上分离。

为了表述清楚，对投影视点组从左至右排序，同一组中投影仪从上至下排序，显示子区域以行优先排序。记第i组单视点投影组为：VP_i，第i组单视点投影组中第j台投影仪记为：P_i^j，第k个显示子区域记为：subArea^k，第i组投影仪组组合显示的大区域记为displaySumArea_i，第i组投影仪组中第j台投影仪投射的显示子区域记为displayArea_i^j。有：

1.每个单视点投影组由n台投影仪组成：

${\mathrm{VP}}_i={\cup }_{j=1}^{j=n}{P}_i^j,i\in [1,m]$

2.第j个显示子区域由单视点投影组中第j台投影仪负责显示：

${\mathrm{displayArea}}_i^j={\mathrm{subArea}}^j,j\in [1,n]$

3.每个单视点投影组负责显示整个大显示区域，此区域由r行s列子显示区域组合而成：

$\mathrm{displaySumAre}{a}_i={\Sigma }_{j=1}^n{\mathrm{displayArea}}_i^j,i\in [$

其中，n＝r*s。

4.每组投影仪的组合显示区域重合，

displaySumArea_i＝displaySumArea_j

投影式高分辨率多视点自由立体显示系统的数据源有多视点图像和多视点图形两种。多视点图像为照相机在多个视点位置上采集到的场景的图像组，多视点图形为通过计算机图形学视点变换方法生成场景的多视点图形。图2为系统的集群绘制算法示意图，它以多视点图形数据源为例。算法的步骤为：

1.通过计算机图形学的视点变换方法生成场景的多个视点图形。图2中通过视点变换生成m个大卫模型的多视点图形。

2.根据组合显示方案，将每个视点图像细分为r行s列子图像。图2中每个视点的大卫图像被细分为2行2列子图像。

3.计算机将细分后的子图像分发给对应的投影仪显示，第i组投影组中第j台投影仪显示第i个视点图像中第j个子图像，它的显示区域为第j个显示子区域。如图2中第1个视点图像中第1到4个子图像分别被发送到第1组投影仪中第1到4台投影仪，对应的显示子区域分别是第1到4。

投影式高分辨率多视点自由立体显示系统同时渲染m个视点图像。每个视点图像由r行s列子图像组合组成，由n台投影仪采用r*s方式组合显示。每个视点图像经每个单视点投影组组合显示后的分辨率为(resolution_x*s)*(resolution_y*r)。系统总分辨率为(resolution_x*r)*(resolution_y*s)*m，即同时提供m个视点图像，每个视点图像显示的水平方向分辨率为resolution_x*r，垂直方向分辨率为(resolution_y*s)。其中，每台投影仪的分辨率为resolutio_x*resolution_y。

高分辨率照相机用于系统的几何校正和亮度校正。使用照相机拍摄各个投影仪在屏幕上的显示区域及亮度响应，计算出投影屏幕空间到图像空间的齐次变换关系。然后通过几何校正和亮度校正算法将同一个视点组内的n台投影仪耦合为高分辨率、大显示区域。

投影式高分辨率多视点自由立体显示系统采用高速网络连接计算机集群绘制子系统。目前多采用千兆以太网，也有使用myrinet等高速互联系统。根据计算机配置的图形处理卡的输出口的个数，每台计算机可同时接一台或多台投影仪。

投影式高分辨率多视点自由立体显示系统采用柱透镜光栅构造的正投式光学显示屏幕。

柱透镜光栅的水平方向为相同参数的透镜阵列，垂直方向为圆柱条纹构成，如图3。投影式高分辨率多视点自由立体显示系统光学显示屏幕由柱透镜光栅和正投屏幕两部分组成。屏幕的制作方法为使用冷裱机将双面胶、柱透镜光栅和正投屏幕粘合起来。粘合的步骤为：

第一步，粘合正投屏幕和双面胶。将柱透镜光栅、正投屏幕和双面胶裁成相同大小，然后将双面胶及正投屏幕放入两辊之间，撕开双面胶的隔离纸，转动冷裱机使正投屏幕正面和双面胶粘合在一起。

第二步，粘合正投屏幕和柱透镜光栅。将已经粘合双面胶的正投屏幕和柱透镜光栅放入两辊之间，使双面胶的未粘合面正对柱透镜光栅的底面，然后撕开双面胶的隔离纸，转动冷裱机使正投屏幕与柱透镜光栅粘合在一起。

图4为系统的光学显示屏幕在空间位置分离视点示意图。柱透镜光栅的焦平面与柱透镜的背面相重合，它能够在水平方向上将入射的光线按照原路反方向反射，在垂直方向对入射光线进行发散。因此光学显示屏幕将投影仪投射的光线反射回投影仪所在的且与光学屏幕平行的平面内(视区)，处于此平面内的观察者能看到该投影仪投射的图像，而看不到其余投影仪投射的图像。图4中画了3个视区8，9，10，在每个视区的垂直平面处有投射不同视点图像的投影仪11，12，13。理论上，用户在视点8位置上只可以观察到投影仪11投射的视点图像，而不能看到视点9和10的图像，同理在视点8和9也有相同现象。当用户左右眼分别处在不同的视区时，两眼观察到的图像的差别通过大脑融合产生立体视觉。

因此，两相邻视区的水平间隔距离最大不能超过一个瞳距，否则观察者左右眼不能同时处于两个视区内，也就无法同时观察到不同视点图像。每组单视点投影组内所有投影仪被安装在视区所在的垂直平面内，不同视点组的投影仪安装在不同视区所在垂直平面内。因此，单视点投影组的所有投影仪的镜头中心位于视区所在的平面内并共线，这条线称之为投影组视点中心线，它位于视区内且平行于光学屏幕的高度方向(一般是垂直方向)。由于两相邻视区的水平间隔距离最大不能超过一个瞳距，因此不同视点组的投影组视点中心线水平距离不能大于一个瞳距。目前市场上商用投影仪机身宽度一般大于一个瞳距，因此如何在空间位置上排列多视点投影组是个问题。

对于此，根据柱透镜光栅在水平方向上对入射光线原路返回，在垂直方向上发散的光学特点我们发明了投影仪阵列空间位置排列方法。方法的特点为：每组单视点投影组内的投影仪的镜头中心位于投影组视点中心线上，相邻视点投影组的投影组视点中心线水平间距不大于一个瞳距。下面，以6*8(n＝6，m＝8)投影阵列，采用2*3方式组合显示系统为列详细说明我们的方法，如图5。

方法详细步骤为：

1.根据系统视点个数和分辨率需求，确定投影阵列和组合显示方式方案。n*m投影阵列同时提供m个视点图像，r*s组合显示提供的分辨率为(resolution_x*s)*(resolution_y*r)。图5中系统总分辨率为(1024*3)*(768*2)*8，图5a为2*3组合显示方案示意图。

2.确定投影仪阵列的安装区域。投影仪说明书上有投影尺寸和投影距离表格。根据此表，由投影仪的显示子区域的尺寸可查出投影仪离光学屏幕的距离D。安装区域位于离光学屏幕距离为D且与光学屏幕平行的的平面内。投影仪采用吊装方式，要求比人高，因此安装区域的最小高度为离地1800mm(人平均高度)，最大高度为实验室高度，安装区域的左右边界为实验室的左右墙壁。至此，已确定了矩形安装区域。如图5b中17为安装区域。

3.确定每个视点投影组的投影组视点中心线位置。投影仪阵列的中心与柱透镜光栅光学显示屏幕的中心对齐，所以在安装区域内以光学屏幕中心为中心，以人眼平均瞳距65mm为间距排列m根投影组视点中心线。如图5c为8条投影组视点中心线空间位置示意图，15为投影组视点中心线。

4.确定投影仪镜头中心的水平方向安装位置。我们的方法是在投影仪安装区域内画出q*n条水平线，它与m根投影组视点中心线构成投影仪安装位置网格，网格的交点为投影仪安装的位置。其中，q＝[pw/65]为投影仪宽度相对于人眼瞳距的取整倍数，pw为投影仪宽度，投影仪的高度为ph。以安装区域的水平中心线为中心，以ph*k为间距画出对称分布的q*n条水平线。其中k是为了保证上下相邻投影仪之间的间距，推荐值为1.2。以图5中系统为列：以安装区域的水平中心线19为中心，vDist为间距画出q*n条水平线16，

vDist＝ph。q*n条水平线16与m根投影组视点中心线15构成一个(q*n)*m网格，如图5d。

5.在投影仪安装位置网格上排列投影仪，要求投影仪的镜头中心位于安装位置的网格上，每条投影组视点中心线上排列n台投影仪，同视点组投影仪上下间隔网格交点数为q，相邻投影组视点中心线上的投影仪相互错开，不使两者在空间位置上发生冲突。图5e为6*8投影仪阵列安装位置结果。

6.将投影屏幕区域划分r行s列子屏幕区域。选择子屏幕区域的纵横比与投影仪显示区域的纵横比相同，每个子屏幕区域的长宽相等。对子屏幕区域以行优先编号。每组投影仪中第j个投影仪的显示区域要求完全覆盖第j个子屏幕区域。如图5a为屏幕显示区域划分为2行3列子屏幕区域的结果。

7.确定每个投影仪的显示区域。要求每台投影仪的显示区域完全覆盖对应的子屏幕区域，即第j个投影仪的显示区域完全覆盖第j个子屏幕区域。偏转投影仪方位角(水平方向的旋转角度，及垂直方向上的俯仰角)使编号为j的投影仪显示区域displayA完全覆盖编号为j的显示子屏幕区域subA，如图5f和图5g。

8.计算每组单视点投影组的总显示区域dislayA。但是视点投影组的总显示区域为组内所有投影仪显示区域的总和，即：

${\mathrm{dislayArea}}_i={\cup }_{j=1}^{j=n}{\mathrm{displayArea}}_i^j,i\in [$

9.求投影阵列的最大公共矩形显示区域commDislayA。投影阵列的最大公共显示区域为m组单视点投影组的总显示区域的公共交集。

$\mathrm{commDislayArea}={\cap }_{i=1}^{i=m}\mathrm{displayA}$

图5h，20为投影阵列的最大公共矩形显示区域commDislayArea。

10.确定投影阵列最大公共显示区域的细分网格commDislayA。以dist为间距对最大公共显示区域进行网格细分，网格间距dist建议取值为50mm左右。

11.对多组投影仪进行几何校正和亮度校正。

几何校正的方法为：

第一步：计算机驱动投影仪轮流显示特征点图像image。image中有多个特征点P_i。用高分辨率数码相机在一固定位置拍摄每个投影仪的显示结果camerImage_i。采用图像处理算法如角点检测或阈值分隔方法求得camerImage_j中特征点P′_i。并将P′_i与计算机帧缓存image中P_i一一对应。求出从P′_i到P_i的变换矩阵M。

P_i＝M*P′_i。

第二步：计算每个投影仪的有效显示区域的细分网格projectorAreaMesh_i^j。有效显示区域的细分网格为投影仪显示区域与最大公共显示区域细分网格求交结果。

$\left(\begin{array}{c}{\mathrm{projectorAreaMesh}}_i^j=\\ \mathrm{commDislayMesh}\cap {\mathrm{displayArea}}_i^j,i\in [1,m],j\in [1,n]\end{array}\right)$

第三步：求出每个投影仪的有效显示区域细分网格对应的帧缓存矫正网格imageAreaMesh_i^j。

${\mathrm{imageAreaMesh}}_i^j=M*{\mathrm{projectorAreaMesh}}_i^j$

第四步：在显示中通过二次渲染实时矫正图像。方法是第一次渲染时抓取帧缓存中图像，然后利用帧缓存矫正网格对图像进行矫正变形，最后对矫正后的图像第二次渲染。矫正变形的方法是先对图像网格细分，获得图像的细分网格imageMesh。图像的细分网格要求与帧缓存校正网格的行数和列数相同；然后利用变换矩阵M对图像细分网格进行矫正，获得矫正后的图像细分网格imageMesh’。

imageMesh’＝M*imageMesh

矫正的图像经过投影仪显示后在屏幕上的显示图像为displayimageMesh。则有通过投影变换后显示内容为与帧缓存同构的在有效区域内均匀显示并与相邻图像精确对齐图像。

displayimageMesh＝M^-1*imageMesh’＝imageMesh

通过上面四步几何校正使投影仪阵列每组投影仪显示的图像为精确对齐的完整的图像，组间显示的图像精确对齐。

同组相邻投影仪的有效显示区域互相重叠，通过几何校正后重叠区内的投影图像能够对齐，但是由于每个像素同时由多个投影仪显示，致使重叠区亮度发生突变。为此需使用亮度校正方法使重叠区亮度均匀一致。我们采用边缘融合亮度校正方法，其步骤如下：

第一步：计算每台投影仪的有效重叠显示区域，记为projectorOverlapAreaMesh_i^j。有效重叠区域为同组投影仪的有效显示区域的重叠区域。

第二步：求出对应有效重叠区域的帧缓存重叠区域imageOverlapAreaMesh_i^j：

${\mathrm{imageOverlapAreaMesh}}_i^j=M*{\mathrm{projectorOverlapAreaMesh}}_i^j$

第三步：对帧缓存重叠区域像素点亮度进行衰减，使重叠区显示亮度均匀。像素点亮度衰减因子为d/w。其中，w为有效重叠区点所在行的宽度，d为有效重叠区点离边缘距离。

通过几何和亮度校正使投影仪阵列每组投影仪显示的图像为对齐的完整的图像，组间显示的图像精确对齐，图像间的亮度均匀。