一种三维场景的视觉上的空间分辨率增强方法及系统

摘要

本发明涉及一种三维场景的视觉上的空间分辨率增强方法及系统。该方法包括：对特定的三维场景进行渲染，获取所述三维场景的不同视角的元图，所述不同视角的元图形成光场平面；获取所述光场平面的投射光线的高频部分的渲染信息，获取高分辨率的渲染帧；将所述高分辨率的渲染帧分解为低分辨率的子序列帧；以高刷新频率显示所述低分辨率的子序列帧。本发明提供的三维场景视觉上的空间分辨率的增强方法及系统，通过获取三维场景的高分辨率的渲染帧分解为低分辨率的子序列帧，并以高刷新频率显示所述低分辨率的子序列帧，利用人眼的积分特性实现子序列帧的融合，在不增加硬件开销的条件下，增强了三维场景的视觉上的空间分辨率，提供拟真的3D效果。

说明书

技术领域

本发明涉及3D显示技术领域，尤其涉及一种三维场景的视觉上的空间分辨率增强方法及系统。

背景技术

人眼在自然界中看到的物体都是3D的表现形式，然而当前广泛使用的显示器只能提供平面图像，不能提供真实的视觉体验。随着3D视觉技术的不断发展，立体显示越来越成为未来显示技术发展的关键。人眼能从二维空间平面的视网膜影像感知到三维空间从而产生深度直觉，依赖于深度线索的暗示。目前普遍使用的三维场景显示方法包括基于双目视差的立体成像技术、全息成像技术以及集成成像技术等。

基于双目视差的立体显示系统的技术实现与硬件要求简单，利用分屏显示器和透镜实现，是目前能够广泛使用的3D显示技术。其原理在于通过有色过滤器、偏振片以及电子开关通道为观测者左右眼分别提供对应的视差图像，使用各种通道分别将左眼和右眼的图像呈现给双眼，例如VR眼镜OculusRift等。然而这种立体显示技术只能满足基于双目视差的深度线索，不能提供具有物理真实感的3D视觉体验。

全息成像技术具有记录和再现两个过程。首先利用干涉原理将光波的振幅和相位信息记录在介质中，根据衍射原理当光波照射介质可重现三维场景。由于保留了原有物光波的全部振幅和相位信息，故再现场景与原场景具有完全相同的三维特性，能够提供完整的深度线索。但由于激光全息图的记录过程要求采用相干光源，往往在暗室条件下操作，同时还要求设备具有高度的稳定性，这些都大大限制了它的应用范围。目前激光全息技术仅限于记录静止的物体，而且显示的颜色范围有限，因而全息3D显示不适用于更高要求的视频通信以及需要实时处理的显示系统。

集成成像技术同样具有记录和再现两个过程。首先利用微透镜阵列对空间场景成像记录，CCD位于透镜阵列焦平面处获得光场，每个小透镜生成对应不同视角三维场景的成像即元图。然后利用具有同样参数微透镜阵列，根据光路可逆原理，微透镜阵列把元图透射出来的光线聚集还原，从而在透镜阵列的前方重建出场景。集成成像技术可以满足大部分深度线索，通过对三维场景进行渲染得到光场，可以直接利用微透镜阵列实现三维场景的再现过程。但在同一屏幕上同时呈现不同视角的元图会导致视觉上的空间分辨率受到严重限制，呈现出不清晰的三维效果。

发明内容

本发明所要解决的技术问题是：现有的三维场景显示方法视觉上的空间分辨率低、对硬件条件要求高的问题。

为解决上述技术问题，本发明一方面提出了一种三维场景的分辨率增强方法，该方法包括：

对特定的三维场景进行渲染，获取所述三维场景的不同视角的元图，所述不同视角的元图形成光场平面；

获取所述光场平面的投射光线的高频部分的渲染信息，获取高分辨率的渲染帧；

将所述高分辨率的渲染帧分解为低分辨率的子序列帧；

以高刷新频率显示所述低分辨率的子序列帧。

可选地，所述对特定的三维场景进行渲染包括：

以微透镜阵列中每一个微透镜的光心位置为光线起点，对特定的三维场景进行光线追踪渲染。

可选地，所述获取所述光场平面的投射光线的高频部分的渲染信息包括：

对所述光场平面的投射光线进行过采样，获取所述光场平面的投射光线的高频部分的渲染信息。

可选地，所述将所述高分辨率的渲染帧分解为低分辨率的子序列帧，包括：

建立人眼视觉响应模型，根据所述人眼视觉响应模型将所述高分辨率的渲染帧分解为低分辨率的子序列帧。

可选地，所述高刷新频率大于人眼临界闪烁频率。

本发明另一方面提出了一种三维场景分辨率的增强系统，该系统包括：

三维场景渲染单元，用于对特定的三维场景进行渲染，获取所述三维场景的不同视角的元图，所述不同视角的元图形成光场平面；

高分辨率渲染帧获取单元，获取所述光场平面的投射光线的高频部分的渲染信息，获取高分辨率的渲染帧；

子序列帧获取单元，将所述高分辨率的渲染帧分解为低分辨率的子序列帧；

子序列帧显示单元，用于以高刷新频率显示所述低分辨率的子序列帧。

可选地，所述三维场景渲染单元，进一步用于：以微透镜阵列中每一个微透镜的光心位置为光线起点，对特定的三维场景进行光线追踪渲染，获取所述三维场景的不同视角的元图，所述不同视角的元图形成光场平面。

可选地，所述高分辨率渲染帧获取单元，进一步用于：对所述光场平面的投射光线进行过采样，获取所述光场平面的投射光线的高频部分的渲染信息，获取高分辨率的渲染帧。

可选地，所述子序列帧获取单元，进一步用于：建立人眼视觉响应模型，根据所述人眼视觉响应模型将所述高分辨率的渲染帧分解为低分辨率的子序列帧。

可选地，所述高刷新频率大于人眼临界闪烁频率。

本发明提供的三维场景视觉上的空间分辨率的增强方法及系统，通过获取三维场景的高分辨率的渲染帧分解为低分辨率的子序列帧，并以高刷新频率显示所述低分辨率的子序列帧，利用人眼的积分特性实现子序列帧的融合，在不增加硬件开销的条件下，增强了三维场景的视觉上的空间分辨率，提供拟真的3D效果。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明一个实施例的三维场景的视觉上的空间分辨率增强方法的流程示意图；

图2a示出了本发明一个实施例的光线追踪渲染光场的光线投射方法的示意图；图2b示出了本发明一个实施例的渲染得到的光场平面的示意图；

图3示出了本发明一个实施例的获取投射光线的高频部分的渲染信息的示意图；

图4示出了本发明一个实施例的三维场景的视觉上的空间分辨率的增强系统的流程示意图。

具体实施方式

下面将结合附图对本发明的实施例进行详细描述。

图1示出了本发明一个实施例的三维场景的视觉上的空间分辨率增强方法的流程示意图。如图1所示，该实施例的三维场景的视觉上的空间分辨率增强方法，包括：

S11：对特定的三维场景进行渲染，获取所述三维场景的不同视角的元图，所述不同视角的元图形成光场平面；

S12：获取所述光场平面的投射光线的高频部分的渲染信息，获取高分辨率的渲染帧；

S13：将所述高分辨率的渲染帧分解为低分辨率的子序列帧；

S14：以高刷新频率显示所述低分辨率的子序列帧。

本实施例的三维场景视觉上的空间分辨率的增强方法，通过获取三维场景的高分辨率的渲染帧分解为低分辨率的子序列帧，并以高刷新频率显示所述低分辨率的子序列帧，利用人眼的积分特性实现子序列帧的融合，在不增加硬件开销的条件下，增强了三维场景的视觉上的空间分辨率，提供拟真的3D效果。

在一种可选的实施方式中，所述对特定的三维场景进行渲染包括：

以微透镜阵列中每一个微透镜的光心位置为光线起点，对特定的三维场景进行光线追踪渲染。

图2a示出了本发明一个实施例的光线追踪渲染光场的光线投射方法的示意图；图2b示出了本发明一个实施例的渲染得到的光场平面的示意图。将传统光线追踪渲染框架进行扩展，以微透镜阵列中每一个微透镜的光心位置为光线起点进行渲染，生成不同视角的元图形成光场平面，元图与微透镜一一对应。

需要说明的是，光线追踪渲染光场除了考虑到光线追踪技术渲染效果的真实性，同时对于多视角光场平面也可以通过一次性投射光线获得渲染结果。具体来说，投射光线的起点设置为对应微透镜阵列的焦心阵列时，从焦心阵列同时投射光线可渲染得到与微透镜一一对应的元图阵列，覆盖微透镜进行观察，由光路可逆原理实现集成成像原理的再现过程，视觉上还原出3-D场景。

进一步地，所述获取所述光场平面的投射光线的高频部分的渲染信息包括：

对所述光场平面的投射光线进行过采样，获取所述光场平面的投射光线的高频部分的渲染信息。

通常在光线追踪渲染过程中，投射光线进行过采样可以减小锯齿效应，利用相同原理对投射光线进行过采样可以得到高频部分的渲染信息。

图3示出了本发明一个实施例的获取投射光线的高频部分的渲染信息的示意图。如图3所示，以提高4倍分辨率为目标，对一个像素投射的光线以4倍过采样获得亚像素信息(A、B、C、D为四个亚像素)；在不增加硬件开销的条件下，对于随时间变化缓慢的三维场景也可逐帧进行光线投射。

需要说明的是，由于光场显示系统中当前使用的显示器分辨率有限，在一个显示平面上同时呈现多视角的光场平面不可避免地限制了元图的分辨率。假设一个像素只投射一条光线，元图的高频信息就会丢失，此时得到元图分辨率为M×N。权衡光线追踪渲染计算量与渲染图像的质量，选择提高显示分辨率4倍为目标。如图3所示，通过对投射光线进行过采样，可以得到渲染结果的分辨率达到2M×2N，每一个像素均分成4个亚像素区域并投射一条或多条光线。

进一步地，所述将所述高分辨率的渲染帧分解为低分辨率的子序列帧，包括：

建立人眼视觉响应模型，根据所述人眼视觉响应模型将所述高分辨率的渲染帧分解为低分辨率的子序列帧。

需要说明的是，根据塔尔伯特－普拉托定律，当显示频率超过临界闪烁频率且烁光的平均亮度和稳定光的亮度相同时，人眼将产生融合的感觉，不能区分闪烁；依据这一特性，对人眼视觉响应进行建模，获得人眼在高帧率状态下的响应积分函数，将高分辨率渲染结果依照函数进行分解，以分辨率提高4倍为目标得到2帧低分辨率子序列帧。

在实际应用中，由于硬件显示平台分辨率的限制，获得的高分辨率渲染结果不能直接显示出来。已知当图像像素处于高频变化的状态时，人眼视觉系统对相邻像素在时域进行积分，从而在视觉上产生新的像素值。利用像素在高频状态下的亚像素移位，观察者可以获得包含亚像素信息的高分辨率视觉体验。当刷新频率接近临界闪烁频率时，人眼对快速变化做出的响应可以忽略不计，此时视网膜响应可以近似为像素值在时间和空间上的有限加权积分。假设视网膜感知细胞均匀分布，当视网膜感知器响应匹配高分辨率渲染帧时，可以通过视网膜响应函数将高分辨率渲染帧分解为低分辨率子序列帧。以提高分辨率4倍为目标时，可简化积分权值为0.5，得到如下关系式：

$>H_p(x,y)=\frac{1}{2}{L}_p^1(\frac{x+2-\left(x\mathrm{mod}2\right)}{2},\frac{y+2-\left(y\mathrm{mod}2\right)}{2})+\frac{1}{2}{L}_p^2(\frac{x+\left(x\mathrm{mod}2\right)}{2},\frac{y+\left(y\mathrm{mod}2\right)}{2})$>

其中，H_p(x,y)表示位于(x,y)处渲染得到的高分辨率像素值，表示第t帧位于(x,y)的低分辨率像素值。

可以表达成如下的双中心对称矩阵方程形式：

H＝W_1aL¹W_1b+W_2aL²W_2b

其中，H为高分辨率帧的矩阵形式

$>H_{M\times N}=\left(\begin{array}{ccc}{H}_p(1,1)& ...& H_p(1,N)\\ ...& ...& ...\\ H_p(M,1)& ...& H_p(M,N)\end{array}\right),$>

其中，W_1a、W_1b、W_2a和W_2b都是权值的矩阵表达形式。

通过求解上述方程即可求得分解得到的两帧连续的低分辨率渲染帧L¹和L²。

进一步地，所述高刷新频率大于人眼临界闪烁频率。

在实际应用中，普通显示器的刷新率为60Hz，分解为2帧时子序列帧显示速率为30Hz，接近人眼临界闪烁频率；若使用120Hz高刷新率显示器可分解为3帧，子序列显示速率为40Hz更加逼近人眼闪烁频率。

本实施例的三维场景的视觉上的空间分辨率增强方法，利用改进的光线追踪技术渲染出多视角图像，在不增加硬件开销的条件下获得具有较大视角的高分辨率渲染帧；同时利用人眼视觉系统进行建模，将高分辨率渲染帧依照视网膜反应函数分解为低分辨率的子序列帧；最后以高刷新率显示子序列帧、利用人眼的积分特性实现融合，使得观察者形成具有较高空间分辨率的视觉效果。较之现有设计，本发明能够有效克服3D光场显示系统由于同时呈现多视角图像而造成有效分辨率下降的问题，在现有硬件水平下利用人眼视觉系统特性有效提高视觉上的空间分辨率。

图4示出了本发明一个实施例的三维场景的视觉上的空间分辨率的增强系统的流程示意图。如图4所示，该实施例的三维场景的视觉上的空间分辨率的增强系统包括：

三维场景渲染单元41，用于对特定的三维场景进行渲染，获取所述三维场景的不同视角的元图，所述不同视角的元图形成光场平面；

高分辨率渲染帧获取单元42，获取所述光场平面的投射光线的高频部分的渲染信息，获取高分辨率的渲染帧；

子序列帧获取单元43，将所述高分辨率的渲染帧分解为低分辨率的子序列帧；

子序列帧显示单元44，用于以高刷新频率显示所述低分辨率的子序列帧。

在一种可选的实施方式中，所述三维场景渲染单元，进一步用于：以微透镜阵列中每一个微透镜的光心位置为光线起点，对特定的三维场景进行光线追踪渲染，获取所述三维场景的不同视角的元图，所述不同视角的元图形成光场平面。

所述高分辨率渲染帧获取单元，进一步用于：对所述光场平面的投射光线进行过采样，获取所述光场平面的投射光线的高频部分的渲染信息，获取高分辨率的渲染帧。

所述子序列帧获取单元，进一步用于：建立人眼视觉响应模型，根据所述人眼视觉响应模型将所述高分辨率的渲染帧分解为低分辨率的子序列帧。

所述高刷新频率大于人眼临界闪烁频率。

本实施例所述的三维场景的视觉上的空间分辨率增强系统可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

本发明提供的三维场景分辨率的增强方法及系统，通过获取三维场景的高分辨率的渲染帧分解为低分辨率的子序列帧，并以高刷新频率显示所述低分辨率的子序列帧，利用人眼的积分特性实现子序列帧的融合，在不增加硬件开销的条件下，增强了三维场景的视觉上的空间分辨率，提供拟真的3D效果。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。