应用于真实感近眼显示的图像生成方法和装置

摘要

本发明实施例提供一种应用于真实感近眼显示的图像生成方法和装置，方法包括：将待显示三维物体的空间成像信息从世界坐标系变换至目镜坐标系，以去除目镜对成像的作用。在出瞳位置处触发多条光线，通过获取多条光线在转换后的成像信息中分别对应的像素的实际灰度值，获得反映三维物体在人眼中的真实图像显示效果的第一光场图像。通过获取多条光线在多层显示屏上分别对应的像素的初始灰度值，获得第二光场图像。根据第一光场图像对第二光场图像中像素的灰度值进行修正，以获得第三光场图像，从而保证了第三光场图像更加逼真于体现真实感的第一光场图像，保证了图像显示质量。

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种应用于真实感近眼显示的图 像生成方法和装置。

背景技术

相较于二维显示，三维显示能提供更直观的视觉感受、更丰富的细节，在 虚拟现实和增强现实等领域中被广泛使用。近来，多层三维显示器已经在三维 显示领域获得了越来越多的关注。通常来讲，多层三维显示器由沿着厚度方向 堆叠的多个平行的二维显示层形成，以产生三维视觉效果。

在一些实际应用场景中，人们佩戴三维显示器比如头盔式的三维显示器时， 往往会产生晕眩的不适感，之所以产生不适感，其中一个主要的原因是成像质 量问题。因此，基于多层三维显示器，如何有效生成更加真实、高质量的显示 图像，是亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供一种应用于真实感近眼显示的图像生成方法 和装置，用以生成高质量的三维图像。

本发明实施例提供一种应用于真实感近眼显示的图像生成方法，包括：

根据预设世界坐标系与目镜坐标系的映射关系，将待显示三维物体的空间 成像信息从所述世界坐标系变换至所述目镜坐标系，以获得转换后的成像信息；

在出瞳位置处触发多条光线，以通过获取所述多条光线在所述转换后的成 像信息中分别对应的像素的实际灰度值，获得第一光场图像；

通过获取所述多条光线在多层显示屏上分别对应的像素的初始灰度值，获 得第二光场图像；

根据所述第一光场图像对所述第二光场图像中像素的灰度值进行修正，以 获得第三光场图像；

在所述多层显示屏上显示所述第三光场图像。

本发明实施例提供一种图像生成装置，包括：

转换模块，用于根据预设世界坐标系与目镜坐标系的映射关系，将待显示 三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系，以获得转 换后的成像信息；

第一获取模块，用于在出瞳位置处触发多条光线，以通过获取所述多条光 线在所述转换后的成像信息中分别对应的像素的实际灰度值，获得第一光场图 像；

第二获取模块，用于通过获取所述多条光线在多层显示屏上分别对应的像 素的初始灰度值，获得第二光场图像；

修正处理模块，用于根据所述第一光场图像对所述第二光场图像中像素的 灰度值进行修正，以获得第三光场图像；

显示模块，用于在所述多层显示屏上显示所述第三光场图像。

本发明实施例提供了一种电子设备，包括：由等厚透镜组成的目镜、多层 显示屏、存储器和处理器，所述目镜包括镀有增透膜的第一表面以及镀有半透 半反射膜的第二表面，所述第一表面位于靠近人眼一侧，所述第二表面位于远 离人眼一侧；

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计 算机指令被所述处理器执行时实现如前述实施例提供的图像生成方法。

本发明实施例提供的应用于真实感近眼显示的图像生成方法和装置，在获 得待显示三维物体的空间成像信息后，通过将该待显示三维物体的空间成像信 息从世界坐标系变换至目镜坐标系，以去除目镜对该空间成像信息的放大等作 用。之后，将转换后的成像信息投影在目镜的出瞳位置处，在出瞳位置处触发 多条光线，通过获取该多条光线在转换后的成像信息中分别对应的像素的实际 灰度值来获得第一光场图像，该第一光场图像反映了待显示三维物体在人眼中 的真实图像效果。另外，通过获取该多条光线中每条光线在多层显示屏的每层 上分别对应的像素的初始灰度值，获得多层显示屏上对应的第二光场图像，即 实际需要显示的光场图像的初始灰度信息。由于该第二光场图像中各像素的灰度值还为初始值，并非实际成像时所对应的灰度值，以该初始灰度值为变量， 结合第一光场图像中对应像素的实际灰度值来对第二光场图像中各像素的灰度 值进行修正，得到待显示的第三光场图像，从而保证了生成的第三光场图像更 加逼真于体现真实感的第一光场图像，保证了图像显示质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描 述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的应用于真实感近眼显示的图像生成方法的流程 图；

图2a-图2c为本发明实施例提供的三维显示器的结构示意图；

图3为本发明实施例提供的世界坐标系、目镜坐标系的示意图；

图4为本发明实施例提供的第一光场图像的获取过程示意图；

图5为本发明实施例提供的第二光场图像的获取过程示意图；

图6为本发明实施例提供的图像生成装置的结构示意图；

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中 的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其 他实施例，都属于本发明保护的范围。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描 述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例 如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类 似地，第二XXX也可以被称为第一XXX。

图1为本发明实施例提供的应用于真实感近眼显示的图像生成方法的流程 图，本实施例提供的该图像生成方法可以由一图像生成装置来执行，该图像生 成装置可以实现为软件，或者实现为软件和硬件的组合，该图像生成装置可以 集成设置在一个三维显示器中。如图1所示，该方法包括如下步骤：

步骤101、根据预设世界坐标系与目镜坐标系的映射关系，将待显示三维物 体的空间成像信息从世界坐标系变换至目镜坐标系，以获得转换后的成像信息。

本实施例中，上述世界坐标系中的待显示三维物体的空间成像信息可以是 在计算机软件中建立待显示三维物体后，将其放置在世界坐标系中。其中，该 三维物体的获得可以是计算机三维建模软件，如Unity 3D、Pro-E、Solidworks 等建模形成，也可以是通过计算机底层建模语言或者脚本，如OpenGL构建，也 可以是通过光场拍摄或者多摄像机拍摄后重建获得的。

如图2a所示，本实施例中该图像生成方法可以适用于采用图2a中所示的 显示器结构进行图像显示的场景中，简单来说，该显示器中包括左、右眼目镜， 左、右眼多层显示屏。一般的图像显示过程简单描述为：多层显示屏形成的空 间光场图像通过目镜分别投射在左、右眼中，左眼和右眼分别通过渲染的光场 获得三维物体的聚焦信息。左眼和右眼的光场图像提供了三维物体的视差信息， 从而使得用户获得真实感三维显示体验。

另外，本发明实施例提供的如图2a所示的显示器结构除了可以用于显示虚 拟的空间光场图像外，还可以用于同时显示真实世界的图像。为便于理解，简 单来说，假设需要显示的空间光场图像是一电视机的画面，该电视机在真实世 界中被置于墙壁上，则基于该显示器，不但可以显示出该电视机画面，同时还 可以显示出电视机挂在墙壁的真实效果。

下面，结合图2b和图2c说明图2a所示显示器结构的具体设计参数。

本发明实施例中的目镜可以是光学透射式目镜，也可以是浸没式目镜。以 光学透射式目镜为例，该光学透射式目镜可以由一片等厚透镜组成，如图2b所 示，该等厚透镜在靠近人眼的第一表面镀有增透膜，在远离人眼的第二表面镀 有半透半反射膜。多层显示屏中的每层显示屏具有一定的曲率半径。在该结构 中，如图2b所示，光线从人眼瞳孔位置到成像的多层显示屏依次经过光阑、第 一表面、第二表面、第一表面和多层显示屏。

具体地，在成像过程中，多层显示屏显示的光场图像比如上述举例的电视 机画面经过第一表面的两次透射和第二表面的反射进入人眼，形成虚拟光路； 同时，真实世界比如上述举例的墙壁透过第二表面的透射进入人眼形成真实光 路。从而，人眼可以同时看到虚拟的光场图像以及真实世界图像。在虚拟光路 中，如图2b所示的三束光线中，光轴经过光学透射式目镜发生反射，光轴经过 光学透射式目镜反射前后夹角大于30度小于90度，即先后两次经过第一表面 后的夹角大于30度小于90度。

该显示器结构的设计过程为：在光阑位置建立光轴方向为Z轴、子午方向 为Y轴的直角坐标系。光学表面即光学透射式目镜相对于光阑中心的位置，可 以由X方向偏心、Y方向偏心和Z方向偏心表示，其中，光学表面相对于光阑中 心的旋转角度由绕X轴方向的Alpha偏心，绕Y轴方向的Beta偏心和绕Z轴方 向的Gamma偏心表示。多层显示屏平行于像面，放置在靠近光学透射式目镜的 位置。可选的设计参数可以如表1所示，相应的光学性能图如图2c所示。

表1：

曲率半径(mm)Y方向偏心(mm)Z方向偏心(mm)Alpha偏心(°)光阑无穷-206.683.83101.3-18.23-206.683.83109.3-18.23-206.683.83101.3-18.23像面无穷60.8526.86-12.55

基于该显示器结构，为实现本发明实施例提供的图像生成方法，首先需要 建立世界坐标系以及目镜坐标系，其中，目镜坐标系包括左眼目镜坐标系和右 眼目镜坐标系。

可选地，可以根据如下规则建立世界坐标系、左眼目镜坐标系和右眼目镜 坐标系，如图3所示：

以左眼目镜的光心位置为坐标原点，建立左眼目镜坐标系O_leftX_leftY_leftZ_left；>rightX_rightY_rightZ_right；以>wX_wY_wZ_w，其中，世界坐标系的坐标轴与左眼目镜坐标>wX_w分别平行于和O_leftX_left、>rightX_right，O_wY_w分别平行于和O_leftY_left、O_rightY_right，O_wZ_w分别平行于和O_leftZ_left、O_rightZ_right。>

基于此建立的坐标系，根据基于该显示器的目镜的焦距f、瞳距D，将待显 示三维物体的空间成像信息从世界坐标系变换到目镜坐标系中。

具体地，可以根据如下公式(1)将待显示三维物体的空间成像信息变换至 左眼目镜坐标系：

根据如下公式(2)将待显示三维物体的空间成像信息变换至右眼目镜坐标 系：

其中，(x_w,y_w,z_w)为所述世界坐标系中的任一点成像位置信息，(x_left,y_left,z_left)为>right,y_lright,z_right)为右眼目镜坐标系中对应的成像位置信息，f为目镜焦距，D为瞳距，L为世界坐标系的坐标原点O_w到O_left与O_right连线的距离。

基于上述变换，在不考虑目镜的畸变作用的情况下，可以去除目镜的放大 作用对三维物体的成像的影响。

步骤102、在出瞳位置处触发多条光线，以通过获取所述多条光线在转换后 的成像信息中分别对应的像素的实际灰度值，获得第一光场图像。

本实施例中，为了获得目镜坐标系中的三维物体的成像信息，即变换后的 成像信息在人眼处的图像成像效果，可选地，可以在目镜出瞳位置处选择多个 视点，将目镜坐标系中的三维物体投影到多个视点，从而得到在多个视点上形 成的二维图像，即第一光场图像。图4示出了第一光场图像的获取过程，第一 光场图像中的每个像素对应于从一视点触发的光线，如图4中所示，第一光场 图像中的某像素对应于V2视点触发的一条光线，该光线和目镜坐标系中待显示 三维物体相交，即会对应到上述转换后的成像信息中的一像素点上，获得该像 素点所对应的灰度值。从而，基于设置的多个视点，每个视点触发的多条光线， 可以获得包含有多个像素的实际灰度值即真实灰度值的第一光场图像，该第一 光场图像反映了实际上应该在人眼中呈现的成像效果。

上述第一光场图像的获取过程除了基于上述视点产生图像的方式获得外， 可选地，还可以通过从目镜出瞳位置出发追击光线，计算追击光线与目镜坐标 系中三维物体对应的灰度值来获得该第一光场图像。

可选地，在获得该第一光场图像之后，还可以对该第一光场图像进行灰度 归一化处理。

步骤103、通过获取多条光线在多层显示屏上分别对应的像素的初始灰度 值，获得第二光场图像。

本实施例中，初始情况下，即还没有在多层显示屏上显示图像前，可以设 置多层显示屏的每层显示屏中的各像素的初始灰度值。通过以该初始灰度值为 变量，将多层显示屏的图像投影到上述目镜出瞳位置处设置的多个视点上，形 成二维图像，即第二光场图像。

如图5所示，假设显示器中单眼使用了N层显示屏，显示屏上的像素灰度 用表示，其中，t表示显示屏的编号，i，j表示该显示屏中像素的编号。像 素的灰度表示屏幕的透过率。图5示出了第二光场图像的获取过程，同样地， 第二光场图像中的每个像素对应于从一视点触发的光线，如图5中所示，第二 光场图像中的某像素对应于V2视点触发的一条光线，只是此时，该光线会和多 层显示屏分别相交于不同像素点，相交的各像素点对应的灰度值分别是 因此，该第二光场图像中V2视点所对应的像素点的灰度值可以表示 为：

即V2视点触发的该光线与N层显示屏分别相交的像素的初始 灰度值的乘积。

同样可选地，该第二光场图像的获取过程可以不基于视点产生的图像，也 可以从目镜出瞳位置出发追迹光线，确定追迹光线在多层显示屏上分别对应的 初始灰度值。

可选地，在获得该第二光场图像之后，还可以对该第二光场图像进行灰度 归一化处理。

步骤104、根据第一光场图像对第二光场图像中像素的灰度值进行修正，以 获得第三光场图像。

具体地，该修正过程可以实现为：

根据第一光场图像和第二光场图像中对应像素的实际灰度值和初始灰度值 构建误差函数；求解误差函数，确定多条光线在多层显示屏上分别对应的像素 的最终灰度值，以获得第三光场图像，其中，最终灰度值使误差函数最小。

可选地，该误差函数可以是第一光场图像和第二光场图像中对应像素的实 际灰度值和初始灰度值的差值的和，或者是差值的加权和。比如，以第一光场 图像和第二光场图像中对应像素的实际灰度值和初始灰度值的加权差值的平方 和，构建误差函数。

其中，权重系数比如可以根据对应视点位置确定，比如越靠近目镜光轴的 视点所对应的权重系数越大，即该视点所对应的像素的实际灰度值和初始灰度 值的差值的权重系数越大。

本实施例中，以各像素对应的初始灰度值为变量，以误差函数最小为优化 目标，求解该误差函数，得到各变量对应的最终取值，即得到各像素对应的最 终灰度值，以获得可以在多层显示屏上显示的第三光场图像。

步骤105、以预设目镜畸变系数，对第三光场图像进行校正。

可选地，由于前述坐标变换处理时，往往是没有考虑目镜的畸变作用的， 因此，此时可以考虑目镜的畸变作用，将计算获得的第三光场图像进行畸变校 正处理，以获得最终需显示的光场图像。目镜的畸变系数的获得可以是目镜设 计过程中的设计值，也可以是目镜实际加工后实际标定测量值，在这里不同位 置深度的屏幕的畸变系数并不相同，需要给定不同的畸变系数。

步骤106、在多层显示屏上显示校正后的第三光场图像。

本发明实施例中，在获得待显示三维物体的空间成像信息后，通过将该待 显示三维物体的空间成像信息从世界坐标系变换至目镜坐标系，以去除目镜对 该空间成像信息的放大等作用。之后，将转换后的成像信息投影在目镜的出瞳 位置处，在出瞳位置处触发多条光线，通过获取该多条光线在转换后的成像信 息中分别对应的像素的实际灰度值来获得第一光场图像，该第一光场图像反映 了待显示三维物体在人眼中的真实图像效果。另外，通过获取该多条光线中每 条光线在多层显示屏的每层上分别对应的像素的初始灰度值，获得多层显示屏 上对应的第二光场图像，即实际需要显示的光场图像的初始灰度信息。由于该 第二光场图像中各像素的灰度值还为初始值，并非实际成像时所对应的灰度值， 以该初始灰度值为变量，结合第一光场图像中对应像素的实际灰度值来构建误 差函数，通过优化算法求取使得该误差函数最小的各像素的灰度值，作为第二 光场图像中各像素的最终灰度值，得到待显示的第三光场图像，从而保证了生 成的第三光场图像更加逼真于体现真实感的第一光场图像，保证了图像显示质 量。

图6为本发明实施例提供的图像生成装置的结构示意图，如图6所示，该 装置包括：转换模块11、第一获取模块12、第二获取模块13、修正处理模块 14、显示模块15。

转换模块11，用于根据预设世界坐标系与目镜坐标系的映射关系，将待显 示三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系，以获得 转换后的成像信息。

第一获取模块12，用于在出瞳位置处触发多条光线，以通过获取所述多条 光线在所述转换后的成像信息中分别对应的像素的实际灰度值，获得第一光场 图像。

第二获取模块13，用于通过获取所述多条光线在多层显示屏上分别对应的 像素的初始灰度值，获得第二光场图像。

修正处理模块14，用于根据所述第一光场图像对所述第二光场图像中像素 的灰度值进行修正，以获得第三光场图像。

显示模块15，用于在所述多层显示屏上显示所述第三光场图像。

其中，所述目镜坐标系包括左眼目镜坐标系和右眼目镜坐标系，可选地， 所述装置还包括：建立模块21。

建立模块21，用于根据如下规则建立所述世界坐标系、所述左眼目镜坐标 系和所述右眼目镜坐标系：

以左眼目镜的光心位置为坐标原点，建立所述左眼目镜坐标系；以右眼目 镜的光心位置为坐标原点，建立所述右眼目镜坐标系；以所述左眼目镜的光心 位置和所述右眼目镜的光心位置之间连线的垂直平分线上一点为坐标原点，建 立所述世界坐标系；所述世界坐标系的坐标轴与所述左眼目镜坐标系和所述右 眼目镜坐标系中的相应坐标轴平行。

相应地，所述转换模块11具体用于：

根据如下公式(1)将所述待显示三维物体的空间成像信息变换至所述左眼 目镜坐标系：

根据如下公式(2)将所述待显示三维物体的空间成像信息变换至所述右眼 目镜坐标系：

其中，(x_w,y_w,z_w)为所述世界坐标系中的任一点成像位置信息，(x_left,y_left,z_left)为>right,y_lright,z_right)为所述右眼目镜坐标系中对应的成像位置信息，f为目镜焦距，D为瞳距，L为所述世界坐标系的>

可选地，所述修正处理模块14具体用于：

根据所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初 始灰度值构建误差函数；求解所述误差函数，确定所述多条光线在所述多层显 示屏上分别对应的像素的最终灰度值，以获得第三光场图像，所述最终灰度值 使所述误差函数最小。

可选地，所述修正处理模块14具体用于：以所述第一光场图像和所述第二 光场图像中对应像素的实际灰度值和初始灰度值的加权差值的平方和，构建所 述误差函数。

可选地，该装置还包括：畸变校正模块22。

畸变校正模块22，用于以预设目镜畸变系数，对所述第三光场图像进行校 正。

图6所示装置可以执行图1所示实施例的方法，本实施例未详细描述的部 分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果 参见图1所示实施例中的描述，在此不再赘。

另外，如图7所示，本发明实施例还提供一种电子设备，包括：由等厚透 镜组成的目镜31、多层显示屏32、存储器33和处理器34。如图2b所示，所述 目镜31包括镀有增透膜的第一表面以及镀有半透半反射膜的第二表面，所述第 一表面位于靠近人眼一侧，所述第二表面位于远离人眼一侧。所述存储器33用 于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理 器34执行时实现如前述实施例提供的图像生成方法。

在一种可选实施方式中，本发明实施例提供的电子设备还可以包括通信接 口35，用于所述电子设备与其他设备、或者外部网络之间的通信。

本发明实施例还提供一种存储有计算机程序的计算机可读存储介质，所述 计算机程序使计算机执行时实现本发明实施例提供的图像生成方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的 单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也 可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目 的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限 制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的 本质脱离本发明各实施例技术方案的精神和范围。