基于虚拟现实技术的图像合成方法和头戴式显示设备

摘要

本发明公开了一种基于虚拟现实技术的图像合成方法，通过利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像；根据所述灰度图像，获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型；对所述彩色虚拟前景模型和所述彩色背景进行图像合成。本发明还公开了一种头戴式显示设备。本发明通过将获取的灰度图像转换为真彩色图像，图形处理速度快、图像显示清晰度高。

说明书

技术领域

本发明涉及虚拟现实技术领域，尤其涉及基于虚拟现实技术的图像合成 方法和头戴式显示设备。

背景技术

目前红外热成像技术已在许多领域得到重要的应用，特别是在晚上，在 不暴露自己的基础之上，红外热成像运用光电技术检测物体热辐射的红外线 特定波段信号，将该信号转换成可供人类视觉分辨的红外图像，还可以进一 步计算出温度值。红外图像反映了目标与背景不可见红外辐射的空间分布， 其辐射亮度分布主要由被测景物的温度和发射率决定，因此红外图像近似反 映了景物温度差或辐射差。红外热成像技术让人们超越了视觉障碍，及时发 现目标，但是红外成像系统的成像效果仍然不理想。主要表现为红外热图像 表征景物的温度分布，是灰度图像，没有彩色或阴影(立体感觉)，故对人而 言，分辨率低、分辨潜力差；夜视距离近，图像背景与之被监测目标之间对 比度模糊，被监测目标细节难以辨认，图像特征信息不明确。因此，如何提 高红外热成像显示的清晰度，是一个亟待解决的问题。

发明内容

本发明的主要目的在于提出一种基于虚拟现实技术的图像合成方法和头 戴式显示设备，旨在提高红外热成像显示的清晰度。

为实现上述目的，本发明提供的一种基于虚拟现实技术的图像合成方法， 所述基于虚拟现实技术的图像合成方法包括步骤：

利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的 灰度图像；

根据所述灰度图像，获取与所述灰度图像的视角相一致的彩色背景以及 重构与所述运动目标相对应的彩色虚拟前景模型；

对所述彩色虚拟前景模型和所述彩色背景进行图像合成。

优选地，所述红外热成像仪为双红外3D(3Dimensions，三维)热成像 仪，所述灰度图像为立体灰度图像对，所述利用红外热成像仪在不同的视角 下侦测运动目标以获取所述运动目标的灰度图像的步骤包括：

通过双红外3D热成像仪在不同的视角下侦测所述运动目标以获取所述 运动目标的立体灰度图像对。

优选地，所述彩色背景为立体彩色背景对，所述根据所述灰度图像，获 取与所述灰度图像的视角相一致的彩色背景的步骤包括：

根据所述灰度图像，在预先建立的视频图像映射库中获取与所述立体灰 度图像对的视角相一致的立体彩色背景对。

优选地，所述根据所述灰度图像，在预先建立的视频图像映射库中获取 与所述立体灰度图像对的视角相一致的立体彩色背景对的步骤包括：

通过与瞳距相一致的双彩色摄像机在不同的视角下采集所述立体彩色背 景对；

建立视频图像映射库，在所述视频图像映射库中建立所述立体彩色背景 对的视角映射关系；

根据所述灰度图像，在所述视角映射关系中获取与所述立体灰度图像对 的视角相一致的所述立体彩色背景对。

优选地，所述对所述彩色虚拟前景模型和所述彩色背景进行图像合成的 步骤之后还包括：

通过彩色摄像机的红外灯获取景深，根据获取的所述景深对所述合成的 图像进行左右分屏显示。

此外，为实现上述目的，本发明还提出一种头戴式显示设备，所述头戴 式显示设备包括：

侦测模块，用于利用红外热成像仪在不同的视角下侦测运动目标以获取 所述运动目标的灰度图像；

获取模块，用于根据所述灰度图像，获取与所述灰度图像的视角相一致 的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型；

合成模块，用于对所述彩色虚拟前景模型和所述彩色背景进行图像合成。

优选地，所述侦测模块还用于通过双红外3D热成像仪在不同的视角下侦 测所述运动目标以获取所述运动目标的立体灰度图像对。

优选地，所述获取模块还用于根据所述灰度图像，在预先建立的视频图 像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对。

优选地，所述获取模块包括：

采集单元，用于通过与瞳距相一致的双彩色摄像机在不同的视角下采集 所述立体彩色背景对；

建立单元，用于建立视频图像映射库，在所述视频图像映射库中建立所 述立体彩色背景对的视角映射关系；

获取单元，用于根据所述灰度图像，在所述视角映射关系中获取与所述 立体灰度图像对的视角相一致的所述立体彩色背景对。

优选地，所述头戴式显示设备还包括：

显示模块，用于通过彩色摄像机的红外灯获取景深，根据获取的所述景 深对所述合成的图像进行左右分屏显示。

本发明提出的基于虚拟现实技术的图像合成方法和头戴式显示设备，通 过利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰 度图像；根据所述灰度图像，获取与所述灰度图像的视角相一致的彩色背景 以及重构与所述运动目标相对应的彩色虚拟前景模型；对所述彩色虚拟前景 模型和所述彩色背景进行图像合成。本发明通过将获取的灰度图像转换为真 彩色图像，图形处理速度快、图像显示清晰度高。

附图说明

图1为本发明基于虚拟现实技术的图像合成方法第一实施例的流程示意 图；

图2为本发明基于虚拟现实技术的图像合成方法第二实施例的流程示意 图；

图3为本发明基于虚拟现实技术的图像合成方法第三实施例的流程示意 图；

图4为图3中所述根据所述灰度图像，在预先建立的视频图像映射库中获 取与所述立体灰度图像对的视角相一致的立体彩色背景对的步骤的细化流程 示意图；

图5为本发明基于虚拟现实技术的图像合成方法第四实施例的流程示意 图；

图6为本发明头戴式显示设备第一实施例的功能模块示意图；

图7为图6中所述获取模块的功能模块示意图；

图8为本发明头戴式显示设备第二实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。

如图1所示，本发明第一实施例提出基于虚拟现实技术的图像合成方法， 包括：

步骤S100、利用红外热成像仪在不同的视角下侦测运动目标以获取所述 运动目标的灰度图像。

头戴式显示设备内置红外热成像仪，所述红外热成像仪包括红外探测器 和光学成像物镜，红外热成像仪在不同的视角下侦测运动目标，所述视角包 括位置、高度和朝向。利用红外探测器和光学成像物镜，将接受的所述运动 目标的红外辐射能量分布图形反映到所述红外探测器的光敏元件上，从而获 得所述运动目标的红外热像图，所述红外热图像为灰度图像。

步骤S200、根据所述灰度图像，获取与所述灰度图像的视角相一致的彩 色背景以及重构与所述运动目标相对应的彩色虚拟前景模型。

头戴式显示设备根据获得的所述灰度图像的视角，在预设的视频图像映 射库中搜索到与所述灰度图像的视角相一致的彩色背景；并根据所述灰度图 像，提取所述运动目标，建立与所述运动目标相对应的彩色虚拟前景模型。 例如，根据获取的所述红外热像图，首先获取能自动更新的背景图像，采用 背景减法提取所述运动目标的轮廓，然后运用其轮廓的边界不变矩特征和形 态学特征，构建一个轮廓特征向量的模型，再分析比较所述运动目标轮廓特 征向量与每类标准样本之间的欧氏距离，实现对所述运动目标的识别分类。 再后，根据识别的所述运动目标，构建与所述运动目标交互的彩色虚拟前景 模型，若识别到所述运动目标为人时，则构建与所述人对应的彩色虚拟人。 所述前景是指在主题前面或靠近镜头位置的人物或景物，主要作用有：烘托 主体或直接帮助表达影视作品的主题；增加画面的层次，表现空间深度；均 衡美化画面，使构图增加变化；“框”起主体，具有装饰趣味，有利于影调和色 彩的对比。所述背景是指画面中主体背后的景物，主要作用有：能表现人物 和事件所处的时空环境；使人感受到主体所处的空间的大小；能烘托主体， 使主体的形状及轮廓显著；能造成各种视频画面气氛、情调，帮助解释内容。

步骤S300、对所述彩色虚拟前景模型和所述彩色背景进行图像合成。

头戴式显示设备根据构建的所述彩色虚拟前景模型以及搜索到的所述彩 色背景，对所述彩色虚拟前景模型和所述彩色背景进行图像合成，并将合成 的视频流同时发送给显示屏幕进行左右分屏显示。

本实施例提出的基于虚拟现实技术的图像合成方法，利用红外热成像仪 在不同的视角下侦测运动目标以获取所述运动目标的灰度图像；根据所述灰 度图像，获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动 目标相对应的彩色虚拟前景模型；对所述彩色虚拟前景模型和所述彩色背景 进行图像合成，从而将获取的灰度图像转换为真彩色图像，图形处理速度快、 图像显示清晰度高。

如图2所示，图2为本发明基于虚拟现实技术的图像合成方法第二实施 例的流程示意图，在第一实施例的基础上，所述步骤S100包括：

步骤S100A、通过双红外3D热成像仪在不同的视角下侦测所述运动目标 以获取所述运动目标的立体灰度图像对。

头戴式显示设备通过间距相对固定的双红外3D热成像仪在不同的视角 下侦测所述运动目标，并通过运动目标跟踪算法锁定所述运动目标，从而获 取所述运动目标的立体灰度图像对，以实现图像的三维显示。

本实施例提出的基于虚拟现实技术的图像合成方法，通过双红外3D热成 像仪在不同的视角下侦测所述运动目标以获取所述运动目标的立体灰度图像 对，以实现图像的三维显示，提高图像清晰度和显示效果。

如图3所示，图3为本发明基于虚拟现实技术的图像合成方法第三实施 例的流程示意图，在第二实施例的基础上，所述步骤S200包括：

步骤S200A、根据所述灰度图像，在预先建立的视频图像映射库中获取 与所述立体灰度图像对的视角相一致的立体彩色背景对。

头戴式显示设备根据所述灰度图像，在预先建立的视频图像映射库中获 取与所述立体灰度图像对的视角相一致的立体彩色背景对，所述视频图像映 射库是根据瞳距相一致的双彩色摄像机所采集的立体彩色背景对而建立的， 并在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系，只要 根据所述视角映射关系，就可以获取与所述立体灰度图像对的视角相一致的 所述立体彩色背景对。

本实施例提出的基于虚拟现实技术的图像合成方法，根据所述灰度图像， 在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的 立体彩色背景对，从而将获取的灰度图像转换为彩色图像，提高图像清晰度 和显示效果。

如图4所示，图4为图3中所述步骤S200A的细化流程示意图，包括：

步骤S210、通过与瞳距相一致的双彩色摄像机在不同的视角下采集所述 立体彩色背景对。

头戴式显示设备通过与人眼的瞳距相一致的双彩色摄像机在不同的视角 下采集现实场景中的立体彩色背景对。所述立体彩色背景对为构建的不包含 所述运动目标的立体背景图像对。

步骤S220、建立视频图像映射库，在所述视频图像映射库中建立所述立 体彩色背景对的视角映射关系。

头戴式显示设备建立视频图像映射库，在所述视频图像映射库中建立所 述立体彩色背景对的视角映射关系。其中，所述视角的参数可以根据定位系 统进行获取，例如通过GPS(Global Positioning System，全球定位系统)定位 系统或是RFID(Radio Frequency Identification，射频识别)定位系统获取所 述视角的获取所述视角的位置、高度和朝向等参数。

步骤S230、根据所述灰度图像，在所述视角映射关系中获取与所述立体 灰度图像对的视角相一致的所述立体彩色背景对。

头戴式显示设备根据获取的所述灰度图像，在预设的所述视角映射关系 中搜索与所述立体灰度图像对的视角相一致的所述立体彩色背景对，从而获 取相对应的所述立体彩色背景对。

本实施例提出的基于虚拟现实技术的图像合成方法，通过与瞳距相一致 的双彩色摄像机在不同的视角下采集所述立体彩色背景对；建立视频图像映 射库，在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系； 根据所述灰度图像，在所述视角映射关系中获取与所述立体灰度图像对的视 角相一致的所述立体彩色背景对，以实现图像的三维彩色动态显示，提高图 像清晰度和显示效果。

如图5所示，图5为本发明基于虚拟现实技术的图像合成方法第四实施 例的流程示意图，在第一实施例的基础上，所述步骤S300之后包括：

步骤S400、通过彩色摄像机的红外灯获取景深，根据获取的所述景深对 所述合成的图像进行左右分屏显示。

头戴式显示设备通过彩色摄像机的红外灯获取景深，根据获取的所述景 深对所述合成的图像进行左右分屏显示，其中，所述合成的图像为立体图像 对，包括左右分屏的立体图像，所述立体图像的景深获取方式为：由彩色摄 像机的红外灯通过将自身发出的红外光线发射给所述目标物体，并经由所述 目标物体对所述红外光线进行反射后返回给所述彩色摄像机，通过计算相应 的时间和距离获取。显示屏幕根据获取的所述景深，将左右分屏显示的所述 视频图像分别投射到左右眼的视网膜上，在左右眼的视网膜上清晰成像，并 在人眼的前方生成三维立体图像。

本实施例提出的基于虚拟现实技术的图像合成方法，通过彩色摄像机的 红外灯获取景深，根据获取的所述景深对所述合成的图像进行左右分屏显示， 在人眼的前方生成三维立体图像，提高图像清晰度和显示效果。

如图6所示，本发明进一步提出一种头戴式显示设备，在本实施例中， 所述头戴式显示设备包括：

侦测模块10，用于利用红外热成像仪在不同的视角下侦测运动目标以获 取所述运动目标的灰度图像；

获取模块20，用于根据所述灰度图像，获取与所述灰度图像的视角相一 致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型；

合成模块30，用于对所述彩色虚拟前景模型和所述彩色背景进行图像合 成。

头戴式显示设备的侦测模块10内置红外热成像仪，所述红外热成像仪包 括红外探测器和光学成像物镜，红外热成像仪在不同的视角下侦测运动目标， 所述视角包括位置、高度和朝向。利用红外探测器和光学成像物镜，将接受 的所述运动目标的红外辐射能量分布图形反映到所述红外探测器的光敏元件 上，从而获得所述运动目标的红外热像图，所述红外热图像为灰度图像。

头戴式显示设备的获取模块20根据获得的所述灰度图像的视角，在预设 的视频图像映射库中搜索到与所述灰度图像的视角相一致的彩色背景；并根 据所述灰度图像，提取所述运动目标，建立与所述运动目标相对应的彩色虚 拟前景模型。例如，根据获取的所述红外热像图，首先获取能自动更新的背 景图像，采用背景减法提取所述运动目标的轮廓，然后运用其轮廓的边界不 变矩特征和形态学特征，构建一个轮廓特征向量的模型，再分析比较所述运 动目标轮廓特征向量与每类标准样本之间的欧氏距离，实现对所述运动目标 的识别分类。再后，根据识别的所述运动目标，构建与所述运动目标交互的 彩色虚拟前景模型，若识别到所述运动目标为人时，则构建与所述人对应的 彩色虚拟人。所述前景是指在主题前面或靠近镜头位置的人物或景物，主要 作用有：烘托主体或直接帮助表达影视作品的主题；增加画面的层次，表现 空间深度；均衡美化画面，使构图增加变化；“框”起主体，具有装饰趣味，有 利于影调和色彩的对比。所述背景是指画面中主体背后的景物，主要作用有： 能表现人物和事件所处的时空环境；使人感受到主体所处的空间的大小；能 烘托主体，使主体的形状及轮廓显著；能造成各种视频画面气氛、情调，帮 助解释内容。

头戴式显示设备的合成模块30根据构建的所述彩色虚拟前景模型以及搜 索到的所述彩色背景，对所述彩色虚拟前景模型和所述彩色背景进行图像合 成，并将合成的视频流同时发送给显示屏幕进行左右分屏显示。

本实施例提出的头戴式显示设备，利用红外热成像仪在不同的视角下侦 测运动目标以获取所述运动目标的灰度图像；根据所述灰度图像，获取与所 述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色 虚拟前景模型；对所述彩色虚拟前景模型和所述彩色背景进行图像合成，从 而将获取的灰度图像转换为真彩色图像，图形处理速度快、图像显示清晰度 高。

进一步参见图6，所述侦测模块10还用于通过双红外3D摄相机在不同 的视角下侦测所述运动目标以获取所述运动目标的立体灰度图像对。

头戴式显示设备的侦测模块10通过间距相对固定的双红外3D热成像仪 在不同的视角下侦测所述运动目标，并通过运动目标跟踪算法锁定所述运动 目标，从而获取所述运动目标的立体灰度图像对，以实现图像的三维显示。

本实施例提出的头戴式显示设备，通过双红外3D热成像仪在不同的视角 下侦测所述运动目标以获取所述运动目标的立体灰度图像对，以实现图像的 三维显示，提高图像清晰度和显示效果。

进一步参见图6，所述获取模块20还用于根据所述灰度图像，在预先建 立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色 背景对。

头戴式显示设备的获取模块20根据所述灰度图像，在预先建立的视频图 像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对，所 述视频图像映射库是根据瞳距相一致的双彩色摄像机所采集的立体彩色背景 对而建立的，并在所述视频图像映射库中建立所述立体彩色背景对的视角映 射关系，只要根据所述视角映射关系，就可以获取与所述立体灰度图像对的 视角相一致的所述立体彩色背景对。

本实施例提出的头戴式显示设备，根据所述灰度图像，在预先建立的视 频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景 对，从而将获取的灰度图像转换为彩色图像，提高图像清晰度和显示效果。

如图7所述，图7为图6中所述获取模块的功能模块示意图，所述获取 模块20包括：

采集单元21，用于通过与瞳距相一致的双彩色摄像机在不同的视角下采 集所述立体彩色背景对；

建立单元22，用于建立视频图像映射库，在所述视频图像映射库中建立 所述立体彩色背景对的视角映射关系；

获取单元23，用于根据所述灰度图像，在所述视角映射关系中获取与所 述立体灰度图像对的视角相一致的所述立体彩色背景对。

头戴式显示设备的采集单元21通过与人眼的瞳距相一致的双彩色摄像机 在不同的视角下采集现实场景中的立体彩色背景对。所述立体彩色背景对为 构建的不包含所述运动目标的立体背景图像对。

头戴式显示设备的建立单元22建立视频图像映射库，在所述视频图像映 射库中建立所述立体彩色背景对的视角映射关系。其中，所述视角的参数可 以根据定位系统进行获取，例如通过GPS定位系统或是RFID定位系统获取 所述视角的位置、高度和朝向等参数。

头戴式显示设备的获取单元23根据获取的所述灰度图像，在预设的所述 视角映射关系中搜索与所述立体灰度图像对的视角相一致的所述立体彩色背 景对，从而获取相对应的所述立体彩色背景对。

本实施例提出的头戴式显示设备，通过与瞳距相一致的双彩色摄像机在 不同的视角下采集所述立体彩色背景对；建立视频图像映射库，在所述视频 图像映射库中建立所述立体彩色背景对的视角映射关系；根据所述灰度图像， 在所述视角映射关系中获取与所述立体灰度图像对的视角相一致的所述立体 彩色背景对，以实现图像的三维彩色动态显示，提高图像清晰度和显示效果。

如图8所述，图8为本发明头戴式显示设备第二实施例的功能模块示意 图，在第一实施例的基础上，所述头戴式显示设备还包括：

显示模块40，用于对所述合成的图像经由头戴式显示设备的左右屏幕进 行分屏显示。

头戴式显示设备的显示模块40通过彩色摄像机的红外灯获取景深，根据 获取的所述景深对所述合成的图像进行左右分屏显示，其中，所述合成的图 像为立体图像对，包括左右分屏的立体图像，所述立体图像的景深获取方式 为：由彩色摄像机的红外灯通过将自身发出的红外光线发射给所述目标物体， 并经由所述目标物体对所述红外光线进行反射后返回给所述彩色摄像机，通 过计算相应的时间和距离获取。显示屏幕根据获取的所述景深，将左右分屏 显示的所述视频图像分别投射到左右眼的视网膜上，在左右眼的视网膜上清 晰成像，并在人眼的前方生成三维立体图像。

本实施例提出的头戴式显示设备，通过彩色摄像机的红外灯获取景深， 根据获取的所述景深对所述合成的图像进行左右分屏显示，在人眼的前方生 成三维立体图像，提高图像清晰度和显示效果。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是 利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。