一种基于视频透视的智能眼镜系统及其透视方法

摘要

本发明涉及一种基于视频透视的智能眼镜系统及其透视方法。所述系统包括智能眼镜和数据处理装置，所述智能眼镜包括摄像模块、图像预处理模块、图像融合模块和显示模块；所述摄像模块用于采集视频图像，并将采集到的视频图像传输至图像预处理模块；所述图像预处理模块用于对视频图像进行预处理后，将低清视频图像和高清视频图像分别传输至数据处理装置及图像融合模块；所述数据处理装置通过算法生成虚拟数字图像；所述图像融合模块用于将虚拟数字图像与高清视频图像进行融合后输出至显示模块进行显示。本发明在最大幅度地减小视频画面延时的同时提高成像质量，使视频透视的眩晕感大大降低，提高佩戴者的舒适感。

说明书

技术领域

本发明涉及智能眼镜技术领域，尤其涉及一种基于视频透视的智能眼镜系统及其透视方法。

背景技术

增强现实(Augmented Reality,简称AR)是一种实时摄影机影像的位置及角度并加上相应图像的技术，基于AR技术的智能眼镜通过在近眼屏幕上把数字内容叠加在现实世界并进行互动。AR智能眼镜不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。AR技术不仅在与虚拟现实(Virtual Reality,简称VR)技术相类似的应用领域具有广泛的应用，诸如飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。随着随身电子产品运算能力的提升，预期增强现实的用途将会越来越广。

目前AR智能眼镜有两种类型：光学透视型和视频透视型。光学透视型智能眼镜通过分光棱镜实现半透明显示效果，使佩戴者在看到现实世界的同时可以同时看到数字画面。视频透视型眼镜通过视频合成技术，将相机采集到的现实画面和计算机生成的数字画面融合在一起，它能实现比光学透视更大的视角范围。基于视频透视的智能眼镜系统通过放置在眼镜前的 双目摄像头捕捉现实画面，眼镜需要在高清屏幕中无延时，无畸变地实时呈现。在进行虚拟画面叠加之前，首先要保证佩戴者通过眼镜感知到景物的位置、大小以及延时等信息与裸眼直接感知的外界景物信息基本一致。基于此，本发明提出一种基于视频透视的智能眼镜系统，从而最大幅度地减小视频画面的延时，提高用户的观看体验度。

发明内容

本发明提供了一种基于视频透视的智能眼镜系统及其透视方法，旨在解决现有AR智能眼镜存在的视频画面延时的技术问题。

为了解决以上提出的问题，本发明采用的技术方案为：一种基于视频透视的智能眼镜系统，包括智能眼镜和数据处理装置，所述智能眼镜与数据处理装置连接，所述智能眼镜包括摄像模块、图像预处理模块、图像融合模块和显示模块；所述摄像模块用于采集视频图像，并将采集到的视频图像传输至图像预处理模块；所述图像预处理模块用于对视频图像进行预处理后，将低清视频图像和高清视频图像分别传输至数据处理装置及图像融合模块；所述数据处理装置用于通过算法生成虚拟数字图像，并将虚拟数字图像传输至图像融合模块；所述图像融合模块用于将虚拟数字图像与高清视频图像进行融合后输出至显示模块进行显示。

本发明实施例采取的技术方案还包括：还包括姿态传感模块，所述姿态传感模块设于智能眼镜上，并与数据处理装置连接，用于采集智能眼镜佩戴者的姿态信息，并将姿态信息传输至数据处理装置。

本发明实施例采取的技术方案还包括：还包括光学器件，所述光学器件设于显示模块靠近人眼的一侧，用于帮助人眼对显示模块的显示图像进行对焦。

本发明实施例采取的技术方案还包括：所述摄像模块为双目摄像头，所述双目摄像头分别设置于智能眼镜的左右镜片上，所述双目摄像头的前 端还安装有广角镜头。

本发明实施例采取的技术方案还包括：所述图像预处理模块包括预处理单元、畸变矫正单元、立体校正单元、深度计算单元和图像拼接单元；

所述预处理单元用于对摄像模块传输的视频图像进行处理加工，并通过加工结果得到摄像模块的配置参数；

所述畸变矫正单元用于通过配置参数对摄像模块畸变进行修复；

所述立体校正单元用于通过配置参数将双目摄像头的画面拉回一个平面，并使双目摄像头同行对齐；

所述深度计算单元用于使用局部匹配算法计算最优双目匹配结果，并通过视差计算出深度视频图像；

所述图像拼接单元用于将未经缩放的高清视频图像进行拼接后输出到图像融合模块，并将经过缩放的低清视频图像、深度视频图像和辅助图像进行拼接后输出到数据处理装置。

本发明实施例采取的技术方案还包括：所述数据处理装置包括图像拆分单元、场景分析单元、地图构建单元、地图更新单元、姿态分析单元、模型渲染单元和图像叠加单元；

所述图像拆分单元用于将拼接好的视频图像进行拆分；

所述场景分析单元用于对观测场景进行分析；

所述地图构建单元用于构造地图，实现自主定位；

所述地图更新单元用于储存位置环境的地图信息，并在构造的地图上建造增量式地图；

所述姿态分析单元用于通过视觉算法与姿态传感模块融合，分析佩戴者的视角姿态；

所述模型渲染单元用于通过视角姿态渲染数字模型；

所述图像叠加单元用于将视角姿态及渲染的数字模型叠加到视频图像上，生成带位姿信息的虚拟数字图像，并将虚拟数字图像输出至图像融合模块。

本发明实施例采取的技术方案还包括：所述图像融合模块还包括扩展单元、同步单元和融合单元；

所述扩展单元用于通过差值计算将虚拟数字图像进行扩展，使虚拟数字图像与高清视频图像的分辨率和帧率一致；

所述同步单元用于通过高清视频图像的同步信号使虚拟数字图像与高清视频图像的两路视频每帧对齐，并分析出融合时将要被虚拟数字图像覆盖的高清视频图像部分；

所述融合单元用于根据同步单元的分析结果将虚拟数字图像叠加到高清视频图像的对应帧中，使虚拟数字图像和高清视频图像进行融合，并将融合后的视频图像输出至显示模块进行显示。

本发明实施例采取的另一技术方案为：一种基于视频透视的智能眼镜透视方法，包括以下步骤：

步骤100：通过摄像模块采集视频图像，并将采集到的视频图像传输至图像预处理模块；

步骤200：通过图像预处理模块对视频图像进行预处理，并将低清视频图像和高清视频图像分别传输至数据处理装置及图像融合模块；

步骤300：数据处理装置通过算法生成虚拟数字图像，并将虚拟数字图像传输至图像融合模块；

步骤400：通过图像融合模块将虚拟数字图像与高清视频图像进行融合 后输出至显示模块进行显示。

本发明实施例采取的技术方案还包括：在步骤200中，所述图像预处理模块对视频图像进行预处理的处理方式具体为：对摄像模块传输的视频图像进行处理加工，并通过加工结果得到摄像模块的配置参数；通过配置参数对摄像模块畸变进行修复，并将双目摄像头的画面拉回一个平面，使双目摄像头同行对齐；使用局部匹配算法计算与最优双目匹配结果，通过视差计算出深度视频图像；将未经缩放的高清视频图像进行拼接后直接输出到图像融合模块中，并将经过缩放的低清视频图像、深度视频图像和辅助图像进行拼接后输出到数据处理装置中。

本发明实施例采取的技术方案还包括：所述步骤300还包括：通过姿态传感模块获取佩戴者的姿态信息，并将姿态信息传输至数据处理装置；所述数据处理装置生成虚拟数字图像的方式包括：将拼接好的视频图像进行拆分；对观测场景进行分析；构造地图，实现自主定位；储存位置环境的地图信息，在既有地图上建造增量式地图；通过视觉算法与姿态传感模块融合，分析佩戴者的视角姿态；通过视角姿态渲染数字模型；将视角姿态及渲染的数字模型叠加到视频图像上，生成带位姿信息的虚拟数字图像。

与现有技术相比，本发明的有益效果在于：本发明实施例的基于视频透视的智能眼镜系统及其透视方法通过将高清视频图像直接从图像预处理模块发送到图像融合模块中，并将低分辨率低帧率的低清视频图像输出至数据处理装置进行增强现实处理，有轻微延时的虚拟数字图像再通过图像融合模块融合到高清视频图像中，从而减少数据处理装置增强现实算法的计算量，在最大幅度地减小视频画面延时的同时提高成像质量，使视频透视的眩晕感大大降低，提高佩戴者的舒适感。

附图说明

图1为本发明实施例的基于视频透视的智能眼镜系统的结构示意图；

图2是本发明实施例的基于视频透视的智能眼镜系统的电路图；

图3是本发明实施例的图像预处理模块图像处理示意图；

图4是本发明实施例的图像拼接单元拼接图像示意图；

图5是本发明实施例的数据处理装置图像处理示意图；

图6是本发明实施例的基于视频透视的智能眼镜透视方法的流程图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

请参阅图1和图2，图1是本发明实施例的基于视频透视的智能眼镜系统的结构示意图，图2是本发明实施例的基于视频透视的智能眼镜系统的电路图。本发明实施例的基于视频透视的智能眼镜系统包括智能眼镜和数据处理装置，智能眼镜包括摄像模块、图像预处理模块、姿态传感模块、图像融合模块、显示模块和光学组件；其中，摄像模块与图像预处理模块连接，用于实时采集视频图像，并将采集到的视频图像传输至图像预处理模块；图像预处理模块分别与图像融合模块及数据处理装置连接，用于接收摄像模块传输的视频图像，并通过芯片化算法对视频图像进行预处理后，将LD(低清)视频图像和HD(高清)视频图像分别传输至数据处理装置 及图像融合模块；姿态传感模块设于智能眼镜上，并与数据处理装置连接，用于采集智能眼镜佩戴者的姿态信息，并将姿态信息传输至数据处理装置；数据处理装置与图像融合模块连接，用于接收图像预处理模块传输的LD视频图像和姿态传感模块传输的姿态信息，通过相关算法将数字内容和姿态信息叠加至LD视频图像中，生成带位姿信息的虚拟数字图像，并将虚拟数字图像传输至图像融合模块；其中，位姿信息明确了虚拟数字图像和高清视频图像的坐标关系。图像融合模块与显示模块连接，用于分别接收图像预处理模块传输的HD视频图像(基本无延时)以及数据处理装置传输的虚拟数字图像(有少许延时)，并将虚拟数字图像与HD视频图像进行融合后输出至显示模块进行显示；光学器件设于显示模块靠近人眼的一侧，用于帮助人眼对显示模块的显示图像进行对焦。

在本发明实施例中，摄像模块为双目摄像头，双目摄像头分别设置于智能眼镜的左右镜片上，且双目摄像头之间的距离可根据佩戴者的瞳距进行调节；双目摄像头的前端还安装有广角镜头(图未示)，用于采集较大场景的外界景物；显示模块为智能眼镜显示屏，光学组件由消色差透镜组构成，目的是帮助人眼对近眼屏幕内容进行对焦，在极大提升成像质量的同时，不需要在软件上进行颜色修正。

在本发明实施例中，图像预处理模块以FPGA((Field－Programmable Gate Array，现场可编程门阵列，)为主要运算器件，通过芯片化算法处理摄像模块采集的视频图像，并可通过相关算法对摄像模块的参数进行配置；具体请一并参阅图3，是本发明实施例的图像预处理模块图像处理示意图。图像预处理模块还包括预处理单元、畸变矫正单元、立体校正单元、深度计算单元和图像拼接单元,预处理单元、畸变矫正单元、立体校正单元、深 度计算单元和图像拼接单元依次连接；

预处理单元用于对摄像模块传输的视频图像进行处理加工，并通过加工结果得到摄像模块的配置参数；所述摄像模块的配置参数具体包括：色彩过滤排列、白平衡调节、自动曝光、自动对焦、高动态范围图像生成和映射。

畸变矫正单元用于通过标定得到的配置参数对摄像模块畸变进行消除；

立体校正单元用于通过标定得到的配置参数将双目摄像头的画面拉回一个平面，并使双目摄像头同行对齐；

深度计算单元用于使用局部匹配算法计算与所在行的最优双目匹配结果，从而通过视差计算出深度视频图像；深度视频图像也可以通过添加深度相机直接获得，所得深度视频图像需通过校正使其与原始视频图像对齐。

图像拼接单元用于将未经缩放的高清视频图像进行拼接后直接输出到图像融合模块中，并将经过缩放的低清视频图像、深度视频图像和其他辅助图像进行拼接后输出到数据处理装置中；其中，低清视频图像来自于高清视频图像的下采样。具体如图4所示，是本发明实施例的图像拼接单元拼接图像示意图。

在本发明实施例中，数据处理装置以CPU(Central Processing Unit，中央处理器)或GPU(Graphic Processing Unit，图形处理器)等作为运算器件，通过软件算法实现增强现实的各类应用。具体请一并参阅图5，是本发明实施例的数据处理装置图像处理示意图。数据处理装置还包括图像拆分单元、场景分析单元、地图构建单元、地图更新单元、姿态分析单元、模型渲染单元和图像叠加单元，图像拆分单元、场景分析单元、地图构建单元、地图更新单元、姿态分析单元、模型渲染单元和图像叠加单元依次连 接；

图像拆分单元用于将拼接好的视频图像进行拆分；

场景分析单元用于在佩戴者移动过程中，通过图像识别算法或位置估计算法对观测场景进行分析；

地图构建单元用于在自身定位的基础上构造地图，实现自主定位；

地图更新单元用于储存位置环境的地图信息，并在既有地图上建造增量式地图；

姿态分析单元用于通过视觉算法与姿态传感模块融合，分析佩戴者的视角姿态；

模型渲染单元用于通过所获视角姿态渲染相应的数字模型；

图像叠加单元用于将视角姿态及渲染的数字模型叠加到视频图像与环境相对应的位置上，生成带位姿信息的虚拟数字图像，并将虚拟数字图像输出至图像融合模块。

图像融合模块还包括扩展单元、同步单元和融合单元，扩展单元、同步单元和融合单元依次连接；

扩展单元用于通过差值计算将低分辨率低帧率的虚拟数字图像进行扩展，使虚拟数字图像与高清视频图像的分辨率和帧率一致；

同步单元用于通过高清视频图像的同步信号使虚拟数字图像与高清视频图像的两路视频每帧对齐，并分析出融合时将要被虚拟数字图像覆盖的高清视频图像部分；

融合单元用于根据同步单元的分析结果将虚拟数字图像叠加到高清视频图像的对应帧中，使虚拟数字图像和高清视频图像进行融合，并将融合后的视频图像输出至显示模块进行显示。

增强现实智能眼镜因为视频画面延时的原因，会产生较强的眩晕感，使佩戴者感到不适。在本发明实施例中，为了保证现实视频画面的最小延时，通过将高清视频图像直接从图像预处理模块发送到图像融合模块中，并将低分辨率低帧率的低清视频图像输出至数据处理装置进行增强现实处理，有轻微延时的虚拟数字图像再通过图像融合模块融合到高清视频图像中，从而减少数据处理装置增强现实算法的计算量。虽然因为高清视频图像比虚拟数字图像的提早更新会造成叠加画面轻微浮动，但双路(高清视频图像和虚拟数字图像)分离的方案可以使视频透视的眩晕感大大降低。

请参阅图6，是本发明实施例的基于视频透视的智能眼镜透视方法的流程图。本发明实施例的基于视频透视的智能眼镜透视方法包括以下步骤：

步骤100：佩戴智能眼镜，通过智能眼镜的摄像模块实时采集视频图像，并将采集到的视频图像传输至图像预处理模块；

在步骤100中，摄像模块为双目摄像头，双目摄像头分别设置于智能眼镜的左右镜片上，且双目摄像头之间的距离可根据佩戴者的瞳距进行调节；双目摄像头的前端还安装有广角镜头，用于采集较大场景的外界景物。

步骤200：通过图像预处理模块接收摄像模块传输的视频图像，并通过芯片化算法对视频图像进行预处理后，将LD视频图像和HD视频图像分别传输至数据处理装置及图像融合模块；

在步骤200中，图像预处理模块以FPGA为主要运算器件，通过芯片化算法处理摄像模块采集的视频图像，并可通过相关算法对摄像模块的参数进行配置。所述图像预处理模块对视频图像进行预处理的处理方式具体为：对摄像模块传输的视频图像进行处理加工，并通过加工结果得到摄像模块的配置参数；通过标定得到的配置参数对摄像模块畸变进行消除；通过标定得到的配置参数将双目摄像头的画面拉回一个平面，并使双目摄像 头同行对齐；使用局部匹配算法计算与所在行的最优双目匹配结果，从而通过视差计算出深度视频图像；将未经缩放的高清视频图像进行拼接后直接输出到图像融合模块中，并将经过缩放的低清视频图像、深度视频图像和其他辅助图像进行拼接后输出到数据处理装置中；其中，低清视频图像来自于高清视频图像的下采样。所述摄像模块的配置参数具体包括：色彩过滤排列、白平衡调节、自动曝光、自动对焦、高动态范围图像生成和映射。

步骤300：通过数据处理装置接收图像预处理模块传输的LD视频图像，通过相关算法将数字内容和姿态信息叠加至LD视频图像中，生成带位姿信息的虚拟数字图像，并将虚拟数字图像传输至图像融合模块；

在步骤300中，智能眼镜上还设有姿态传感模块，通过姿态传感模块获取佩戴者的姿态信息，并将姿态信息传输至数据处理装置。数据处理装置以CPU或GPU等作为运算器件，通过软件算法实现增强现实的各类应用。所述数据处理装置生成虚拟数字图像的具体方式包括：将拼接好的视频图像进行拆分；在佩戴者移动过程中，通过图像识别算法或位置估计算法对观测场景进行分析；在自身定位的基础上构造地图，实现自主定位；储存位置环境的地图信息，并在既有地图上建造增量式地图；通过视觉算法与姿态传感模块融合，分析佩戴者的视角姿态；通过所获视角姿态渲染相应的数字模型；将视角姿态及渲染的数字模型叠加到视频图像与环境相对应的位置上，生成带位姿信息的虚拟数字图像。

步骤400：通过图像融合模块分别接收图像预处理模块传输的HD视频图像以及数据处理装置传输的虚拟数字图像，并将虚拟数字图像与HD视频图像进行融合后输出至显示模块；

在步骤400中，图像融合模块将虚拟数字图像与HD视频图像进行融合的方式具体为：通过差值计算将低分辨率低帧率的虚拟数字图像进行扩展，使虚拟数字图像与高清视频图像的分辨率和帧率一致；通过高清视频图像的同步信号使虚拟数字图像与高清视频图像的两路视频每帧对齐，并分析出融合时将要被虚拟数字图像覆盖的高清视频图像部分；根据分析结果将虚拟数字图像叠加到高清视频图像的对应帧中，使虚拟数字图像和高清视频图像进行融合。

步骤500：通过显示模块显示视频图像，并通过光学组件对显示图像进行对焦。

本发明实施例的基于视频透视的智能眼镜系统及其透视方法通过将高清视频图像直接从图像预处理模块发送到图像融合模块中，并将低分辨率低帧率的低清视频图像输出至数据处理装置进行增强现实处理，有轻微延时的虚拟数字图像再通过图像融合模块融合到高清视频图像中，从而减少数据处理装置增强现实算法的计算量，在最大幅度地减小视频画面延时的同时提高成像质量，使视频透视的眩晕感大大降低，提高佩戴者的舒适感。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。