一种消除底部图像遮挡的720°全景相机

摘要

本发明涉及一种消除底部图像遮挡的720°全景相机，包括侧方及顶部成像装置、底部成像装置和数据处理装置，其中侧方及顶部成像装置包括多个朝向侧方的侧面相机和朝向顶部的鱼眼相机，底部成像装置包括朝向底部的鱼眼相机，使用侧面相机和鱼眼相机按照本发明中的拍摄步骤进行拍摄，得到成像所需的侧面图像、顶部图像和底部图像，再根据本发明中的图像拼接方法消除底部图像中的遮挡并进行图像拼接，最终得到无遮挡的720°全景图像。本发明能够拍摄出没有底部遮挡的720°全景图像，并且成本低，实用性好，适于多种应用场景的需求。

说明书

技术领域

本发明涉及全景相机技术领域，尤其涉及一种消除底部图像遮挡的720°全景相机。

背景技术

虚拟现实是一种能让使用者拥有沉浸式体验的技术，通过该技术，用户能在虚拟的场景中有现实般的体验。近年来，虚拟现实技术快速发展，得到了广泛的应用。在教育、宣传展示、广告、影视娱乐等领域，虚拟现实技术都得到了很好的应用，展示了其优点和巨大的应用潜力。

全景相机是实现虚拟现实的重要工具之一。全景相机是能拍摄大角度广视场图像的图像采集设备。目前，已有很多厂商推出了全景相机设备。为了提升成像质量并满足虚拟现实成像的需求，目前常采用4、6、8、12、16等更多相机拼接的全景相机方案。

2015年，GoPro推出一个由16个相机组成的3D全景拍摄设备，可以将所有镜头合成为分辨率为8K，30帧/秒的3D全景视频。该款相机由Google与运动相机制造商GoPro联合推出。由于相机拍摄结果是有深度信息的三维立体图像，使用VR头盔观看合成后的3D全景视频时，就像在真实的物理世界。但由于镜头视场角限制，该设备无法拍摄到正头顶和正底部场景图像。

720°全景相机是指能够拍摄侧面360°和上下360°全视角图像的全景相机，其有拍摄视角大的优点，但支架等遮挡物对其底部图像的遮挡一直是720°全景相机的一个难以解决的问题。该问题导致了采集到的全景图像有遮挡，不完整。而有些应用场景如记录案发现场等对图像完整性要求高，有些用户希望得到更极致的宣传效果或娱乐体验。因此，消除底部图像中的遮挡，获得完整的全景图像对全景相机有很大的意义。

发明内容

本发明的目的在于，针对720°全景相机底部图像被支架等遮挡物遮挡的问题，提出了一种消除底部图像遮挡的720°全景相机，该相机能够采集侧面及顶部的图像，并通过两次采集到的底部图像消除底部图像中的遮挡，生成无遮挡的720°全景图像。

为实现上述目的，本发明采用的技术方案如下：

一种消除底部图像遮挡的720°全景相机，包括侧方及顶部成像装置、底部成像装置和数据处理装置；

所述侧方及顶部成像装置包括多个朝向侧方的侧面相机、一个朝向顶部的第一鱼眼相机和第一支架，所述第一支架的顶部固定有一个圆盘，多个所述侧面相机沿所述圆盘的圆周等间距安装，所述第一鱼眼相机固定安装在所述圆盘的中心；

所述底部成像装置包括一个朝向底部的第二鱼眼相机和第二支架，所述第二鱼眼相机通过悬臂从所述第二支架的顶部中心向侧方伸出；

所述数据处理装置包括数据传输线、磁盘阵列和计算机，所述侧面相机、所述第一鱼眼相机和所述第二鱼眼相机通过所述数据传输线与所述计算机连接，所述磁盘阵列用于存储图像数据；

所述侧方及顶部成像装置和所述底部成像装置按照以下拍摄步骤进行拍摄：

步骤一：放置所述侧方及顶部成像装置至预设位置，每个所述侧面相机和所述第一鱼眼相机进行拍摄，得到多张侧面图像和一张顶部图像；

步骤二：撤走所述侧方及顶部成像装置，放置所述底部成像装置至预设位置，并使所述第二鱼眼相机的中心位置与所述第一鱼眼相机的中心位置相同，所述第二鱼眼相机进行拍摄，得到第一底部图像；

步骤三：保持所述第二鱼眼相机的位置不变，调整所述第二支架的位置至相反的另一侧，再进行一次拍摄，得到第二底部图像；

所述侧面相机和所述第一鱼眼相机分别将拍摄得到的所述侧面图像和所述顶部图像发送至所述计算机，所述第二鱼眼相机将拍摄得到的所述第一底部图像和所述第二底部图像发送至所述计算机，所述计算机按照图像拼接方法对所述侧面图像、所述顶部图像、所述第一底部图像和所述第二底部图像进行拼接，得到无遮挡的720°全景图像，所述图像拼接方法包括以下步骤：

步骤一：对所述侧面相机、所述第一鱼眼相机和所述第二鱼眼相机分别进行颜色校正；

步骤二：对所述侧方图像、所述顶部图像和所述底部图像进行图像预处理；

步骤三：对预处理后相邻的侧方图像进行图像匹配；

步骤四：利用光流法插值虚拟视角，生成侧面全景图像；

步骤五：对预处理后的底部图像进行均色处理；

步骤六：利用均色处理后的两张底部图像消除遮挡，生成没有遮挡的底部图像；

步骤七：展开没有遮挡的底部图像和预处理后的顶部图像，并将展开后的图像与所述侧面全景图像进行拼接，生成无遮挡的720°全景图像。

与现有技术相比，本发明具有以下有益效果：

本发明所提出的一种消除底部图像遮挡的720°全景相机包括侧方及顶部成像装置、底部成像装置和数据处理装置，其中侧方及顶部成像装置包括多个朝向侧方的侧面相机和朝向顶部的鱼眼相机，底部成像装置包括朝向底部的鱼眼相机，使用侧面相机和鱼眼相机按照本发明中的拍摄步骤进行拍摄，得到成像所需的侧面图像、顶部图像和底部图像，再根据本发明中的图像拼接方法消除底部图像中的遮挡并进行图像拼接，最终得到无遮挡的720°全景图像。本发明能够拍摄出没有底部遮挡的720°全景图像，并且成本低，实用性好，适于多种应用场景的需求。

附图说明

图1为本发明实施例中侧方及顶部成像装置的结构示意图；

图2为本发明实施例中底部成像装置的结构示意图；

图3为本发明实施例中侧方及顶部成像装置和底部成像装置的拍摄步骤流程图；

图4为本发明实施例中图像拼接方法的流程图；

图中：1、侧面相机；2、第一鱼眼相机；3、第一支架；4、圆盘；5、第二鱼眼相机；6、第二支架；7、悬臂。

具体实施方式

本发明提供了一种消除底部图像遮挡的720°全景相机。为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步详细说明。应当理解，本处所述的具体实施例仅用于解释本发明，并不用于限定本发明。

在其中一个实施例中，本发明提供一种消除底部图像遮挡的720°全景相机，其包括侧方及顶部成像装置、底部成像装置和数据处理装置，各个装置的具体结构如下：

如图1所示，侧方及顶部成像装置包括多个朝向侧方的侧面相机1、一个朝向顶部的第一鱼眼相机2和第一支架3，其中侧面相机1的数量可以根据实际需要进行设计，例如，侧面相机1的数量为10个；第一支架3的顶部固定有一个圆盘4，多个侧面相机1沿圆盘4的圆周等间距安装，第一鱼眼相机2朝向顶部固定安装在圆盘4的中心。

如图2所示，底部成像装置包括一个第二鱼眼相机5和第二支架6，第二鱼眼相机5通过悬臂7从第二支架6的顶部中心向侧方伸出，悬臂7与第二支架6之间可以相对转动，第二鱼眼相机5朝向底部。

数据处理装置为720°全景相机的数据处理部分，由数据传输线、磁盘阵列、计算机等组成，能够传输、存储和处理图像，侧面相机1、第一鱼眼相机2和第二鱼眼相机5通过数据传输线将图像传输至计算机。

可选地，本实施例中的相机类型为point grey工业相机，侧面相机1的视场角为100°，鱼眼相机的视场角为180°，第一支架3和第二支架6为三脚支架，圆盘4的材质为金属。

侧方及顶部成像装置和底部成像装置按照以下拍摄步骤进行拍摄，如图3所示：

步骤一(S10)：放置侧方及顶部成像装置至预设位置，每个侧面相机1和第一鱼眼相机2进行一次拍摄，得到多张侧面图像和一张顶部图像；

步骤二(S20)：撤走侧方及顶部成像装置，放置底部成像装置至原来的预设位置处，并使第二鱼眼相机5的中心位置与第一鱼眼相机2的中心位置相同，第二鱼眼相机5进行一次拍摄，得到第一底部图像；

步骤三(S30)：保持第二鱼眼相机5的位置不变，调整第二支架6的位置至与之前位置相反的另一侧，第二鱼眼相机5再进行一次拍摄，得到第二底部图像。

侧面相机1和第一鱼眼相机2分别将拍摄得到的侧面图像和顶部图像发送至计算机，第二鱼眼相机5将两次拍摄得到的第一底部图像和第二底部图像发送至计算机，计算机按照图像拼接方法对侧面图像、顶部图像、第一底部图像和第二底部图像进行拼接，从而得到无遮挡的720°全景图像，其中计算机采用的图像拼接方法包括以下步骤，如图4所示：

步骤一(S100)：对侧面相机1、第一鱼眼相机2和第二鱼眼相机5分别进行颜色校正。

可选地，本实施例颜色校正所用的具体方法为基于映射的颜色校正方法，该颜色校正方法简单，成本低且效果较好。该方法使用设备中的相机拍摄标准色彩板，选取函数将拍摄得到的颜色值RGB分量拟合到标准色彩空间中。常见的基于映射的颜色校正方法有一次多项式回归法、二次多项式回归法和BP神经网络拟合法等。本实施例采用的是二次多项式回归法，映射公式如下：

式中，R、G、B为采集到的颜色分量，R'、G'、B'为标准颜色空间中的颜色分量，其余均为映射系数。用相机拍摄二十四色标准色彩板，将其映射到标准的颜色空间中，用最小二乘法拟合，即可得到映射系数。所有的采集图像都可以通过上式进行颜色还原，在一定精度上将颜色和亮度回归到标准颜色空间。

步骤二(S200)：对侧方图像、顶部图像和底部图像进行图像预处理。

可选地，本实施例中的图像预处理方法为图像平滑处理和图像锐化处理，通过对图像进行图像平滑处理和图像锐化处理，有利于图像特征点的提取。

步骤三(S300)：对预处理后相邻的侧方图像进行图像匹配。

可选地，步骤三具体包括以下步骤：

步骤三一：提取预处理后相邻的侧方图像的BRISK特征点；

步骤三二：用KNN算法匹配特征点对；

步骤三三：用随机样本一致算法剔除误匹配点并得到变形矩阵。

步骤四(S400)：利用光流法插值虚拟视角，生成侧面全景图像。

可选地，步骤四具体包括以下步骤：

步骤四一：选取区块匹配函数；

步骤四二：利用选取的区块匹配函数匹配相似区块，由此估计光流场；

步骤四三：利用步骤四二得到的光流场插值虚拟视角，生成侧面全景图像。

本实施例所述光流法插值虚拟视角的具体过程为：

对于在一张图像上图像块，在另一张图像的一定范围的搜索框内以滑窗的方式寻找相匹配的图像块。实现这个过程需要定义一个损失函数以估计两个图像块之间的匹配程度，以损失最小的图像块作为相匹配的图形块。本实施例找到相匹配的图像块后，以两个图像块之间的位移作为该点的光流矢量。计算出图像中所有光流矢量即可得到图像的光流场。

由于光流法的基本假设是小位移，为了解决较大位移问题，需要使用多尺寸金字塔结构。该方法对原图多次下采样，得到尺寸更小的图像。在原图中较大的位移在多尺寸金字塔的上层变为小位移。通过多尺寸金字塔结构，在上一层算得光流后，乘以系数，在下一层调整。用这种方法精确估计光流。

本实施例的全景相机能够利用光流法得到侧面的双目立体视觉全景图像，其能产生立体的视觉效果。生成双目立体视觉全景图像，需要得到每个视角下的场景图像。但是只拍摄了多个真实视角的图像，并未拍摄每一个视角的图像，因此，须在每个角度插值出一个该视角的像素列。因此本实施例提出了一种有多个(例如10个)侧面相机的全景相机，多个侧面相机在固定圆盘上均匀分布，保证每个视角都有左右两台相机覆盖。计算从左右两个不同视角拍摄图像的重合区域的光流场。通过该光流场对每个视角插值。假设像素运动与视角变化为线性关系，对视角β插值所用光流可用公式计算：

其中，y'表示对视角β插值所用光流，y表示覆盖视角β的两张相邻图像间的光流，α

步骤五(S500)：对预处理后的底部图像进行均色处理。

可选地，本实施例利用Wallis匀色算法对预处理后的底部图像进行均色处理，Wallis匀色算法可以较好改善可能出现的因拍摄时间不同而产生的底部图像亮度和色调与其它图像不一致的情况。它通过将待处理影像的均值和标准偏差映射到参考影像的均值和标准偏差，实现不同影像间的色彩均衡。Wallis变换公式如下：

式中，g(x,y)为待处理影像的灰度值，f(x,y)为处理后的结果影像的灰度值，m

步骤六(S600)：利用均色处理后的两张底部图像消除遮挡，生成没有遮挡的底部图像。

可选地，步骤六具体包括以下步骤：

步骤六一：均色处理后的两张底部图像中的遮挡区域在相反的两侧，因此本步骤利用合适的掩模删去均色处理后的两张底部图像的遮挡区域；

步骤六二：再对删去遮挡区域的两张底部图像进行图像匹配；

步骤六三：最后，在匹配后的其中一张底部图像中提取另一张底部图像所删去的区域，并将提取的区域与另一张底部图像拼接，从而生成没有遮挡的底部图像。

步骤七(S700)：展开没有遮挡的底部图像和预处理后的顶部图像，并将展开后的图像与侧面全景图像进行拼接，生成无遮挡的720°全景图像。

可选地，步骤七具体包括以下步骤：

步骤七一：将展开的没有遮挡的底部图像、展开的预处理后的顶部图像以及侧面全景图像进行图像匹配；

步骤七二：利用光流法对匹配后的图像的重叠区域变形；

步骤七三：利用渐入渐出融合法进行图像融合，得到无遮挡的720°全景图像。利用渐入渐出融合法进行图像融合时，在重合区域的灰度值为两幅图像的灰度值按一定权重叠加，且权重逐渐变化。使用渐入渐出融合法拼接的图像过渡更流畅，视觉效果更好。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。