一种基于镂空标识的保结构增强现实标识隐藏方法

摘要

一种基于镂空标识的保结构增强现实标识隐藏方法，包括：从摄像机设备中获取待隐藏标识视频帧；根据标识的二维位置，计算摄像机相对于该标识的三维位置和朝向；将镂空标识的镂空区域掩模投影到标识所在的平面上，从而确定视频画面中的待修复掩模；根据待修复掩模，自动检测与待修复区域相邻的背景结构信息，获得背景结构特征；根据背景结构特征对检测到的背景结构进行修复，得到结构修复图像和结构待修复掩模；根据结构修复图像和结构待修复掩模，利用已有的图像修复算法进行非结构标识的修复隐藏，获得最终的修复效果图像。本发明的镂空标识减少移除标识后需要修复的面积，并且在标识隐藏时能够保持较强的结构性，提高标识隐藏的效率和效果。

说明书

技术领域

本发明涉及一种基于增强现实标识的隐藏方法，特别是一种基于镂空标识的保结构增强现实标识隐藏方法。

背景技术

增强现实是一种由虚拟现实为基础发展起来的新技术，利用计算机系统提供的虚拟信息增强用户对现实世界的视觉感知，同时利用相关计算机技术借助定标的标识把虚拟模型实时渲染到真实场景的视频画面中。为了保证渲染的虚拟模型与真实场景之间的融合一致性，需要利用标识的位置和摄像机定标方法计算摄像机的内外参数。

考虑到制作成本、易用性和稳定性，标识成为了增强现实中最为重要和通用的相机定标辅助工具。用户根据相关的定标图案在纸质上制作标识，并将该标识放置到摄像机拍摄的视频画面中，即可检测到摄像机相对该标识的内外参数。基于镂空标识的相机定标方法不依赖于环境的特征信息，不受场景纹理的限制和部分遮挡的干扰，能够实时、稳定地定标摄像机，已获得了的广泛认同和使用。

目前，增强现实中的镂空标识依然要求将打印的标识整个放置于真实环境中，标识的放置遮挡了部分真实场景，影响了增强现实画面的真实感和美观性，极大地限制了该技术在各领域的应用。为避免标识的出现对增强现实真实感的影响，现在一般有两种方法处理增强现实中的标识问题。一种是利用虚拟模型渲染到标识上，遮盖住标记区域，但这仅适用于虚拟模型在标识体积比较大的情形。另一种方法是在放置标识之前预先采集真实场景背景视频帧，用以修补放置标识后产生的标识遮挡区域。这种方法增加了用户的交互操作，降低了增强现实系统的实用性。

目前，增强现实中标识的隐藏，主要是利用图像修复技术重建图像或视频中损失部分，利用视频中未被标识遮挡的图像内容，来修复被标识遮挡的区域，从而达到隐藏标识的目的。基于块的图像修复方法，根据待修复区域，沿着边界设定待修复区域子块，根据子块的置信度，在已知图像的信息中查找与该子待修复块最佳匹配的子块，进行覆盖修复。然而，传统的模板类和编码类标识在视频画面中的遮挡区域通常比较大，利用最近比较好的图像修复方法进行标识的隐藏时，一般无法保证具有结构背景信息的一致性，导致标识隐藏结果出现修复痕迹和缝隙等失真现象。

发明内容

为避免现有的增强现实标识隐藏方法需要大面积图像修复，且无法保证背景结构的一致性问题，本发明设计了一种基于镂空标识的保结构增强现实标识隐藏方法。该方法充分利用镂空标识遮挡面积小的优势，从标识内部的非遮挡区域中提取背景结构信息，采用先修复结构再修复其他区域的方法隐藏标识。具体步骤如下：

1)、从摄像机设备中获取待隐藏标识视频帧I；

2)、根据标识的二维位置，计算摄像机相对于该标识的三维位置和朝向，即相机参数；

3)、将镂空标识的镂空区域掩模投影到标识所在的平面上，从而确定视频画面中的待修复掩模Ma；

4)、根据待修复掩模Ma，自动检测与待修复区域相邻的背景结构信息，获得背景结构特征S；

5)、根据背景结构特征S对检测到的背景结构进行修复，得到结构修复图像Is和结构待修复掩模Ms；

6)、根据结构修复图像Is和结构待修复掩模Ms，利用已有的图像修复算法进行非结构标识的修复隐藏，获得最终的修复效果图像Ie。

该基于镂空标识的保结构标识隐藏与现有的传统增强现实标识的隐藏比较，其改进在于镂空的标识减少对真实背景环境的遮挡，能够根据镂空信息和标识周围的信息提取被标识遮挡的背景结构信息，在标识隐藏时能够保持背景结构的一致性，从而改善标识隐藏的效果。进一步，所述的步骤(4)中自动检测与待修复区域相邻的背景结构信息主要包括以下步骤：

(4.1)对待修复掩模Ma，利用沿着边界进行小范围像素的扩大，a取3个像素，去除标识成像过程中产生的阴影干扰，得到扩大修复掩模Md；

(4.2)对视频帧图像I，进行双边滤波处理，得到去噪后图像In,其中，颜色参数和空间参数均取10；

(4.3)对去噪图像应用Sobel算子计算梯度，得到梯度图像Ig；

(4.4)根据梯度图像Ig，利用4邻域判断得到待修复区域的边界，再根据公式选出梯度大小局部极大的边界像素作为潜在结构特征点{F_i}；

(4.5)根据颜色张量场方法，利用Sobel梯度构建一个光滑的切向方向场，得到切向场图像If；

(4.6)从潜在结构特征点出发，利用龙格库塔积分法沿着方向场跟踪出一条长度为30的流线，计算这条流线所处位置的梯度大小之和当G_i≥25时，F_i才是真正揭示背景结构的特征点；

(4.7)利用结构特征点匹配法和Hermite曲线的结构重构法计算背景结构曲线，得到背景结构特征S，实线表示背景结构曲线，虚线表示通过曲线拟合得到的相应的待修复路径。

进一步，所述的步骤(5)中的待修复路径中的结构曲线的修复主要包括以下步骤：

(5.1)以a为边长，沿着背景结构曲线采集没有被标识遮挡的纹理小方块，建立纹理块数据源{S_j}；

(5.2)从待修复路径两端出发，将{S_j}中最匹配的纹理块与当前修复子区域T内的已知像素计算argmin_j>j)获得最佳匹配块，再覆盖到待修复区域相应的位置上；

(5.3)将上述待修复区域块标记为已修复区域，返回到步骤(5.1)，对尚未修复的结构线进行修复，直至所有结构线区域得到修复。

进一步，所述的步骤(6)中对非结构区域的修复主要包括以下步骤：

(6.1)根据结构修复之后的图像，沿着待修复区域的边界标定一系列的9*9矩形像素块，同时标定块的序号；

(6.2)根据块的序号顺序，与已知图像中的块进行匹配，匹配程度最高的填充到该区域，标记为已修复区域，重复此步骤，直至所有被标记的序号块被修复；

(6.3)更新待修复区域的边界，返回到步骤(6.1)，对重新标记的边界序号进行修复，直到所有区域的得到修复。

本发明的技术构思是：基于传统标识的增强现实在标识隐藏时，无法保证背景结构的一致性，使得标识隐藏后产生一些结构信息的失真等现象。相对于传统标识，镂空标识的优势在于标识内部若干个背景可见的镂空区域往往能够提供一定的背景结构特征信息。镂空标识的镂空区域对背景结构的检测具有较好的可见性，在标识隐藏时可以保结构的标识隐藏，获得比较好的视觉效果。

本发明的优点在于：镂空的标识减少了对背景环境的遮挡，能减少图像修复的面积，降低标识隐藏的误差；标识镂空区域的可见性能够为背景结构的检测提供更多的特征信息；基于镂空标识的增强现实进行标识隐藏时，能够较好的保持背景的结构信息；基于镂空标识的增强现实相对于传统标识的隐藏，速度更快，效果更好。

附图说明

图1为本发明的流程图

图2为背景结构检测流程图

具体实施方式

参照附图，进一步说明本发明：

一种基于镂空标识的保结构增强现实标识隐藏方法，包括以下步骤：

1)、从摄像机设备中获取待隐藏标识视频帧I；

2)、根据标识的二维位置，计算摄像机相对于该标识的三维位置和朝向，即相机参数；

3)、将镂空标识的镂空区域掩模投影到标识所在的平面上，从而确定视频画面中的待修复掩模Ma；

4)、根据待修复掩模Ma，自动检测与待修复区域相邻的背景结构信息，获得背景结构特征S；

5)、根据背景结构特征S对检测到的背景结构进行修复，得到结构修复图像Is和结构待修复掩模Ms；

6)、根据结构修复图像Is和结构待修复掩模Ms，利用已有的图像修复算法进行非结构标识的修复隐藏，获得最终的修复效果图像Ie。

该基于镂空标识的保结构标识隐藏与现有的传统增强现实标识的隐藏比较，其改进在于镂空的标识减少对真实背景环境的遮挡，能够根据镂空信息和标识周围的信息提取被标识遮挡的背景结构信息，在标识隐藏时能够保持背景结构的一致性，从而改善标识隐藏的效果。进一步，所述的步骤(4)中自动检测与待修复区域相邻的背景结构信息主要包括以下步骤：

(4.1)对待修复掩模Ma，利用沿着边界进行小范围像素的扩大，a取3个像素，去除标识成像过程中产生的阴影干扰，得到扩大修复掩模Md；

(4.2)对视频帧图像I，进行双边滤波处理，得到去噪后图像In,其中，颜色参数和空间参数均取10；

(4.3)对去噪图像应用Sobel算子计算梯度，得到梯度图像Ig；

(4.4)根据梯度图像Ig，利用4邻域判断得到待修复区域的边界，再根据公式选出梯度大小局部极大的边界像素作为潜在结构特征点{F_i}；

(4.5)根据颜色张量场方法，利用Sobel梯度构建一个光滑的切向方向场，得到切向场图像If；

(4.6)从潜在结构特征点出发，利用龙格库塔积分法沿着方向场跟踪出一条长度为30的流线，计算这条流线所处位置的梯度大小之和当G_i≥25时，F_i才是真正揭示背景结构的特征点；

(4.7)利用结构特征点匹配法和Hermite曲线的结构重构法计算背景结构曲线，得到背景结构特征S，实线表示背景结构曲线，虚线表示通过曲线拟合得到的相应的待修复路径。

进一步，所述的步骤(5)中的待修复路径中的结构曲线的修复主要包括以下步骤：

(5.1)以a为边长，沿着背景结构曲线采集没有被标识遮挡的纹理小方块，建立纹理块数据源{S_j}；

(5.2)从待修复路径两端出发，将{S_j}中最匹配的纹理块与当前修复子区域T内的已知像素计算arg>j>j)获得最佳匹配块，再覆盖到待修复区域相应的位置上；

(5.3)将上述待修复区域块标记为已修复区域，返回到步骤(5.1)，对尚未修复的结构线进行修复，直至所有结构线区域得到修复。

进一步，所述的步骤(6)中对非结构区域的修复主要包括以下步骤：

(6.1)根据结构修复之后的图像，沿着待修复区域的边界标定一系列的9*9矩形像素块，同时标定块的序号；

(6.2)根据块的序号顺序，与已知图像中的块进行匹配，匹配程度最高的填充到该区域，标记为已修复区域，重复此步骤，直至所有被标记的序号块被修复；

(6.3)更新待修复区域的边界，返回到步骤(6.1)，对重新标记的边界序号进行修复，直到所有区域的得到修复。

目前，在增强现实领域，基于传统标识的相机定标方法已经日渐成熟，其定标的稳定性和计算效率都得到了学术界和工业界的广泛认可。本发明针对这类方法中标识的放置对增强画面的真实感和美观性的不足，提出了一种基于镂空标识的保结构增强现实标识隐藏方法，为视频中实时的隐藏标识，获得较好的视觉效果提供了技术基础。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。