基于深度图像遮挡信息的静态视觉目标遮挡规避方法

摘要

本发明公开了一种基于深度图像遮挡信息的静态视觉目标遮挡规避方法，首先从初始观测方位获取视觉目标的一幅深度图像，并根据遮挡检测算法获取深度图像的遮挡相关信息；从三角网格模型中的三角小剖面入手，利用三角小剖面组成的子区域的法向量来确定候选观测方向集合，再利用这些候选观测方向和各三角小剖面法向量的夹角信息确定出每个候选观测方向的可视空间，进而计算出下一最佳观测方位，从而达到遮挡规避的目的。本发明根据遮挡信息对遮挡区域建立数学模型，无需获取视觉目标的先验知识；对视觉目标的形状无特殊要求，适用于不同型面的视觉目标。

说明书

技术领域

本发明属于计算机视觉领域，尤其是涉及一种基于深度图像遮挡信息的 静态视觉目标遮挡规避方法。

背景技术

遮挡规避方法一直是自动装配、目标识别、三维重建、机器人导航等领 域重要且困难的研究课题之一，它是根据当前观测到的遮挡信息，确定出摄 像机的下一个观测方向和位置，使得在该方向和位置能够最大化地获取场景 的未知信息。

现有遮挡规避方法处理遮挡现象所基于的图像信息主要有两种：亮度图 像和深度图像。针对亮度图像的遮挡规避方法相对较少，并且由于2.5D的深 度图像比2D的亮度图像更有利于获取场景的三维信息。因此，目前的遮挡规 避方法大多基于深度图像实现。Li Y F和Liu Z G在文章“Information  entropy-based viewpoint planning for 3-D object reconstruction.IEEE  Transactions on Robotics,2005,21(3):324-337”中摄像机被限定在一个固定表面 (如球体表面、圆柱体表面等)，方法的通用性受到限制。Scott W R在文章 “Model-based view planning.Machine Vision and Applications, 2009,20(1):47-69”中所提的方法需要预先获取场景信息，不适用于未知场景。 M.Krainin,B.Curless和D.Fox在文章“Autonomous generation of complete 3D  object models using next best view manipulation planning,in:Proc.Of the IEEE  International Conference on Robotics&Automation(ICRA),2011：5031-5037”中 所提方法需要获取物体外部轮廓，并且十分依赖轮廓获取技术。Benjamin Adler 和Xiao J H在文章“Finding Next Best Views for Autonomous UAV Mapping  through GPU-Accelerated Particle Simulation.IEEE/RSJ International Conference  on Intelligent Robots and Systems(IROS)，2013”中所提方法依赖于特定的设备。

发明内容

针对现有技术存在的已有问题，本发明的目的是提供一种基于深度图像 遮挡信息的静态视觉目标遮挡规避方法，通过对遮挡区域进行适当的建模， 避免了对遮挡区域的预先了解，通过对三角小剖面的操作，确定出合理的下 一最佳观测方位，从而达到遮挡规避的目的。

为了解决上述存在的技术问题实现发明目的，本发明是通过以下技术方 案实现的：

一种基于深度图像遮挡信息的静态视觉目标遮挡规避方法，其内容包括 以下步骤：

(1)获取视觉目标的深度图像，并获得其遮挡边界及摄像机内外参数；

(2)提取深度图像中每个遮挡边界点的下邻接边界点，并确定图像中每个 像素点的三维坐标；

(3)依据遮挡边界及下邻接边界信息对遮挡区域进行外接表面建模：

3.1)对每段遮挡边界，依据其遮挡边界点及下邻接边界点的三维坐标得到 其对应的遮挡区域，并对遮挡区域进行三角剖分获得三角网格模型；

3.2)基于已获得的遮挡区域的三角网格模型，计算每个三角小剖面的法向 量和面积；

(4)提取遮挡边界的角点，并确定候选观测方向集合：

4.1)对于每段遮挡边界应用角点检测算子提取该边界的角点；

4.2)依据所获得的角点信息将遮挡区域划分为若干子区域，并确定各子区 域的候选观测方向；

(5)确定下一最佳观测方位：

5.1)从候选观测方向集合中任取一候选观测方向，计算该候选观测方向与 各子区域中每个三角小剖面法向量的夹角，依据夹角信息确定出该候选观测 方向对应的可视空间；

5.2)按照步骤5.1)遍历候选观测方向集合中全部候选观测方向，计算出 每一个候选观测方向对应的可视空间；

5.3)计算每个候选观测方向的权值，并利用加权的候选观测方向确定下一 最佳观测方向V_NBV和观测中心点P_view；

5.4)根据求出的下一最佳观测方向和观测中心点，确定摄像机观测位置 P_camera。

本发明首先从初始观测方位获取视觉目标的一幅深度图像，并根据遮挡 检测算法获取深度图像的遮挡相关信息；从三角网格模型中的三角小剖面入 手，利用三角小剖面组成的子区域的法向量来确定候选观测方向集合，再利 用这些候选观测方向和各三角小剖面法向量的夹角信息确定出每个候选观测 方向的可视空间，进而计算出下一最佳观测方位，从而达到遮挡规避的目的。

由于采用上述技术方案，本发明提供的一种基于深度图像遮挡信息的静 态视觉目标遮挡规避方法，与现有技术相比具有这样的有益效果：

(1)根据遮挡信息对遮挡区域建立数学模型，无需获取视觉目标的先验知 识；

(2)对视觉目标的形状无特殊要求，适用于不同型面的视觉目标；

(3)利用三角小剖面法向量和面积确定候选观测方向和可视空间，基于三 角网格模型对遮挡规避问题进行了的求解。

附图说明

图1是本发明基于深度图像遮挡信息的静态视觉目标遮挡规避方法的流 程图；

图2是下邻接边界点示意图；

图3是子区域合并及法向量相加示意图；

图4是摄像机观测位置示意图。

具体实施方式

为使本发明技术方案更加清晰明了，以下结合附图对本发明做进一步详 细说明。

图1是本发明一种基于深度图像遮挡信息的静态视觉目标遮挡规避方法 的流程图，该方法包括以下步骤：

1、获取视觉目标的深度图像，并获得其遮挡边界及摄像机内外参数；

利用遮挡检测方法对已有的深度图像或使用深度摄像机(如Kinect)获 取的深度图像进行遮挡检测并得到遮挡相关信息，同时记录下此时的摄像机 内外参数。

2、提取深度图像中每个遮挡边界点的下邻接边界点，并确定图像中每个 像素点的三维坐标；其具体步骤包括：

2.1、设遮挡边界中的遮挡边界点坐标为(i,j),取其八邻域内一点，坐标为 (x,y)，他们的深度值对应为Depth(i,j)和Depth(x,y)，依次遍历其八邻域内的点， 计算出深度差值最大的点记为该遮挡边界点的下邻接边界点，计算公式如下：

$\arg \underset{x,y}{\max }\left|\right|\mathrm{Depth}(i,j)-\mathrm{Depth}(x,y)\left|\right|,s.t.-1\le x\le i+1,j-1\le y\le j+1---\left(1\right)$

下邻接边界点示意图如图2所示；

2.2、对于已获得的深度图像，利用摄像机内外参数，依据投影变换原理， 对该深度图像进行反投影变换，获得深度图像中各像素点在世界坐标系下的 三维坐标。

3、依据遮挡边界及下邻接边界信息对遮挡区域进行外接表面建模：

3.1、对每段遮挡边界，将其内所有的遮挡边界点及遮挡边界点对应的下 邻接边界点的三维坐标加入到一个顶点集合中，依照三角剖分算法对顶点集 合进行三角剖分获得三角小剖面；依次按照上述方法处理全部的遮挡边界， 从而获得完整的三角网格模型，如图3(a)所示；

3.2、基于已获得的三角网格模型，设(x_a,y_a,z_a)、(x_b,y_b,z_b)、(x_c,y_c,z_c)分别 为三角小剖面顶点A、B、C的坐标，V_AB和V_AC分别为顶点A和B以及顶点A和 C形成的向量；由于已经获得了三角小剖面的两个向量V_AB和V_AC，因此根据两 个向量叉乘的定义，V_AB和V_AC叉乘后即能得到一个新的向量Normal_i，Normal_i为 V_AB和V_AC所在的三角小剖面的法向量；而三个顶点坐标构成的行列式值的一 半为三个顶点所构成三角形的面积Squa_i；因此计算三角小剖面的法向量和面 积的公式如下：

$\left(\begin{array}{c}{\mathrm{Normal}}_i=V_{\mathrm{AB}}\times V_{\mathrm{AC}}\\ =\left(\begin{array}{ccc}i& j& k\\ x_b-x_a& y_b-y_a& z_c-z_a\\ x_c-x_a& y_c-y_a& z_c-z_a\end{array}\right)\end{array}\right)---\left(2\right)$

$\left(\begin{array}{c}{\mathrm{Squa}}_i=\left|\right|V_{\mathrm{AB}}\times V_{\mathrm{AC}}\left|\right|/2\\ =\left(\begin{array}{ccc}{x}_a& y_a& z_a\\ x_b& y_b& z_b\\ x_c& y_c& z_c\end{array}\right)/2\end{array}\right)---\left(3\right)$

将计算出的所有三角小剖面的法向量Normal_i加入到法向量集合Normal 中，将所有三角小剖面的面积Squa_i加入到面积集合Square中。

4、提取遮挡边界的角点，并确定候选观测方向集合：

4.1、对于每块遮挡区域(一段遮挡边界对应一块遮挡区域)对应的三角网 格模型，获取其对应的遮挡边界，应用角点检测算子提取该边界的角点；

4.2、依据所获得的角点信息将遮挡区域划分为若干子区域，并确定各子 区域的候选观测方向；其具体步骤是：

4.2a完成角点检测后，首先依据检测出的角点，以每个角点与其八邻域 内任一下邻接边界点在三维空间中的连线为分界线，将该遮挡区域分割为若 干子区域，如图3(b)所示，并分别将各子区域内的三角小剖面的法向量Normal_i相加后的向量V_j作为该子区域的法向量，计算公式如下：

$V_j=\underset{{\mathrm{Normal}}_i\in \left\{\mathrm{triangle}\right\}}{\Sigma }{\mathrm{Normal}}_i---\left(4\right)$

其中triangle是子区域中三角小剖面的集合，V_j为该子区域的法向量；

4.2b其次，遍历每一段遮挡边界，检测其是否存在角点，若不存在角点， 则将该遮挡边界对应的遮挡区域内所有的三角小剖面合并成一个子区域，并 按照步骤4.2a对子区域进行处理，同时将处理后得到的子区域法向量的反方 向作为候选观测方向V_j加入到候选观测方向集合V_candidate中；

4.2c若遮挡边界上存在角点，则将角点与其选定的八邻域内下邻接边界 点的连线所分的两个子区域的法向量V_j和V_j+1相加，此时得到一个新的向量 V_add，如图3(c)所示，将此向量的反向与这两个子区域的法向量的反方向一起 加入到候选观测方向集合V_canidate中，依次处理完所有的角点，并对候选观测方 向集合V_canidate进行去重处理，即完成了对候选观测方向集合V_canidate的确定；

5、确定下一最佳观测方位：

5.1、对于候选观测方向集合V_canidate中第j个候选观测方向V_j，按照公式(5) 计算其与子区域中第i个三角小剖面法向量Normal_i的夹角α，其中V_j和Normal_i的坐标分别为(n_j,m_j,t_j)和(x_i,y_i,z_i)，

$\left(\begin{array}{c}\alpha =\arccos \left(\frac{V_j·{\mathrm{Normal}}_i}{\left|\right|V_j\left|\right|\times \left|\right|{\mathrm{Normal}}_i\left|\right|}\right)\\ =\arccos (\frac{\left(n_j{x}_i\right)+\left(m_j{y}_i\right)+\left(t_j{z}_i\right)}{\sqrt{n_j^2+m_j^2+t_j^2}\times \sqrt{x_i^2+y_i^2+z_i^2}}\end{array}\right)---\left(5\right)$

根据α的大小来判定候选观测方向是否能观测到法向量Normal_i对应的三 角小剖面；若α≤90°，则候选观测方向V_j可以观测到法向量Normal_i对应的三 角小剖面，此时将三角小剖面的面积Squa_i加入到候选观测方向V_j的可视空间 S_j中；若α＞90°，则候选观测方向V_j不能观测到法向量Normal_i对应的三角小 剖面，此时候选观测方向V_j的可视空间不变，计算公式如下：

其中Sum_i-1为当前候选观测方向对上一个三角小剖面观测后的面积和；按 照公式(5)和(6)遍历所有子区域中的三角小剖面，即能获得候选观测方 向V_j的可视空间S_j；

5.2、按照步骤5.1，遍历候选观测方向集合V_canidate中的每个候选观测方向， 即能获得每个候选观测方向对应的可视空间；

5.3、计算出每个候选观测方向的可视空间S_j后，由于每个候选观测方向 对应的可视空间反映了该候选观测方向的观测效果，因此在确定下一最佳观 测方向V_NBV时，要根据每个候选观测方向的可视空间为每个候选观测方向分配 相应的权值w_j，候选观测方向的权值计算公式如下：

$w_j=S_j/\underset{j=1}{\overset{n}{\Sigma }}{S}_j---\left(7\right)$

其中n为候选观测方向的个数；将每个候选观测方向V_j与其对应的权值w_j相乘，再将这些加权后得到的候选观测方向相加，即能得到下一最佳观测方 向V_NBV，设(x_NBV,y_NBV,z_NBV)为下一最佳观测方向V_NBV的坐标，计算下一最佳观测 方向V_NBV公式如下所示：

$V_{\mathrm{NBV}}=\underset{j=1}{\overset{n}{\Sigma }}(w_j·V_j)---\left(8\right)$

$\left(\begin{array}{c}{x}_{\mathrm{NBV}}=\underset{j=1}{\overset{n}{\Sigma }}(w_j·x_j)\\ y_{\mathrm{NBV}}=\underset{j=1}{\overset{n}{\Sigma }}(w_j·y_j)\\ z_{\mathrm{NBV}}=\underset{j=1}{\overset{n}{\Sigma }}(w_j·z_j)\end{array}\right)---\left(9\right)$

根据上述已计算出的信息，计算观测中心点P_view，设P_view的坐标为 (x_view,y_view,z_view)，N为三角小剖面的个数，每个小三角形的中心点Mid的坐标为 (x_mid,y_mid,z_mid)，则计算P_view公式如下：

$\left(\begin{array}{c}{x}_{\mathrm{view}}=\left(\Sigma x_{\mathrm{mid}}\right)/N\\ y_{\mathrm{view}}=\left(\Sigma y_{\mathrm{mid}}\right)/N\\ z_{\mathrm{view}}=\left(\Sigma z_{\mathrm{mid}}\right)/N\end{array}\right)---\left(10\right)$

其中三角小剖面中心点Mid的坐标为(x_mid,y_mid,z_mid)的计算方法如下：

$\left(\begin{array}{c}{x}_{\mathrm{mid}}=(x_a+x_b+x_c)/3\\ y_{\mathrm{mid}}=(y_a+y_b+y_c)/3\\ z_{\mathrm{mid}}=(z_a+z_b+z_c)/3\end{array}\right)---\left(11\right)$

5.4、设当前摄像机位置到观测中心点的距离为d，而摄像机和观测中心 点P_view确定的向量要平行于下一最佳观测方向V_NBV，再根据平行向量的性质， 利用公式(12)确定摄像机观测位置P_camera，摄像机位置如图4所示；

$\left(\begin{array}{c}{x}_{P_{\mathrm{camera}}}=x_{\mathrm{view}}-\frac{d}{\left|\right|V_{\mathrm{NBV}}\left|\right|}·x_{\mathrm{NBV}}\\ y_{P_{\mathrm{camwea}}}=y_{\mathrm{view}}-\frac{d}{\left|\right|V_{\mathrm{NBV}}\left|\right|}·y_{\mathrm{NBV}}\\ z_{p_{\mathrm{camera}}}=z_{\mathrm{view}}-\frac{d}{\left|\right|V_{\mathrm{NBV}}\left|\right|}·z_{\mathrm{NBV}}\end{array}\right)---\left(12\right)$

其中为摄像机观测位置P_camera的坐标，d为当前摄像机 位置到观测中心点的距离。