公开/公告号CN104361575A
专利类型发明专利
公开/公告日2015-02-18
原文格式PDF
申请/专利权人 湖南戍融智能科技有限公司;
申请/专利号CN201410556886.8
发明设计人 不公告发明人;
申请日2014-10-20
分类号G06T7/00(20060101);
代理机构43113 长沙正奇专利事务所有限责任公司;
代理人卢宏
地址 410205 湖南省长沙市高新开发区麓谷大道662号软件中心大楼后栋6楼612房
入库时间 2023-12-17 03:53:39
法律状态公告日
法律状态信息
法律状态
2015-08-19
授权
授权
2015-03-25
实质审查的生效 IPC(主分类):G06T7/00 申请日:20141020
实质审查的生效
2015-02-18
公开
公开
技术领域
本发明涉及一种深度图像中的自动地面检测及摄像机相对位姿估计方法。
背景技术
地面检测已经成为机器人、自动驾驶、个人娱乐、视频监控等领域中至为关键的技术。 基于图像的传统地面检测方法大多数根据地面的先验颜色信息、颜色信息的一致性以及强 烈的边缘来进行地面的检测,比如利用公路的深色路面以及路边的白色标线信息等。其工 作方式只能够适用于一些比较简单的场景,对于复杂的环境不具有可靠的性能。另外在这 些应用系统中,很多时候需要随意变更深度摄像机的位置,或者深度摄像机的位置会受到 系统的影响而发生位置变化,因而无法随时估计深度摄像机相对于地面的高度、姿态以及 场景中其他物体相对于地面的高度。
由于能够直接获取在一般透视成像变换中丢失的深度信息,深度摄像机相比于普通可 见光深度摄像机有着更加明显的技术优势。这些深度摄像机包括但不限于基于双目视觉 法,飞行时间法以及光斑编码法三种制式的深度摄像机。在这些应用中,深度摄像机大多 通过水平安装或者斜下视的方式对场景进行观测,因而地面的自动化检测对于系统的自动 化程度以及稳定性提升都是至关重要的。
现有技术需要知道许多有关地面的先验信息,不具有一般普适性。因而只能够适用于 一些比较简单的场景,如对于复杂的环境不具有可靠的性能。另外现有技术一般难于得到 场景中各点的高度信息,限制了系统的应用范围。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种深度图像中的自动地面 检测及摄像机相对位姿估计方法,自动检测深度图像中的地面,同时求解出深度摄像机相 对于地面的位置和姿态以及场景中各点相对于地面的位置。
为解决上述技术问题,本发明所采用的技术方案是:一种深度图像中的自动地面检测 及摄像机相对位姿估计方法,包括以下步骤:
1)将深度图像depth的像素坐标(x,y)转换为弧度坐标(u,v):
其中,A为深度摄像机内参数矩阵;
2)逐像素计算深度图像depth中各点在深度摄像机坐标系下的点云坐标:求取任一像 素点(u,v)在以深度摄像机位置为原点,由深度摄像机横轴Xc,深度图像纵轴Yc,深度方 向Zc构成的右手深度摄像机坐标系下的点云坐标(xc(u,v),yc(u,v),zc(u,v)),即:
xc(u,v)=v×depth(u,v);
yc(u,v)=u×depth(u,v)
zc(u,v)=depth(u,v);
其中depth(u,v)为坐标(u,v)处的深度图像的深度值;
3)每次采样过程中,随机在深度图像中选择三个点P1,P2,P3,然后求取由此三点P1,P2,P3构成的平面π的法向量:
将所述法向量单位化,即:
式错误!未找到引用源。中P1P2表示由点P1指向P2的向量,表示向量的叉积;然后再选 取第四点P4进行如下检验:
式(7)中阈值Th=2.5δ,δ为深度图像中深度值的测量噪声标准差;如果式(7)得到满 足,那么认为第四点P4为平面π上的点;依照此步骤遍历整幅深度图像,如果一幅深度图 像中满足测试条件(7)点的比例超过阈值Ratio,则认为平面π即为待检测地面,其中比 值Ratio依据图像中的地面部分占整幅图像中的比值而定,如果地面占整幅图像中的比例 为Ratioground,那么最佳取值范围为Ratio=0.6~0.8Ratioground;
4)提取出满足式(7)测试的所有点在深度摄像机坐标系下的坐标,记为:然后求取出这些点的坐标平均值并按照下式构 造矩阵M:
其中,
5)计算待检测地面的法向量在深度摄像机坐标系下的坐标如果的第二项为正,则令
6)计算世界坐标系的Z轴方向Zw在深度摄像机坐标系下的坐标并确定深度摄像机坐标系下深度图像的点(xc,yc,zc)到世界坐标系下深度图像的点 (xw,yw,zw)的关系:
其中,
所述步骤5)中,的计算过程如下:对矩阵M做标准奇异值分解: (U,D,V)=svd(M);使得M=UDV,其中矩阵U,V均为单位酉矩阵,矩阵D为矩阵M的 特征值所构成的对角阵。V矩阵的最后一列即为待检测地面的法向量在深度摄像机坐标系 下的坐标
与现有技术相比,本发明所具有的有益效果为:本发明无需人工干预,可全自动进行 地面的检测,且由于该方法是基于三维深度信息的,相比基于图像颜色信息的方法,对地 面的检测更加准确,而且还可以恢复出场景中各像素的高度。另外本发明的方法仅需要一 幅图像即可完成当前深度摄像机位姿以及场景高度的求解,不依赖于历史信息。
具体实施方式
说明:在描述本发明的公式中,用正体加粗表示多维向量以及矩阵,如A,depth, 等,而斜体不加粗表示一维的变量,如x,y,z,u,v等。
本发明的实现步骤如下:
第一步、标定图像:
假设已知的深度摄像机内参数矩阵记为A,内参数矩阵可离线通过经典的标定方法如 Tsai的两步法[1]以及张正友的平面法[2]等计算出。在获取了内参数矩阵以后,将深度图像的 像素坐标转换为弧度坐标,如下式错误!未找到引用源。所示:
上式中u,v表示以弧度为单位的坐标,x,y表示深度图像的像素坐标。
第二步、逐像素计算深度图像depth中各点在深度摄像机坐标系下的点云坐标;
求取各个像素点在以深度摄像机位置为原点,由深度摄像机横轴Xc(U方向,图像 左至右),图像纵轴Yc(V方向,图像上至下),深度方向Zc(D方向)构成的右手深度摄 像机坐标系下的点云坐标。即:
xc(u,v)=v×depth(u,v) (2)
yc(u,v)=u×depth(u,v) (3)
zc(u,v)=depth(u,v) (4)
第三步、基于随机采样一致性(RANSAC)的地面提取;
每次采样过程中,随机在深度图像中选择三个点P1,P2,P3,然后求取由此三点P1,P2,P3构 成的平面π的法向量:
将所述法向量单位化,即:
式(6)中P1P2表示由点P1指向P2的向量,表示向量的叉积;然后再选取第四点P4进 行如下检验:
式(7)中阈值Th=2.5δ,δ为深度图像中深度值的测量噪声标准差;如果式 错误!未找到引用源。得到满足,那么认为第四点P4为平面π上的点;依照此步骤遍历整 幅深度图像,如果一幅深度图像中满足测试条件错误!未找到引用源。点的比例超过阈值 Ratio,则认为平面π即为待检测地面,其中比值Ratio依据图像中的地面部分占整幅图像 中的比值而定,如果地面占整幅图像中的比例为Ratioground,那么最佳取值范围为 Ratio=0.6~0.8Ratioground;
第四步:基于奇异值分解的地面法向矢量提取;
首先提取出平面上所有点在深度摄像机坐标系下的坐标,记为:然后求取出这些点的坐标平均值并按照如下式 (8)以及式(9)构造矩阵M。
接着对矩阵M做标准奇异值分解(Singular Value Decomposition):
(U,D,V)=svd(M) (10)
其中矩阵U,V均为单位酉矩阵,矩阵D为矩阵M的特征值所构成的对角阵,且满足 M=UDV。V矩阵的最后一列即为待检测地面的法向量在深度摄像机坐标系下的坐标
如果的第二项为正,需要利用
第五步:计算世界坐标系下的点云坐标
这里的世界坐标系设定为以地面为水平面XY,以高度为垂直Z轴方向,坐标原点为 深度摄像机在地面的垂足。
设表示世界坐标系的Z轴方向Zw在深度摄像机坐标系下的坐标,则有:
同理再预设然后去相关:
再归一化得到接着计算出:
这样我们可以描述深度摄像机坐标系下到世界坐标系的关系:
其中
至此已经完成了深度摄像机高度heightcamera以及世界坐标系与深度摄像机坐标系之间 的表示姿态的旋转矩阵
本发明所指的深度摄像机均假设其内参数已知,并可以经内参数矩阵的校正转化为理 想的透视投影深度摄像机模型。
机译: 立体摄像机系统中两个摄像机相对运动的检测方法,涉及从摄像机中获取物体的辅助图像,其中辅助图像的辅助视线从一个摄像机的视线延伸到另一个摄像机
机译: 本发明涉及一种系统以外的速度控制产品,例如是雷达摄像机系统,具有雷达检测的内置摄像机,具有抛物线检测的摄像机或类似的产品,某些系统,传感器传输版本,运动相对于行进中的雷达,运动物体和/或车辆无法测量比车辆的平均速度快的雷达。
机译: 象地面那样在地面以下相对较小距离的物体地面坐标中的地形检测方法和装置