法律状态公告日
法律状态信息
法律状态
2023-03-17
未缴年费专利权终止 IPC(主分类):G06T 7/262 专利号:ZL2017102315230 申请日:20170411 授权公告日:20200331
专利权的终止
2020-03-31
授权
授权
2017-09-01
实质审查的生效 IPC(主分类):G06T7/262 申请日:20170411
实质审查的生效
2017-08-08
公开
公开
技术领域
本发明属于视觉目标跟踪技术领域,涉及一种基于单位球面坐标映射的全景目标跟踪方法。
背景技术
近年来,视觉跟踪已经成为人工智能、模式识别、计算机图形学、计算机视觉和数字图像处理等领域的主要研究工作之一。目前,国内外各类目标跟踪算法中,基于粒子滤波框架的跟踪算法是使用最多也是跟踪效果最好的。所谓粒子滤波是指:通过寻找一组在状态空间中传播的随机样本来近似的表示概率密度函数,用样本均值代替积分运算,进而获得系统状态的最小方差估计的过程,这些样本被形象的称为“粒子”,故而称为粒子滤波。粒子滤波(Particle Filter)的思想基于蒙特卡洛方法(MC),它是利用粒子集来表示概率,可以用在任何形式的状态空间模型上。其核心思想是通过从后验概率中抽取的随机状态粒子来表达其分布。
普通摄像机的成像范围只有90°左右,视野范围依然很小,缺乏获取大量信息的能力。近几年来,为了弥补普通相机的缺陷,全景成像系统逐渐进入了我们的视野当中。学者们利用一个普通CCD摄像机和一个曲面折反射镜搭建出折反射全景成像系统。反射镜的类型分为:抛物面反射镜(参见图1(a))、双曲面反射镜(参见图1(b))和椭圆面反射镜(参见图1(c))。
目标在全景相机中形状会发生很大的畸变,普通面阵图像中的目标也会发生畸变,但一般情况下畸变程度都不大,对跟踪鲁棒性的影响可以忽略。而在全景图像中由于全景镜头的几何特性致使全景图像拥有非线性分辨率的特性,这样就会导致目标在全景图像内会发生畸变,发生畸变的目标是无法通过常规计算特征直方图的方法来进行模板匹配的,并且目标在全景图像中不同位置的畸变程度也不一样,由此导致粒子滤波的方法无法应用到全景图像目标跟踪中。
发明内容
本发明的目的是提供一种基于单位球面坐标映射的全景目标跟踪方法,解决了由于全景图像畸变导致现有粒子滤波算法不能直接适用于全景图像目标跟踪上的问题。
本发明所采用的技术方案是,基于单位球面坐标映射的全景目标跟踪方法,具体包括如下步骤:
步骤1,初始化参数,读取第一帧图像,选取目标并用矩形框框选目标,获取目标中心点坐标
步骤2,将步骤1获取的目标中心点图像坐标
步骤3,根据步骤2得到的角度坐标(θ,φ)统计目标模版的颜色直方图信息;
步骤4,用粒子滤波方法跟踪更新目标状态向量
步骤5:将步骤4更新后得到的最优粒子的角度坐标(θ',φ')映射到图像坐标系得到
步骤6:显示跟踪结果;
步骤7:读取视频下一帧图像;
步骤8:更新步骤2中的坐标点
步骤9:重复步骤2到步骤8直到视频结束帧。
本发明的特点还在于,
其中步骤1的具体过程如下:
步骤1.1,设定粒子数为N,定义单位球面为Xs=(cos(φ)sinθ,sin(φ)cos(θ),cos(φ))T,其中,φ∈[0,π],θ∈[0,2π],φ、θ分别表示球面坐标的纬度和经度,设目标状态向量为
步骤1.2,通过如下公式(1)获取摄像机内参数矩阵Kc:
其中,fx,fy分别表示在笛卡尔坐标下X轴和Y轴方向下的等效焦距,cx,cy分别表示物理世界一点投影到成像平面在横向和纵向上产生的偏移量;
步骤1.3,读入视频,读取视频的第一帧图像,在视频起始帧图像中手动选取跟踪目标,获取目标中心点图像坐标
其中步骤2的具体过程如下:
步骤2.1,根据步骤1中得到的全景图像平面上的目标中心点图像坐标
设一中间变量
通过如下公式(4)求Hc:
Hc=KcMcRc>
其中,Rc为3×3旋转矩阵,对于抛物镜面,Rc为单位矩阵;Mc仅由镜面类型决定,通过如下公式(5)求Mc:
其中,对于抛物镜面,ξ=1,
根据公式(3)得到的结果,通过如下公式(6)求得
其中,对于抛物镜面,ξ=1;
步骤2.2,将步骤2.1求得的点
根据直角坐标系与球面坐标系间的转换关系,通过如下公式(7)求球面半径r:
其中,φ∈[0,π],θ∈[0,2π];
其中步骤3的具体过程如下:
步骤3.1,在球面坐标系上,以步骤2中得到的目标中心坐标(θ,φ)为中心以
其中,
其中,a、b为正值的常数,a的变化范围为40~140,b的变化范围为20~70,且
步骤3.2,将步骤3.1所得的角度坐标点(θi,φi),其中,i=1,2,…,k1×k2映射回全景图像坐标系得到点
具体过程如下:
将角度坐标(θi,φi),i=1,2,…,k1×k2转化为直角坐标
其中,i=1,2,…,k1×k2;
通过如下根据公式(13),将直角坐标点
其中,通过如下公式(14),求
其中i=1,2,…,k1×k2,对于抛物镜面,ξ=1;
步骤3.3,取步骤3.2所得的全景图像坐标点
其中步骤5的具体过程如下:
将角度坐标(θ',φ')转化为直角坐标
根据如下公式(20),将直角坐标系点
通过如下公式(21)求
其中对于抛物镜面,ξ=1。
本发明的有益效果是,本发明提供的一种基于单位球面坐标映射的全景目标跟踪方法,依据全景成像原理将全景图像坐标系映射到一个单位球面坐标系中,在这个单位球面做坐标系中进行重要性采样,解决了由于全景图像畸变导致现有粒子滤波算法不能直接适用于全景图像目标跟踪上的问题。
附图说明
图1是几种常见的中心折反射全景视觉系统类型示意图;
图2是本发明基于单位球面坐标映射的全景目标跟踪方法中选取跟踪目标示意图;
图3是本发明基于单位球面坐标映射的全景目标跟踪方法中单位球面坐标系示意图;
图4是本发明基于单位球面坐标映射的全景目标跟踪方法中抛物面反射镜全景系统成像原理示意图;
图5是本发明基于单位球面坐标映射的全景目标跟踪方法中标模版直方图的计算过程示意图;
图6是本发明基于单位球面坐标映射的全景目标跟踪方法中目标跟踪结果示意图;
图7是采用本发明基于单位球面坐标映射的全景目标跟踪方法进行目标跟踪的跟踪过程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于单位球面坐标映射的全景目标跟踪方法,首先在研究全景图像坐标系和单位球面坐标系变换的基础上,将全景图像坐标系映射到单位球面坐标系上,在这个球面坐标系上,以目标中心坐标为中心根据目标大小选取扇形区域,统计得到该扇形区域内的一系列坐标点,然后将这些扇形区域内的坐标点映射回全景图像坐标,再取这些全景图像坐标对应的灰度值来计算目标的直方图,这样算出的灰度直方图能更好的表示目标而不会参入过多的背景噪声。最后在球面坐标系上进行粒子滤波重要性采样和重采样,将得到的最优结果映射回全景图像坐标系,从而得到最优的跟踪结果。
本发明基于单位球面坐标映射的全景目标跟踪方法,本方法实际应用过程中使用的是中心折反射成像系统,具体类别为抛物面反射镜,具体包括以下步骤:
步骤1,初始化参数,读取第一帧图像,选取目标并用矩形框框选目标,如图2所示,获取目标中心点坐标
步骤1.1,设定粒子数为N,定义单位球面为Xs=(cos(φ)sinθ,sin(φ)cos(θ),cos(φ))T,如图3,其中,φ∈[0,π],θ∈[0,2π],φ、θ分别表示球面坐标的纬度和经度,设目标状态向量为
步骤1.2,通过如下公式(1)获取摄像机内参数矩阵Kc;
其中fx,fy分别表示在笛卡尔坐标下X轴和Y轴方向下的等效焦距,cx,cy分别表示物理世界一点投影到成像平面在横向和纵向上产生的偏移量。这四个参数均可通过相机标定获得;
步骤1.3,读入视频,读取视频的第一帧图像,在视频起始帧图像中手动选取跟踪目标,获取目标中心点图像坐标
步骤2,将目标中心点图像坐标
步骤2.1,根据步骤1中得到的全景图像平面上的目标中心点图像坐标
设一中间变量
通过如下公式(4)求Hc:
Hc=KcMcRc>
其中,Rc为3×3旋转矩阵,对于抛物镜面,Rc为单位矩阵,Kc为相机内参,在公式1中已给出,Mc仅由镜面类型决定,由公式5给出
其中,对于抛物镜面,ξ=1为常数,
根据公式(3)得到的结果,通过如下公式(6)求得
步骤2.2,将点
其中,r为球面半径;
步骤3,根据步骤2得到的角度坐标(θ,φ)统计目标模版的颜色直方图信息;
步骤3.1,在球面坐标系上,以步骤2中得到的目标中心坐标(θ,φ)为中心以
其中,
其中,a、b为正值的常数,a的变化范围为40~140,b的变化范围为20~70,且
步骤3.2,将步骤3.1所得的角度坐标点(θi,φi),其中,i=1,2,…,k1×k2映射回全景图像坐标得到点
具体过程如下:
将角度坐标(θi,φi),i=1,2,…,k1×k2转化为直角坐标
其中,i=1,2,…,k1×k2;
通过如下根据公式(13),将直角坐标点
其中,通过如下公式(14),求
其中i=1,2,…,k1×k2,对于抛物镜面,ξ=1;
步骤3.3,取步骤3.2所得的全景图像坐标点
步骤4:用粒子滤波方法跟踪更新目标状态向量
假设t-1时刻目标的粒子集为
则粒子滤波算法的具体步骤为:
步骤4.1,重要性采样
对于粒子数j=1,..,N,根据重要性采样密度函数
步骤4.2,粒子权值更新
依据步骤4.1中的观测值zt,通过如下公式(14)计算每个粒子
其中,j=1,..,N
并归一化粒子权值:
步骤4.3,重采样
首先计算有效粒子数:
如果
否则,
步骤4.4,得出更新后的最优结果
其中,s'表示t时刻的粒子的最优状态。
步骤5:将步骤4更新后得到的最优粒子的角度坐标(θ',φ')映射到图像坐标系得到
具体过程如下:
将角度坐标(θ',φ')转化为直角坐标
根据如下公式(20),将直角坐标系点
通过如下公式(21)求
其中对于抛物镜面,ξ=1;
步骤6:显示跟踪结果,如图6;
步骤7:读取视频下一帧图像
步骤8:更新步骤2中的坐标点
步骤9:重复步骤2到步骤8直到视频结束帧,实验结果如图7所示,其中图7(a)为第0帧,图7(b)为第20帧,图7(c)为第40帧,图7(d)为第60帧,图7(e)为第80帧,图7(f)为第100帧。
本发明基于单位球面坐标映射的全景目标跟踪方法全景图像具有非线性分辨率的几何特性,因此目标在全景图像中会发生外形畸变,这种畸变会导致传统的粒子滤波算法在进行重要性采样时无法选择与全景图像几何特性相适应的采样方法,而且,这种畸变会导致无法利用传统方法对目标外观进行建模。针对此问题,本发明依据全景成像原理将全景图像坐标系映射到一个单位球面坐标系中,在这个单位球面做坐标系中进行重要性采样,解决了全景图像中由于目标畸变给目标跟踪带来的问题。
机译: 全景视频的目标跟踪方法和全景相机
机译: 全景视频中的目标跟踪方法以及全景相机
机译: 全景视频和便携式终端的目标跟踪方法和装置