法律状态公告日
法律状态信息
法律状态
2018-08-17
未缴年费专利权终止 IPC(主分类):G01C11/04 授权公告日:20160113 终止日期:20170729 申请日:20130729
专利权的终止
2016-01-13
授权
授权
2013-12-18
实质审查的生效 IPC(主分类):G01C11/04 申请日:20130729
实质审查的生效
2013-11-27
公开
公开
技术领域
本发明涉及一种精确图像匹配导航技术,尤其是一种基于四维实数矩阵的 精确三维图像匹配导航方法。
背景技术
图像匹配最早是美国在上世纪70年代从事飞行器辅助导航系统、武器投射 系统的末制导等应用研究中提出的。经过几十年的发展,图像匹配技术已经成为 现代信息处理领域中一项极为重要的技术,在自动导航、计算机视觉、图像三维 重构、遥感图像处理等领域有着广泛而实际的应用。
传统的基于图像匹配的辅助导航方法是通过传感器实时获取平面二维图像 与飞行器存储的图像数据库进行匹配,在图像匹配成功基础上,得出飞行器的位 置信息,推算出飞行器相对航向角、高度变化等信息。
由于用于图像匹配的实测图和数字地图直接有着不同程度的旋转和尺度变 化,而且这两种图像之间的匹配为非相似性匹配,因此匹配算法的精确性成为提 高导航效能的关键;同时,飞行器是一种刚体,在空间具有6个自由度,分别用 三个自由度表示平移和旋转,当飞行器同时存在6个自由度的变化时,一般的图 像匹配方法是针对二维图像的,难以同时克服这些自由度造成的影响。而且大多 数图像匹配算法得出的精度是象素级的,这对于粗匹配来说是可以的,但对于要 求日益增高的精确导航系统来说,图像匹配的精度太低,对惯导的辅助作用也很 小。另一方面,也难以仅仅通过二维图像来精确确定图像之间的平移、旋转等参 数变化。因此,传统的基于图像匹配辅助导航方法将无法精确确定飞行器的位置 与姿态变化。
发明内容
本发明所要解决的技术问题是:提供一种基于四维实数矩阵的图像匹配导航 方法,采用四维实数矩阵方法建立立体三维图像之间的变换关系,对实测三维图 像和参考三维图像之间的一一对应点对利用最小二乘算法计算得到飞行器的三 个姿态角和平移量,从而精确确定飞行器的位置与姿态变化。
本发明为解决上述技术问题,采用如下技术方案:
一种基于四维实数矩阵的三维图像匹配导航方法,该方法首先通过飞行器实 时采集三维实测图,并与预先存储的三维参考图进行图像匹配,获取实测图与参 考图之间的所有一一对应点对;在每次采集图像时,将飞行器的理想位置定义为 初始位置,将飞行器的当前位置定义为目标位置;还包括如下过程:
飞行器的初始位置用r1表示,目标位置用r1′表示,飞行器由初始位置到目标 位置的向量方程表示为:
r1′=Rr1+t (1)
其中R表示正交实数旋转矩阵,t表示初始位置到目标位置的位移, r1=(x,y,z)T,r1′=(x′,y′,z′)T,令
飞行器的初始位置r1在四维空间内表示为r2,目标位置r1′在四维空间内表示 为r2′,则飞行器由初始位置到目标位置的向量方程在四维空间内表示为:
r2′=Pr2 (2)
其中P表示空间螺旋位移矩阵,r2=(x,y,z,w)T,r2′=(x′,y′,z′,w′)T,令
飞行器从初始位置到目标位置的连续空间螺旋位移四维实数变换矩阵表示 为:
其中ψ为航向角、Sψ为沿Zb轴的位移、θ为俯仰角、Sθ为沿Xb轴的位移、 γ为横滚角、Sγ为沿Yb轴的位移,飞行器的坐标系为OXbYbZb,原点O与飞行 器质心重合,Xb轴沿飞行器横轴向右,Yb轴沿飞行器纵轴向前,Zb轴沿飞行器 竖轴向上;
令P中元素与P(ψ,Sψ,θ,Sθ,γ,Sγ)中元素对应相等构建方程组,获取飞行器从 初始位置到目标位置的姿态角和位移量的计算公式:
根据图像匹配获取的所有一一对应点对,利用最小二乘法计算P中元素的 值,将求得的P中元素的值带入公式(3),得到ψ主,Sψ,θ主,Sθ,γ主,Sγ的值,其中, ψ主、θ主、γ主分别表示航向角ψ、俯仰角θ、横滚角γ的反三角函数的主值;根 据航向角ψ、俯仰角θ、横滚角γ的定义域和a13,a21,a22,a23,a33的符号计算航向角 ψ,俯仰角θ,横滚角γ的精确值,将ψ,Sψ,θ,Sθ,γ,Sγ作为导航数据。
所述图像匹配的过程如下:
将参考图与实测图的像素点集,分别定义为A={a1,a2,…,am}和 B={b1,b2,…,bn},任意选取两组点对和其中ai,aj与bp,bq分别 为参考图像素点集A与实测图像素点集B中的点,并且ai≠aj,bp≠bq,i∈[1, m]、j∈[1,m]、p∈[1,n]、q∈[1,n],其中m、n为自然数;矢量过 坐标原点,并构成平面,则矢量到矢量的角度为:
矢量所构成的平面过坐标原点的法线的法向量为:
其中l,m,n分别为与X,Y,Z轴的方向余弦,那么矢量以方向向量为 过坐标原点的法线为旋转轴,绕旋转轴旋转α角度后,与矢量方向一 致,则该旋转变换用四维矩阵表示为:
判断该旋转变换四维矩阵P(α,0)是否为最优相似变换矩阵,及其中一组对应 点对是否为一一对应点对;如果P(α,0)是最优相似矩阵,则定义该最优相似矩 阵为Pop(α,0),同时该一组对应点对为一一对应点对,记录该一组一一对应点对; 否则继续判断;
根据在上述过程中得到的一组一一对应点对和Pop(α,0)计算参考图与实测图 之间的所有一一对应点对。
与现有技术相比,本发明具有如下有益效果:
1.本发明采用四维实数矩阵方法描述了飞行器空间位置与姿态的变换关 系,通过三维实测图像和三维参考图像的精确匹配算法,计算得到飞行器的位置 和姿态变化,因此,本发明构建的数学模型简单。
2.本发明采用最小二乘算法进行三维参考图像与三维实测图像的精确匹配 计算,计算的精度能够达到亚像素级,因此本发明采用的方法定位精度高。
3.本发明采用的算法简单,算法的实时性好。
附图说明
图1是飞行器的空间位置和姿态示意图。
图2是飞行器的空间螺旋位移示意图。
图3是飞行器的坐标系定义示意图。
图4是飞行器连续三次空间螺旋位移图。
具体实施方式
下面结合附图对发明的技术方案进行详细说明:
如图1所示,飞行器作为刚体,其在三维空间中具有6个自由度,在图1中 用(x0,y0,z0,β,γ,δ)来表示刚体的位置和姿态。
如图2所示,飞行器在三维空间的运动可以表示为包括绕着某一螺旋轴的 旋转运动(旋转角度为θ)和沿着螺旋轴方向上的平移运动(位移量为S)。由 于空间直线具有4个自由度,即3个自由度描述方向和1个自由度描述直线位置, 需要4个参数来描述一条空间直线,再加上螺旋位移运动的旋转角度θ和位移量 S,共6个参数来描述飞行器的空间运动是合理的。
如图4所示,由于刚体的空间位移可以表示为旋转和平移的组合,那么假设 刚体的初始位置r1=(x,y.z)T和目标位置r1′=(x′,y′,z′)T,刚体由初始位置运动到 目标位置的向量方程表示为:
r1′=Rr1+t (1)
其中R表示旋转的实数正交3×3矩阵,
针对方程(2),本发明考虑将其扩展成4×4矩阵。在四维空间中采用四维齐次 坐标,并且采用4个坐标值之间的3个独立的比值。也就是说,用四维齐次坐标 点(X,Y,Z,W)表示三维空间的点(x,y,z),并且有
式(3)意味着:
X=λx,Y=λy,Z=λz,W=λ,(λ≠0) (4)
在实际应用中,通常选择λ=1,用四维空间内线上的点(x,y,z,1)来表示三维 空间的点(x,y,z)。在不改变原点的情况下,刚体在三维空间中的螺旋位移表达 式(1)可以用四维空间表示为:
r2′=Pr2 (5)
其中r2=(x,y,z,w)T和r2′=(x′,y′,z′,w′)T分别表示四维空间的初始位置和目标 位置,P表示从初始位置r2到目标位置r2′的螺旋位移变换矩阵,那么可以将方程 (5)用四维空间的点(x,y,z,w)改写为:
应用式(3)的关系,将线变换式(6)线性变换为三维空间点(x,y,z),形式如下:
由于w=λ,λ≠0,并且选取λ=1,那么式(7)可以化简为:
并且得到a41=a42=a43=0,a44=1,因此方程(8)用四维点(x,y,z,1)表示为:
通过比较式(2)与式(8),线变换方程与三维空间螺旋位移方程在形式上具有相 似性。当式(8)中的系数3×3子矩阵是单位正交矩阵时,该系数3×3子矩阵表示 刚体的旋转矩阵,那么,式(9)就表示刚体空间螺旋位移,并且此时有:
a14=t1,a24=t2,a34=t3 (10)
因此,飞行器的空间螺旋位移可以用4×4实数矩阵形式完整表示为:
如图3所示,定义飞行器坐标系OXbYbZb,其原点与飞行器质心重合,Xb沿飞行器横轴向右,Yb沿飞行器纵轴向前,Zb沿飞行器竖轴向上。
如图4所示,定义飞行器的姿态角,即航向角、俯仰角和横滚角。
1.定义飞行器绕竖轴Z方向的转动,飞行器的纵轴Y1在水平面上的投影与Y 轴正向之间的夹角ψ为航向角,数值以Y轴正向为起点,顺时针方向为正,定义 域为
2.定义飞行器绕横轴X1转动产生的纵轴Y2与纵轴Y1之间的夹角θ为俯仰 角,俯仰角以Y1为起点,向上为正,向下为负,定义域为[-90°,90°]。
3.定义载体绕纵轴Y2转动Zb相对于Z2的转角γ为横滚角,从竖轴Z2算起, 顺时针为正,逆时针为负,定义域为
根据飞行器的姿态角定义以及实数4×4矩阵的原理,载体绕竖轴Zb的航向角 ψ和沿Zb的位移Sψ的空间螺旋位移矩阵可以表示为PZ(ψ,Sψ):
载体绕纵轴Yb的横滚角γ和沿Yb的位移Sγ的空间螺旋位移矩阵为PY(γ,Sγ):
载体绕横轴Xb的俯仰角θ和沿Xb的位移Sθ的空间螺旋位移矩阵为 PX(θ,Sθ):
再次参阅图4所示,飞行器从初始位置到目标位置的连续空间螺旋位移可以 表示为:
公式(15)与公式(11)形式相同,因此,只要计算得到公式(11)的实数矩阵,就 可以通过矩阵元素之间的对应关系反解出飞行器的姿态角及位移量。
为了得到公式(11)的四维实数矩阵,本发明采用由飞行器的成像传感器实测 立体图像与机载计算机存储的标准参考立体图像进行精确图像匹配,将实测图像 与参考图像之间的变换关系转换为飞行器实际飞行状态与预定飞行状态的变换 关系。
所述的精确图像匹配算法主要包括如下步骤:
(a)确定实测图与参考图之间的待匹配点集;
(b)确定具有最多匹配点对数目的四维实数矩阵和实测图像与参考图像之间 的一组一一对应点对;
(c)在获得了实测图像与参考图像之间的一组一一对应点对和具有最多匹配 点对数目的四维实数矩阵基础之上,确定实测图与参考图中所有的一一对应点 对;
(d)在获得了所有的一一对应点对基础上,采用最小二乘算法计算最优四维 实数变换矩阵。
为了方便描述精确图像匹配算法,首先定义最优四维实数变换矩阵:将立体 图像的像素扩充成四维的点(为三维空间上对应X轴、 Y轴和Z轴的坐标,本发明约定,若文中没有特别说明,像素均为四维点),如 果两幅图像特征点集合之间的相似变换关系为组合旋转变换R和平移变换t,那 么定义两幅立体图像之间的相似变换矩阵为P(R,t),其中
bp=P(R,t)ai (16)
表示成矩阵形式为:
由于获取的实测图像存在噪声,并与参考图像之间像素存在偏差,因此满足 上述方程的精确变换矩阵并不存在,如果在某个给定相似变换矩阵P和允许的位 置偏差条件||Pa-b||<d下,其中d为条件阈值,点集经过该相似变换矩阵变换 后,若点集中的点满足允许的位置偏差条件,并取到两个点集中一一对应点对数 目最大值时,此时得到的两幅图像之间的最优相似变换矩阵,该最优相似变换矩 阵能最准确反映两幅图像之间的变换关系。
其次定义矢量其中ai,aj与bp,bq分别为参考图点集和实测图点 集中的点,并且ai≠aj,bp≠bq,并且和为两组一一对应点对。那 么分别使用变换公式(17)并相减,得到:
取
同时有关系式:
矢量所构成的平面过坐标原点的法线的法向量为:
将法向量单位化后的方向向量:
其中l,m,n分别为与X,Y,Z轴的方向余弦,那么矢量以方向向量为 过坐标原点的直线为旋转轴,绕旋转轴旋转α角度后,与矢量方向一 致,则该旋转变换可以表示为:
将公式(18)与公式(23)相比较,可以得到如下关系式:
由公式(24)可知,系数auv′(u,v=1,2,3)均为分别关于矢量到矢量的角 度α的确定的函数关系式,可以使用系数auv′(u,v=1,2,3)来间接表示公式(20)平 移量(t1,t2,t3)与矢量到矢量的角度α之间的关系,因此,两组对应点对 之间的相似变换关系可以利用矢量之间的相似变换关系加以确定。
假设两个点集A={a1,a2,…,am}和B={b1,b2,…,bn}之间存在k个一一对应 点,即点集之间的相似变换矩阵为P(R,t),由于相似变换 并不改变点集之间的几何对应关系,则对于任意一组对应点对
根据得到的一组一一对应点对和Pop(α,0)计算两幅图像之间所有一一对应点 对,采用最小二乘算法计算最优四维实数变换矩阵。
所述的最小二乘算法原理为:假设给定四维空间的两个一一对应点集 A={a1,a2,…,an}和B={b1,b2,…,bn},需要找到一个四维实数变换矩阵P(R,t), 使得以误差的平方和作为目标函数取得最小值。当目标函数取到最小值时,可以 认为点集A和B在该四维实数变换矩阵下达到最大程度的相似。定义目标函数 为:
对于两个一一对应点集中的一组对应点根据相似变换关系可得:
bi=P(R,t)ai (26)
将公式(26)展开成公式(17)的矩阵表示,定义误差向量为:
其中
依次计算两个一一对应点集的每组对应点对的误差向量e1,e2,…,en,根据公 式(25)可得:
令:
为了使得方程(28)的目标函数e2取得最小值,那么,只要对方程(28)的每一 项都取得最小值,以为例,将其表示为:
取
令:
其中
对公式(33)求关于rx的导数,令导数为零,公式表示如下:
解得
同理对公式(29)的其余两个函数式和求解得:
最终通过公式(35)和公式(37)可以确定最优的四维实数矩阵。根据公式 (15)以及对航向角、俯仰角和横滚角的定义,可以由精确图像匹配算法获得 的四维实数矩阵计算出飞行器相对于参考系的姿态角和位移量:
其中公式(38)中的下标“主”表示反三角函数的主值,根据图像匹配获 取的所有一一对应点对,利用最小二乘法计算P中元素的值,将求得的P中 元素的值带入公式(38),得到ψ主,Sψ,θ主,Sθ,γ主,Sγ的值,其中,ψ主、θ主、γ主分别表示航向角ψ、俯仰角θ、横滚角γ的反三角函数的主值;根据航向角ψ、 俯仰角θ、横滚角γ的定义域和a13,a21,a22,a23,a33的符号计算航向角ψ,俯仰 角θ,横滚角γ的精确值,将ψ,Sψ,θ,Sθ,γ,Sγ作为导航数据。根据姿态角的 定义域可知,除俯仰角θ外,航向角ψ和横滚角γ均需进行象限判断,判断 方式如表1和表2所示:
表1
表2
机译: 4 4一种系统方法和程序,用于将外部定义的四维CMYK转换为等效的四维颜色,该四维CMYK通过使用三维将与给定打印机相关联的四种墨水C'M'Y'K'的术语定义四维转换过程
机译: 能够快速执行导航的基于扇区的图像匹配的导航方法和导航装置
机译: 增强三维和四维医学图像可视化和导航的方法和系统