首页> 中国专利> 自主交会对接中的视觉导航方法

自主交会对接中的视觉导航方法

摘要

本发明公开了一种自主交会对接中的视觉导航方法。主要解决现有技术中需要事先知道目标具体参数的缺点。其具体过程包括:150m~50m阶段利用粒子滤波器实现对目标的有效跟踪;50m~2m阶段采用立体视觉实现对目标位姿信息的测量,并采用盒滤波加速方法进行快速立体匹配;2m~0.6m阶段采用Hough变换对区域进行定位并提取区域特征点;0.6m~0.2m阶段采用红外辅助测距,消除测量盲区。本发明能够在未知目标具体参数的情况下,仅依靠目标的几何特征实现对目标的鲁棒识别及跟踪和目标相对位姿的确定,可用于在未知环境下逐渐靠近目标过程中的自主导航。

著录项

  • 公开/公告号CN101839721A

    专利类型发明专利

  • 公开/公告日2010-09-22

    原文格式PDF

  • 申请/专利权人 西安电子科技大学;

    申请/专利号CN201010123482.1

  • 发明设计人 郭宝龙;孙伟;刘凯;陈龙;

    申请日2010-03-12

  • 分类号G01C21/24(20060101);G01S17/06(20060101);G01S17/42(20060101);G06T7/20(20060101);

  • 代理机构61205 陕西电子工业专利中心;

  • 代理人王品华;朱红星

  • 地址 710071 陕西省西安市太白南路2号

  • 入库时间 2023-12-18 00:44:04

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-03-08

    未缴年费专利权终止 IPC(主分类):G01C21/24 授权公告日:20120328 终止日期:20180312 申请日:20100312

    专利权的终止

  • 2012-03-28

    授权

    授权

  • 2010-11-10

    实质审查的生效 IPC(主分类):G01C21/24 申请日:20100312

    实质审查的生效

  • 2010-09-22

    公开

    公开

说明书

技术领域

本发明属于图像信息技术领域,具体的说是一种辅助视觉的导航方法,对获取的视频进行处理和分析,在远距离检测并跟踪目标,较近距离实现目标的相对位置和姿态信息的解算,用于航天器自主交会对接、逐渐接近过程的自主导航。

背景技术

航天器交会技术是指宇宙飞船、航天飞机这两类航天器在轨会合并在结构上连成一个整体的技术。太空交会对接是实现空间站、航天飞机、太空平台和空间运输系统的太空装配、回收、补给、维修、航天员交换及营救等在轨服务的先决条件。早期美国的“双子星座”,前苏联的“联盟号”进行的交会对接都是采取以人手动操作为主、自动操作为辅的方式。随着人类探索、开发和利用外层空间的深入,航天任务数量和种类的日益增多,交会对接技术日益发展。早期美国的“双子星座”,前苏联的“联盟号”进行的交会对接都是采取以人手动操作为主,自动操作为辅的方式。从60年代美苏练过分别实现交会对接至今的近30年内,世界上已进行了100多次航天器空间交会对接活动。交会对接技术正逐步向自住交会对接方向发展。1992年我国实施载人飞船航天工程开始,2003年神舟五号成功将中国第一位航天员送上太空,作为载人航天第二步战略的空间交会对接关键技术的攻关已经提上了日程。

所谓自主交会对接就是在无地面测控站的参与下靠航天器本身的测控系统完成交会对接任务。自主交会对接是一个非常复杂的问题。涉及信息自主获取的测量技术,智能自主的控制技术和保证飞行状态及避免故障的人工智能技术。自主交会对接控制建立于相对信息自主测量的基础上,航天器能够不依靠地面站的参与,完全依靠星载计算机和星载敏感器自行完成空间对接的任务要求,所以选择理想的、可测量出相对位置和相对姿态的敏感器非常重要。根据测量设备与测量目标的关系,测量目标分为合作目标与非合作目标。从目前的发展状况看,合作目标的自主交会对接技术发展已经较为成熟,并成功用于空间站的后勤补给、行星取样返回任务等。对于非合作目标的自主交会对接技术,仅有很少的研究成果。空间非合作目标泛指一类不能提供有效合作信息的空间物体,包括故障或失效卫星、空间碎片以及对方航天器等。许多空间任务涉及到非合作目标,比如空间救援、空间碎片处理以及空间拦截等。

在进行自主对接的过程中,有效的测量敏感器包括CCD、交会雷达、GPS等,这些测量敏感器的测量精度和测量范围各不相同,而且由于遮挡、机构特点和测量原理决定了这些敏感器存在测量视场受限问题。另外,在最后对接阶段,需考虑到测量敏感器的盲区,应从敏感器的安装配置着手,保证不出现盲区,且有很强的抗干扰能力。与合作目标航天器交会问题不同,非合作目标本身没有配备目标标识器和交会敏感器,这就使得非合作目标交会问题能够得到的观测信息通常是不完备和不精确的,因而对相对导航信息的高精度确定造成困难。而精度不高的相对导航参数会直接导致交会控制精度的下降,从而影响到整个交会任务的完成。所以获得较为精确的相对导航信息是顺利完成非合作目标交会任务的关键环节。

计算机视觉使计算机具有通过二维图像认知三维环境信息的能力,使机器不仅能感知三维环境中物体的几何信息,包括它的形状、位置、姿态、运动等,而且能对其进行描述、识别与理解。由于计算机视觉在相对位姿参数测量中具有重要作用,各航天大国都重点立项进行了自主视觉导航的相关技术研究。自主视觉导航是指运动器或机器人在没有地面人员或航天员的参与下进行导航的方式;自主视觉导航技术是航行装置利用图像传感器获取航向附近的物体信息,通过对视频序列进行目标识别、跟踪、分析等计算,可实现目标的检测、跟踪、三维位置姿态信息获取,以供给主控制系统使用;国外很早就开展了相关研究,如美国XSS系列卫星具有自主在轨检查、交会对接、轨道监视、以及围绕轨道目标近距离机动等能力。Thomas M.Davis,Major Tammy L.Baker,Timothy A.Belchak,William R.Larsen.XSS-10Micro2Satellite Flight Demonstration Program[C].SSC03212IV21,17th AnnualAIAA/USU Conference on Small Satellite.Utah,August 2003。美国AeroAstro公司提出的Escort微小卫星能够对空间目标进行在轨监视、逼近等。Aaron Jacobovits,ThomasW.Vaneck.AeroAstro’s EscortA Microsatellite for On2Orbit Inspection of Space Assets.[C].SSC032IV27,17th Annual A IAA/USU Conference on Small Satellite.Utah,August2003。国内这方面的研究很少,并且由于非合作目标相对位姿确定技术具有重要的军事用途,因此其理论和技术的研究非常重要。国际上几个航天大国都是靠本国力量,花费10年或者更长时间才开发出地面仿真系统。目前,以下几种方法有可能用于非合作目标的特征识别与定位:

1)图像匹配法。根据实际卫星建立模型,再将采集的卫星图像与已有的模型进行匹配,以确定目标的位姿,见Cropp A,Palmer P.Estimating known targetsatellite[J].Electronics Letters,2000,36(15):1331-1332。这种方法需要事先知道卫星的形状和尺寸,并建立出模型,使其在未知情况下的可行性有所降低;

2)图像流法。利用单目视觉拍摄的多幅图像来进行位姿测量,见Tomasi C,Kanade T.Shape and motion from image streams under orthography:a factorizationmethod[J].International Journal of Computer Vision,1992,9(2):137-154。这种方法需要一定的先验知识,如卫星的具体几何尺寸或者比例大小。在求解位置和姿态参数时,往往要涉及到非线性方程组的求解,计算量大,且不易收敛。同时方程组多解时,对于解的判断非常困难。

3)多传感器方法。例如,利用摄像机和超声传感器的信息融合来进行位姿检测,见丁希仑,解玉文,战强.基于多传感器信息融合的物体位姿检测方法[J].航空学报,2002,23(5):483-486。这种方法一次只能确定目标物体一个点的位置,不能一步得到目标物体的位姿,实时性有待提到;而且真空环境不能传递声波,因此,它只适用于地面机器人或者地面演示实验,不能应用于太空环境。

发明内容

本发明的目的在于针对目前方法所遇到的问题,提出了一种自主交会对接中的视觉导航方法,以在目标旋转、缩放和平移的情况下,仅依靠目标的几何特征实现对目标的鲁棒识别及跟踪和目标相对位姿的确定。

为实现上述目的,本发明包括如下步骤:

(1)150m~50m的远距离目标检测及跟踪步骤:通过高分辨率相机,获取空间中的弱小目标图像,进行目标特征识别,确认目标;利用粒子滤波器有效跟踪运动目标并估计目标的大致方位及速度;

(2)50m~2m的较近距离全局位姿测量步骤:通过双目摄像机标定获取左右摄像机的内参数矩阵Ml1,Mr1,外参数矩阵Mr1,Mr2和投影矩阵Ml,Mr;结合上述得到的大致方位及速度信息,开启双目摄像机获取目标的双目立体图像对,左摄像机采集到的图像为Il(x,y),右摄像机采集到的图像为Ir(x,y),以采集到的左图像Il(x,y)为主图像,对左图像进行图像预处理和Harris特征提取,得到左图像中目标的特征点u=[uxuy]T,并在右图像Ir(x,y)中进行快速立体匹配,得到特征点在右图像中的坐标;根据双目摄像机参数和目标特征点在左右图像中的坐标进行三维重建,并由三维点坐标进行姿态解算,得到目标的总体位姿信息;

(3)2m~0.6m的近距离目标的测量步骤:利用Hough变换提取交会特征,对具有明显交会特征的目标区域进行定位;根据可见光成像探测器得到的立体图像信息,采用上述姿态解算方法得到目标区域的位姿信息,并结合上述总体位姿信息对安装有测量装置的本体指向进行调整,做好交会准备;

(4)0.6m~0.2m的极近距离目标的测量步骤:结合上述目标区域的位姿信息,采用红外辅助测距的方式获得目标的极近距离信息,并给出交会指令。

所述的在右图像Ir(x,y)中进行快速立体匹配,按如下步骤进行:

(a)根据得到的左图像中目标特征点坐标[ux uy]T,计算右图像中的极线方程;

(b)在左图像中以目标特征点为中心创建的一个邻域,在右图像中沿极线方向创建一个同样大小的邻域,其中心点在极线上;

(c)采用盒滤波加速方法,计算两邻域灰度测度函数值,以函数值最小的点作为匹配点。

本发明具有如下优点:

(1)本发明由于采用粒子滤波器进行实时目标跟踪,解决了跟踪中的目标旋转、缩放问题;

(2)本发明由于采用双目立体视觉,能够高精度地测量目标相对位置和姿态参数;

(3)本发明由于采用双目立体视觉与红外测距相结合的方式,避免了出现盲区,具有很强的抗干扰能力;

(4)本发明由于采用Hough变换提取交会特征,能够仅依靠目标的几何特征实现对目标的识别与定位;

(5)本发明由于在双目立体匹配的过程中采用极线约束下的盒滤波技术,提高了立体匹配速度。

本发明提供的自主导航方法,在较高的粗大误差率情况下,仍能够有效剔除粗大误差,实现较高精度的相对位姿确定,可以作为非合作航天器相对位姿参数确定的一种有效方案,用于在未知环境下逐渐靠近目标过程中的自主导航,如:月球车在月球表面的自主巡游;太空中卫星在轨捕获目标时的定位和接近。

附图说明

图1是本发明的视觉导航流程图;

图2是本发明中标定采用的摄像机模型图;

图3是现有立体视觉中双摄像机几何关系;

图4是本发明中采用的基于灰度的局部立体匹配的过程;

图5是本发明中采用的盒滤波加速方法示意图;

图6是本发明使用的三维姿态解算物体坐标系;

图7是用本发明方法对静止目标测量实验采集的图像对;

图8是用本发明方法对静止目标测量实验预处理结果;

图9是用本发明方法对静止目标测量实验Hough变换检测直线的结果;

图10是用本发明方法对运动目标测量实验采集的图像对;

图11是用本发明方法对运动目标测量实验得到的x轴数据曲线图;

图12是用本发明方法对运动目标测量实验得到的y轴数据曲线图;

图13是用本发明方法对运动目标测量实验得到的z轴数据曲线图;

图14是用本发明方法对运动目标测量实验得到的俯仰角数据曲线图;

图15是用本发明方法对运动目标测量实验得到的偏航角数据曲线图;

图16是用本发明方法对运动目标测量实验得到的滚动角数据曲线图。

具体实施方式

参照图1,本发明的视觉导航步骤如下:

步骤1,150m~50m的远距离目标检测及跟踪。

(1.1)通过高分辨率相机获取空间中的弱小目标图像;

(1.2)根据目标特征进行识别,确定目标;

(1.3)利用粒子滤波器对目标进行有效的跟踪,该粒子滤波器是以贝叶斯理论、随机估计理论以及蒙特卡罗方法为基础的一种非线性动态系统分析工具,也是求解贝叶斯估计问题的一种实用算法。该算法是使用具有与目标相应权值的随机样本集合,来表示目标的后验概率密度,计算每个粒子的直方图,并归一化为观测密度p(u),0≤p(u)≤1。利用p(u)与第一帧被跟踪区域q(u)来更新粒子的权重w(n),本发明中使用指数函数来表示粒子的权重,如式(1)所示:

w(n)=Λe-d    (1)

式中,Λ为指数分布参数,d=Σu=1npuqu.

在图像序列中,粒子经过权值更新后,粒子的分布在目标附近呈现聚集状态,基本集中在目标区域内,而背景区域的权值较小,从而实现对目标的跟踪。

(1.4)根据目标的跟踪结果,估计目标的大致方位[r,α]及速度v:

r=xn2+yn2

α=arctanynxn---(2)

v=||(xn,yn)-(xn-1,yn-1)||Δt

其中,(xn,yn)为n时刻目标的质心坐标,Δt为第n帧与第n-1帧的时间差。

步骤2,50m~2m的较近距离全局位姿测量。

(2.1)采用平板标定法获取双目摄像机的内参数矩阵Ml1,Mr1,外参数矩阵Mr1,Mr2和投影矩阵Ml,Mr

摄像机标定,是指建立摄像机图像中像素位置与三维场景中点的位置之间的对应关系,其方法是根据摄像机模型,由已知特征点的图像坐标和世界坐标求解摄像机参数。本发明中采用的摄像机模型是针孔模型,如图2所示。根据几何透视投影原理得到世界坐标系OwXwYwZw与计算机图像坐标系uv的关系:

Zcuv1=1/dx0u001/dyv0001f0000f000010Rt0T1XwYwZw1---(2)

=αx0u000αyv000010Rt0T1XwYwZw1=M1M2Xw=MXw

其中,αx=f/dx,αy=f/dy,f为摄像机焦距,dx,dy为摄像机每个像素的距离,M为3×4矩阵,称为投影矩阵;M1为摄像机内参数矩阵;M2为摄像机外参数矩阵;t为三维平移向量,表征两坐标系之间的平移关系;0=(0,0,0)T。旋转矩阵R为3×3正交单位矩阵,表征的是两坐标系之间的旋转关系,该旋转矩阵R由三个旋转角度确定,分别是绕摄像机坐标系x轴的α,绕摄像机坐标系y轴的β和绕摄像机坐标系z轴的γ。具体关系如下:

R=R(α,β,γ)=1000cosα-sinα0sinαcosαcosβ0sinβ010-sinβ0cosβcosγ-sinγ0sinγcosγ0001---(3)

本发明所用立体视觉系统包含用两个摄像机,需要通过标定获得两个摄像机之间的相对位置参数,立体视觉系统中双摄像机几何关系如图3所示。在标定中,首先用单摄像机定标方法分别得到左右摄像机的投影矩阵Ml,Mr,左摄像机的旋转矩阵Rl与平移向量tl和右摄像机的旋转矩阵Rr与平移向量tr,由左右摄像机的旋转矩阵与平移向量可得两个摄像机的相对旋转矩阵Rlr和相对平移向量tlr

Rlr=RlRr-1---(4)

tlr=tl-RlRr-1tr

本发明中采用的平板标定法具体实现步骤:

首先,通过移动摄像机或标定板获得15组不同角度下的标定板图像;

然后,检测图像中的特征点,并求解摄像机所有的内外参数;

最后,用最小二乘法来精确求解所有的参数;

(2.2)通过左右两个摄像机获取目标的双目立体图像对,左摄像机采集到的图像为Il(x,y),右摄像机采集到的图像为Ir(x,y);

(2.3)以采集到的左图像Il(x,y)为主图像,对左图像进行图像预处理和Harris特征提取,得到左图像中目标的特征点u1=[u1 v2]T,该Harris特征提取步骤如下:

首先,利用式(5)计算梯度图像:

X=I(-1,0,1)=I/XY=I(-1,0,1)T=I/Y---(5)

其中表示卷积运算,I为原图像,X为水平梯度图像,Y为垂直梯度图像。

然后,构造自相关矩阵:

A=X2wB=Y2wC=(XY)w,则自相关矩阵M=ACCB,

其中,w=exp(-(x2+y2)/2σ2)为高斯平滑窗函数;

最后,提取特征点:

令则Harris特征点响应值RH为:

RH=Det(M)-k·Trace2(M)     (6)

其中,常数k常取0.04-0.06之间。

设定阈值,将RH大于阈值的点做为特征点,阈值根据所要检测的特征点数目设置;

(2.4)根据步骤(2.3)得到的特征点u1=[u1 v2]T在右图像Ir(x,y)中进行快速立体匹配,该立体匹配的匹配示意图如图4所示,具体步骤:

首先,根据得到的左图像中目标特征点坐标u1=[u1 v2]T,计算右图像中的极线方程,极线方程如式(7)所示。

u2TFu1=0---(7)

其中,u1,u2分别为目标特征点在左右图像中的坐标,F为基本矩阵,由摄像机标定得到;

然后,在左图像中以目标特征点为中心创建的一个邻域,在右图像中沿极线方向创建一个同样大小的邻域,其中心点在极线上;

最后,采用盒滤波加速方法,计算两邻域灰度测度函数值,以函数值最小的点作为匹配点,本发明中采用的灰度测度函数为:

C(x,y,d)=∑|Il(x,y)-Ir(x+d,y)|(8)

本发明中采用的盒滤波加速方法如图5所示,其基本思想是采用一个滑动窗口,在计算当前窗口的函数值C(x+1,y,d)时充分利用前一个窗口的函数值C(x,y,d):

C(x+1,y,d)=C(x,y,d)-I12d(x-w)+I12d(x+w+1)---(9)

其中,w是窗口宽度,d为基线长度,I12d=|Il(x,y)-Ir(x+d,y)|;

(2.5)根据由步骤(2.1)得到双目摄像机参数和步骤(2.3)和(2.4)得到的左图像中目标特征点坐标和右图像匹配点坐标进行三维重建得到三维坐标,并由三维点坐标进行姿态解算,得到目标的总体位姿信息。

本发明进行三维重建,是根据摄像机标定得到左右相机的投影矩阵Ml与Mr和由特征提取得到的空间特征点在左右图像中的计算机图像坐标(u1,v1)与(u2,v2),利用如下最小二乘法求解方程组,获得空间特征点的三维坐标(X,Y,Z):

(u1m31l-m11l)X+(u1m32l-m12l)Y+(u1m33l-m13l)Z=m14l-u1m34l(v1m31l-m21l)X+(v1m32l-m22l)Y+(v1m33l-m23l)Z=m24l-v1m34l---(10)

(u2m31r-m11r)X+(u2m32r-m12r)Y+(u2m33r-m13r)Z=m14r-u2m34r(v2m31r-m21r)X+(v2m32r-m22r)Y+(v2m33r-m23r)Z=m24r-v2m34r---(11)

其中mijr,mijl(i=1,2,3,j=1,2,3,4)分别为投影矩阵Ml与Mr的第i行第j列的元素。

本发明中使用的姿态计算方法是根据得到特征点在世界坐标系Ow-XwYwZw的三维坐标通过在目标上建立目标坐标系来求解两坐标系之间的相对姿态,进而得到空间目标与测量装置的相对姿态。如图6,假设在目标上建立的目标坐标系为Oa-XaYaZa,空间中任意一点P在两坐标系中的坐标分别为(Xw,Yw,Zw)和(Xa,ya,Za),则两坐标之间的关系如下式所示:

XaYaZa=aRwaXwYwZw+twa---(12)

其中,Rwa是世界坐标系到目标坐标系的旋转矩阵,twa是世界坐标系到目标坐标系的平移向量,a是缩放因子,该旋转矩阵由世界坐标系的三个轴绕目标坐标系的三个轴的旋转角度(θ,Φ,ψ)表示:

Rwa=cosθcosψcosθsinψ-sinθsinφsinθcosψ-cosφsinψsinφsinθsinψ+cosφcosψsinφcosθcosφsinθcosψ+sinφsinψcosφsinθsinψ-sinφcosψcosφcosθ---(13).

步骤3,2m~0.6m的近距离目标的测量。

(3.1)对主图像进行图像预处理。

本发明中的图像预处理包括边缘检测和阈值分割两部分,其中边缘检测采用Sobel边缘检测算子,阈值分割采用Gonzalez和Woods提出全局阈值分割方法,该方法能够减少自然光线变化对采集图像的影响,使阈值分割的效果具有很好的鲁棒性;

(3.2)利用Hough变换提取交会特征,对具有明显交会特征的目标区域进行定位,该Hough变换提取交会特征的步骤:

首先,根据图像预处理得到的二值图像计算二值图像的Hough变换域,并对变换域进行非极大值抑制;

然后,对变换域进行平行线检测判断,平行线判断条件如下所示:

12|<Δθ(15)

其中,Δθ为一小角度,

计算任意不平行的两条直线的交点坐标(x,y):

x=ρ1sinθ2-ρ2sinθ1sin(θ2-θ1)y=ρ1cosθ2-ρ2cosθ1sin(θ2-θ1)---(16)

其中,(ρ1,θ1)与(ρ2,θ2)分别为两条不平行的直线l1与l2对应的(ρ,θ),ρ为原点到直线的距离,θ为原点到直线的垂线与x轴的夹角。

最后,以交点坐标(x,y)作为特征点坐标。

(3.3)根据步骤(2.5)中所述的位姿解算方法计算目标区域的位姿信息,并结合步骤(2.5)得到的全局位姿信息对安装有测量装置的本体的指向进行调整。

步骤4,0.6m~0.2m的极近距离目标的测量。

结合步骤(3.3)得到目标区域的位姿信息,采用红外辅助测距的方式获得目标的极近距离信息,并给出交会指令。

本发明的效果可以通过实验进一步说明。

本发明的实验分为静止目标的测量和运动目标测量两个实验。

1.静止目标的测量实验

图7是对静止目标采集到的图像对,其中图7(a)与图7(b)为对矩形目标采集到的图像对,图7(c)与图7(d)为对三角形目标采集到的图像对,经过图像预处理后得到的结果如图8所示,图8(a)为矩形目标预处理结果,图8(b)为三角形目标预处理结果,图9给出的是经过Hough变换检测到的目标区域,其中图9(a)是矩形目标经过Hough变换得到的目标区域,图9(b)是三角形目标经过Hough变换得到的目标区域,实验结果如表1所示。

表1静止目标测量实验结果

由表1所示的实验结果可以看出在未知目标具体参数的情况下,该导航方法能够根据目标的几何形状精确得到目标的特征点的三维坐标。

2.运动目标测量实验

运动目标测量实验室是通过搭建一个试验平台来完成的,图10是对被测运动目标采集到的图相对,其中红色点为测量点。

图11到图16分别给出了目标以0.3m/s做匀速直线运动的情况下得到的相对距离信息和相对姿态信息。其中图11是测量点的三维坐标中的x轴的测量数据,图12是测量点的三维坐标中的y轴的测量数据,图13是测量点的三维坐标中的z轴的测量数据,图14是测量点所在目标平面的相对姿态中的俯仰角θ,图15是测量点所在目标平面的相对姿态中的偏航角Φ,图16是测量点所在目标平面的相对姿态中的滚动角ψ。

实验中的测量速度为6帧/秒,测量的x,y,z三轴相对误差为±0.02m,三个旋转角度相对误差为±1°。

由图11到图16所示的实验结果可以看出,在目标运动的情况下,该导航方法能够实时的对目标的位姿信息进行较高精度地测量。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号