公开/公告号CN102914262A
专利类型发明专利
公开/公告日2013-02-06
原文格式PDF
申请/专利权人 北京控制工程研究所;
申请/专利号CN201210375687.8
申请日2012-09-29
分类号G01B11/00(20060101);G01C11/00(20060101);G01C25/00(20060101);
代理机构11009 中国航天科技专利中心;
代理人安丽
地址 100080 北京市2729信箱
入库时间 2024-02-19 17:13:29
法律状态公告日
法律状态信息
法律状态
2015-02-11
授权
授权
2013-03-20
实质审查的生效 IPC(主分类):G01B11/00 申请日:20120929
实质审查的生效
2013-02-06
公开
公开
技术领域
本发明涉及一种可对非合作目标的相对位置和相对姿态进行6自由度精确 测量的方法。
背景技术
航天器自主交会对接任务中,对接前的几十米距离范围内,目前国际上都 是借助于光学成像敏感器进行目标相对位置和姿态的测量。因此需要在目标航 天器上安装标志灯或者反射器,在交会航天器上安装测量设备对其测量,通过 建立目标坐标系和测量坐标系,经过标定确立它们之间的相对位置和姿态关系, 以及标志点位置和各个坐标系之间的关系,再经由标志点像的提取与分布计算 得出目标相对于测量坐标系的6个自由度运动参数。为了使测量系统覆盖几十 米到亚米的测量范围,目前航天领域的测量技术限于对合作目标的测量,采用 主动目标发生器或者被动角反射器作为合作目标,采用单目相机即可完成目标 相对6个自由度的位置测量。然而,对于非合作目标,其上没有任何事先安装 的标志,若要完成前述的交会对接,就不能采用某种空间分布的标志灯或者反 射器之类的已知测量对象作为参考目标。对于非合作目标进行交会对接测量, 为了使测量系统覆盖几十米到亚米的测量范围,目前航天在该技术领域仍在探 索之中,没有很成熟的技术。
利用双目视觉测量目标特征点相对位置的原理是成熟的,如2003年4月 徐刚锋在Vol.32,No.2“红外与激光工程”中发表的文章“基于双目视觉模型的 运动参数测量”中,提到双目测量点目标模型,推导了误差分析公式,可见双 目视觉测量的误差是由模型带来的固有误差,随着距离的增加呈平方增长关系, 因此双目视觉测量基线一定的情况下,测量精度随距离迅速下降,导致双目视 觉的有效作用距离受到很大限制,不能测量远距离目标。如何降低测量误差, 打破双目测量误差模型中误差随距离平方增加的限制,使得远近距离的目标点 测量误差都在较小的水平是双目系统扩展应用的关键问题。对于这个问题目前 国内外尚无实质性的突破。
发明内容
本发明的技术解决问题是:克服现有技术的不足,提供了一种基于附加视 距的双目测量方法,可以在线标定视距,从而校正立体视觉计算出的位置坐标, 提高测量的精度,同时可以改善测量点的跟踪稳定性。
本发明的技术解决方案是:一种基于附加视距的非合作目标贴近测量方法, 步骤如下:
(1)在距离非合作目标一定距离的交会航天器的同一方向上安装至少一套 双目视觉相机对和一个激光测距仪,其中激光测距仪位于双目视觉相机对的中 间位置,激光测距仪的激光束出射方向处于双目视觉相机对光轴平面内两个相 机光轴的夹角平分线上;
(2)利用标靶对双目视觉相机对和激光测距仪进行标定,获得激光测距仪 测量坐标系和双目视觉相机对中任意一个视觉相机测量坐标系的转换关系;
(3)激光测距仪发出激光束至非合作目标,在非合作目标上形成光斑,获 取激光测距仪与非合作目标之间的距离,同时利用双目视觉相机对同时对所述 光斑进行成像,获取光斑在视觉相机测量坐标系中的三维坐标;
(4)利用获取的激光测距仪与非合作目标之间的距离以及步骤(2)得到 的转换关系,首先对双目视觉相机对获取的光斑三维坐标中距离向的坐标进行 修正,然后对双目视觉相机对获取的光斑三维坐标中的其余两个方向的坐标进 行修正;
(5)获取非合作目标的6自由度测量量,其中三个位置坐标为步骤(4) 修正的结果,三个姿态为基于三个位置修正结果的双目视觉相机对的姿态计算 结果。
所述步骤(4)中对双目视觉相机对获取的光斑三维坐标进行修正的方法为: 利用双目视觉相机测量激光测距仪发出的激光点的距离,并与激光测距仪输出 的距离进行比较,得到距离向的校正量,然后利用距离向的校正量对其余两个 方向进行校正,对于双目视觉相机对与激光光斑同时获取的其它特征点位置也 采用激光光斑距离向校正量进行校正;或者采用拟合的方式,在地面进行所需 范围的各距离向位置对于双目视觉测量相机的测量误差进行第一次曲线拟合, 然后对第一次曲线拟合的残差再次进行拟合,完成对三维坐标的校正;或者采 用拟合的方式,在空间由远及近的过程中对距离进行分段,逐步获得各段的距 离数据,分段进行误差拟合,完成对三维坐标的校正。
本发明与现有技术相比的优点在于:本发明方法以精确的激光测距仪距离 向位置测量值修正双目视觉测量系统对于距离向的测量值,突破了传统双目视 觉测量系统对于目标点位置测量误差的距离平方增长规律,并利用距离向测量 值与垂直距离向测量值之间的代数关系,使测程内远近距离的三个坐标方向位 置测量误差值均衡,并得到大幅度降低,提高了全程测量精度。本发明方法不 需要像标志灯和反射器之类的合作测量目标作为辅助设备,可以降低交会对接 的条件,适合于与完全未知的目标交会对接抓捕,但当存在合作测量目标时本 发明方法仍然可行,在超近距离可采用一对双目相机组成的视觉测量系统进行 未知目标特征识别与三位坐标确定,进而进行三维相对姿态的测量确定。
附图说明
图1为本发明方法的原理图;
图2为本发明方法的流程图;
图3为本发明方法中利用激光测距仪对双目视觉测量系统的误差进行校正 的原理图;
图4为双目成像误差分析原理图;
图5为本发明实施例中双目测量误差数据的拟合曲线;
图6为本发明实施例中宽基线误差比较图;
图7为本发明实施例中宽基线校正结果。
具体实施方式
如图1所示,为本发明方法的原理图,图中示出了两组双目视觉相机对, 在实现本发明的方法时,仅需要一组双目视觉相机对即可,但是为了提高测量 的精度,可以选用两组甚至多组双目视觉相机对(按照具体分段进行使用、测 量),每一组双目视觉相机对均独立作为测量元件(即每一组双目视觉相机对之 间并无联系),以下方法叙述中也仅以一组双目视觉相机对为例进行说明。
双目视觉相机对朝向目标安装,光轴间使之保持一定夹角,夹角大小确定 主要从满足双目交叉视场、测量距离范围、目标大小等要求确定。激光测距仪 位于双目视觉相机对中间位置安装,激光束出射方向处于双目视觉相机对光轴 平面内两个相机光轴的夹角平分线上,误差不大于其夹角的1/10。除此之外, 为了增加相机成像的清晰度,可以增加主动照明系统,以提供覆盖视觉相机的 工作光谱并满足相机曝光量的照明,主动照明系统可以适应测量距离的变化分 为多档发光强度控制。另外,主动照明系统可以是1组,也可以是多组,安装 位置可以在基线中间,也可以在每个视觉相机附近,也可以采用分布式安装方 式。
测量时,涉及到以下坐标系:
激光测距仪测量坐标系O0X0Y0Z0:原点O0位于激光发射器出射光束轴上,并 在激光测距仪距离零位点(通过标定确定)上。O0Z0轴方向与出射光束轴一致, 朝向出射方向。O0X0轴垂直于O0Z0,方向为迎着O0Z0朝右。O0Y0与前两轴成右 手系。
双目视觉左相机像面坐标系ulplvl:原点pl位于像面探测器左上角点像素中 心,横轴plul与探测器第一行中心线重合并迎目标向右,纵轴plvl与左数第一列 中心线重合并迎目标朝下。
双目视觉右相机像面坐标系urprvr:原点pr位于像面探测器左上角点像素中 心,横轴prur与探测器第一行中心线重合并迎目标向右,纵轴prvr与左数第一列 中心线重合并迎目标朝下。
双目视觉左相机测量坐标系OlXlYlZl:原点Ol位于探测器中心像素的中心, OlZl垂直于探测器敏感面指向目标,OlXl和OlYl分别与plul和plvl平行并方向一 致。
双目视觉右相机测量坐标系OrXrYrZr:原点Or位于探测器中心像素的中心, OrZr垂直于探测器敏感面指向目标,OrXr和OrYr分别与prur和prvr平行并方向一 致。
世界坐标系OwXwYwZw:原点Ow为测量场内设置的一点,三个坐标轴方向与 OlXlYlZl或者OrXrYrZr的三个坐标轴方向一致。
一般情况下,世界坐标系与双目视觉左相机测量坐标系、双目视觉右相机 测量坐标系重合。
本发明的测量方法实际由两个不同原理的测量方式组合而成,一是双目视 觉测量方式,这是目标相对位置和相对姿态的6个自由度参数的主要测量手段, 另一个是激光测距方式,主要是由激光测距仪提供一个打在目标表面上的激光 光束亮斑,然后获取亮斑到激光测距仪坐标系的Z坐标。由于在相对较远距离 处激光测距仪的测量精度远远高于双目视觉测量,因此可用激光测距仪的微小 误差测量的Z坐标校正由双目视觉测量得到的Z坐标。再由双目视觉测量中三 个位置坐标之间的关联性,进行X、Y坐标校正,使得视觉测量得到的任意特 征点的三个位置坐标都得到校正,从而提高了双目视觉测量的精度,尤其是提 高了远距离处目标特征点的测量精度,流程如图2所示。
因此,在测量之前,需要知道激光测距仪与视觉相机之间的相对坐标关系, 也就是需要对激光测距仪测量坐标系进行标定。这里假设激光测距仪只有一个 激光束,并且坐标位于基线的中心处。标定时可以采用棋盘格标靶进行,其原 理是在沿着激光测距仪的z0轴方向选择三个距离,依次放置棋盘格标靶,然后 标定出视觉相机测量坐标系与棋盘格标靶之间的坐标关系,由此再获取视觉相 机测量坐标系与激光测距仪测量坐标系之间的坐标关系。
标靶在激光测距仪测量坐标系o0-x0y0z0下的位置关系已知,因此可以直接 得到棋盘格标靶上各个格角点的激光坐标。此外,可以从视觉相机的图像中提 取并计算出标靶各角点在相机像面坐标系下的坐标,再换算成在相机测量坐标 系下的三维坐标,根据这些坐标可以计算出激光测距仪测量坐标系与视觉相机 测量坐标系之间的转换矩阵。
假设标靶有N个标定角点,在激光坐标系o0-x0y0z0下N个标定角点的可以 表示为矩阵P,
在双目视觉左相机测量坐标系ol-xlylzl下N个标定角点的可以表示为矩阵 P1,
直角坐标系变换时特征点坐标之间的转换关系如下,
其中,rij是变换矩阵的元素,ti是三维坐标的平移量。i=1,2,3;j=1,2,3。 将上式写为齐次形式,可以得到:
设双目视觉左相机测量坐标系与激光测距仪测量坐标系之间的变换矩阵为 M,写为矩阵形式为
P=M·Pl
使用最小二乘法,可以求出M,
M·PlPlT=PPlT
为了保证P1P1T可逆,点集须不共面。因此在实际试验过程中,标靶提供48 个角点,在三个不同距离上测量,共计得到144个不共面的角点。从标定原理 来看,标靶放置的位置的精确度对标定精度有影响。测量得到的M可用于激光 测距仪测量数据转换到双目视觉测量坐标系下的坐标,以便标定测量误差。
激光测距仪不但可以测量目标到激光测距仪测量坐标系的距离,而且激光 测距仪的激光束在目标表面上投射的光斑可以作为双目视觉相机对的人造特征 点使用,该光斑分别在相机对的左右两个相机焦平面上成像,通过相机像面坐 标系与相机测量坐标系的转换,以及熟知的双目相机对于该光斑的特征提取和 双目空间位置点解算算法,可以确定该光斑在视觉相机对测量坐标系中的坐标。
利用附加视距(激光测距仪获得的测量距离值)对于双目视觉测量的测量 误差校正有两种方法,一种是直接校正法,一种是误差拟合法。
利用附加视距(激光测距仪获得的测量距离值)对于双目视觉测量的测量 误差直接校正原理如下:
对于纯双目视觉测量系统,视觉相机标定后对特征点的测量依然存在较大 的系统误差,其变化规律与测量误差模型吻合,Z轴方向的测量误差呈二次曲 线规律。因此在对视觉相机标定后,还需要对双目视觉测量的测量误差进行校 正,利用曲线拟合的方法计算出误差的变化规律,在测量结果输出中进行校正。 通过试验验证,经过误差校正后,测量精度将会大大提高。但是飞行器在轨的 情况下,进行系统误差的校正存在困难,因此本发明方法提出利用激光测距作 为附加视距对系统进行误差在线校正:用双目视觉系统测量激光测距仪发出的 激光点的距离,与激光测距仪输出的距离进行比较,得到校正量,从而对其它 的特征点坐标进行校正,流程如图3所示。
假设激光点的实际距离为Zi,对于激光光斑距离,双目视觉测量的结果为 DC(Zi),激光测距仪的读数即附加视距为DL(Zi),则校正量b0(Zi)为
b0(Zl)=DC(Zi)-DL(Zi)
对于与激光光斑同时捕获的其它特征点,均可采用b0(Zi)进行校正,双目视 觉相机输出的第j个特征点的距离DCj(Zi),其校正后的值D′Cj(Zi)为
DCj(Zi)=D′Cj(Zi)-b0(Zi)
以上是通过附加视距校正一次双目视觉测量中各个特征点的在测量坐标系 OlXlYlZl下的Z坐标视觉确定误差的方法,在该坐标系下的X,Y坐标校正是通过 成像模型公式计算出来的,方法如下。
如图4所示,对于双目视觉测量中zw方向的校正通过激光测距仪的附加视 距完成,如上所述,对于xw,yw方向位置坐标测量校正通过其与zw的关系加以 校正。图中符号代表指向页面内的方向矢量;图中yw轴按右手系规则指向页 面内;两个视觉相机水平放置,在同一水平面上,即光心Ol和Or的y坐标相同; 世界坐标系原点为左相机的投影中心,Xl和Xr为像面内水平坐标轴,Yl和Yr为 像面内的垂直坐标轴,和坐标轴yw同向;两相机的焦距为f1和f2,光轴与x轴 的夹角为α1和α2,ω1和ω2为物点P的投影角,B为两个相机投影点之间的基线 距离,由几何关系可得到空间点P的三维坐标为:
由计算公式可见,当利用附加视距使zw的测量误差降低时,xw,yw位置坐 标的测量误差也随之降低。即校正了zw测量误差,也就同时校正了xw,yw的测 量误差。
利用附加视距(激光测距仪获得的测量距离值)对于双目视觉测量的测量 误差拟合校正原理如下:
视觉测量系统误差依靠附加视距校正的方法是通过误差测量值的拟合曲线 实现的,可以通过两种途径进行在线拟合校正。
第一种的在线拟合校正途径原理为:在地面试验室进行所需距离范围的附 加视距对于双目视觉测量相机的测量误差曲线拟合校正,称为第一次校正,校 正后的残差仍然具有一定的规律性,第二次进行残差拟合校正,可以进一步降 低测量残差,二次校正可以在线校正实现。
第二种的在线拟合校正途径原理为:在由远及近的过程中,是逐步获得各 个位置距离数据的,而不是地面试验中得到所有测量数据后对全部数据进行拟 合。因此在线拟合算法需要分段进行。例如,在15m-10m的范围内,获得了 激光点的视距和双目测量结果,计算出这个范围内的测量误差,并对这部分数 据进行拟合,得到拟合结果后,依据拟合参数对其它特征点进行误差校正;从 10m继续接近目标时,随着采样数据的增加,其拟合结果也将更加精确。
实施例
如图1所示,长基线双目测量系统(第一双目视觉相机对)的基线较长, 位于两边;短基线双目测量系统(第二双目视觉相机对)的基线较短,位于中 间部位。两套双目测量系统均安装在机动航天器的平台上,空间布局可以根据 需要调整,只要每套双目测量系统的测量坐标系之间经过严格标定确定相互位 置关系即可,双基线双目测量系统可以通过数据处理系统采集各自的图像存储 处理,数据处理系统可采用DSP类似功能的嵌入式处理器,也可以采用普通计 算机进行工作。双基线双目视觉测量系统的数据处理器安装信息处理软件,该 软件具有测量系统标定、图像处理、目标特征识别与提取、目标相对位置和姿 态信息的提取、相机控制、照明控制、系统检测与自主运行控制等功能。
长基线和短基线双目测量系统安装在机动卫星平台上,两个单相机视场重 叠区域应覆盖被测量的非合作目标,光轴具有一定的夹角以便于视场重叠区域 的扩大,该角度越大有利于重叠视场的扩大,但是会降低测量精度,因此应折 中选定,一般在15°以内,特殊情况下可以超过15°。其空间布局方式可以根据 实际需要在此基础上进行重新安排,如短基线相机对的基线与长基线相机对之 间的基线夹角可以成0°至180°角度,也可以前后错列布局,在各种布局中 应保证相机各自的视场不被遮挡,并标定出不同基线系统测量坐标系之间的转 换关系。相机焦距和视场角按照测量精度要求确定,相对孔径确定按照距离测 量范围内引起的离焦量不超过4倍焦深为准则进行。
作为一个应用实例,此处选取测量系统技术指标如下:
(1)位置测量距离范围:20m~0.5m
近距离单相机视场角选择范围:(40-70)°
远距单相机视场角选择范围:(20-40)°
(2)双目基线长度选择范围
近距(第二)双目:0.3m~1m
远距(第一)双目:1.5m~2m
(3)位置测量精度:0.01m~0.5m
(4)数据更新频率:1~10Hz
(5)旋转角测量精度:1°~3°
(6)目标尺寸:2m×2m×2m
(7)自旋角速度参考范围:0.5~2°/s
(8)自旋速度测量精度:0.2~0.5°/s
按照以上技术要求,宽基线双目相机的设计参数确定为:
焦距:45mm
视场角:30°×30°
相对孔径:1/2~1/8
帧率:5Hz
基线长度:2m
光轴夹角:8°
按照以上技术要求,短基线双目相机的设计参数确定为:
焦距:29mm
视场角:46°×46°
目对孔径:1/2~1/8
帧率:5Hz
基线长度:0.5m
光轴夹角:8°
按照以上技术要求,激光测距仪的设计参数确定为:
(1)作用距离:100m~0.5m;
(2)重复频率:10Hz;
(3)激光波长:650nm;
(4)测距精度1mm(σ);
以上数据是根据精度要求、视场覆盖范围、测量距离等各项技术指标要求 优化论证所得的折中设计结果。
第一种在线校正方法是直接校正,不需要地面预先测量数据,直接采用激 光测距得到的附加视距直接进行校正,如上所述。
第二种在线校正方法是拟合校正,其中的第一种途径建立在地面全程多点 测量标定的基础上,得到实测全程多点测量误差曲线,经过一次或者二次拟合 消除系统误差。其中第二种途径建立在线多点测量拟合的基础上,随着测量点 的增加拟合精度随之提高,最后达到与第一种拟合途径相似的精度。
按照以上技术方案对于第二种在线校正方法的第一种途径进行地面仿真验 证试验,从地面试验结果看,未经标定的测量结果其误差较大,并且按照二次 曲线增长,在5m的距离误差在50mm左右,10m的时候则增长至250mm左 右。在无法进行系统误差标定的情况下,附加视距可以用于对测量的校准。
采用本发明方法,首先对宽基线情况进行分析和处理。根据视觉系统对卫 星模型特征点距离测量的原始数据可以计算出系统误差,见表格1
表格1宽基线系统误差
试验获得的双目测量误差如图5所示,图中为双目测量系统的z轴距离测 量误差,双目相机基线距离为2m左右。
宽基线系统对激光点的测量结果见下表。
表格2宽基线下激光点测量
其中校正量b是由图测误差与光测误差的差计算得到。其规律与系统误差 一致,见图6。从图中可以看出,系统误差、图测误差、校正量三者的变化规 律是一致的,并且校正量与图测误差基本重合,这时因为激光误差远远小于图 测误差的原因。
下面将距离10200mm、6800mm和3700mm三处的测量数据单独拿出来 分析。
表格3距离10200mm处校正结果(mm)
表格4距离6800mm处校正结果(mm)
表格5距离3700mm处校正结果(mm)
从数据可以看出,在10200mm处图测误差230mm,校正后误差为-20mm; 在3700mm处,图测误差-11mm,校正后约为2mm。校正后误差大大降低。 同时可以发现,在同一距离下,各个特征点得图测误差之间也是有差异的。
表格6图测误差与校正后误差(mm)
其曲线分布如图7所示,从试验结果看出,当距离<5m时,附加视距校正 和图像测量的误差基本相同,在20mm以内;当距离>5m后,附加视距校正的 结果基本维持在20mm以内,而图测误差迅速增大,超出200mm。因此经过 附加视距的校正后,测量精度大大提高。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。
机译: 引擎例如直接燃料喷射式火花点火发动机,一种用于汽车的控制装置,具有附加控制器,该附加控制器控制附加驾驶员以基于包括燃料中乙醇率的驱动参数来改变喷射参数。
机译: 用小型转轮玩基于转轮的游戏的电子设备本发明是一种体现具有多个转轮和多个迷你转轮的基于转轮的游戏的设备。迷你卷筒替代多个卷筒中的一个或多个,或者可以替换卷筒的一个或多个符号承载位置。多个迷你转盘的附加功能可以通过用覆盖所有基于迷你转盘的结果的支付线组替换与转盘或转盘位置相关联的标准支付线来实现更大数量的符号组合和获胜结果。
机译: 一种基于两种保护方法的车辆引擎盖发动机罩锁保护系统,一种连接到原始电缆,第二种使用附加电缆连接