首页> 中国专利> 大斜视角下无人机可见光和红外图像目标定位方法

大斜视角下无人机可见光和红外图像目标定位方法

摘要

本发明公开了一种大斜视角下无人机可见光和红外图像目标定位方法,包括第一步:基于成像模型的可见光和红外图像目标定位。第二步:多因素影响下目标定位误差特征提取与表示。第三步:变高度、大斜视角下目标定位误差预测与补偿。在大斜视角条件下,本发明能够有效地提高无人机目标定位精度;本发明提出的目标定位和误差补偿方法,计算量小,可以达到机载计算的实时性要求;本发明适用于可见光图像、红外图像等多种符合中心投影成像模型的图像目标定位应用。

著录项

  • 公开/公告号CN105004354A

    专利类型发明专利

  • 公开/公告日2015-10-28

    原文格式PDF

  • 申请/专利权人 北京航空航天大学;

    申请/专利号CN201510347204.7

  • 发明设计人 李红光;丁文锐;刘家良;

    申请日2015-06-19

  • 分类号G01C25/00(20060101);G01C11/34(20060101);

  • 代理机构11121 北京永创新实专利事务所;

  • 代理人赵文颖

  • 地址 100191 北京市海淀区学院路37号

  • 入库时间 2023-12-18 11:33:29

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-12-05

    授权

    授权

  • 2015-11-25

    实质审查的生效 IPC(主分类):G01C25/00 申请日:20150619

    实质审查的生效

  • 2015-10-28

    公开

    公开

说明书

技术领域

本发明属于遥感图像处理技术领域,具体涉及一种大斜视角下无人机可见光和红外图像目标 定位方法。

背景技术

无人机目标定位作为一种先进的侦察数据处理技术,在民用和军用领域都有重要的应用 价值。

基于无人机侦察图像的目标定位方法主要有以下三种:1基于图像匹配模式的目标定位、 2基于成像模型的目标定位、3基于空间交会的目标定位方法。方法1,精度高,计算耗时, 并且依赖控制点或正射影像,不易实时处理和大范围应用。方法2,计算量小,但定位精度 易受参数误差、成像姿态等因素影响。方法3,空间交互定位实施不便,往往进行单点测距 定位,精度不高,并且只能对图像中的测距点进行定位。

在无人机飞行过程中,最常用的实时目标定位方法是第二种基于成像模型的目标定位。 在误差一定条件下,这种方法目标定位精度斜视角(成像传感器光轴与竖直向下方向的夹角) 增大而降低。随无人机依据数据统计,一般情况执行侦察任务过程中,斜视角在0到30度 之间的概率约站20%,在30到60度间的概率约占60%,大于60度的概率约占20%。在 某些特殊侦察情况下斜视角大于70度。大斜视角严重影响了目标定位精度,使得无人机系 统目标定位能力大打折扣。

假如某无人机垂直下视时(斜视角为0度)目标定位精度为70mCEP,则随斜视角变大, 定位误差随之增大,尤其是斜视角超过50度时,定位误差增大趋势近似指数曲线,如图1。

发明内容

本发明的目的是为了解决无人机大斜视角条件下目标定位的问题,提出一种大斜视角下 无人机可见光和红外图像目标定位方法,在基于成像模型目标定位的基础上,对目标定位矢 量误差进行预测和补偿,提高目标定位精度。

本发明的大斜视角下无人机可见光和红外图像目标定位方法,包括以下几个步骤:

第一步:基于成像模型的可见光和红外图像目标定位。

基于成像模型的可见光和红外图像目标定位,可以分为基于中心投影成像模型构建共线 方程、系统几何校正和目标定位结算。

第二步:多因素影响下目标定位误差特征提取与表示。

分析影响无人机侦察图像校正定位精度的各种因素,依据各因素之间的耦合关系,将影 响定位误差的因素进行简化等效处理,确定最终用于定位误差预测补偿的特征因素,并求解 等效特征因素的表达式。

第三步:变高度、大斜视角下目标定位误差预测与补偿。

利用第二步获取的特征因素建立定位误差预测的数学模型,并选取足够已知定位误差的 充足训练样本对模型进行训练,获取预测模型的参数。利用此参数对待校正的侦察图像进行 定位误差预测,得到该图像的误差矢量,在第一步目标定位基础上叠加误差矢量,最终确定 补偿后的图像坐标。

本发明的优点在于:

(1)在大斜视角条件下,本发明能够有效地提高无人机目标定位精度;

(2)本发明提出的目标定位和误差补偿方法,计算量小,可以达到机载计算的实时性要 求;

(3)本发明适用于可见光图像、红外图像等多种符合中心投影成像模型的图像目标定位 应用。

附图说明

图1是本发明说明定位误差随斜视角变化而增大的趋势图;

图2是本发明涉及的几何校正过程多极坐标系变换示意图;

图3是本发明建立校正模型所用到的中心共线条件方程示意图;

图4是本发明设计的定位误差因素等效模型示意图;

图5是等效的特征因素光轴端点坐标求解示意图;

图6是根据飞机高度、斜视角和成像方向角进行训练样本选择;

图7是在工作飞行高度时训练样本选择分布图;

图8是本发明的方法流程图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是一种大斜视角下无人机可见光和红外图像目标定位方法,流程如图8所示,具 体实施步骤如下:

第一步:基于成像模型的可见光和红外图像目标定位;

具体为:

(1)基于坐标系转换的侦察图像系统几何校正;

图像校正的过程,实际上是图像坐标系向大地坐标系转换的过程。

基于中心投影成像模型进行系统级几何校正,需要建立各个坐标系之间的变换关系。图 像平面到空间直角坐标系的转换需要经历“像素坐标系(I系)—>相机坐标系(C系)—> 无人机坐标系(P系)—>北东天坐标系(N系)—>空间直角坐标系(G系)—>大地坐标 系(E系)”的过程,如图2,给出了各个坐标系的示意图。

其中,像素坐标系(I系)与相机坐标系(C系)之间存在平移变换TI以及坐标轴翻转变 化Xinv=-100010001,即将X变为相反数。由于安装原因,相机坐标系(C系)中心与飞机 坐标系(P系)中心不一致,因此C系和P系之间存在平移变换TC。此外,由于相机平台 相对飞机平台有方位和俯仰两个自由度的转动,故C系到P系之间还存在透视变换MC。 以P系原点为原点建立北东天坐标系(N系),P系相对N系有三个方向的自由度转动,航 向、俯仰、横滚。P系到N系的变换用透视变换Mp表示。

I系中的像平面FI(xI,yI,zI)到N系中像平面FN(xN,yN,zN)的变换可以表示为下面过程, 如公式(1):

FN=Mp·Mc·Tc·Yinv·TI·FI    (1)

其中:FN表示图像转换到N系中后的坐标,图像中的任意一点可由(xN,yN,zN)表示;

FI表示图像在I系中的坐标,图像中的任意一点可由(xI,yI,zI)表示。

G系的XOY平面是高斯-克吕格投影面,原点为格林尼治子午线与赤道的交点。XOY平 面海拔高度为零。Z轴指向天向,XYZ符合左手定则。N系与G系平行,只是原点不一样, 因此存在平移变换。其三个平移量就是飞机坐标系P系原点(认为是飞机GPS位置)在G 系的三个坐标轴上的投影。G系到E系的变换需要按照规定的投影模式(高斯-克吕格投影) 进行。

综上所述,利用公式(1)像平面从I系变换到N系后,再根据N系、G系、E系的关 系利用空间相似三角形和高斯-克吕格投影理论,最终完成像平面从I系到E系的转换过程。 这一过程为侦察图像系统几何校正过程。

(2)基于共线方程的目标定位;

从成像模型分析,可见光和红外图像属于中心投影,成像瞬间,物点、摄影中心、像点, 三点位于一条直线上,即满足共线条件。因此,像点与对应地面点之间的空间映射关系可通 过共线条件构建方程,从而确定像点的位置,实现图像的目标定位。

如图3,假设像点a在I系的坐标为(u,v),则根据公式(1)坐标系的变换,可以求得像 点a在N系的坐标(Xda,Yda,Zda),设与像点a相对应的物点A在G系坐标为(XA,YA,ZA),摄 影中心S的G系坐标为(XS,YS,ZS),由于飞机当地N系与G系相互平行,根据相似三角形 关系可以得到像点的N系(Xda,Yda,Zda)与对应物点的G系坐标(XA,YA,ZA)之间的关系为:

XdaXA-XS=YdaYA-YS=ZdaZA-ZS=1λ---(2)

将上式写成矩阵形式为:

XdaYdaZda=1λXA-XSYA-YSZA-ZS---(3)

式中λ为比例因子,(XS,YS,ZS)是由飞机所在的E系坐标(B,L,H)经高斯-克吕格投影变 换得到的。

假设侦察目标在校正影像中的I系坐标为(uo,vo),则侦察目标的E系坐标(xo,yo)可由下 式计算得到:

xo=(Lngeast-Lngwest)Widthu0+Lngwestyo=Latnorth-(Latnorth-Latsouth)Heightvo---(4)

其中,Latnorth、Latsouth、Lngeast、Lngwest分别为校正影像的北纬、南纬、东经和西经边界值, Width、Height分别为校正影像的宽和高。

第二步:多因素影响下目标定位误差特征提取与表示;

具体为:

(1)选择目标定位误差特征

由于目标定位方程中引入了图像大小、成像高度、成像位置、像元尺寸、焦距、飞机航 向角、飞机俯仰角、飞机横滚角、平台方位角、平台高低角等多元数据。多元因素的综合作 用增加了目标定位误差分析的难度。

分析得知,飞行的过程中飞机姿态角(飞机航向角、飞机俯仰角、飞机横滚角)和平台 姿态角(平台方位角、平台高低角)的变化最终影响综合体现在传感器光轴在三维空间的指 向上。当无人机的高度、飞机俯仰角、飞机横滚角、平台高低角保持不变时,随着无人机航 向角及平台方位角的变化(0-360度),光轴的指向在地面上的投影是以无人机中心点投影为 圆心的圆。当光轴指向与竖直向下方向的夹角(斜视角)从0度逐渐增大时圆的半径也不断 增大。在不同高度下,斜视角不同时,两个光轴的指向也可能在同一圆上,如图4。

从上图得出结论,随斜视角和高度的变化,同心圆的半径的取值范围可以是0到无穷大。 这就证明了,光轴指向和高度的影响对整个侦察区域都具有代表性,可以用光轴指向和高度 两个因素分析侦察区域范围和目标定位位置。考虑到方向性要求,将光轴指向分解成斜视角 (图4中α)以及光轴在水平面与正北方向的夹角(图4中,方向角β)。因此,将斜视角、 成像方向角、高度作为基本影响参数进行后续分析,即将设置斜视角、成像方向角、高度设 为目标定位误差特征。

(2)目标定位误差特征表示

当无人机不存在任何姿态角的情况下,飞机机体坐标系与东北天坐标系是重合的,在这 种情况下,假设光轴长度为单位值1,如图5粗线所示,推算出光轴端点在北东天坐标系中 的三维坐标表示(x,y,z),如图5所示

式中表示平台高低角;κ表示平台方位角。

当无人机自身发生姿态变化时,也就是由N系转换到P系,机体的转动将带动光轴指向 发生变化。此时,可以根据坐标系转换(坐标旋转)重新获得光轴端点在新的坐标系下(P 系)的三维坐标表示(x',y',z'),令表示飞机俯仰角,ω2表示飞机倾斜角,κ2表示飞机航向 角如式

利用光轴的三维坐标(x',y',z'),可以求解出斜视角α和成像方向角β:

tanα=|z|(x)2+(y)2---(7)

α=arctan(|z|(x)2+(y)2)---(8)

sinβ=x(x)2+(y)2cosβ=y(x)2+(y)2---(9)

β=arcsin(|x|(x)2+(y)2)x>0,y>0π-arcsin(|x|(x)2+(y)2)x>0,y<0π+arcsin(|x|(x)2+(y)2)x<0,y<03π2+arcsin(|x|(x)2+(y)2)x<0,y>0---(10)

第三步:变高度、大斜视角下目标定位误差预测与补偿;

具体为:

(1)目标定位误差预测模型建模

利用误差回归分析的方法建立目标定位误差预测数学模型。利用第二步中选取的特征以 及预测值构成样本数据,进行模型训练。根据实验数据观察可知,无人机目标定位误差与飞 行高度、斜视角等特征之间并非线性关系,具体的关系仍需要进一步的研究和分析。

根据斜视角α,由已确定误差的校正后图像数据构成相应的训练样本,训练样本的总数 记为m,第i个训练样本记作(x(i),y(i)),y(i)为样本误差值,x(i)为样本的特征,包含n个特 征可表示为x(i)=[x0,x1,x2,…,xn]T,其中x0=1,x1=H·tan(α),x2=H,x3=β,而误差与特征之 间的非线性体现在x4=x12,x5=x22,x6=x32,x7=x13,x8=x23,x9=x33......;

构建的预测模型数学形式如下式所示:

y=hθ(x)=θ0x0+θ1x1+θ2x2+...+θnxn=Σi=0nθixi=θTx---(11)

其中:hθ(x)为关于特征x的待预测模型,θ为模型中待确定参数,θ=[θ012,…,θn]T

对于上述模型,需要依据实际数据反映出来的误差特性来设计预测模型的参数。不同机 型或成像平台目标定位误差特性不同,预测模型也不一样。

接下来,需要一个机制去评估参数θ是否比较好或者达到预计的要求,所以要对上述hθ(x) 函数进行评估,相应的代价函数如下:

J(θ)=12Σi=1m(hθ(x(i))-y(i))2---(12)

采用梯度下降的方法最小化代价函数J(θ),求解出最优的参数θ,首先对代价函数求偏 导:

θJ=θ0Jθ1J...θnJ---(13)

然后采用迭代的方法计算θ的值:

θ=θ-k▽θJ    (14)

式中:k表示学习率,k值设定的越大,收敛速度越快,学习时间越短,精度越低,k值 设定的越小,收敛速度越慢,学习时间越长,精度越高。

(2)不同高度、不同斜视角条件下,训练样本的选择

假设某无人机执行侦察任务时,成像高度变化从3000到7000米,斜视角从0到90度, 成像方向角在0到360度范围内等概率分布。

为了提高目标定位误差预测模型对多种条件的适应性,必须增大在成像高度、斜视角、 成像方向角各种条件下的样本数量。为了有效地选择预测模型需要的样本、统计在预测空间 的某个区域里样本的数量、判断当前预测结果的可信性,需要建立预测空间内样本分布表示 与测量的方法。

本发明在成像高度、斜视角、成像方向角三个分量,划分分辨率,得到成像高度分辨率、 斜视角分布率、成像方向角分辨率。依据三个分辨率设计样本分布表示和测量方法。

关于样本分布表示和测量,可以利用两个方法进行分析。方法1,如图6,利用成像高度、 斜视角、成像方向角三个分量建立三维坐标系统,在“三维空间”对训练样本进行分布表示 以及待测样本与训练样本间的距离测量。即利用飞机的成像高度、斜视角、成像方向角进行 训练,理想的训练样本应该填充整个将由工作高度范围、斜视角范围和成像方向角范围确定 的立方体空间。当由成像高度、斜视角、成像方向角确定的待预测样本在图6的三维坐标系 中的位置在训练样本包含的范围内,则可以得到较好的预测结果。方法2,如图7,把成像 高度、斜视角、成像方向角三个分量转换到光轴指向的二维圆平面内,在平面内进行样本表 示和测量。由于无人机的往往工作在一个较为稳定的高度上,因此训练样本的选择更多的是 由斜视角与成像方向角确定。当训练样本很好的填充了相应的圆环时,则可以达到较好的预 测效果。

(3)目标定位误差的预测与补偿

利用上述建立的定位误差预测模型及确定的训练样本,对预测模型进行训练,获取模型 参数,采用此模型参数对待校正的图像进行定位误差预测,确定该图像的误差矢量ΔE(xe,ye)。 将此误差对第一步获取的目标经纬度进行补偿,获取更加精确地经纬度信息(xo',yo'),如式 15所示:

xo=xo+xeyo=yo+ye---(15)

其中,xe表示预测出的图像在大地坐标系下x方向的误差长度,ye表示预测出的图像在 大地坐标系下y方向的误差长度。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号