首页> 中国专利> 一种基于误差补偿的UAV高分辨率影像几何校正方法

一种基于误差补偿的UAV高分辨率影像几何校正方法

摘要

本发明公开了一种基于误差补偿的UAV高分辨率影像几何校正方法,包括以下步骤:第一步,确定机载相机属性参数,计算内参数矩阵Ain;第二步,获取遥感影像外方位参数,计算外参数矩阵Aout;第三步,基于地面控制点计算误差补偿矩阵Aerror_cmp;第四步,整合校正矩阵;第五步,基于全局变换矩阵A,对遥感影像进行几何校正;第六步,遥感影像边界地理坐标定位;本发明综合考虑了引起无人机遥感影像的几何畸变因素,并通过误差补偿机制有效提高了本发明方法精度;本发明方法基本实现全程自动化,某些参数值一旦计算出来就可重复利用,大大提高了工作效率;本发明方法通过引入高度标定参数,可根据需要获取不同分辨率的几何校正图像,提高了本发明方法的灵活性。

著录项

  • 公开/公告号CN103345737A

    专利类型发明专利

  • 公开/公告日2013-10-09

    原文格式PDF

  • 申请/专利权人 北京航空航天大学;

    申请/专利号CN201310218230.0

  • 发明设计人 丁文锐;王家星;李红光;袁永显;

    申请日2013-06-04

  • 分类号G06T7/00(20060101);

  • 代理机构11121 北京永创新实专利事务所;

  • 代理人赵文颖

  • 地址 100191 北京市海淀区学院路37号

  • 入库时间 2024-02-19 20:03:36

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-05-10

    专利权的转移 IPC(主分类):G06T7/00 登记生效日:20170420 变更前: 变更后: 申请日:20130604

    专利申请权、专利权的转移

  • 2016-08-10

    授权

    授权

  • 2013-11-06

    实质审查的生效 IPC(主分类):G06T7/00 申请日:20130604

    实质审查的生效

  • 2013-10-09

    公开

    公开

说明书

技术领域

本发明属于数字图像处理技术领域,具体涉及一种基于误差补偿的无人机(UAV)高分 辨率遥感影像几何校正方法。

背景技术

无人机因其低空遥感数据具有高分辨率、高灵活性、高效率和低成本的优势而被广泛应 用于自然灾害区域评估、战场侦察、环境监测等领域。然而,相对于无人机的快速发展,无 人机遥感影像处理技术相对落后;与传统航天影像和航空影像相比,无人机遥感影像数据倾 角大且无规律,并且无人机应用于资源勘察、灾害监测时,难以建立野外实测地面控制点 (GCP)。这些特点都给无人机遥感影像,尤其是高分辨率遥感影像的精确几何校正带来了 困难,进而影响到后期诸如目标定位、图像镶嵌等信息的有效提取。

影响无人机遥感影像几何畸变的因素很多,可简单分为两大类:

(1)外方位因素

遥感相机被置于无人机机载平台上,从不同的高度对地进行观测。这时由于大气环境、 地球起伏、平台状况等多种因素的影响,使得获取的遥感图像存在种种扭曲变形。产生无人 机遥感影像几何形变的外方位因素主要有3个:

1、地形起伏的影响:

无人机遥感多属中低空遥感,飞行高度与地形起伏有一定的关系,而且视场角较大,所 以获取的图像不可避免的存在因地形起伏所造成的投影差。

2、大气折射的影响:

电磁波在大气层中传播会受到不同高度的大气密度不同所引起的折射影响,使其传播路 径发生偏折,在成像时造成像点位移,在一定程度上引起遥感影像的几何失真。

3:遥感器(平台)姿态的影响

由于无人机通常在中低空飞行,易受大气环境影响,机体稳定性差,即使应用稳定传感 器平台也不能保证遥感器的绝对平稳。分辨率越高,遥感影像畸变效果越明显。飞机姿态的 影响体现在:侧滚角和俯仰角导致成像中心偏移和地物扭曲变形;偏航角导致遥感影像整体 旋转;航高变化产生图像缩放。

(2)内方位因素

相机属性决定了遥感器成像模型,不同的成像模型成像原理有着本质区别。另外,当遥 感器自身性能、技术指标偏离标称值时,就会造成遥感影像固有的几何变形,这些固有的畸 变因素统称为内方位因素。

另外,由于测量误差、安装定位不准确等各方面因素影响,都会对在不同程度上产生几 何畸变。传统的无人机遥感影像几何校正多采用基于地面控制点的方法,该方法准确度高, 但需要人工采集地面控制点,工作量大,费时费力,而且在有些地方人工无法采集到控制点, 如海平面、地震后的危险地带等。另外,如果有地图作为基准匹配,也可迅速建立基于控制 点的遥感影像几何校正。然而这些方法都需要过多的先验知识及人工干预,实时性低,操作 不方便,难以满足无人机地面控制站的实时性要求。

发明内容

本发明的目的是为了解决上述传统无人机高分辨率遥感影像几何校正方法的不足,提出 了一种基于误差补偿的高分辨率无人机遥感影像的几何校正方法。实验结果表明,本发明的 方法在实时性和精度方面都得到了明显提高。

本发明的一种基于误差补偿的UAV高分辨率影像几何校正方法,包括以下几个步骤:

第一步,确定相机属性,计算内参数矩阵Ain

相机属性参数包括:相机焦距f、像元尺寸u、图像尺寸(Weight×Height)。

相机内参数矩阵Ain是由相机定标得来,对每一个相机而言,在焦距保持恒定的情况下内 参数矩阵是固定的,不依赖场景的视图,一旦计算出来,就可以重复使用。

第二步,获取遥感影像外方位参数,计算外参数矩阵Aout

每一幅遥感影像都有唯一的外方位参数,通常由专门的惯性导航系统获取得到,且与遥 感影像获取时间同步。本发明需要的遥感影像外方位参数包括:飞行高度H、俯仰角滚 转角ω、偏航角κ、成像经纬度(Latitude,Longitude)。综合考虑外方位因素对遥感影像几 何失真的影像,计算外参数矩阵Aout,为后续遥感影像几何校正做准备。

第三步,基于地面控制点计算误差补偿矩阵Aerror_cmp

基于Ain和Aout校正后的遥感影像与真实地图匹配时依然有较大差距,为提高几何校正精 度,通过数据拟合计算误差补偿矩阵Aerror_cmp,消除各测量误差对遥感影像几何失真的影响。

第四步,综合考虑各因素影响,整合校正矩阵。

综合考虑引入遥感影像引入几何失真的先后顺序,整合Ain、Aout和Aerror_cmp得到全局变 换矩阵A,为后续一步几何校正算法做准备。

第五步,基于全局变换矩阵A,对遥感影像进行几何校正。

第六步,遥感影像边界地理坐标定位;

基于相机属性、外方位因素和误差补偿矩阵,完成成像经纬度(Latitude,Longitude) 在图像坐标中的定位问题。在中心定位和几何校正后图像的基础上,计算遥感影像边界的地 理坐标,即东经、西经、北纬和南纬。

本发明具有以下优点:

1)综合考虑了引起无人机遥感影像的几何畸变因素,并通过误差补偿机制有效提高了本 发明方法精度;

2)本发明方法基本实现全程自动化,某些参数值一旦计算出来就可重复利用,大大提高 了工作效率;

3)本发明方法通过引入高度标定参数,可根据需要获取不同分辨率的几何校正图像,提 高了本发明方法的灵活性。

4)本发明方法综合考虑了引入误差的先后顺序,几何校正矩阵一步完成,大大提高了运 算效率高,适用于对实时性要求高的场合。

附图说明

图1为本发明方法总体流程图;

图2为无人机原始遥感影像;

图3为中心投影构像原理示意图;

图4为正射投影示意图;

图5为地形起伏对遥感影像的影响;

图6为大气折射对遥感影像的影响;

图7未经误差补偿的几何校正图像;

图8经误差补偿后的几何校正图像;

图9为图像边界地理坐标。

具体实施方式

下面结合附图对本发明的具体实施方法进行详细说明。

本发明以针孔摄像机模型作为研究对象,综合考虑引起无人机遥感影像成像畸变因素, 确定了以全局透视变换为主的遥感图像几何校正解决方案,并解决了畸变图像几何校正后的 地理坐标定位问题。

本发明是一种针对高分辨率无人机遥感影像的几何校正方法,在综合考虑内方位因素和 外方位因素的基础上,通过引入误差补偿机制进行系统级几何校正,大大提高了算法校正精 度。另外,本发明通过矩阵整合,实现了几何校正一步到位,有效缩短了运算时间。最后实 现了校正后图像的地理边界定位问题。

本发明的一种基于误差补偿的UAV高分辨率影像几何校正方法,总体流程图如图1所 示,图2为无人机原始遥感影像,图像尺寸为4096*3072,成像高度为1939.91米,成像 位置:纬度:37.4396212、经度:118.5698322,成像姿态(单位:弧度):俯仰角: -0.0196686、滚转角:-0.0128441、偏航角:-0.4469624,具体实施方法包括以下步骤:

第一步,确定相机属性,计算内参数矩阵Ain

机载相机属性参数很多,本发明仅需要如下3个参数:

相机焦距:通常以毫米mm作为单位,记为f;

像元尺寸:通常情况下横向像元尺寸和径向像元尺寸相等,单位为微米um,记为u;

图像尺寸:图像尺寸为图像的像素尺寸,即图像的宽Width和高Height,无单位。

相机内参数矩阵Ain不依赖场景的视图,在焦距固定的情况下一旦被计算出来,就可以重 复利用。获取内参数矩阵有专门的摄像机定标算法,不属于本发明研究内容。内参数矩阵如 下式(1)所示:

Ain=fx0cx0fycy001---(1)

其中,x、y代表像素坐标系方向,(cx,cy)是基准点(通常在图像中心);fx,fy是以 像素为单位的焦距。如果因为某些因素对来自于摄像机的一幅图像进行升采样或将采样,所 有这些参数(cx,cy,fx,fy)都将被缩放(乘或除)同样尺度。

第二步,获取遥感影像外方位参数,计算外参数矩阵Aout

每一幅遥感影像都有唯一的外方位参数,通常由专门的惯性导航系统获取得到,且与遥 感影像获取时间同步。本发明需要的遥感影像外方位参数包括:飞行高度H、俯仰角、滚 转角ω、偏航角κ、成像经纬度(Latitude,Longitude)。当标定成像高度H′时,可直接计算 得到Aout。下面就方法原理予以说明:

当机载相机满足中心投影构像原理时,即成像时各光线汇聚于物镜中心S(即摄影中心), 遥感影像属于中心投影瞬间一次成像,同一幅影像上的所有像点共用一个摄影中心和一个像 片平面,共用一组外方位元素,如图3所示,其中S为物镜中心,f为相机焦距,H为成像 高度,a、b为地物点A、B在正负成像平面上的投影。

一幅影像的外方位因素包括六个参数:三个线参数和三个角参数。当三个角参数呈 (分别为俯仰角,滚转角和偏航角)转角系统时,可求得三个角元素、ω、κ的方 向余弦ai、bi、ci(i=1,2,3)为:

b1=cosωsinκ

b2=cosωcosκ    (2)

b3=-sinω

设投影中心S与地面一物点A在地面坐标系中的坐标分别为(XS,YS,ZS)和(XA,YA,ZA), 物点A的像点a在像平面坐标系中的坐标为(x,y),由中心投影的构像几何关系可得:

x-x0=-fa1(XA-XS)+b1(YA-YS)+c1(ZA-ZS)a3(XA-XS)+b3(YA-YS)+c3(ZA-ZS)(3)

y-y0=-fa2(XA-XS)+b2(YA-YS)+c2(ZA-ZS)a3(XA-XS)+b3(YA-YS)+c3(ZA-ZS)

其中,f为相机焦距,(x0,y0)为像主点偏移误差,属内方位因素。

由此可以看出,无人机遥感影像发生几何形变源于:1):传感器自身内方位因素影响, 存在系统误差;2):传感器外方位变化,二者在不同程度上引起影像的几何形变。中心投影 的共线方程为航空遥感影像的几何畸变分析和校正提供了理论基础。

传感器的外方位元素是用于描述传感器成像瞬时的位置和姿态,根据摄影测量学,在严 格正射投影情况下,如图4所示,其中S(XS,YS,ZS)、A(X,Y,Z)分别为物镜中心与物点A在 地面直角坐标系(X,Y,Z)内的坐标,(x,y)为物点A在像平面内的投影坐标,由相似三角形关 系得:

X-XSx=Y-YSy=Z-ZS-f---(4)

当外方位元素偏离理想位置而出现变动时,就会使所获取的图像产生畸变,体现在影像 上地物相对位置的坐标关系发生改变。这种类型的图像畸变可通过对传感器的构象方程得以 解析。由中心投影定理可知,在成像瞬间传感器的空间位置和姿态决定了遥感图像的几何畸 变特性。另外,地表起伏和大气状况也会在一定程度上引起遥感影像几何畸变。

地球表面的地形起伏将使影像中的像点产生位移。在高差为正值的情况下,地形起伏在 中心投影影像上造成的像点位移是远离原点向外移动的。如图5所示,摄影中心为S,地物 点A相对周边地物的高度差为h,其对应像点为a,距像主点o的距离为r,地物点A′为A在 地面上的投影,其对应像点为a′,则为地形起伏引起的像点位移。则由中心投影构像几 何关系可得,

Δr=aa=rhH---(5)

通常情况下,成像高度Hh>>h时,像点位移Δr≈0。另外,地球曲率可理解为某种程度上 的地形起伏。无人机遥感影像区别于卫星图像,属中低空遥感,可忽略地球曲率对影像几何 失真的影响。

大气是引起图像几何畸变的另一个因素,由于大气层是一个非均匀的介质层,大气密度 随高度增加而减小,导致电磁波在大气中传播的折射率也随高度增加而改变,从而使电磁波 传播的路径变成了一条曲线,引起了像点的位移。如图6所示,摄影中心为S,当无大气折 射影响时,地物点A通过直线光线成像与a点;当有大气折射影响时,A点通过曲线光 线AS成像于点a′,因此,在遥感影像上引起像点位移。无人机航空影像质量与拍 摄时刻局部天气情况有很大的关系,由于介质层密度不均匀,大气折射引起的像点位移具有 很大随机性,不易得到校正,在条件允许的情况下,应尽可能选择天气晴好的中午时分进行 拍摄,以减小由于大气折射引起的图像几何畸变。

通常情况下,遥感影像成像姿态角满足ω<<κ,基于共线方程(3),在满足转角系 统时,可得关系式(6)。

AoutHH000HH0001b2c3a1b2-a2b1b2c3a1b2-a2b10-a2c3a1b2-a2b1a1c2a1b2-a2b10001---(6)

其中,ai,bi,ci(i=1,2,3)为姿态角的余弦值,具体定义见式(2)。H为实际成像高度,H′ 为遥感影像校正标定高度,为变量。取定不同的H′,基于式(6)对图像进行整体坐标变换 即可得到不同分辨率的校正后图像。

第三步,基于地面控制点计算误差补偿矩阵Aerror_cmp

通常情况下,基于Ain和Aout校正后的遥感影像与基于地面控制点校正后的遥感影像相比 仍然有较大差距,这主要是由于相机安装定位不准确、外方位测量出现偏差等因素造成,这 些误差因素通常在一定的时期内维持稳定,即同一批无人机遥感图像有相同的误差值。

基于上述分析,可以通过将经过Ain和Aout校正后的遥感影像与基于地面控制点校正后的 遥感影像相比较,获取误差补偿,进一步校正几何畸变图像,使校正后的遥感影像逼近真实 图像。通常情况下,遥感影像几何畸变满足透视变换,即几何畸变误差补偿矩阵Aerror_cmp满足 如下形式:

Aerror_cmp=ζ1ζ2ζ3ζ4ζ5ζ6ζ7ζ81---(8)

其中ζi(i=1,2,3,...8)为未知数,8个未知数需要最少需要8个方程求解。

设原始遥感影像四个角点(0,0)、(Width,0)、(Width,Height)和(0,Height)经内方位矩阵 Ain和外方位矩阵Aout校正后的坐标为(x0,y0)、(x1,y1)、(x2,y2)和(x3,y3),经地面控制点校 正后的坐标为(x0′,y0′)、(x1′,y1′)、(x2′,y2′)和(x3′,y3′)。设图像畸变满足透视变换关系,则满 足关系:

xi=ζ1·xi+ζ2·yi+ζ3ζ7·xi+ζ8·yi+1yi=ζ4·xi+ζ5·yi+ζ6ζ7·xi+ζ8·yi+1(i=0,1,2,3)---(9)

通过解方程(9),即可求得误差补偿矩阵Aerror_cmp,一旦计算得到Aerror_cmp就可对本批次 遥感影像重复使用,无需重复计算。经误差补偿矩阵校正后的遥感影像精度会大大提高。

第四步,综合考虑各因素影响,整合校正矩阵。

如果按内方位因素、外方位因素、误差补偿矩阵依次对遥感影像进行几何校正,会造成 计算效率低下,且计算过程中又会积累新的计算误差。考虑到Ain、Aout和Aerror_cmp形式上的 一致性,可对其进行整合,合成一个变换矩阵A,这样不仅在形式上简化了运算,也可是整 个遥感影像几何坐标变换一次完成,大大提高了运算效率,且避免了逐步运算过程中的误差 积累,提高了运算精度。

按内方位校正、外方位校正和误差补偿依次进行,可得总体变换矩阵A如下:

                   A=Aerror_cmp·Aout·Ain                  (10)

即:

A=ζ1ζ2ζ3ζ4ζ5ζ6ζ7ζ81HH000HH0001b2c3a1b2-a2b1b2c3a1b2-a2b10-a2c3a1b2-a2b1a1c2a1b2-a2b10001fx0cx0fycy001---(11)

化简后如下:

A=Hb2c3ζ1fxH(a1b2-a2b1)Ha1c2ζ2fyH(a1b2-a2b1)ζ3Hb2c3ζ4fxH(a1b2-a2b1)Ha1c2ζ5fyH(a1b2-a2b1)ζ6Hb2c3ζ7fxH(a1b2-a2b1)Ha1c2ζ8fyH(a1b2-a2b1)1---(12)

其中,ai,bi,ci(i=1,2,3)为姿态角的余弦值,具体定义见式(2)。H为实际成像高度,H′ 为遥感影像校正标定高度。(cx,cy)是基准点(通常在图像中心);fx,fy是以像素为单位的 焦距。ζi(i=1,2,3...8)为误差补偿矩阵参数。

第五步,基于全局变换矩阵A,对遥感影像进行几何校正。

获得全局变换矩阵A后,可直接矩阵A对遥感影像进行全局透视变换,消除遥感影像固 有的几何畸变。校正公式如下:

xrefyref1=λ×A×xy1=λHb2c3ζ1fxH(a1b2-a2b1)Ha1c2ζ2fyH(a1b2-a2b1)ζ3Hb2c3ζ4fxH(a1b2-a2b1)Ha1c2ζ5fyH(a1b2-a2b1)ζ6Hb2c3ζ7fxH(a1b2-a2b1)Ha1c2ζ8fyH(a1b2-a2b1)1xy1---(13)

其中(x,y)为原始遥感影像坐标,(xref,yref)为校正后的图像坐标。

第六步,遥感影像边界地理坐标定位;

理想情况(正射投影)下,遥感影像记录的地理经纬度坐标(Lat,Lng)对应于图像中心坐 标,即当相机存在固有几何畸变及俯仰角和滚转角ω不为零时在非理想 情况下,经纬度(Lat,Lng)对应的图像坐标(xC,yC)会发生偏移;

基于全局透视变换矩阵和成像模型得坐标(xC,yC)计算公式如下:

xCyC1=λHb2c3ζ1fxH(a1b2-a2b1)Ha1c2ζ2fyH(a1b2-a2b1)ζ3Hb2c3ζ4fxH(a1b2-a2b1)Ha1c2ζ5fyH(a1b2-a2b1)ζ6Hb2c3ζ7fxH(a1b2-a2b1)Ha1c2ζ8fyH(a1b2-a2b1)1Width2Height21---(14)

其中,(Width,Height)原始遥感影像图像尺寸。在得到(xC,yC)的基础上,为得到校正后 图像边界的地理坐标,需要计算校正后图像的横向分辨率RH和径向分辨率RV(通常情况下 RH=RV)。基于相机模型和成像模型可得:

RH=RV=ufH---(15)

其中,u为像元尺寸,f为相机焦距,H′为遥感影像标定高度。通常情况下,遥感区域 远远小于地球表面,在遥感区域内可近似认为经度分辨率rLatitude和纬度分辨率rLongtitude为定值, 计算公式如下:

rLatitude=ΔLatitudef(Lat-ΔLatitude2,Lng,Lat+ΔLatitude2,Lng)(16)

rLongtitude=ΔLongtitudef(Lat,Lng-ΔLongtitude2,Lat,Lng+ΔLongtitude2)

单位:度/米。其中,ΔLatitude、ΔLongtitude为常数,默认值为0.02,f为距离计算公式,定 义如下:设地面任意两点p1(Lat1,Lng1)、p2(Lat2,Lng2),则两点之间距离公式:

f(Lat1,Lng1,Lat2,Lng2)=p1p2=2*EarthRadius*arctan(a1-a)---(17)

其中:

a=sin2(Lat2-Lat1)+cos(Latl)cos(Lat2)sin2(Lng2-Lng12)

EarthRadius=6378137

设校正后图像尺寸为(W,H),则校正后图像四个边界的地理坐标具体计算方法如下:

北纬:Lat+yC×rLatitudeRH

南纬:Lat-(H-yC)×rLatitudeRH

西经:Lng-xC×rLongtitudeRV

东经:Lng+(W-xC)×rLongtitudeRV

通过上述步骤,从原始图像得到几何校正后的图像,并得到校正后图像的地理坐标信息。

依次完成上述各步骤,即可从原始图像得到几何校正后的图像,并得到校正后图像的地 理坐标信息。附图7给出了原始无人机遥感图像(图2)未经误差补偿后的几何校正影像, 图8给出了经本发明算法校正后的图像,图9为图8边界经纬度地理坐标,经实际测量验证, 校正图像与实测图像误差在5米以内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号