一种基于跑道边界增强的飞机着陆视觉增强方法

摘要

本发明涉及一种基于跑道边界增强的飞机着陆视觉增强方法，利用LSD直线检测算法提取前视红外视频首帧图像中的直线特征，并通过跑道边界固有的约束条件进行跑道边界直线筛选。然后在跑道的两边界直线上各随机选取两个点，并以这些点为中心选取矩形采样窗。之后对采样窗提取梯度分布特征，并初始化目标分类器参数。然后在后续视频帧中对各采样点进行跟踪定位，由各采样点的跟踪结果拟合出跑道边界，并最终确定跑道区域及边界。最后，跑道边界进行增强以提高飞行员的视觉感知能力。本发明方法能够充分利用飞机前视着陆红外视频图像中的帧间信息，利用目标跟踪方法进行机场跑道边界的跟踪识别，在保证跑道边界识别正确率的同时，极大地提高了视景增强算法的时间性能。

说明书

技术领域

本发明属于计算机视觉图像处理技术领域，涉及一种基于跑道边界增强的飞机着陆视觉增强方法，可以广泛应用于飞行员视觉增强系统(EVS)、车辆视觉导航等领域。

背景技术

飞行员在着陆过程中，天气因素是影响其正常着陆的主要原因之一，尤其是在雾、雨、雪、沙尘等恶劣天气下，跑道及其周围的指示信号的可视性变差，导致飞行员通过视觉获取的跑道及周围信息不足，无法正常降落。另外，夜晚降落也存在光线暗，可视性低的问题。因此，提高机场跑道环境的可视性，增强飞行员的视觉感知具有重要现实意义。

飞行员视觉增强，是利用各种传感器和先进技术，增强飞行员在恶劣天气条件下以及暗光线条件下的视觉效果。以往的“视景系统”概念，就是为解决类似问题而提出的。其基本思路就是采用前视探测传感器实时获取机场跑道及其周边区域的高分辨率图像，并通过适当的信息、图像处理与融合形成易于飞行员理解的真实场景图像，从而使飞行员能透过云雾等恶劣天气看清跑道并正确地操纵飞机完成进场着陆。要能生成满足要求的视景系统，可以通过视景合成或视觉增强的方式。对于热红外波段和可见光波段图像，其物理成像特性完全不同。可见光成像若光照适宜，图像对比度相对较高，包含地面的很多细节信息，但若碰到恶劣天气以及夜晚等光线很暗的情况，成像结果会受到极大影响，难以分辨识别地面目标。而红外成像利用的是物体的热辐射特性获取细节，因此受气候和光照的影响小，感兴趣的目标往往在图像中呈现出高亮度、容易分辨的特点。

以往已有不少针对机场跑道识别定位的研究，但是大多为一些新理论或数学工具的应用，较少针对具体应用需求和实际的有效方法。这些方法均存在一些固有缺陷： 首先，以往研究多针对两幅或几幅静态图像研究，而飞机着陆过程中是连续的视频图像，与静态图像相比，还多了时间维的信息。如果还用针对静态图像的机场检测方法逐帧进行识别定位，那么，一是不能充分利用时间维上的信息(如帧间相关性)指导识别定位；二是逐帧孤立跑道检测计算量巨大，速度慢；再者，飞行员视觉增强需要处理算法具有很好的实时性，以满足应用需要。这在保证算法效果的同时对计算效率、存储空间等均提出了更为严格的要求。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于跑道边界增强的飞机着陆视觉增强方法，用于飞行员着陆视觉增强的前视图像中跑道定位跟踪。

技术方案

一种基于跑道边界增强的飞机着陆视觉增强方法，其特征在于步骤如下：

步骤1、检测首帧视频图像中跑道边界：对首帧视频图像进行降噪预处理，利用LSD直线检测算法进行处理得到所有的直线段集合L＝{l₁,l₂,l₃,......}，然后利用直线的斜率k_i、中点位置(x_im,y_im)、长度s_i，采用约束函数line_i＝f_i(k_i,(x_im,y_im),s_i)，f_i(k_i,(x_im,y_im),s_i)进行约束，得到首帧图像中跑道的两条边界直线line_i1，line_i2；

步骤2、选择跑道边界直线上跟踪点：对于四个采样点(x₁,y₁)，(x₂,y₂)和(x₃,y₃)，(x₄,y₄)，在以下规则确定的区间内随机选取：

$\left(\begin{array}{c}(x_1,y_1):\frac{2}{5}{L}_{\mathrm{xi}1}<|x_1-x_{i1}|<\frac{1}{2}{L}_{\mathrm{xi}1};\frac{2}{5}{L}_{\mathrm{yi}1}<|y_1-y_{i1}|<\frac{1}{2}{L}_{\mathrm{yi}1}\\ (x_2,y_2):\frac{1}{4}{L}_{\mathrm{xi}1}<|x_2-x_{i1}|<\frac{1}{3}{L}_{\mathrm{xi}1};\frac{1}{4}{L}_{\mathrm{yi}1}<|y_2-y_{i1}|<\frac{1}{3}{L}_{\mathrm{yi}1}\\ (x_3,y_3):\frac{1}{4}{L}_{\mathrm{xi}2}<|x_3-x_{i2}|<\frac{1}{3}{L}_{\mathrm{xi}2};\frac{1}{4}{L}_{\mathrm{yi}2}<|y_3-y_{i2}|<\frac{1}{3}{L}_{\mathrm{yi}2}\\ (x_4,y_4):\frac{2}{5}{L}_{\mathrm{xi}2}<|x_4-x_{i2}|<\frac{1}{2}{L}_{\mathrm{xi}2};\frac{2}{5}{L}_{\mathrm{yi}2}<|y_4-y_{i2}|<\frac{1}{2}{L}_{\mathrm{yi}2}\end{array}\right)$

$\left(\begin{array}{c}{L}_{\mathrm{xi}1}=|x_0-x_{i1}|,L_{\mathrm{yi}1}=|y_0-y_{i1}|\\ L_{\mathrm{xi}2}=|x_0-x_{i2}|,L_{\mathrm{yi}1}=|y_0-y_{i2}|\end{array}\right)$

其中：(x₀,y₀)为两跑道边界的交点；L_i1、L_i2分别为两条边界直线line_i1，line_i2的长度；跑道边界下端与图像下侧边界交点为(x_i1,y_i1)，(x_i2,y_i2)；L_xi1，L_xi2和L_yi1，L_yi2分别为两跑道边界直线段的端点横、纵坐标差差；

两跑道边界直线方程的矩阵表示为：

Y＝KX+B

其中：K为斜率矩阵，B为截距矩阵。由采样点矩阵[x₁ x₂ x₃ x₄]^T，[y₁ y₂ y₃ y₄]^T确定两跑道边界直线；

步骤3、在下一帧时对跑道采样点跟踪3：对步骤2得到的4个采样点分别设置采样窗Z_i，i＝1,2,3,4；

利用LSD直线检测算法对每一个采样窗提取直线，利用下式对检测的直线集合进行筛选，在采样窗中得到准确目标直线

$l_{t_i}=\left\{l\right|\left(\begin{array}{c}\sqrt{{(x_i+\frac{W_i}{2}-\bar{X})}^2+{(y_i+\frac{H_i}{2}-\bar{Y})}^2}<{\gamma }_i\\ \sqrt{{(x_{\mathrm{left}}-x_{\mathrm{right}})}^2+{(y_{\mathrm{left}}-y_{\mathrm{right}})}^2}>{\lambda }_i\\ |\frac{y_{\mathrm{left}}-y_{\mathrm{right}}}{x_{\mathrm{left}}-x_{\mathrm{right}}}-k_{{(t-1)}_i}|<{\eta }_i\end{array}\right)\}$

其中，(x_i,y_i)为当前矩形采样窗左上顶点的坐标；W_i,H_i为当前矩形采样窗的长和宽；为候选直线集合中直线段的中点坐标；γ_i为候选直线段与矩形采样窗中心的位置差阈值，利用矩形采样窗的局部最优进行约束；λ_i为候选直线的长度阈值；(x_left,y_left)，(x_right,y_right)分别为候选直线段的两端点坐标；为在上一帧中采样点所在直线的斜率；η_i为两帧之间的斜率差阈值，利用所在直线的全局最优进行进一步约束；

再提取目标直线段中点作为此帧图像中跑道边界的一个跟踪点：

$(x_t,y_t)=(\frac{x_{\mathrm{left}}+x_{\mathrm{right}}}{2},\frac{y_{\mathrm{left}}+y_{\mathrm{right}}}{2})$

其中：(x_t,y_t)为本矩形采样窗内采样点的最终跟踪结果；

所述矩形采样窗Z_i的长宽分别为H_i，W_i，其长宽关系为：W_i＝(1+θ_i)H_i/|k_i|，其中：θ_i为比例裕度；k_i为矩形采样窗对应采样点所在直线的斜率；

由此得到本帧4个采样点的跟踪结果分别为：(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)；

步骤4、拟合跑道的边界直线：根据4个采样点的跟踪结果建立边界直线方程：

$k_1=\frac{y_2-y_1}{x_2-x_1},k_2=\frac{y_4-y_3}{x_4-x_3},b_1=y_1-k_1{x}_1,b_2=y_3-k_2{x}_3$

$\left(\begin{array}{c}{l}_1:y=k_{1}x+b_1\\ l_2:y=k_{2}x+b_2\end{array}\right)$

l₁和l₂为所得到的两边界直线方程，以l₁与l₂之间的交点及其与图像边界的交点确定跑道区域(ROI)；

其中：k₁，k₂分别为两边界直线的斜率；b₁，b₂分别为两直线在y轴上的截距； 

步骤5、跑道边界增强：将步骤4得到跑道两边界直线l₁和l₂，在本帧图像上进行标注，使得原图像的跑道边界得到增强；

步骤6：针对下一帧视频图像，重复步骤2～步骤5，直至飞行着陆。

所述两边界直线上矩形采样窗的初始长度H_i为48；比例裕度θ_i为1.5；候选直线段与矩形采样窗中心的位置差阈值γ_i为候选直线的长度阈值λ_i为两帧之间的斜率差阈值η_i为。

所述约束函数中的参数值为与矩形采样窗中心位置偏差阈值为8，长度选取参数为s_i＜10。

有益效果

本发明提出的一种基于跑道边界增强的飞机着陆视觉增强方法，用目标跟踪理论 进行跑道边界的精确定位跟踪，并最终拟合出跑道位置并进行增强。仿真实验证明，该算法能在飞机前视着陆红外视频图像中实时的、有效的跟踪跑道。能够有效增强飞行员视觉感知能力以操纵飞机顺利着陆。

本发明优点在于：第一：将目标跟踪理论用于机场跑道的识别标定，显著提高跑道区域识别的实时性，并能显著提高算法在干扰(如遮挡、丢失等)情况下的鲁棒性；第二：在对跑道边界采样点进行跟踪时采用局部约束与全局约束相结合的方式，能够显著降低由单个采样点跟踪错误导致的跑道定位偏差；第三：对跑道边界及跑道区域进行简单而有效的增强，使之成为图像中相对显著的区域，便于飞行员辨识。从而，本算法能够有效增强恶劣天气导致的低能见度下飞行员着陆时的视觉感知能力。

附图说明

图1：本发明方法的流程图；

图2：仿真实验所选取的目标视频图像及一系列处理

(a)视频首帧图像；(b)跑道区域示意图；(c)LSD算法初步直线检测结果；(d)经筛选后的确定的跑道边界直线；(e)在跑道边界上选取的采样点和矩形采样窗；(f)有首帧的采样点拟合出的跑道边界；(g)在视频帧中由采样点实时拟合跑道边界直线；(h)跑道区域跟踪标定效果图；

图3：选取的四个采样点位置的示意图。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明方法的特征在于步骤如下：

步骤1 首帧视频图像中跑道边界检测：此步骤主要是利用机场跑道在红外图像中显著的边界特征进行跑道识别，核心为准确特定边界检测算法。利用边界长度、边界显著度、斜率、两边界的位置关系、检测的边界条数等约束条件进行精确定位跑道。 采用LSD直线检测算法进行直线提取，得到一个待选跑道边界直线集L＝{l₁,l₂,l₃，……}。最后，根据跑道边界长度、边界宽度、斜率等约束条件得到跑道的两条边界。具体流程如下：

a)LSD直线检测

主要依据图像的梯度方向进行同一直线上点的检测。图像的方向梯度公式为：

$\left(\begin{array}{c}{g}_x(x,y)=(i(x+1,y)+i(x+1,y+1)-i(x,y)-i(x,y+1))/2\\ g_y(x,y)=(i(x,y+1)+i(x+1,y+1)-i(x,y)-i(x+1,y))/2\end{array}\right)---\left(1\right)$

$g(x,y)=\sqrt{{g_x}^2+{g_y}^2}---\left(2\right)$

ang(x,y)＝arctan(gx(x,y)/(-gy(x,y))            (3) 

其中，i(x,y)为图像中坐标点(x,y)的像素值；g_x(x,y)为坐标点(x,y)的x方向梯度；g_y(x,y)为坐标点(x,y)的y方向梯度；g(x,y)为坐标点(x,y)的实际梯度值；ang(x,y)为坐标点(x,y)的梯度方向角。

b)对检测直线进行筛选

依据直线的长度、斜率、数量特性对a)所得到的直线集进行筛选。如下约束条件：

line_i＝f_i(k_i,l_i,s_i)                 (4) 

L_f＝F(line_i,line_j)                (5) 

其中，line_i为满足跑道边界直线斜率k_i、长度l_i、位置s_i约束的直线；L_f为对满足公式(4)约束条件的直线集进一步筛选得到的最终跑道(两边界)的结果，筛选条件为：直线对line_i,line_j满足约束函数F(line_i,line_j)。最终我们便可以通过精确检测得到跑道边界。

c)确定跑道区域 

对b)检测得到的边界直线进行延长等相关处理，由两跑道边界直线的交点、两边界直线与图像边界的交点边可以确定跑道区域。跑到区域满足以下公式：

ROI＝S₁∩S₂                        (6) 

$\left(\begin{array}{c}{S}_1=\left\{(x,y)\right|f_{l1}(x,y)\le \mathrm{0,0}\le x\le N,0\le y\le M\}\\ S_2=\left\{(x,y)\right|f_{l2}(x,y)\ge \mathrm{0,0}\le x\le N,0\le y\le M\}\end{array}\right)---\left(7\right)$

其中，ROI(Region Of Interest)表示最终的跑道区域；S₁、S₂分别表示经两边界直线约 束的候选跑道区域；f_l1(x,y)＝0、f_l2(x,y)＝0分别表示两边界所在直线方程；M、N分别表示图像的高度和宽度。

步骤2 在步骤1检测得到首帧边界的基础上，在两条边界上分别随机选取两个采样点(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)。这四个采样点的选择按照如下步骤进行：首先，由步骤1确定跑道边得到直线方程y＝kx+b，其中k为斜率，b为截距。其次，考虑到在图像上半部跑道边界清晰度较差，故选取靠近图像下侧部分的采样点(远离机场跑道灭点的一端)。选取的采样点满足以下限制条件：

Point_Set＝{(x,y)|y＝kx+b,θ_y-＜y＜θ_y+,θ_x-＜x＜θ_x+}            (8) 

其中，Point_Set为满足条件的采样点(x,y)的集合；θ_y-、θ_y+分别为满足条件采样点的纵坐标的上下界；θ_x-，θ_x+分别为满足条件采样点的横坐标的上下界。通过选取不同θ_y-、θ_y+、θ_x-、θ_x+值，便可以正确选取4个采样点。采样点选取后便是对采样点进行步骤3跟踪。

步骤3 在下一帧时，在步骤2得到的各采样点处，分别选取矩形采样窗Z_i，i＝1,2,3,4，以对采样点进行跟踪。设矩形采样窗Z_i的长宽分别为H_i，W_i，那么其长宽关系为：

W_i＝(1+θ_i)H_i/|k_i|                     (9) 

其中，θ_i为比例裕度；k_i为矩形采样窗对应采样点所在直线的斜率。这样通过选择一个合适的H_i，便可以依据每帧图像中不同采样点所在直线斜率的不同更新矩形采样窗的大小。对每一个采样窗依据其梯度方向图特征提取直线，即LSD直线检测。并依据斜率与位置对检测的直线集合进行，最终在采样窗中得到准确目标直线即：

$l_{t_i}=\left\{l\right|\left(\begin{array}{c}\sqrt{{(x_i+\frac{W_i}{2}-\bar{X})}^2+{(y_i+\frac{H_i}{2}-\bar{Y})}^2}<{\gamma }_i\\ \sqrt{{(x_{\mathrm{left}}-x_{\mathrm{right}})}^2+{(y_{\mathrm{left}}-y_{\mathrm{right}})}^2}>{\lambda }_i\\ |\frac{y_{\mathrm{left}}-y_{\mathrm{right}}}{x_{\mathrm{left}}-x_{\mathrm{right}}}-k_{{(t-1)}_i}|<{\eta }_i\end{array}\right)\}---\left(10\right)$

其中，为目标直线；(x_i,y_i)为当前矩形采样窗左上顶点的坐标；W_i,H_i为当前矩形采样窗的长和宽；为候选直线集合中直线段的中点坐标；γ_i为候选直线段与矩形 采样窗中心的位置差阈值，即利用举行采样窗的局部最优进行约束；λ_i为候选直线的长度阈值；(x_left,y_left)，(x_right,y_right)分别为候选直线集合中直线段的两端点坐标；为在上一帧中采样点所在直线的斜率；η_i为两帧之间的斜率差阈值，即利用所在直线的全局最优进行约束。综合依据矩形窗内最优与此帧全局最优，选取最合适的一条直线段，并提取目标直线段中点作为此帧跑道边界的一个跟踪点，即

$(x_t,y_t)=(\frac{x_{\mathrm{left}}+x_{\mathrm{right}}}{2},\frac{y_{\mathrm{left}}+y_{\mathrm{right}}}{2})---\left(11\right)$

其中，(x_t,y_t)为本矩形采样窗内采样点的最终跟踪结果。

步骤4 在步骤3得到本帧各采样点的跟踪结果后，依据各点跟踪位置拟合出跑道区域边界直线。假设在两边界直线的上得到的跟踪结果分别为(x₁,y₁)，(x₂,y₂)和(x₃,y₃)，(x₄,y₄)。那么我们便可以得到其边界直线方程，即：

其中，k₁，k₂分别为两边界直线的斜率；b₁，b₂分别为两直线在y轴上的截距；l₁，l₂为最终拟合所得到的直线方程。由跑道边界直线之间的交点及其与图像边界的交点确定跑道区域，即ROI。

步骤5 在步骤4得到跑道区域及其边界的基础上，对检测到的跑道边界进行增强。对跑道边界采用人为标定直线的方式进行增强，从而增强了飞行员在着陆时对机场跑道的视觉感知能力。

步骤6 重复步骤2～5，直至飞行着陆。

具体实施例： 

用于实施的硬件环境是：Intel(R)Xeon(R),E5504,6GB RAM,2.0GHz，运行的软件环境是：Mat1ab2014a和Win7。我们用Matlab语言与C++语言混合编程实现了本发明提出的新算法。采用类似机场跑道的具有显著边界特征的笔直公路视频进行实验，视频时长10秒(s)，共150帧。尺寸：488×191。

步骤1 首帧视频图像中跑道边界检测：首先对首帧视频图像进行降噪预处理，以 提高图像的清晰度。而后利用LSD直线检测算法对整幅图像进行处理得到所有的直线段集合L＝{l₁,l₂,l₃,......}，然后利用直线的斜率k、中点位置(x_m,y_m)、长度s等条件进行约束，即line_i＝f_i(k_i,(x_m,y_m),s_i)。考虑到图像中跑道特征，这里我们选取的参数值为与矩形采样窗中心位置偏差阈值为8，长度选取参数为s_i＜10；其后对初选直线依据两跑道边界间的位置关系进行进一步筛选，记两跑道边界直线为l_m、l_n，斜率为k_m、k_n，截距为b_m、b_n。那么首先k_m与k_n为一对正负异号的值；其次，两边界直线长度s相差不会很大。最后，由图像的下边界到上边界过程中，两跑道边界间距离呈现递减态势。

步骤2 跑道边界直线上跟踪点的选择。在步骤1得到首帧图像跑道边界的基础上，对跑道进行跟踪。可以在两跑道边界直线上各任意选两采样点，然后对各点进行跟踪，最后由“两点确定一条直线”规则确定两跑道边界。考虑到跑道边界的清晰度，我们按照以下规则选取采样点：假设两跑道边界直线段在图像中的长度分别为L_i1、L_i2，跑道边界直线下端与图像下侧边界交点为(x_i1,y_i1)，(x_i2,y_i2)。那么对于跑道边界上采样点的选择，我们选择满足以下条件的边界直线上的点，借助图3进行说明。结合公式8，对于四个采样点(x₁,y₁)，(x₂,y₂)和(x₃,y₃)，(x₄,y₄)，我们依照以下规则确定的区间随机选取：

$\left(\begin{array}{c}(x_1,y_1):\frac{2}{5}{L}_{\mathrm{xi}1}<|x_1-x_{i1}|<\frac{1}{2}{L}_{\mathrm{xi}1};\frac{2}{5}{L}_{\mathrm{yi}1}<|y_1-y_{i1}|<\frac{1}{2}{L}_{\mathrm{yi}1}\\ (x_2,y_2):\frac{1}{4}{L}_{\mathrm{xi}1}<|x_2-x_{i1}|<\frac{1}{3}{L}_{\mathrm{xi}1};\frac{1}{4}{L}_{\mathrm{yi}1}<|y_2-y_{i1}|<\frac{1}{3}{L}_{\mathrm{yi}1}\\ (x_3,y_3):\frac{1}{4}{L}_{\mathrm{xi}2}<|x_3-x_{i2}|<\frac{1}{3}{L}_{\mathrm{xi}2};\frac{1}{4}{L}_{\mathrm{yi}2}<|y_3-y_{i2}|<\frac{1}{3}{L}_{\mathrm{yi}2}\\ (x_4,y_4):\frac{2}{5}{L}_{\mathrm{xi}2}<|x_4-x_{i2}|<\frac{1}{2}{L}_{\mathrm{xi}2};\frac{2}{5}{L}_{\mathrm{yi}2}<|y_4-y_{i2}|<\frac{1}{2}{L}_{\mathrm{yi}2}\end{array}\right)---\left(14\right)$

$\left(\begin{array}{c}{L}_{\mathrm{xi}1}=|x_0-x_{i1}|,L_{\mathrm{yi}1}=|y_0-y_{i1}|\\ L_{\mathrm{xi}2}=|x_0-x_{i2}|,L_{\mathrm{yi}1}=|y_0-y_{i2}|\end{array}\right)---\left(15\right)$

其中，(x₀,y₀)为两跑道边界的交点。L_xi1，L_xi2和L_yi1，L_yi2分别为两跑道边界直线段的端点横、纵坐标差。依据以上规则我们便可以得到合适的采样点。同时，假设两跑道边界直线方程的矩阵表示为：

Y＝KX+B                     (16) 

其中，K为斜率矩阵，B为截距矩阵。通过对两边界直线上各选取的两个点进行跟踪，从而实现对跑道的跟踪。即由采样点矩阵[x₁ x₂ x₃ x₄]^T，[y₁ y₂ y₃ y₄]^T确定两跑道边界直线。步骤3便是对跑道采样点的跟踪

步骤3 对跑道采样点的跟踪。在下一帧时，在步骤2得到的4个采样点处，分别选取矩形采样窗Z_i，i＝1,2,3,4，以对采样点进行跟踪。设矩形采样窗Z_i的长宽分别为H_i，W_i，那么其长宽关系为：

W_i＝(1+θ_i)H_i/|k_i|                (17) 

其中，θ_i为比例裕度；k_i为矩形采样窗对应采样点所在直线的斜率。这样通过选择一个合适的H_i，便可以依据每帧图像中不同采样点所在直线斜率的不同更新矩形采样窗的大小。对每一个采样窗依据其梯度方向图特征提取直线，即LSD直线检测。并依据斜率与位置对检测的直线集合进行筛选，最终在采样窗中得到准确目标直线即：

$l_{t_i}=\left\{l\right|\left(\begin{array}{c}\sqrt{{(x_i+\frac{W_i}{2}-\bar{X})}^2+{(y_i+\frac{H_i}{2}-\bar{Y})}^2}<{\gamma }_i\\ \sqrt{{(x_{\mathrm{left}}-x_{\mathrm{right}})}^2+{(y_{\mathrm{left}}-y_{\mathrm{right}})}^2}>{\lambda }_i\\ |\frac{y_{\mathrm{left}}-y_{\mathrm{right}}}{x_{\mathrm{left}}-x_{\mathrm{right}}}-k_{{(t-1)}_i}|<{\eta }_i\end{array}\right)\}---\left(18\right)$

其中，为目标直线；(x_i,y_i)为当前矩形采样窗左上顶点的坐标；W_i,H_i为当前矩形采样窗的长和宽；为候选直线集合中直线段的中点坐标；γ_i为候选直线段与矩形采样窗中心的位置差阈值，即利用矩形采样窗的局部最优进行约束；λ_i为候选直线的长度阈值；(x_left,y_left)，(x_right,y_right)分别为候选直线集合中直线段的两端点坐标；为在上一帧中采样点所在直线的斜率；η_i为两帧之间的斜率差阈值，即利用所在直线的全局最优进行约束。综合依据矩形窗内最优与此帧全局最优，选取最合适的一条直线段，并提取目标直线段中点作为此帧图像中跑道边界的一个跟踪点，即

$(x_t,y_t)=(\frac{x_{\mathrm{left}}+x_{\mathrm{right}}}{2},\frac{y_{\mathrm{left}}+y_{\mathrm{right}}}{2})---\left(19\right)$

其中，(x_t,y_t)为本矩形采样窗内采样点的最终跟踪结果。采用同样的方法完成对跑道 边界其余采样点的跟踪定位。然后进行步骤4，将确定的跑道边界跟踪点位置信息用于下一视频帧的跑道边界确定。

步骤4 在步骤3得到本帧各采样点的跟踪结果后，依据各点跟踪位置拟合出跑道区域边界直线，并用于下一帧的跑道边界标定。假设在两边界直线的上得到的跟踪结果分别为(x₁,y₁)，(x₂,y₂)和(x₃,y₃)，(x₄,y₄)。那么我们便可以得到其边界直线方程，即：

其中，k₁，k₂分别为两边界直线的斜率；b₁，b₂分别为两直线在y轴上的截距；l₁，l₂为最终拟合所得到的直线方程。由跑道边界直线之间的交点及其与图像边界的交点确定跑道区域，即ROI。

步骤5 在步骤4得到跑道区域及其边界直线的基础上，对检测到的跑道边界进行增强。对跑道边界采用标定直线的方式进行增强，从而增强了飞行员在着陆时对机场跑道的视觉感知能力。

步骤6 重复步骤2～5，直至飞行着陆结束。

为进一步说明本方法在飞行员着陆视觉增强应用中的有效性，分别从跑道边界跟踪正确率与视觉增强实时性方面与基于检测的视觉增强算法进行对比分析。对模拟飞机着陆视频进行视觉增强，视频总帧数为150帧，尺寸：488×191。分别考虑两种方法在低能见度场景下的视觉增强效果。其对比结果如下表1所示。可以看出，本方法不仅提高了跑道边界跟踪正确率，而且处理时间性能上高出基于检测的跑道边界增强算法一个数量级。

表1 低能见度下本方法与基于检测的视觉增强算法对比