公开/公告号CN106295695A
专利类型发明专利
公开/公告日2017-01-04
原文格式PDF
申请/专利权人 中国民用航空总局第二研究所;
申请/专利号CN201610644474.9
申请日2016-08-08
分类号G06K9/62(20060101);H04N7/18(20060101);
代理机构51214 成都九鼎天元知识产权代理有限公司;
代理人徐静
地址 610041 四川省成都市高新区高新技术开发区二环路南二段17号
入库时间 2023-06-19 01:16:00
法律状态公告日
法律状态信息
法律状态
2019-08-16
授权
授权
2017-02-01
实质审查的生效 IPC(主分类):G06K9/62 申请日:20160808
实质审查的生效
2017-01-04
公开
公开
技术领域
本发明涉及物体跟踪探测领域，尤其是一种飞机起降过程自动追踪拍摄方法及装置。
背景技术
飞机的起飞和降落是整个飞行阶段中危险系数最高的环节，也是事故发生率最高的环节。对飞机起飞和降落过程进行跟踪拍摄，可以实现更有效的地面监视，及时发现错误的飞行姿态(起落架未放下、高度/速度异常等)，预防事故的发生。同时，拍摄保存的视频资料，也是事后问题调查的最可靠分析数据之一。
对飞机自动进行跟踪拍摄，可以极大减少人工劳动负担。同时，自动装置工作效率更高，拍摄画面也更平稳。而自动跟踪拍摄的技术基础是飞机探测与跟踪技术。在整个起降过程中，飞机速度快，空间跨度大，观察视角变化大，因此成像信号变化大。普通的图像探测与追踪技术难以解决这些困难，容易出现跟丢或者跟错的问题。
发明内容
本发明所要解决的技术问题是：针对现有技术存在的问题，提供一种飞机起降过程自动追踪拍摄方法及装置。本方法和装置从图像探测入手，融合多个设备信息，对飞机运行的4D轨迹(3D空间加时间)进行估算，从而实现自动追踪拍摄的目的。飞机起降过程自动追踪追踪拍摄装置由两部分组成。一部分是拍摄设备，包含视频模式工作的相机、变焦镜头和可以水平及俯仰转动的转台；一部分是远程控制设备及信号处理设备，即计算机。两部分设备由网络进行连接，相互传输信号，对飞机运行的4D轨迹(3D空间加时间)进行估算，从而实现自动追踪拍摄的目的。
本发明采用的技术方案如下：
一种飞机起降过程自动追踪拍摄方法包括：
步骤1：拍摄设备，包含变焦镜头、能工作在视频模式的相机和可以水平及俯仰转动的转台；远程控制设备及信号处理的计算机；计算机与拍摄设备通过网络进行连接，相互传输信号；计算机控制转台和变焦镜头，让相机视野对准飞机进入监视区域的方向；相机开始拍摄视频数据，并传输给计算机；计算机收到相机视频数据后，通过相应阶段级联式探测器根据视频数据中每一帧图像对目标飞机进行探测，在探测到目标飞机进入相应监视区域后，开始记录视频数据；其中相机和变焦镜头放置于转台上；转台放置于机场跑道一侧，距离机场跑道近距离一侧距离范围是200米到3千米；其中探测目标飞机降落时，通过第一阶段探测器根据视频数据中每一帧图像对目标飞机进行探测，当探测目标飞机起飞时，通过第三阶段探测器根据视频数据中每一帧图像对目标飞机进行探测；
步骤2：根据探测到的目标飞机在视频数据中每一帧图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置；
步骤3：根据连续拍摄计算出的目标飞机三维空间位置计算飞机运动轨迹，再结合拍摄时间计算转台追踪飞机应使用的水平旋转角速度和俯仰旋转角速度；
步骤4：计算机根据步骤调整转台和镜头，让相机视野对准目标飞机将出现的位置，实现对目标飞机进行跟踪拍摄；计算机对转台调整过程中，如果目标飞机在当前视野中超前，则实际使用角速度为步骤3中得到的水平和俯仰旋转角速度值的0.9～1倍；如果目标飞机在当前视野中落后，则实际使用角速度为步骤3中得到的水平和俯仰旋转角速度值的1～1.1倍；计算机对镜头调整过程中，如果目标飞机占据区域超过视频数据中一帧图像整个画面的80％，则计算机将镜头焦距值变为当前的0.9～1倍；如果目标飞机占据区域小于视频数据中一帧图像整个画面的50％，则计算机将镜头焦距值变为当前的1～1.1倍；
步骤5：跟踪拍摄过程持续到目标飞机离开监视区域后结束；如果跟踪过程中出现意外丢失目标飞机，计算机控制拍摄设备按照预测的目标飞机运动轨迹保持探测1秒到5秒；在此期间内若发现目标飞机则恢复正常跟踪状态；否则计算机控制拍摄设备结束跟踪。
进一步的,所述步骤1、2中使用级联式探测器对目标飞机进行探测具体过程是：
级联式探测器采取滑动窗口采样结合逐级识别的方式对目标进行探测；对滑动窗口采样的局部图像区域使用逐级识别的方法对该区域是否为探测目标进行判定；级联式探测器的整体参数包括特征描述方法、分类器方法、探测器的级数，每一级的参数包括该级的局部特征区域ω、分类器参数C和判定阈值；在一幅图像中使用级联式探测器获得飞机所在区域的具体过程如下：
步骤21：设定滑动窗口的长度、宽度、长度方向移动步长以及宽度方向移动步长；其中滑动窗口的长度像素值范围是60到180；滑动窗口的宽度像素值范围是20到60；滑动窗口的长度方向移动步长像素值范围是10到90；滑动窗口的宽度方向移动步长像素值范围是5到30；
步骤22：按照滑动窗口的长度、宽度设定子区域范围，从图像中抓取子区域，称为识别子区域Ω，将识别子区域Ω代入级联式探测器进行处理，初始滑动窗口的位置在图像的左上角；
步骤23：级联式探测器中的每一级，在识别子区域Ω内选取局部特征区域ω，使用特征描述方法将ω转换成特征向量F，然后使用分类器参数C点乘F得到一个决策值；如果决策值小于判定阈值则拒绝，认定识别区域Ω不是飞机；否则，通过该级，交由级联式探测器的下一级继续进行判定；当所有级均通过后，认定识别区域Ω是飞机，输出该识别区域位置信息；
步骤24：按照长度方向移动步长以及宽度方向移动步长设定，逐步移动滑动窗口，然后重复步骤22到23，直到完成对整个图像的覆盖；
步骤25：按照比例值缩小图像，然后重复步骤22到24，直到图像小于滑动窗口尺寸，实现对图像中多种缩放尺度飞机的探测；其中比例值范围是0.5到0.9；
步骤26：汇总所有输出的区域信息，合并重叠区域，得到级联式探测器认为飞机所在的区域，所述飞机所在的区域包括所有重叠区域的最小矩形区域；
进一步的,所述级联式探测器的特征描述方法，分类器方法，探测器的级数是人工设定的；级联式探测器每一级的参数是通过训练得到的，每一级的参数包括该级的局部特征区域ω、分类器参数C和判定阈值；级联式探测器训练得到参数的过程如下：
步骤11：对五个飞行阶段分别拍摄的飞机照片，对每张照片手动标注照片中飞机所在区域，将照片该区域缩小到标准样本尺寸，生成正样本库；拍摄不含飞机的机场照片以及其它不含飞机的任意照片，并在其照片中随机选取与标准样本长宽比例相同、且不小于标准样本尺寸的子区域图像，将该区域缩小到标准样本尺寸，生成负样本；负样本数量为正样本数量10倍以上；所述标准样本尺寸的长在60到300像素之间，宽在20到100像素之间；
步骤12：设定级联式探测器的训练参数，即每一级需达到的检测率和错误率；检测率的定义为本身是正样本且被识别为正样本的数量除以总正样本的数量，错误率的定义为本身是负样本但被识别为正样本的数量除以所有被识别为正样本的数量；检测率范围是90％到100％；错误率是20％到80％；
步骤13：在探测器的每一级训练过程中，取样本库中10％的正样本和10％的负样本，对每个样本将某特定局部特征区域ω使用特征描述方法转换成特征向量F；根据所有特征向量F的分布情况，使用分类器方法计算出最佳分类参数C和判定阈值；
步骤14：统计所使用样本分类结果的检测率和错误率，如果检测率低于设定值或者错误率高于设定值，则随机另选一个局部特征区域ω的值，然后重复步骤13；
步骤15：对所有样本选取局部特征区域ω，使用设定特征描述方法将ω转换成特征向量F，然后使用分类器参数C点乘F得到一个决策值；如果决策值小于判定阈值则认为是正样本，否则认为是负样本；验证识别结果的检测率和错误率；如果检测率低于设定值或者错误率高于设定值，则改变局部特征区域ω的值，然后对当前抽取样本重复步骤13；否则，将识别为负样本的样本从样本库中删除，完成当前级的探测器参数训练；
步骤16：重复步骤13到15，直到完成设定级数的探测器训练。
进一步的,所述步骤2中具体处理过程包括：建立三维空间坐标体系，X轴与跑道方向平行，Y轴与跑道平面垂直，原点设置在跑道尽头，且使得XZ平面为跑道平面，跑道中轴线在XY平面内；将目标飞机中心点设为A(Ax，Ay,Az)，则A的运动轨迹在XY平面内，Az为0；转台安装在点P处，P坐标值(Px,Py,Pz)在设备安装时测量获得；Ax和Ay的计算方法为：
步骤31：计算机读取所有级联式探测器回传的目标飞机通过检测区域时的位置信息，即目标飞机所在子区域，令飞机所在子区域中心像素坐标为(Ix,Iy)，计算机读取目标飞机所在子区域对应视频数据图像的拍摄时间t；
步骤32：计算机读取目标飞机所在子区域对应视频数据图像拍摄时转台的俯仰角θV、水平角θH以及相机镜头焦距f；
步骤33：计算机得到修正俯仰角度
步骤34：计算机计算从转台指向飞机的角度θV"＝θV+θV'，θH"＝θH+θH'；
步骤35：计算机按照公式Ax＝Px+|Pz|tan(θH")、
进一步的,所述步骤3中具体处理过程包括：
步骤41：连续提取N帧图像，使用步骤31到步骤35的方法计算每帧图像中飞机所在空间位置A(Ax,Ay,Az)，每个位置分别记为{A1(Ax1,Ay1,0),A2(Ax2,Ay2,0),...AN(AxN,AyN,0)}；N的值在3到100之间；
步骤42：令
步骤43：按照公式
步骤44：在轨迹集合点中取第一个点(x1,y1,0)和最后一个点(x2,y2,0)，计算机分别对应提取轨迹集合中第一个点和最后一个点对应的拍摄时间t1和t2，计算出追踪飞机的转台当前该使用的水平转动角速度为：
>
俯仰转动角速度为：
>
一种飞机起降过程自动追踪拍摄装置包括：
拍摄设备，包含变焦镜头、能工作在视频模式的相机和可以水平及俯仰转动的转台；远程控制设备及信号处理的计算机；计算机与拍摄设备通过网络进行连接，相互传输信号；
计算机控制转台和镜头，让相机视野对准飞机进入监视区域的方向；相机开始拍摄视频数据，并传输给计算机；计算机收到相机视频数据后，通过相应阶段级联式探测器根据视频数据中每一帧图像对目标飞机进行探测，在探测到目标飞机进入相应监视区域后，开始记录视频数据，并保持跟踪拍摄，直到目标飞机离开监视区域；其中相机放置于转台上；转台放置于机场跑道一侧，距离机场跑道近距离一侧距离范围是200米到3千米；其中探测目标飞机降落时，通过第一阶段探测器根据视频数据中每一帧图像对目标飞机进行探测，当探测目标飞机起飞时，通过第三阶段探测器根据视频数据中每一帧图像对目标飞机进行探测；
计算机根据探测到的目标飞机在视频数据中每一帧图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置；
计算机根据连续拍摄计算出的目标飞机三维空间位置计算飞机运动轨迹，再结合拍摄时间计算转台追踪飞机应使用水平旋转角速度和俯仰旋转角速度；
计算机根据步骤调整转台和镜头，让相机视野对准目标飞机将出现的位置，实现对目标飞机进行跟踪拍摄；计算机对转台调整过程中，如果目标飞机在当前视野中超前，则使用水平旋转角速度值和俯仰旋转角速度值的0.9～1倍；如果目标飞机在当前视野中落后，则使用水平旋转角速度值和俯仰旋转角速度值的1～1.1倍；计算机对变焦镜头调整过程中，如果目标飞机占据区域超过视频数据中一帧图像整个画面的80％，则计算机将镜头焦距值变为当前的0.9～1倍；如果目标飞机占据区域小于视频数据中一帧图像整个画面的50％，则计算机将镜头焦距值变为当前的1～1.1倍；
跟踪拍摄过程持续到目标飞机离开监视区域后结束；如果跟踪过程中出现意外丢失目标飞机，计算机控制相机按照预测的目标飞机运动轨迹保持探测1秒到5秒；在此期间内若发现目标飞机则恢复正常跟踪状态；否则计算机控制相机结束跟踪。
进一步的,所述级联式探测器对目标飞机进行探测具体过程是：
级联式探测器采取滑动窗口采样结合逐级识别的方式对目标进行探测；对滑动窗口采样的局部图像区域使用逐级识别的方法对该区域是否为探测目标进行判定；级联式探测器的整体参数包括特征描述方法、分类器方法、探测器的级数，每一级的参数包括该级的局部特征区域ω、分类器参数C和判定阈值；在一幅图像中使用级联式探测器获得飞机所在区域的具体过程如下：
步骤21：设定滑动窗口的长度、宽度、长度方向移动步长以及宽度方向移动步长；其中滑动窗口的长度像素值范围是60到180；滑动窗口的宽度像素值范围是20到60；滑动窗口的长度方向移动步长像素值范围是10到90；滑动窗口的宽度方向移动步长像素值范围是5到30；
步骤22：按照滑动窗口的长度、宽度设定子区域范围，从图像中抓取子区域，称为识别子区域Ω，将识别子区域Ω代入级联式探测器进行处理，初始滑动窗口的位置在图像的左上角；
步骤23：级联式探测器中的每一级，在识别子区域Ω内选取局部特征区域ω，使用特征描述方法将ω转换成特征向量F，然后使用分类器参数C点乘F得到一个决策值；如果决策值小于判定阈值则拒绝，认定识别区域Ω不是飞机；否则，通过该级，交由级联式探测器的下一级继续进行判定；当所有级均通过后，认定识别区域Ω是飞机，输出该识别区域位置信息；
步骤24：按照长度方向移动步长以及宽度方向移动步长设定，逐步移动滑动窗口，然后重复步骤22到23，直到完成对整个图像的覆盖；
步骤25：按照比例值缩小图像，然后重复步骤22到24，直到图像小于滑动窗口尺寸，实现对图像中多种缩放尺度飞机的探测；其中比例值范围是0.5到0.9；
步骤26：汇总所有输出的区域信息，合并重叠区域，得到级联式探测器认为飞机所在的区域，所述飞机所在的区域包括所有重叠区域的最小矩形区域。
进一步的,所述级联式探测器包括特征描述方法、分类器方法以及探测器的级数；每一级的参数是通过训练得到的，包括该级的局部特征区域ω、分类器参数C和判定阈值；级联式探测器训练得到参数的过程如下：
步骤11：分别拍摄的n个监测区域的飞机运行照片，对每张照片手动标注照片中飞机所在区域，将照片该区域缩小到标准样本尺寸，生成正样本库；拍摄不含飞机的机场照片以及其它不含飞机的任意照片，并在其照片中随机选取与标准样本长宽比例相同、且不小于标准样本尺寸的子区域图像，将该区域缩小到标准样本尺寸，生成负样本；负样本数量为正样本数量10倍以上；所述标准样本尺寸的长在60到300像素之间，宽在20到100像素之间；
步骤12：设定级联式探测器的训练参数，即每一级需达到的检测率和错误率；检测率的定义为本身是正样本且被识别为正样本的数量除以总正样本的数量，错误率的定义为本身是负样本但被识别为正样本的数量除以所有被识别为正样本的数量；检测率范围是90％到100％；错误率是20％到80％；
步骤13：在探测器的每一级训练过程中，取样本库中10％的正样本和10％的负样本，对每个样本将某特定局部特征区域ω使用特征描述方法转换成特征向量F；根据所有特征向量F的分布情况，使用分类器方法计算出最佳分类参数C和判定阈值；
步骤14：统计所使用样本分类结果的检测率和错误率，如果检测率低于设定值或者错误率高于设定值，则随机另选一个局部特征区域ω的值，然后重复步骤13；
步骤15：对所有样本选取局部特征区域ω，使用设定特征描述方法将ω转换成特征向量F，然后使用分类器参数C点乘F得到一个决策值；如果决策值小于判定阈值则认为是正样本，否则认为是负样本；验证识别结果的检测率和错误率；如果检测率低于设定值或者错误率高于设定值，则改变局部特征区域ω的值，然后对当前抽取样本重复步骤13；否则，将识别为负样本的样本从样本库中删除，完成当前级的探测器参数训练；
步骤16：重复步骤13到15，直到完成设定级数的探测器训练。
进一步的,所述计算机根据探测到的目标飞机在视频数据中每一帧图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置具体过程是：建立三维空间坐标体系，将目标飞机中心点设为A(Ax，Ay,Az)，则A的运动轨迹在XY平面内，Az为0；转台安装在点P处，P坐标值(Px,Py,Pz)在设备安装时测量获得；Ax和Ay的计算方法为：
步骤31：计算机读取所有级联式探测器回传的目标飞机通过检测区域时的位置信息，即目标飞机所在子区域，令飞机所在子区域对应视频数据图像区域中心像素坐标为(Ix,Iy)，计算机读取目标飞机所在子区域对应视频数据图像的拍摄时间t；
步骤32：计算机读取目标飞机所在子区域对应视频数据图像拍摄时转台的俯仰角θV、水平角θH以及相机镜头焦距f；
步骤33：计算机得到修正俯仰角度
步骤34：计算机计算从转台指向飞机的角度θV"＝θV+θV'，θH"＝θH+θH'；步骤35：计算机按照公式Ax＝Px+|Pz|tan(θH")、
进一步的,所述根据连续拍摄计算出的飞机三维空间位置计算飞机运动轨迹，再结合拍摄时间计算转台追踪飞机应使用的水平和俯仰旋转角速度中具体处理过程包括：
步骤41：连续提取N帧图像，使用步骤31到步骤35的方法计算每帧图像中飞机所在空间位置A(Ax,Ay,Az)，每个位置分别记为{A1(Ax1,Ay1,0),A2(Ax2,Ay2,0),...AN(AxN,AyN,0)}；N的值在3到100之间；
步骤42：令
步骤43：按照公式
步骤44：在轨迹集合点中取第一个点(x1,y1,0)和最后一个点(x2,y2,0)，计算机分别对应提取轨迹集合中第一个点和最后一个点对应的拍摄时间t1和t2，计算出追踪飞机的转台当前该使用的水平转动角速度为：
>
俯仰转动角速度为：
>
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、通过本发明提出的装置及方法可以对飞机起飞和降落过程实现自动探测及追踪监视，性能稳定可靠，大幅降低了跟错或者跟丢的常见问题。
2、通过本发明提出的装置及方法可以自动记录飞机起飞和降落的完整过程，有助于后期分析调查。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明示意图(图中A点代表目标飞机)。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明相关说明：
1.特征描述方法是HoG、LBP、SIFT、SURF等。分类器是SVM、贝叶斯、决策树等。
2.监视区域指飞机起飞和降落过程的活动空间，对于起飞过程是从跑道尽头待起飞位置开始到飞机离开跑道3千米全过程飞行程序设定的活动空间，对于降落过程是从距离跑道3千米到降落后离开跑道全过程飞行程序设定的活动空间。
3.探测器指的是通过物体探测算法实现对图像中某一个特定物体进行探测的方法；其中探测器的输入是图像，输出是包含特定物体的最小矩形图像区域；
4.探测器使用级联式探测方法，但不限于此方法，也可以是基于模板匹配、主要成分相似度等物体探测方法。
5.将起降过程划分为5个阶段。5个阶段分别是高空接近(距离跑道3千米到距离跑道500米)、低空接近(距离跑道1000米到着陆后500米)、地面滑行(飞机在跑道上运动且不离开地面)、低空离开(离开地面前500米到离地后1000米)、高空离开(离地后500米到离开地面后3千米)；一个降落过程由前三个阶段构成，一个起飞过程由后三个阶段构成。每个探测器针对一个阶段中的飞机进行探测。
6.使用5个探测器，对应5个阶段，可以并行工作。根据转台的俯仰和水平角度，判断飞机所处的阶段，使用该阶段的探测器对飞机进行探测。若处于两个阶段的交替阶段，则同时使用两个阶段的探测器。
7.飞机起降过程自动追踪追踪拍摄装置由两部分组成。一部分是拍摄设备，包含视频模式工作的相机和可以水平及俯仰转动的转台；一部分是远程控制设备及信号处理设备，即计算机。两部分设备由网络进行连接，相互传输信号。相机上设置变焦镜头。
8.飞机在当前视野中超前或落后指的是以图像中心位置为参考点，进行区分的。
9.意外指的是飞机事故、视野遮挡、算法失误。
10.建立三维空间坐标系，X轴与跑道方向平行，Y轴与跑道平面垂直，Z轴位于跑到平面上与跑道方向垂直，原点设置在第一个检测区域的初始位置，且使得XZ平面为跑道平面，跑道中轴线在XY平面内；
11.θV与θH单位为弧度。
具体工作过程是：
步骤1：拍摄设备，包含变焦镜头、能工作在视频模式的相机和可以水平及俯仰转动的转台；远程控制设备及信号处理的计算机；计算机与拍摄设备通过网络进行连接，相互传输信号；计算机控制转台和变焦镜头，让相机视野对准飞机进入监视区域的方向；相机开始拍摄视频数据，并传输给计算机；计算机收到相机视频数据后，通过相应阶段级联式探测器根据视频数据中每一帧图像对目标飞机进行探测，在探测到目标飞机进入相应监视区域后，开始记录视频数据；其中相机和变焦镜头放置于转台上；转台放置于机场跑道一侧，距离机场跑道近距离一侧距离范围是200米到3千米；其中探测目标飞机降落时，通过第一阶段探测器根据视频数据中每一帧图像对目标飞机进行探测，当探测目标飞机起飞时，通过第三阶段探测器根据视频数据中每一帧图像对目标飞机进行探测；
步骤2：根据探测到的目标飞机在视频数据中每一帧图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置；
步骤3：根据连续拍摄计算出的目标飞机三维空间位置计算飞机运动轨迹，再结合拍摄时间计算转台追踪飞机应使用的水平旋转角速度和俯仰旋转角速度；
步骤4：计算机根据步骤调整转台和镜头，让相机视野对准目标飞机将出现的位置，实现对目标飞机进行跟踪拍摄；计算机对转台调整过程中，如果目标飞机在当前视野中超前，则实际使用角速度为步骤3中得到的水平和俯仰旋转角速度值的0.9～1倍；如果目标飞机在当前视野中落后，则实际使用角速度为步骤3中得到的水平和俯仰旋转角速度值的1～1.1倍；计算机对镜头调整过程中，如果目标飞机占据区域超过视频数据中一帧图像整个画面的80％，则计算机将镜头焦距值变为当前的0.9～1倍；如果目标飞机占据区域小于视频数据中一帧图像整个画面的50％，则计算机将镜头焦距值变为当前的1～1.1倍。
步骤5：跟踪拍摄过程持续到目标飞机离开监视区域后结束；如果跟踪过程中出现意外丢失目标飞机，计算机控制拍摄设备按照预测的目标飞机运动轨迹保持探测1秒到5秒；在此期间内若发现目标飞机则恢复正常跟踪状态；否则计算机控制拍摄设备结束跟踪。
步骤1、2中使用级联式探测器对飞机进行探测。级联式探测器采取滑动窗口采样结合逐级识别的方式对目标进行探测。对滑动窗口采样的局部图像区域使用逐级识别的方法对该区域是否为探测目标进行判定。级联式探测器的整体参数包括特征描述方法、分类器方法、探测器的级数，每一级的参数包括该级的局部特征区域ω、分类器参数C和判定阈值。在一幅图像中使用级联式探测器获得飞机所在区域的具体过程如下：
步骤21：设定滑动窗口的长度、宽度、长度方向移动步长以及宽度方向移动步长；其中滑动窗口的长度像素值范围是60到180；滑动窗口的宽度像素值范围是20到60；滑动窗口的长度方向移动步长像素值范围是10到90；滑动窗口的宽度方向移动步长像素值范围是5到30。
步骤22：按照滑动窗口的长度、宽度设定子区域范围，从图像中抓取子区域，称为识别子区域Ω，将识别子区域Ω代入级联式探测器进行处理，初始滑动窗口的位置在图像的左上角；
步骤23：级联式探测器中的每一级，在识别子区域Ω内选取局部特征区域ω，使用特征描述方法将ω转换成特征向量F，然后使用分类器参数C点乘F得到一个决策值；如果决策值小于判定阈值则拒绝，认定识别区域Ω不是飞机；否则，通过该级，交由级联式探测器的下一级继续进行判定；当所有级均通过后，认定识别区域Ω是飞机，输出该识别区域位置信息；
步骤24：按照长度方向移动步长以及宽度方向移动步长设定，逐步移动滑动窗口，然后重复步骤22到23，直到完成对整个图像的覆盖；
步骤25：按照比例值缩小图像，然后重复步骤22到24，直到图像小于滑动窗口尺寸，实现对图像中多种缩放尺度飞机的探测；其中比例值范围是0.5到0.9；
步骤26：汇总所有输出的区域信息，合并重叠区域，得到级联式探测器认为飞机所在的区域，所述飞机所在的区域包括所有重叠区域的最小矩形区域。
对每个级联式探测器，整体参数是人为设定的，包括特征描述方法(可以是HoG、LBP、SIFT、SURF等)，分类器方法(可以是SVM、贝叶斯、决策树等)，探测器的级数。每一级的参数是通过训练得到的，包括该级的局部特征区域ω、分类器参数C和判定阈值。训练得到参数的过程如下：
步骤11：对五个飞行阶段分别拍摄的飞机照片，对每张照片手动标注照片中飞机所在区域，将该区域缩小到标准样本尺寸，生成正样本库。拍摄不含飞机的机场照片以及其它不含飞机的任意照片，并在照片中随机选取与标准样本长宽比例相同、且不小于标准样本尺寸的子区域图像，将该区域缩小到标准样本尺寸，生成负样本库(五个阶段可以使用同样的负样本库)。负样本数量为正样本数量10倍以上。所述标准样本尺寸的长在60到300像素之间，宽在20到100像素之间。
步骤12：设定级联式探测器的训练参数，即每一级需达到的检测率(90％到100％)和错误率(20％到80％)。检测率的定义为本身是正样本且被识别为正样本的数量除以总正样本的数量，错误率的定义为本身是负样本但被识别为正样本的数量除以所有被识别为正样本的数量。
步骤13：在探测器的每一级训练过程中，取样本库中10％的正样本和10％的负样本，对每个样本将某特定局部特征区域ω使用特征描述方法转换成特征向量F。根据所有特征向量F的分布情况，使用分类器方法计算出最佳分类参数C和判定阈值。
步骤14：统计所使用样本分类结果的检测率和错误率，如果检测率低于设定值或者错误率高于设定值，则改变局部特征区域ω的值，然后重复步骤13。
步骤15：对所有样本选取局部特征区域ω，使用设定特征描述方法将ω转换成特征向量F，然后使用分类器参数C点乘F得到一个决策值。如果决策值小于判定阈值则认为是正样本，否则认为是负样本。验证识别结果的检测率和错误率。如果检测率低于设定值或者错误率高于设定值，则改变局部特征区域ω的值，然后对当前抽取样本重复步骤13；否则，将识别为负样本的样本从样本库中删除，完成当前级的探测器参数训练。
步骤16：重复步骤13到15，直到完成设定级数的探测器训练。
步骤1中判断飞机是否进入监视区域，对于降落过程是通过第一阶段探测器对计算机接收到的图像信息进行飞机探测，对于起飞过程是通过第三阶段探测器对计算机接收到的图像信息进行飞机探测；
步骤2中“根据探测到的飞机在图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置”具体过程如下。首先建立三维空间坐标体系。X轴与跑道方向平行，Y轴与跑道平面垂直，原点设置在跑道尽头，且使得XZ平面为跑道平面，跑道中轴线在XY平面内。将飞机中心点设为A(Ax，Ay,Az)，则A的运动轨迹可以近似认为在XY平面内，Az近似于0。设备安装在点P处，P坐标值(Px,Py,Pz)在设备安装时测量获得。Ax和Ay的具体计算方法如下：
步骤31：计算机读取所有级联式探测器回传的目标飞机通过检测区域时的位置信息，即目标飞机所在子区域，令飞机所在子区域中心像素坐标为(Ix,Iy)，计算机读取目标飞机所在子区域对应视频数据图像的拍摄时间t。
步骤32：计算机读取目标飞机所在子区域对应视频数据图像拍摄时转台的俯仰角θV、水平角θH以及相机镜头焦距f。
步骤33：计算机得到修正俯仰角度
步骤34：计算从设备指向飞机的角度θV"＝θV+θV'，θH"＝θH+θH'。
步骤35：计算机按照公式Ax＝Px+|Pz|tan(θH")、
步骤3“根据连续拍摄计算出的飞机三维空间位置计算飞机运动轨迹，再结合拍摄时间计算转台追踪飞机应使用的水平和俯仰旋转角速度”具体过程如下：
步骤41：连续提取N帧图像，使用步骤31到步骤35的方法计算每帧图像中飞机所在空间位置A(Ax,Ay,Az)，每个位置分别记为{A1(Ax1,Ay1,0),A2(Ax2,Ay2,0),...AN(AxN,AyN,0)}。N的值在3到100之间。
步骤42：令
步骤43：按照公式每个A点计算一个D值，删除D值大于门限的A点，实现排除错误探测结果。其中门限值取5米到100米之间。
步骤44：在集合剩下的点中取第一个点和最后一个点，其坐标记为(x1,y1,0)和(x2,y2,0)，拍摄时间分别记为t1和t2，计算出追踪飞机转台当前该使用的水平转动角速度为
>
俯仰转动角速度为
>
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
机译： 自动追踪装置及自动追踪方法
机译： 自动追踪装置及自动追踪方法
机译： 自动追踪装置及自动追踪方法
