首页> 中国专利> 用于辅助飞行器进行着陆的系统和方法以及对应的飞行器

用于辅助飞行器进行着陆的系统和方法以及对应的飞行器

摘要

本发明涉及一种推荐的方法,该方法捕捉着陆区域图像流、使用第一成像系统(40)来基于所述流的至少一个现实图像计算着陆区域的位置信息、使用自动驾驶系统(70)来确定在当前计算时刻着陆区域的当前位置、使用第二成像系统(50)来验证在所述现实图像中着陆区域在所述当前位置处的存在、以及如果所述存在没有被找到则生成警告。

著录项

  • 公开/公告号CN108399797A

    专利类型发明专利

  • 公开/公告日2018-08-14

    原文格式PDF

  • 申请/专利权人 空客直升机;

    申请/专利号CN201810123950.1

  • 发明设计人 M·塞拉丝-拉芬治;

    申请日2018-02-07

  • 分类号

  • 代理机构上海专利商标事务所有限公司;

  • 代理人杨丽

  • 地址 法国马里尼亚纳

  • 入库时间 2023-06-19 06:10:21

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-01-14

    授权

    授权

  • 2018-09-07

    实质审查的生效 IPC(主分类):G08G5/00 申请日:20180207

    实质审查的生效

  • 2018-08-14

    公开

    公开

说明书

相关申请的交叉引用

本申请要求于2017年2月8日提交的FR1700134的权益,其公开通过援引整体纳入于此。

技术领域

本发明涉及用于辅助驾驶的系统的领域,并且更具体地涉及辅助旋翼机进行着陆以及涉及相关联的驾驶辅助方法。此类设备用于促进在进场阶段期间引导旋翼机以便着陆在旋翼机的着陆区域上,诸如尤其在直升机简易跑道中、直升机机场、或直升机停机坪中。

背景技术

具体地,旋翼机的机务人员可能难以标识所要求的着陆区域,例如,当所述着陆区域位于海面上的一结构(可能是运动舰船)上时。此类结构尤其可以采用交通工具的形式,诸如轮船、驳船、或具有多个不同着陆区域的平台。

当着陆区域位于在地理上彼此靠近的一组若干结构或平台内时,可能发现标识此类着陆区域复杂得多。

此外,着陆区域有时可能位于杂乱的环境内和/或它可能呈现出较小的尺寸。

例如,海上钻井设施上的着陆区域有时在尺寸上是小的。此外,此类着陆区域可能靠近障碍物,诸如吊车或其他金属结构。

为了促进在此类着陆区域上的着陆,飞行器可包括一种用于通过将飞行器向预期着陆区域引导来辅助驾驶的系统。

用于自动化着陆操纵的设备可能要求以米量级精确度的对着陆区域位置的知识。然而,有时可能难以获得此类位置准确性。作为解说,油井平台可能有时是可移动的,这可能导致相对较大(例如几十米或甚至几百米的量级)的关于其位置的不确定性。

于2016年7月11日在法国提交的No.16/01075的专利申请描述了一种用于辅助驾驶旋翼机以便在进场阶段期间引导旋翼机从而着陆在旋翼机着陆区域(诸如直升机简易跑道)上的设备。该设备尤其包括用于拍摄视线上旋翼机周围的多个图像的相机、以及用于在至少一个图像中标识至少一个所寻找的着陆区域的处理器装置。

由该设备执行的一种方法包括:预选步骤,用于预选着陆区域的类型,以及捕获步骤,用于拍摄旋翼机周围的多个图像,处理步骤,用于在至少一个图像中标识对应于在预选步骤期间预选的着陆区域类型的至少一个所寻找的着陆区域,至少一个显示步骤,用于至少显示所述至少一个所寻找的着陆区域的图像表示,至少一个选择步骤,用于至少从所述至少一个所寻找的着陆区域之中选择一期望着陆区域,以及至少一个控制步骤,用于至少生成控制设定点以使得所述旋翼机能够被自动驾驶朝向所述期望着陆区域。

还知晓文档WO 2014/169354、US 2010/321488、以及US 2016/378121。

发明内容

本发明的目的因而在于提出一种呈现出有利的安全等级的替换方法和设备。

本发明因而提供一种用于促进使飞行器着陆在着陆区域上的驾驶辅助方法,该方法包括选择步骤,用于选择飞行器要着陆在其上的着陆区域。该方法包括以下步骤:

激活自动驾驶系统的引导模式以便在进场期间将飞行器自动引导朝向着陆区域;

用包括至少一个相机的视频捕获系统来捕捉着陆区域的图像流,以及将所述图像流传送到第一成像系统以及传送到第二成像系统,所述图像流包括着陆区域在当前计算时刻的现实图像;

使用第一成像系统来至少基于所述现实图像计算着陆区域的位置信息,所述位置信息定义着陆区域相对于飞行器的相对位置,并且将所述位置信息传送到自动驾驶系统;

使用自动驾驶系统来确定:

ο通过将所述位置信息注入卡尔曼滤波器估计器来确定着陆区域在当前计算时刻的当前位置;

ο在飞行器着陆在着陆区域上时要由着陆区域抵达的着陆区域的目标位置,该目标位置使用所述估计器来确定;以及

ο因变于至少一个存储的进场模型的导向着陆区域的目标位置的合并路径;

将至少当前位置和合并路径传送到第二成像系统;

使用第二成像系统来验证在现实图像中着陆区域存在于所述当前位置处;

在没有找到此类存在时生成警告;以及

使用第一显示器来显示现实图像和位于所述当前位置处的第一符号以供飞行员进行视觉比较。

术语“现实图像”表示在计算时刻捕捉的图像流的图像中包含着陆区域的那部分。

术语“着陆区域”表示用于在其上进行着陆的区域。此类区域可能用圆形以及字母H来标记,当从飞行器上查看时该圆形看上去就像是椭圆形。

位置信息使得可能评估着陆区域的位置,即,例如着陆区域的几何中心。

在该方法中,着陆区域被选择,并且自动驾驶系统沿合并路径将飞行器引导朝向所选的着陆区域。所遵循的合并路径可以是能够被飞行员手动纠正的路径。

对应地,视频捕获系统捕捉被传送到第一成像系统以及传送到第二成像系统的图像流,这两个成像系统都是常规的。

成像系统可包括处理器卡,其对图像流执行“简单的”且大量的处理(检测死像素、分隔红绿蓝、改变色彩编码、检测图像的灰度版本上的能量等等……),然后是专用于特定处理的两个独立阶段。

这两个独立阶段表示第一成像系统和第二成像系统。例如,第一成像系统和第二成像系统中的每一者可以采用图形卡的形式。第一成像系统和第二成像系统是独立的,它们中的每一者与处理器卡进行通信,藉此使得可能设置不相似的处理并且利用该不相似性来避免未检测到的常用模式失败的存在。

处理器卡以及第一成像系统和第二成像系统可以可任选地形成单台装备的各部分。第一成像系统使用图像分析方法来确定目标着陆区域相对于飞行器的位置。例如,该位置可以用包括位置信息的形式来表达,该位置信息包括着陆区域相对于飞行器的方位角和仰角连同着陆区域与飞行器之间的直线距离。

例如,一个已知方法包括因变于如从飞行器上看到的着陆区域中的椭圆形的形状和H的特性来准备该数据。

例如,一个图像分析方法是在Jia、Fan等人的“A Fast Ellipse Detector UsingProjective Invariant Pruning(使用投影不变修剪的快速椭圆检测器)”的文章中描述的类型。

基于用于相对于飞行器定位着陆区域的成像的设备的优点在于,它使得可能获得足够准确的计算所得的位置而无需求助于昂贵的仪器。

位置信息被持续地传送到自动驾驶系统以便被常规的卡尔曼滤波器估计器合并。此类估计器对于本领域技术人员是已知的,并且用于根据由第一成像系统传送的点云来估计着陆区域的当前位置。在第一成像系统失败的情况下或者在上述警告被生成的情况下,卡尔曼滤波器使得自动驾驶系统能够预测当前位置。

此外,自动驾驶系统由此确定在着陆时将发现着陆区域所在的“目标”位置。

如果着陆区域是静止的,则目标位置可以与当前位置对齐。作为对比,如果着陆区域是移动的,例如,因为它在运动舰船的甲板上,则自动驾驶系统计及对其当前位置的估计、对其速度的估计、以及可能地对致使飞行器悬停的简档的估计以便预测在着陆区域与飞行器会合时着陆区域被被发现的位置。

在此类情况下,自动驾驶系统更新要遵循的合并路径以便着陆在位于目标位置处的着陆区域上。使用提供要被遵循的路径特性的进场模型来准备合并路径。例如,合并路径需要包括水平段、之后是圆形抛物线的开始下降曲线、之后是沿呈现出小型斜坡的分段的下降、然后是最终的圆形抛物线曲线。该模型还可施加小型且预定义的倾斜角和加速度值。

合并路径随后被在自动驾驶系统控制下的飞行器自动遵循,例如,通过应用已知的自动引导模式。然而,飞行员可自然地手动控制飞行器,如果必要的话。

当前位置和合并路径也被传送到第二成像系统。例如,合并路径被自动驾驶系统压缩,并且接着被第二成像系统解压。

在解压接收到的合并路径之后,第二成像系统可以准备一系列合成图像以用于示出要被飞行器遵循的合并路径叠加在当前图像上的合成表示,例如,采用“追踪子弹”的形式。

第二成像系统还确定是否将在现实图像中的当前位置处找到着陆区域。

如果否,则发出警告。术语“警告”指的是可以是向飞行员通知潜在故障的文本、视觉、可听或甚至触觉的警告。作为示例,该警告表示传送到自动驾驶系统的置信索引。

此外,第二成像系统将第一符号叠加在它接收到的视频流上,其中第一符号表示着陆区域,以便致使该流和符号两者被显示在第一显示器上。该第一符号因而被覆盖在显示在第一显示器上的视频流中。

因而,飞行员可以看到如果第一符号没有被显示在预期着陆区域上则存在异常。

该方法因而使得可能具有用于验证进场正在正确地进行的各种手段。如果生成警告或者如果所显示的叠加在现实图像上的第一符号的定位异常,则飞行员知悉异常。

同样,该方法使用跟踪着陆区域以获得位置信息的第一成像系统以及用于在视觉上且通过校正计算来验证所执行的计算的第二成像系统两者。此外,第一成像系统和第二成像系统是不同的,藉此有助于获得不具有常见故障模式的系统。第一成像系统和第二成像系统可利用从别处知晓且不相似的算法以便提高系统的可靠性水平。

具体地,第一成像系统在计算位置信息的步骤期间可利用一用于检测现实图像中的着陆区域的算法,而第二成像系统在验证着陆区域在该现实图像中存在为位于当前位置处的步骤期间可利用不同的用于检测现实图像中的着陆区域的算法。

该方法因而可以是相对稳健的,并且能够在通常复杂的飞行阶段期间辅助飞行员。

该方法可包括以下特性中的一者或多者。

在一方面,着陆区域的当前位置可以至少通过相对于飞行器定位着陆区域的相对数据来表达,该相对数据被传送到第二成像系统。

第一显示器可以在出于简便被称为“相对”模式或相关词汇的模式中操作。此类相对模式利用相对于飞行器来定位合并路径的着陆区域的位置信息。相对数据可包括方位角和仰角连同距离。

相反,可以被称为“绝对”模式或绝对词汇的模式利用在地球参考系中定位着陆区域或合并路径的位置信息,例如,通过使用纬度和经度。

在一方面,如果着陆区域的当前位置在两个连续计算时刻之间不同,则可以通过使用在所述连续计算时刻期间确定的当前位置来确定着陆区域的行进速度向量来估计目标位置。

例如,通过估计正被追踪的着陆区域的向北的速度和向东的速度来估计行进速度向量。

卡尔曼滤波器估计器因而可以确定目标位置,可能通过认为着陆区域正以恒定的速度移动,即以零加速度的速度移动。

在另一方面,第二成像系统对着陆区域存在于当前位置的验证可以用各种方式来执行。

在第一实现中,该方法包括分析步骤,其中第二成像系统分析现实图像中包括当前位置的部分以便确定着陆区域是否存在于该部分中,并且在现实图像的所述部分中没有检测到着陆区域的情况下生成警告。

术语“现实图像中包括当前位置的部分”表示现实图像中包括位于当前位置处的点的部分。例如,所述部分可呈现出预定尺寸并且可以以当前位置为中心。

在此类情况下,第二成像系统确定它是否在当前位置处标识了着陆区域。出于该目的,第二成像系统可以使用与第一成像系统用于追踪着陆区域所使用的算法不同的算法。例如,第二成像系统可以评估所述部分是否包括作为着陆区域的特性的形状,例如,在可见度充足的情况下为圆形中的H或者在夜晚或大雾天气中为一串绿灯。

如果否,则第二成像系统发出信号以生成警告。

第一实现提出了使用第二成像系统来验证现实图像的确在如使用来自第一成像系统的位置信息所估计的当前位置处呈现出着陆区域。

在第二实现中,该方法包括以下步骤:

第二成像系统计算实际合成图像,该实际合成图像表示如从所述当前位置在当前计算时刻从飞行器看到的着陆区域;以及

第二成像系统将所述实际合成图像与现实图像进行比较。

当所述实际合成图像与存在于现实图像上的着陆区域不对应时,生成所述警告。

在一方面,如果合成图像与现实图像之间的距离大于预定准确性阈值,则实际合成图像可能与存在于现实图像上的着陆区域不对应。

预测着陆区域与第二成像系统所检测的着陆区域之间的一致性能够由两个不同图像来确认,这两个不同图像因而被认为是相似的从而提供分开达小于阈值的距离的图像。

该第二实现提出使用第二成像系统来准备被称为“实际”合成图像的着陆区域的合成图像,并且通过将该实际合成图像与现实图像进行比较以便验证该实际合成图像与现实图像的确匹配。

各种不同技术可以用于评估此类匹配的质量。作为示例,例如可以在红绿蓝(r、g、b)色彩系统中评估不同图像的点之间的距离,将距离的统计函数与阈值作比较以生成警告。

在一方面,该方法可包括以下步骤:

将所述距离与预定抛弃阈值作比较;以及

如果该距离超过所述抛弃阈值则抛弃所述进场。

现实图像与合成图像之间的非相关性可能需要被传送到正被脱离的自动驾驶系统。抛弃阈值可不同于警告生成阈值。

例如,自动驾驶系统最初可利用高度可见的信令来用信号指示故障,诸如举例来说闪灯30秒。之后,自动驾驶系统可以脱离其自身,或者可以可能地切换到某一其他驾驶模式,诸如地速驾驶模式或自动悬停模式。

在一方面,第二成像系统可以准备合并路径的合成表示,并且第一显示器可以显示合成表示。

合并路径可以采用显示在第一显示器上的视频流中的追踪子弹的形式。合并路径接着由一连串点表示,每一个点作为示例表示在连贯秒数中要被飞行器抵达的点。

在一方面,该方法可包括以下步骤:

自动驾驶系统向第二显示器传送导向地球参考系中的着陆区域的合并路径以及用地球参考系中的绝对坐标形式表达的当前位置两者;以及

在所述第二显示器上显示所述合并路径以及表示位于着陆区域的所述当前位置处的着陆区域的第二符号两者。

绝对坐标可以采用纬度和经度的形式。

在此类情况下并且作为示例,第二成像系统可以请求第一显示器以相对模式呈现着陆区域和合并路径。

自动驾驶系统可以请求第二显示器以绝对模式呈现着陆区域和合并路径。

着陆区域和合并路径因而以两种不同模式来显示以便使对系统操作的监视最大化。

第一显示器和第二显示器可包括两个相应的专用屏幕,或者它们可以表示单个屏幕的两个部分。至少第二显示器可形成常规导航计算机的一部分。

该方法可包括第二显示器显示以下元素中的至少一者的步骤:所述合并路径的至少一个预定航点;标识具有AIS标识系统的对象的标绘;以及表示由雷达系统检测到的对象的至少一个点。

缩略语AIS表示已知的自动标识系统。它是用于在交通工具之间自动交换消息并且用于赋予位于附近的每一交通工具的身份、状态、位置和路线的系统。

第二显示器因而使得可能查看相对于由完全不同的技术定位的其他对象显示的着陆区域和合并路径。如果所显示的数据与对飞行员可见的场景不对应,则飞行员可推导存在故障。自动引导模式接着可以被中断以便回复到手动驾驶。

在一方面,激活引导模式的步骤可包括以下步骤:

飞行员从第一成像系统提出的建议中选择着陆区域;以及

激活引导模式。

在该变型中,飞行员可以操作第一成像系统以便在第一显示器上选择要抵达的着陆区域。引导模式接着被激活以便抵达该着陆区域,该方法使得可能在飞行器移动的同时细化合并路径。引导模式可以由飞行员在控制装置上的特定动作来激活。

在另一变型中,激活引导模式的步骤可包括以下步骤:

指派着陆扇区;

激活引导模式以便前往所述着陆扇区;

搜索着陆区域;

在检测到着陆区域之后,飞行员确认着陆区域;以及

激活引导模式以便前往着陆区域。

引导模式因而被激活以便抵达着陆扇区,并且接着一旦着陆区域已经被标识则抵达着陆区域。

当飞行器无法区分着陆区域而仅仅能够区分例如平台轮廓时,因而能够占用引导。作为对比,飞行员需要在稍后采取动作以便确认着陆区域。

除了方法,本发明提供了一种被配置成用于实现该方法的驾驶辅助系统,该驾驶辅助系统包括至少第一成像系统、第二成像系统、所述至少一个相机、自动驾驶系统、以及上述第一显示器。

该驾驶辅助系统可包括至少以下元件:第二显示器;包括至少一个着陆区域的数据库;以及用于选择着陆区域的选择器。

本发明还提供了配置有该驾驶辅助系统的飞行器。

附图简述

本发明及其优点将在以说明方式且参照附图给出的对实施例的以下描述的上下文中更详细地表现出,在附图中:

图1是示出本发明的驾驶辅助系统的示图;

图2是示出第一显示器和第二显示器的示图;

图3是示出一个图像与另一图像的比较的示图;以及

图4是示出移动着陆区域的示图。

出现于这些附图中的一个以上附图中的元素在它们的每一者中被给予相同的参考标号。

具体实施方式

图1示出了飞行器1。飞行器1配置有用于在三维空间中引导飞行器1的可移动控制元件5。在直升机上,控制元件包括旋子叶片,尤其是至少部分地贡献用于向飞行器1提供升力以及可能提供推动力的旋子的叶片。控制元件5还可包括襟翼,例如,布置在垂直尾翼和/或水平尾翼和/或机翼上或构成垂直尾翼和/或水平尾翼和/或机翼。

此外,飞行器1配置有本发明的驾驶辅助系统10。驾驶辅助系统10包括处理器单元75以及常规传感器71和致动器72,它们适用于致使控制元件5移动。处理器单元75应用常规方法来因变于传感器71取得的测量值控制致动器72以便有助于符合驾驶设置点。

此类传感器71可以评估至少一个飞行状态的当前值,诸如飞行器围绕飞行器的参考系轴的至少一个角速度、飞行器1的滚转角和俯仰角、飞行器1遵循的航向、飞行器1沿飞行器的参考系2的轴的至少一个加速度、飞行器沿飞行器的参考系2的轴的至少一个速度、飞行器在地球参考系中的地理位置……作为示例,传感器71可包括惯性单元、卫星定位系统、雷达系统、大气数据计算机(ADC)、无线电高度计……

作为示例,致动器72可包括升降机、伺服控制、电机……

在此类情况下,处理器单元75通过有线或无线链路连接到传感器71和致动器72。处理器单元可以是配置有双处理器子组装件76和77的双复式单元。每一处理器子组装件76、77可包括至少处理器、存储器单元、集成电路、可编程系统、和/或逻辑电路,这些示例并不限制对术语“处理器子组装件”赋予的范围。

此外,驾驶辅助系统10包括视频捕获系统15和成像设备20。视频捕获系统15具有至少一个相机16。例如,视频捕获系统15可包括第一相机和第二相机以及广角第三相机,第一相机具有5×3.5度(5degrés par 3.5)的窄视野的长焦距以及1400万像素的分辨率,第二相机具有30×20度(30degrés par 20)的视野,并且广角第三相机具有约110度的视野。

成像设备可以采用成像计算机的形式。成像计算机可包括连接到相机并且可能表示视频捕获系统的计算机单元的处理器卡25。处理器卡25可以是电子卡。

此外,成像设备包括第一成像系统40和第二成像系统50,每一者都连接到处理器卡。

在此类情况下,相机16递送被传送到处理器卡25的视频流。处理器卡25执行常规处理(例如色彩处理)以便生成被传送到第一成像系统40以及第二成像系统50的图像流。在此类情况下,视频捕获系统15可能直接或者另外经由处理器卡25来捕捉传送到第一成像系统40和第二成像系统50的图像流。

作为示例,第一成像系统40和第二成像系统50中的每一者可以采用成像计算机的图形卡的形式。在此类情况下,第一成像系统40和第二成像系统50表示成像计算机的两个独立计算通道。

第一成像系统40和第二成像系统50以及可能的处理器卡25可以各自包括至少一个处理器41、51、26以及至少一个存储器单元42、52、27,集成电路,可编程系统和/或逻辑电路,这些示例并非限制对术语“成像系统”以及术语“处理器卡”赋予的范围。

此外,第一成像系统40经由有线或无线链路被连接到第二成像系统50,并且例如连接到视频覆盖系统53以用于在视频流中覆盖合成视频图像。视频覆盖系统53可包括至少处理器、存储器单元、集成电路、可编程系统、和/或逻辑电路,这些示例并非限制对术语“视频覆盖系统”53赋予的范围。

此外,第一成像系统40通过至少一个有线或无线链路被连接到飞行器的自动驾驶系统70以及尤其连接到处理器单元75。

第二成像系统50通过有线或无线链路被连接到第一显示器60,在恰适的时候经由视频覆盖系统53来连接。第一显示器60包括飞行员可操作用来请求各种动作的第一屏幕61和选择器90。例如,第一屏幕是包括选择器的触摸屏。

第二成像系统50也通过至少一个有线或无线链路被连接到自动驾驶系统70以及尤其连接到处理器单元75。

此外,驾驶辅助系统10可包括经由至少一个有线或无线链路连接到自动驾驶系统70以及尤其连接到处理器单元75的第二显示器80。第二显示器80可以采用专用显示器的形式,或者实际上作为示例它可以是被适配成应用本发明的方法的常规导航计算机。第二显示器80包括至少一个第二屏幕82。可任选地,第一显示器和第二显示器是同一台装备的两个部分,第一屏幕和第二屏幕形成两个叠加的屏幕。

在另一方面,成像设备可包括存储各种着陆区域(例如平台)的数据库28。该数据库可任选地被存储在处理器卡25的存储器单元27中。

此类驾驶辅助系统10用于应用本发明的方法。

在该方法中,飞行员在选择步骤中行动以选择飞行员试图在其上着陆的着陆区域。在此类情况下,飞行员激活自动引导模式以便通过遵循具有预定义特性的合并路径来自动抵达着陆区域。

术语“飞行员”应当被宽泛地理解,并且因而它不仅表示狭义的飞行员而且在恰适时表示飞行器上的机组成员。

在第一变型中,成像设备向飞行员提出通过应用已知技术对着陆区域的选择。例如,着陆区域被呈现在第一显示器上,其中飞行员使用选择器90来选择一个着陆区域。

一旦着陆区域已经被选择,飞行员就可激活自动引导模式。

为了选择着陆区域,可以从数据库28中提取可用的着陆区域。

在替换方法中,第一成像系统40可以处理由相机生成的图像流以便在它们还很远时标识着陆区域,并且将它们显示在屏幕上,例如,第一显示器的屏幕。

应用文档EP2996009、WO2014/169354或者于2016年7月11日在法国提交的No.16/01076的专利申请的教导是可能的。

最初,第一成像系统可以通过使用所谓的“梯度”方法检测水平线来处理图像流的图像。更精确地,此类方法包括对图像使用垂直的“Sobel”滤波器。此类方法因而用于放大对比度并且检测水平线。之后,第一成像系统通过使用“Hough”变换在图像内搜索穿过最大数目的点的直线。实际上,图像中的水平线并非准确的直线,而是具有抛物线的弧度。

然而,近似地检测水平线不是很麻烦,因为检测水平线仅用于消除图像中与天空对应且无用于检测着陆区域的顶部。

设想用于分割图像以便消除海洋和天空并且仅保留表现为包括平台对象、轮船等类型的那些区域的其他方法是可能的。

此外,第一成像系统通过用于总是给出旋翼机的姿态的传感器71来计及旋翼机围绕其滚动轴的倾斜角度,从而使得可能确定旋转角,而这使得可能纠正与旋翼机的水平姿态角对应的图像。

一旦水平线已经被标识并且天空被消除,第一成像系统执行所谓的“逐区域”方法,如针对由Arnaud Le Troter、Sébastien Mavromatis以及Jean Sequeira在2004年10月在葡萄牙的波尔图的图像分析和识别国际大会上发表的题为“Soccer field detectionin video images using color and spatial coherence(使用色彩和空间相干的视频图像中的足球场检测)”的另一申请中所描述的。

此类逐区域方法接着使得可能在图像或感兴趣区域中根据色彩分布来搜索主导色彩。该方法还使得可能搜索呈现出色彩相干的图像区域,并且接着利用图像的像素上的扩大模型。此类模型是已知的用于识别构成图像的色彩像素,并且可利用色彩表示空间,诸如被称为色调、饱和度、亮度(HSL)的那些色彩表示空间。

此类逐区域方法使得尤其可能检测出图像中位于水平线之下的下半部分中的海洋以及在图像的上半部分且布置于水平线之上的天空。

之后,将其余像素一起分组到连通区域(法语中的“connexes zones”)使得可能获得具有一个或多个所寻找的着陆区域的区域。仅存在于天空中的任何连通区域被移除,因为它们通常对应于云、烟、以及飞行物,并且不对应于所寻找的着陆区域。

通过将“HSL”区域分配到每一像素来形成相干区域,否则只要像素的色彩不落在任何主导HSL区域(或主导图像色彩)中就缺少HSL区域。之后,第一成像系统用于创建属于同一HSL区域的像素的连通区域。

将像素扩大为区域的现象通过应用对应于封闭的数学形态工具来执行。被选择用于封闭的结构化元素是圆形,其尺寸比要在图像中被检测的着陆区域或着陆区域集合的最小尺寸小得多。被选择用于结构化元素的尺寸是要被检测的对象的尺寸的十分之一的量级。

所获得的区域接着被标识为能够包含潜在着陆区域,并且它们可以由显示装置独立显示并且接着被机组选择。

有利的是,第一显示器用于显示分别表示设备要寻找的多种类型的着陆区域的各种图像,而预选装置可以是触摸类型并且被直接布置在显示元件的显示器表面上。

因而,显示元件用于显示表示所寻找的着陆区域的图像,并且用于从所寻找的着陆区域之中选择期望着陆区域的装置可以与其相一致并且通过选择触摸屏来形成。

此外,预选触摸屏和选择触摸屏也可一致,并且由第一显示器的单个触摸屏形成,其最初用于预选要寻找的着陆区域类型,接着用于显示对应于预选的着陆区域类型的至少一个所标识的着陆区域,以及最终第三被用于选择期望着陆区域。

在第二变型中,飞行员可以指示着陆扇区并且激活引导模式以便去往所述着陆扇区。着陆扇区可包括通过相机观察到的平台或轮船的剪影,该剪影可能不充分准确以实现要如此被检测的着陆区域。

当飞行器正在移动时,成像设备以及具体地第一成像系统可以扫描着陆扇区(例如使用上述方法)以便寻找着陆区域。在检测到着陆区域之后,飞行员可以确定所选着陆区域并且接着激活引导模式以便去往着陆区域。

此外,当飞行器正在移动时,视频捕获系统15捕捉着陆区域的图像流。该图像流在恰适的时候被处理器卡25传送到第一成像系统40以及第二成像系统50。该图像流对应于包括在每一计算时刻追踪的着陆区域的“现实”图像。

在此类情况下,第一成像系统40根据现实图像以及可能地根据至少一个上述飞行状态评估着陆区域的位置信息。该位置信息用于确定着陆区域相对于飞行器1的位置。

参考图3,飞行器1与参考系2相关联。位置信息接着可包括到着陆区域的几何中心的仰角200和方位角Φ以及飞行器1与着陆区域之间的距离D1。

作为解说,并且当着陆区域在地面上用圆形来表示时,根据“CAP437-用于海上直升机着陆区域的标准”的要求,形成圆形的圆周的线的厚度可以被标准化为等于1米(m)。对于其他着陆区域,因变于在地面上或在支撑物上标记着陆区域的圆形、方形、或三角形的厚度来定义其他类别的着陆区域是可能的。取决于被预选的着陆区域的类型,计算装置使用不同算法是可能的。

同样,当着陆区域由预定圆形并且通过使用相机看到该圆形直径的方位角Φ来标记时,计算到着陆区域中心的距离D1是可能的。每一相机看到的着陆区域的形状是对应于如由相机看到的且在图像中标识的圆形的经变型形状的椭圆形,对此可能计算等式。

使用小角度近似,这给出:

其中e是在10米量级上的着陆区域的轮廓的直径。值Φ表示看到着陆区域的直径的角度,并且它可以基于投影几何学(尤其通过使用针孔相机模型的近似)来计算。针孔模型包括假设所有光线穿过单个点(称为“针孔”)并且被投影到图像被捕捉的平面上。该点与平面之间的距离被称为“焦距”f。

根据针孔模型,光线相遇的点被定义为三维空间的矩形参考系的原点,其中z轴是垂直于图像平面并且在与图像相反的方向上行进的轴。

具有坐标(x,y,z)的点被投影到图像平面(x',y′,z')

其中:

以及z'=f。

看到对象的角度对应于对象在图像平面上的尺寸除以焦距。这一近似对于小角度是有效的。实际上,图像尺寸由像素数目来定义:因此有必要将其乘以用于在角度与像素之间进行转换的比例系数。设备接着复现具有已知特性的场景。因而,通过相机,场景被捕捉,并且所获得的图像用于计算比例系数。

之后,相机的关于旋翼机的数据(诸如其姿态和相机位置)用于标识看到着陆区域的仰角200,该仰角200是飞行器本身姿态与相机相对于飞行器的仰角之间的差。

计算装置通过将相机拍摄的图像翻转与旋翼机的滚转角相反的角度以便纠正图像来开始。

之后,最初通过取得如由机上仪器提供的旋翼机的俯仰角以及相机的视线与旋翼机的纵轴之间的角度之间的差来计算角度200(如果相机相对于飞行器是静止的则是一个恒定的值,否则如果它是可变的,则它可以被相机系统传送到计算装置)。接着通过将这一和与在图像上测得的角度相加来计算角度200。从图像测得的这一角度对应于相机的视线与穿过相机以及着陆区域中心的线之间的角度。图像上测得的这一角度因而从由相机提供的数据获得,以用于定义着陆区域的中心与相机视线之间的像素的角度以及像素中的距离。

此外,满足CAP437标准的着陆区域在形状上是圆形的且在中心具有H。当旋翼机远离穿过此类着陆区域中心的纵轴时,着陆区域看上去在形状上是椭圆形的,并且它们可以由具有以下形式的矩形参考系中的缩减等式来表征:

其中E(xE,yE)是椭圆形的中心,θ1是椭圆形的取向,a是半主轴,而b是半副轴。因而,为了表征任何椭圆形,计算装置用于确定这五个参数。

文档US4618989给出了用于从图像中提取椭圆形参数的装置的实施例。

在这一上下文中,第一成像系统将所确定的定位信息持续地递送到自动驾驶系统70。

此外,第一成像系统40可以将接收到的视频流发送到第二成像系统50并且具体地发送到视频覆盖系统53。

第一成像系统40因而被用于追踪着陆区域以便确定其相对于飞行器的位置。

该位置随后被自动驾驶系统70使用。

在此类情况下,处理单元75通过将位置信息注入卡尔曼滤波器估计器来确定目标着陆区域的“当前”位置。

该当前位置可以用相对于飞行器指定的相对位置的形式来表达,例如,经由仰角、方位角和距离。另外或者作为替换,该当前位置可以用绝对位置的形式来表达,例如,采用区域的特征点(诸如举例来说其几何中心)的经度和纬度的形式。

此外,处理器系统75确定当飞行器1着陆在着陆区域上时要由着陆区域抵达的着陆区域的“目标”位置。目标位置因而是着陆区域要被发现在其上着陆的预测位置。

参考图4,如果着陆区域的当前位置在两个连续计算点150之间不同,则可以通过评估在所述连续计算点期间确定的当前位置之间的着陆区域的行进速度向量来估计目标位置。

另外,并且参考图1,处理器单元75通过应用至少一个所存储的进场模型来确定导向着陆区域的当前位置(以及在恰适时朝向目标位置)的“合并”路径。

在此类情况下,处理器单元75将尤其当前位置和合并路径持续地递送到第二成像系统50以便向机组通知任何故障。可任选地,处理单元还向第一成像系统传送它需要的飞行状态值以便进行操作。

在此类情况下,第二成像系统50确定现实图像是否在当前位置呈现恰适的着陆区域。

在第一实施例中,第二成像系统50利用可以可任选地是常规的方法和/或不同于第一成像系统所使用的方法的图像处理方法来扫描现实图像中位于当前位置周围的部分。具体地,第二成像系统50处理现实图像的该部分以便确定着陆区域是否存在与该部分中。

如果否,则生成警告。

第二成像系统50因而评估着陆区域在由自动驾驶系统预测的位置处的存在。

在第二实施例中,第二成像系统50计算“实际”合成图像,该“实际”合成图像示出如在当前计算时刻从飞行器1看到的着陆区域。为了准备该合成图像,第二成像系统50将所存储的着陆区域的形状考虑在内并且因变于当前位置来使其变形。作为示例,并且假定着陆区域包括圆形,第二成像系统50使用常规数学方法来确定如从飞行器看到的椭圆形。

随着时间经过,第二成像系统50因而确定一系列实际合成图像。

此外,在每一计算时刻,第二成像系统50将实际合成图像与如从别处接收到的现实图像作比较。

出于这一目的并且参考图3,第二成像系统50可以确定合成图像99与现实图像94之间的距离D2的值。如果这一距离D2小于由制造商定义的准确性阈值,则第二成像系统50认为合成图像99和现实图像94彼此对应。

如果否,则第二成像系统50生成警告。

可任选地,并且在第二实施例中,第二成像系统50还可将距离D2与由制造商定义的抛弃阈值作比较,该抛弃阈值大于准确性阈值。

如果距离D2超过抛弃阈值,则驾驶辅助系统可以终止沿合并路径自动引导飞行器的引导模式。

第二成像系统50因而评估一系列合成图像与接收自相机的现实图像之间的匹配。通过可能不同于第一成像系统用于标识要找到特定的所寻找的标记的相对位置和角度的算法的算法,第二成像系统50验证在正被自动驾驶系统捕获的着陆区域处的匹配非常良好。

此外,第二成像系统50可以验证匹配在别处非常差。

具体地,着陆区域的周围可包括呈现出可能被认为构成着陆区域的形状的结构。例如,烟囱可以通过具有在形状上是椭圆形(像从某一距离看到的着陆区域)的端部而呈现出此类形状。

第二成像系统50可以验证此类结构与着陆区域之间的匹配是否可靠。

独立于实施例,可能发出的警告可以采用被传送到处理器单元75的低置信索引的形式。该处理器单元75利用警告系统以用于借助于可以例如是文本、视觉和/或可听和/或触觉的警告向飞行员通知故障。

在另一方面,第二成像系统50将第一符号叠加在现实图像流上,该第一符号被定位在着陆区域中如由第二成像系统50生成的所述当前位置处。第二成像系统50接着向第一显示器60传送来自相机并且具有随着时间经过覆盖其中的第一符号的图像流。

在第二实施例的上下文中,第一符号可以采用实际合成图像的形式,或者它可以采用某一其他形式。

无论什么实施例,第一符号可包括多个相聚的段。作为示例,四个段可以形成十字。在此类情况下,并且参考图2,第一显示器60显示现实图像94以及位于当前位置的第一符号65以供飞行员进行视觉比较。可以使用用相对数据的形式表达的当前位置来生成第一符号。

十字形式的第一符号呈现出可任选地使得飞行员能够看到着陆区域64的优点。

在另一方面,第二成像系统50可以准备合并路径66的合成表示67。

具体地,由自动驾驶系统准备的合并路径可包括一系列简单数学形状,诸如直线段、抛物线部分……在此类情况下,自动驾驶系统可在此基础上通过为每一部分使用少量数据来压缩合并路径。例如,合并路径可以由使用多个参数表达的直线段、使用多个参数表达的抛物线段……构成。

第二成像系统50解压这一数据以便获得合并路径。第二成像系统50接着准备合并路径66且被纳入视频图像流中的合成表示67。

当合并路径寻求结合移动的着陆区域时,合并路径不在可以在第一显示器上看到的着陆区域上终止是可能的,如示例中所示。

图2示出了采用追踪子弹形式的合成表示。

在另一方面,自动驾驶系统70还可将合并路径66和当前位置传送到第二显示器80。作为对比,合并路径66和当前位置用地球参考系中的绝对坐标来表达。

在此类情况下,第二显示器80显示合并路径66以及表示位于当前位置处的着陆区域的第二符号85。

因此,第一显示器60显示着陆区域和使用相对数据在相对世界中遵循的合并路径的表示,而第二显示器80显示着陆区域和使用绝对坐标在绝对世界中遵循的合并路径的表示。

该绝对世界被示为在第二显示器上从上看。在此类情况下,合并路径基本上是直线的。

同样,第二显示器80可以用常规方式显示以下数据片段中的至少一者:合并路径66的至少一个预定航点89、标识具有AIS标识系统的对象的标绘87、以及表示由雷达系统检测到的对象的至少一个点88。

当然,本发明可关于其实施进行大量变型。尽管描述了几个实施例,但应当理解不可能想到详尽无遗地确定所有可能的实施例。自然有可能设想到由等效装置替换所描述的任何装置,而不超出本发明的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号