首页> 中国专利> 用于传送航空器上捕获的音频的方法和系统

用于传送航空器上捕获的音频的方法和系统

摘要

本发明涉及用于传送航空器上捕获的音频的方法和系统。提供用于从航空器到地面位置处的计算机系统传送信息的方法和系统。一个示例性方法涉及从所述航空器上的音频输入设备获取音频输入,生成包括音频输入的一个或多个单词的文本化表示的文本数据,以及将所述文本数据传送给所述地面位置处的计算机系统。

著录项

  • 公开/公告号CN103257988A

    专利类型发明专利

  • 公开/公告日2013-08-21

    原文格式PDF

  • 申请/专利权人 霍尼韦尔国际公司;

    申请/专利号CN201210599131.7

  • 发明设计人 X·Q·董;B·董;Y·高;

    申请日2012-12-19

  • 分类号G06F17/30(20060101);G10L15/26(20060101);

  • 代理机构72001 中国专利代理(香港)有限公司;

  • 代理人马红梅;刘春元

  • 地址 美国新泽西州

  • 入库时间 2024-02-19 19:41:48

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-11-21

    授权

    授权

  • 2015-01-07

    实质审查的生效 IPC(主分类):G06F17/30 申请日:20121219

    实质审查的生效

  • 2013-08-21

    公开

    公开

说明书

技术领域

本文描述的主题一般地涉及航空电子系统,更具体地,涉及将航空器上捕 获的音频传送到地面位置的主题的实施例。

技术背景

传统地,在航空器中安装有两种飞行记录器:飞行数据记录器(FDR)和 驾驶员座舱声音记录器(CVR)。CVR使用位于航空器上(例如,在飞行员耳 机上或者驾驶员座舱的其他位置上)的一个或多个麦克风记录音频信息。记录 的驾驶员座舱音频提供了对航空器操作的深入了解以用于随后的研究和分析。 然而,实践中存在其中FDR和/或CVR不能被容易地定位的情况(例如,在偏 远地区,公海,或者当定位器的信标与记录器分离的时候)。虽然将飞行数据 和/或音频数据从航空器连续地实时地传输到地面位置在技术上是可行的,但是 用于跨有效地操作航空器的整个机队在所有飞行时间内传输和/或存储音频和 飞行数据的成本(例如,存储器和/或带宽的需求)相对高昂,这使得,即使在 采用数据压缩技术时,这样的方法对航空器运营者来说在经济上仍然不可行。

发明内容

提供了用于将信息从航空器传送到地面位置处的计算机系统的方法。一个 示例性方法涉及从航空器上的音频输入设备获取音频输入,生成包含所述音频 输入的一个或多个单词的文本化表示的文本数据,并且将所述文本数据传送到 所述地面位置处的计算机系统。

在另一实施例中,提供了一种适用于配合航空器使用的系统。所述系统包 括位于航空器上的音频输入设备,其用于接收包含一个或多个单词的音频输入; 耦合到所述音频输入设备的处理系统,其用于生成代表所述一个或多个单词的 文本数据;以及耦合到所述处理系统的通信系统,其用于将所述文本数据从所 述航空器传送到地面位置。

提供该发明内容以用简化的形式介绍一些选择的概念,这些概念将在以下 详细描述中进一步进行描述。该发明内容无意于确定所要求保护的主题的关键 特征或者实质特征,也无意于被用来帮助判定所要求保护的主题的范围。

附图说明

本主题的实施例将结合下面的附图在下文中进行描述,其中,相同的附图 标记指示相同的元件,并且:

图1是根据一个实施例的一种适用于配合航空器使用的飞行跟踪系统的方 框图;

图2是根据一个或多个实施例的一种适用于配合图1的飞行跟踪系统使用 的示例性驾驶员座舱声音通信过程的流程图;

图3-4描述了根据一个或多个实施例的适用于配合图2的驾驶员座舱声音 通信过程使用示例性排序数据结构的图表化表示。

具体实施方式

以下详细描述本质上仅仅是示例性的,而无意于限定本申请的主题及其使 用。此外,也无意于用前文的背景技术、发明内容,或者接下来的具体实施方 式中提及的任何理论来进行限制。

本文描述的主题的实施例涉及用于将航空器上捕获的音频信息传送到地面 的计算机系统的系统和方法。在一个示例性实施例中,使用语音识别技术将由 位于航空器上的驾驶员座舱或者其他位置的音频输入设备捕获的音频信号转换 成文本,并以文本数据形式存储在航空器上。另外,同时发生的飞行数据从航 空器上的一个或多个航空电子系统获取,并与所述文本数据相关联地存储。在 一个示例性实施例中,所述文本和飞行数据被布置在或以其他方式存储在排序 数据结构中的按时间排序序列中,诸如循环缓冲器。在这点上,当该数据结构 已满时,最老的的文本和飞行数据会被删除、移除,或者以其他方式被最近获 取的文本和飞行数据覆盖,从而使得该数据结构以先入先出布置的顺序保持较 新的文本和飞行数据。响应于一个传输触发事件,诸如由航空器上的航空电子 系统发出的警告或者手动传输请求(例如,由驾驶员、副驾驶员、另外的机组 成员,或者地面人员发起),所述存储的文本和飞行数据会被根据所述按时间 排序序列从所述航空器向地面的计算机系统自动传输(即,无需或以其他方式 独立于任何手动输入或者其他手动干预),在所述地面的计算机系统中所述文 本和飞行数据可以与航空器分离地存储。所述文本和飞行数据可以随后被显示 在与所述计算机系统相关联的显示设备上,从而允许地面人员依照所述按时间 排序序列检查在航空器上捕获的音频的文本化表示以及与其相关联的飞行数 据。以这种方式,地面人员可以独立于航空器上的飞行数据记录器(FDR)和/ 或驾驶员座舱声音记录器(CVR),检查捕获的音频及其相关的操作内容 (operational context)。

图1描述了一种用于从航空器120向地面位置处的计算机系统,诸如地面 操作中心102处的飞行跟踪站104传送数据和/或信息的飞行跟踪系统100的示 例性实施例。如以下更详细描述的那样,由航空器120上的音频输入设备125 捕获的音频信号被转换成文本并被存储或以其他方式使用语音识别技术被记录 为文本数据并作为文本数据被存储在航空器上。响应于传输触发事件,所述文 本数据被自动地从航空器120传输到飞行跟踪站104以用于在地面操作中心102 处的存储和/或检查。

航空器120的图示出的实施例包括,但是不限于,显示设备122,用户输 入设备124,音频输入设备125,处理系统126,显示系统128,通信系统130, 导航系统132,飞行管理系统(FMS)134,一个或多个附加航空电子系统136, 以及数据存储元件138,其被依据在以下更详细描述的飞行员座舱声音通信过 程适当地配置以支持飞行跟踪系统100的操作。所述显示设备122被实现为电 子显示器,其能够在显示系统128和/或处理系统126的控制下以图表的形式显 示飞行信息或与航空器120的操作相关联的其他数据。所述显示系统128一般 代表硬件、软件,和/或固件部件,其被配置为在诸如例如导航地图显示器、合 成视觉和/或视觉提升显示器以及诸如此类的显示设备122上,显示、呈现 (render)、或以其他方式表达一个或多个与航空器120和/或航空电子系统130、 132、134、136的操作相关联的图形表示或者图像。在这点上,显示系统128 可以接入或者包括一个或多个被适当地配置以支持所述显示系统128的操作的 数据库,诸如,例如,地形数据库、障碍物数据库、导航数据库、地理数据库、 机场空域数据库、特殊用途空域数据库、或用于在显示设备122上呈现和/或显 示导航地图和/或其他内容的其他信息。所述用户输入设备124耦合到所述处理 系统126,并且所述用户输入设备124和所述处理系统126被协同地配置以允 许用户(例如,驾驶员、副驾驶员、或机组成员)与显示设备122和/或航空器 120上的其他元件进行交互。根据该实施例,用户输入设备124可以被实现为 按钮、开关、键区、触摸板、键盘、鼠标、触摸面板(或触摸屏)、操纵杆、 旋钮、行选择键,或其他适用于从用户接收输入的合适设备。

除了用户输入设备124,还有一个或多个音频输入设备125位于航空器120 上。所述音频输入设备125可以被实现为麦克风、音频转换器、音频传感器等 等,其位于航空器120上并能够感测或以其他方式接收航空器120的驾驶员座 舱和/或机舱内的音频信号。在一个示例性实施例中,航空器120包括位于航空 器120的驾驶员座舱内的至少一个音频输入设备125。例如,该音频输入设备 125可以是与由航空器120的驾驶员和/或副驾驶员佩戴的耳机一体的麦克风。

在该图示出的实施例中,处理系统126一般代表硬件、软件,和/或固件部 件,其被配置为支持与从航空器120上的一个或多个航空电子系统128、130、 132、134、136接收的飞行数据和/或信息一起,将(一个或多个)音频输入设 备125捕获的音频存储或以其他方式记录为文本数据,并将所述记录的数据和/ 或信息传送到地面操作中心102处的飞行跟踪站104,并且执行额外的任务和/ 或功能以支持飞行跟踪系统100的操作,如下文更详细描述的那样。在示例性 实施例中,处理系统126实现语音识别引擎(或声音识别引擎)和/或语音到文 本系统,其适用于从(一个或多个)音频输入设备125接收音频输入并将所述 音频输入转换为相应的文本化表示,如下文将更详细描述的那样。在这点上, 处理系统126还可以包括各种滤波器、模数转换器(ADC),等等,其被适当 地配置以支持经由所述(一个或多个)音频输入设备125将所接收的音频信号 转换或以其他方式解析成其文本化表示。在一个示例性实施例中,处理系统126 包括或以其他方式接入存储器,其维护用于航空器120的一个或多个的声学噪 声模型,其用来解析来自所述(一个或多个)音频输入设备125的音频输入。 例如,每个声学噪声模型可对应于在航空器120的相应的操作状态和/或飞行阶 段期间,接近音频输入设备125的听觉(或可听的)环境噪声(或背景噪声), 也就是说,在一个特定操作状态和/或飞行阶段期间可能被音频输入设备125接 收的环境噪声和/或背景噪声。在这点上,每个操作状态和/或飞行阶段可与一个 反映在相应的操作状态和/或飞行阶段期间可能由音频输入设备125感测或以其 他方式接收的噪声的特性和/或模式(例如,音量或声压水平、频率,等等)的 声学噪声模型相关联。所述噪声模型由处理系统126用来构建一个对应于航空 器120当前的飞行阶段和/或操作状态的数字滤波器,其被应用在从音频输入设 备125获取的所接收的音频输入信号上,下文将更详细描述。另外,处理系统 126还接入或以其他方式包括反映航空文法规则的语音识别词汇表(或词典) (例如,一份包括经常使用的航空缩略语、术语和惯用语、导航术语、航空代码、 设备名称和/或标识符、飞行操作手动术语、清单术语、音频变更,等等的词汇 表),其由处理系统126实现的语音识别引擎利用。

如下文更详细描述的,在一个示例性实施例中,处理系统126耦合到数据 存储元件138,所述数据存储元件存储或以其他方式维护由处理系统126生成 的文本数据(例如,经由音频输入设备125接收的模拟音频信号的内容的文本 化表示)。在一个示例性实施例中,处理系统126和数据存储元件138被协同 地配置为在排序的数据结构中,诸如采用时间排序序列的循环缓冲器,存储所 述文本数据。在这点上,一旦数据存储元件138为循环缓冲器分配的部分被充 分利用,处理系统126就通过用最新生成的文本数据覆盖最老的文本数据来更 新数据存储元件138中所维护的文本数据。以这种方式,由数据存储元件138 维护的文本数据内容对应于经由(一个或多个)音频输入设备125接收的音频 内容的最近子集,同时代表时间较老的音频内容的那些文本数据被覆盖和/或删 除。在一个示例性实施例中,数据存储元件138能够存储至少十分钟的文本数 据及其关联的飞行数据。数据存储元件138在物理上可使用RAM存储器、ROM 存储器、闪速存储器、寄存器、硬盘,或其他本领域已知的合适的数据存储介 质或其合适的任何组合来实现。

根据该实施例,处理系统126可包括或以其他方式实现为被设计成执行本 文所述功能的通用处理器、控制器、微处理器、微控制器、内容可寻址存储器、 数字信号处理器、特定用途集成电路、现场可编程门阵列、任何合适的可编程 逻辑设备、离散门或晶体管逻辑、处理核心、离散硬件部件,或其任何组合。 实践中,处理系统126包括可被配置为执行与下文将更详细描述的飞行跟踪系 统100的操作相关联的功能、技术和处理任务的处理逻辑。此外,与本文公开 的实施例相关地进行描述的方法或算法的步骤,可直接在硬件、固件、由处理 系统126执行的软件模块、或其任何实际组合中体现。根据一个或多个实施例, 处理系统126包括或以其他方式接入存储器或其他合适的非暂时性短或长期存 储媒质,其能够存储计算机可执行编程指令或其他用于执行它的数据,当由处 理系统126读取或执行的时候,使得处理系统126执行并进行本文所述的一个 或多个处理任务、操作、和/或功能。

仍然参照图1,在一个示例性实施例中,处理系统126耦合到导航系统132, 导航系统被配置为提供关于航空器120的操作的实时导航数据和/或信息。导航 系统132可被实现为全球定位系统(GPS)、惯性参考系统(IRS)、或基于无 线电的导航系统(例如,VHF全向无线电航向信标(VOR)或远距离无线电导 航系统(LORAN)),并且可以包括一个或多个被适当配置以支持导航系统 132的操作的导航无线电或其他传感器,如本领域将将认识到的那样。导航系 统132能够获取和/或判定航空器120的瞬时位置,也就是,航空器120当前(或 瞬时)位置(例如,当前纬度和经度)和当前(或瞬时)高度(或高出地面)。 导航系统132还能获取或以其他方式判定航空器120的航向(即,航空器相对 某一参考的行进方向)。

如图1所图示的,处理系统126还耦合到通信系统130,所述通信系统被 配置为支持到和/或来自航空器120的通信。例如,通信系统130可支持航空器 120与一个或多个地面位置之间的通信,诸如地面操作中心102、空中交通管制、 和/或其他合适的指令中心或地面位置。在这点上,通信系统130可使用无线通 信系统或其他合适的数据链路系统来实现。

在一个示例性实施例中,处理系统126还耦合到FMS134,所述FMS耦 合到导航系统132、通信系统130,以及一个或多个附加航空电子系统136,以 支持导航、飞行计划编制、以及采用常规方式的其他航空器控制功能,以及以 向处理系统126提供关于航空器120的操作状态的实时数据和/或信息。应当注 意的是,虽然图1描述了单个的航空电子系统136,实践中,飞行跟踪系统100 和/或航空器120将可能包括多个用于获取和/或提供实时的飞行相关信息的航 空电子系统,所述信息可显示在显示器122上或以其他方式被提供给用户(例 如,驾驶员、副驾驶员、或机组成员)。例如,飞行跟踪系统100和/或航空器 120的实践实施例将可能包括一个或多个下述航空电子系统,其被适当地配置 以支持航空器120的操作:天气系统、空中交通管理系统、雷达系统、交通避 免系统、自动驾驶系统、自动推进系统、飞行控制系统、液压系统、气压系统、 环境系统、电力系统、引擎系统、平衡系统、照明系统、机组成员警报系统、 电子清单系统、失速警告系统、操纵杆振动器、电子飞行包和/或其他合适的航 空电子系统。

在图1图示出的实施例中,地面操作中心102一般地代表了位于地面上的 设施,其包括一个或多个装备为跟踪、分析和以其他方式监控一个或多个航空 器120的操作的飞行跟踪站104。在这点上,飞行跟踪站104一般代表了在地 面操作中心102处的计算机或其他计算系统,其由地面人员操作以监控、跟踪 和/或分析航空器120的飞行。在一个示例性实施例中,飞行跟踪站104包括用 户输入设备106、显示设备108、通信系统110、处理系统112,和数据存储元 件114。在示例性实施例中,显示设备108被实现为耦合到处理系统112的电 子显示器,其能够在处理系统112的控制下,以图表的形式显示从航空器120 接收的文本数据和飞行数据,下文将更详细描述。根据该实施例,用户输入设 备106可被实现为键区、触摸板、键盘、鼠标、触摸面板(或触摸屏)、操纵 杆、旋钮、行选择键,或其他适用于从用户接收输入的合适设备,诸如音频输 入设备,诸如麦克风、音频转换器、音频传感器,等等。通信系统110一般地 代表硬件、软件、固件和/或被配置为支持飞行跟踪站104与航空器120之间进 行通信(例如,经由通信系统130)的其他部件的组合,诸如,例如,使用数 据链路航空电子设备、数据链路基础设施,和/或数据链路服务提供商。

处理系统112一般地代表硬件、软件、和/或固件部件,其被配置为从航空 器120接收或以其他方式获取文本数据和飞行数据(例如,经由通信系统110, 130),将从航空器120接收的文本数据和飞行数据存储在数据存储元件114中, 并在显示设备108上呈现或以其他方式显示所接收的文本数据和飞行数据的图 表化表示。根据该实施例,处理系统112可用被设计为执行本文所述功能的通 用处理器、控制器、微处理器、微控制器、内容可寻址存储器、数字信号处理 器、特定用途集成电路、现场可编程门阵列、任何合适的可编程逻辑设备、离 散门或晶体管逻辑、处理核心、离散硬件部件,或任何其组合来实施或实现。

应当理解的是,图1是飞行跟踪系统100的简化表示,出于解释和便于描 述的目的,并且图1无意于以任何方式限定本文所述的申请或主题的范围。例 如,在一些实施例中,显示设备122、用户输入设备124、音频输入设备125, 和/或处理系统126可被实施为电子飞行包,其与航空器120物理上分离,但是 当其在航空器120上时能够以通信地方式耦合到航空器120的其他元件。此外, 飞行跟踪系统100和/或航空器120的实践实施例将包括多个用于提供附加功能 和特征的其他设备和部件,如本领域将认识到的那样。在这点上,应当意识到, 虽然图1示出了单个显示设备122,实践中,附加显示设备可出现在航空器120 上。另外,应当注意,在其他实施例中,本文所述的处理系统126的特征和/或 功能可能通过航空器120上的其他元件,诸如,例如,FMS134或其他航空电 子系统136,提供的特征和/或功能实施,或以其他方式与其结合在一起。也就 是说,所述处理系统126可以是FMS134或其他航空电子系统136的组成部分。

现在参照图2,在一个示例性实施例中,飞行跟踪系统100被配置为执行 驾驶员座舱声音通信过程200和下文所述的附加任务、功能和操作。与图示出 的过程200相关地执行的各种任务可由软件、硬件、固件、或其任何组合执行。 出于说明性的目的,下面的描述可能参照前面提到的与图1相关元件。实践中, 驾驶员座舱声音通信过程200的各个部分可由飞行跟踪系统100的不同元件执 行,诸如,音频输入设备125、处理系统126、通信系统130、导航系统132、 FMS134,和/或(一个或多个)航空电子系统136。应当意识到,驾驶员座舱声 音通信过程200可包括任何数量的附加任务或替换任务,这些任务不需以所示 的顺序执行和/或这些任务可同时地执行,和/或驾驶员座舱声音通信过程200可 被合并入具有本文未详细描述的附加功能的更综合的流程或过程中。此外,只 要预期的整体功能保持完整,则在图2上下文中示出或描述的一个或多个任务 可能被从驾驶员座舱声音通信过程200的实践实施例中省略。

仍然参照图2并继续参照图1,在一个示例性实施例中,驾驶员座舱声音 通信过程200以从航空器上的一个或多个音频输入设备接收或以其他方式获取 音频输入作为开始(任务202)。在这点上,航空器120上的音频输入设备125 接收或以其他方式感测声音或其他音频信息,并将那些声音转换成对应的电信 号(也就是,音频信号),所述对应的电信号被提供给处理系统126。在一个 示例性实施例中,响应于声音的接收或以其他方式感测,音频输入设备125生 成模拟音频信号并将该模拟音频信号提供给处理系统126。

在一个示例性实施例中,驾驶员座舱声音通信过程200接下来生成从航天 器上的(一个或多个)音频输入设备获取的音频输入的文本化表示(任务204)。 在这点上,处理系统126经由(一个或多个)音频输入设备125将接收的模拟 音频信号转换成数字数据,所述数字数据以文本形式表示了所述模拟音频信号 的语音(或声音)内容。例如,根据一个或多个实施例,处理系统126识别或 以其他方式判定航空器120当前的飞行阶段(或操作状态),获取对应于航空 器120当前飞行阶段的声学噪声模型,将模拟音频信号转换成对应的数字音频 信号,并基于所述声学噪声模型对所述数字音频信号滤波以获取滤波数字音频 信号。然后处理系统126执行一个或多个语音识别技术和/或算法,以将所述滤 波数字音频信号识别或以其他方式解析成语音识别词汇表(或词典)中的一个 或多个单词(或术语)。用这种方式,处理系统126处理滤波数字音频输入信 号并执行一个或多个语音识别算法,以将音频输入(或其部分)标识或以其他 方式识别成对应的或以其他方式匹配的语音识别词汇表中的一个或多个单词。 在将音频输入识别成语音识别词汇表中的一个或多个单词并将音频输入的内容 解析成其对应的文本化表示后,处理系统126生成对应于音频输入的内容的一 个或多个文本数据对象(例如,字符串、字符,等等)。处理系统126以时间 排序序列将生成的文本数据记录或以其他方式存储在数据存储元件138中,下 文将更详细描述。在这点上,处理系统126可用接收对应的音频输入的时间对 文本数据进行时间戳记或标记。

在一个示例性实施例中,驾驶员座舱声音通信过程200从航空器上的一个 或多个航空电子系统接收或以其他方式获取实时飞行数据和/或信息(任务 206),同时期产生和/或同时发生地从航空器上的(一个或多个)音频输入设 备接收音频输入。在这点上,获取的飞行数据和/或信息反映了在接收音频输入 时或前后航空器120的操作。例如,响应于从音频输入设备125对音频输入的 接收,处理系统126可从导航系统132获取航空器120的当前位置(例如,瞬 时纬度、经度、高度、航向,等等)。另外,处理系统126可从航空器120上 的FMS134或其他航空电子系统136获取其他飞行数据和/或信息,诸如,例如, 航空器120的当前速度、航空器120的当前定向(例如,滚动、倾斜,和偏航)、 航空器最接近的当前气象条件(例如,温度、气压、风,以及航空器120外的 类似条件)、航空器120上的当前条件(例如,机舱压力、机舱温度,等等)、 当前引擎状态(例如,引擎中断参数、关闭和/或不能操作的引擎的识别),等 等。处理系统126将获取的飞行数据以时间排序序列记录或以其他方式存储在 数据存储元件138中,下文将更详细描述。在这点上,所述处理系统126可以 用所接收飞行数据的时间来时间戳记或以其他方式标记该获取的飞行数据。

在一个示例性实施例中,驾驶员座舱声音通信过程200连续通过将与获取 的飞行数据关联的文本数据存储或以其他方式维护,所述飞行数据对应于当接 收(任务208)音频输入时或前后的航空器的操作。例如,根据一个实施例, 处理系统126将获取的飞行数据增补为与基于音频输入生成的文本数据相关联 的元数据,所述音频输入的接收时间对应于所述获取的飞行数据,通过这种方 式,处理系统126将所述文本数据和飞行数据关联起来。在这点上,通过将获 取的飞行数据作为标签或者与文本数据相关联的数据使用,处理系统126可将 基本上同时获取的文本数据和飞行数据(例如,文本数据和飞行数据具有匹配 的时间戳记)结合成单个数据对象。以这种方式,文本数据对象与其关联的飞 行数据(例如,具有匹配时间戳记的飞行数据)一起存储在数据存储元件138 中。如上所述,在一个示例性实施例中,处理系统126和数据存储元件138被 协同地配置以实现排序数据结构,诸如循环缓冲器,其中文本数据对象和关联 的飞行数据被存储在循环缓冲器的逻辑终点。在这点上,当循环缓冲器已满时 (例如,已达到逻辑终点),通过覆盖循环缓冲器中最早生成的文本数据对象来 存储最近生成的文本数据对象(例如,通过在对应于循环缓冲器的逻辑起点的 入口处存储最近的文本数据和飞行数据,并递增循环缓冲器的逻辑起点和终点, 使得最近文本和飞行数据的入口对应于循环缓冲器的逻辑终点)。结果,循环 缓冲器的内容就对应于最近生成的文本数据对象及其相关联的飞行数据的时间 排序序列。在另一实施例中,处理系统126通过将文本数据与同时发生的飞行 数据以在循环缓冲器中相互逻辑相邻的方式存储或以其他方式维护,来维护文 本数据与同时发生的飞行数据之间的关联。例如,使用文本数据和飞行数据的 时间戳记,当将这些数据存储在由数据存储元件138所维护的循环缓冲器时, 处理系统126可以继续将所述数据排序。以这种方式,对应于在第一时间接收 的音频输入的文本数据,将与对应于在该第一时间航空器120的操作的飞行数 据逻辑相邻。

在一个示例性实施例中,驾驶员座舱声音通信过程200连续地监控传输触 发事件(任务210)。在这点上,传输触发事件是一个发生或事件,其指示了 航空器120上存储的文本数据和飞行数据应当被传输到地面位置。没有传输触 发事件,由任务202、204、206、208和210定义的循环会在航空器120操作期 间反复执行以连续地从航空器120上的(一个或多个)音频输入设备125捕获 音频输入并从航空器上的航空电子系统132、134、136获取对应的实时飞行数 据,将捕获的音频输入转换成代表所接收的音频的文本数据,并以时间排序序 列将所述文本数据和飞行数据存储在数据存储元件138中。根据一个或多个实 施例,在航空器120已经着陆或者以其他方式停止操作后,驾驶员座舱声音通 信过程200可自动停止或以其他方式终止操作,并且驾驶员和/或副驾驶员可操 作用户输入设备124以删除存储在数据存储元件138中的文本数据和飞行数据。

响应于传输触发事件的检测或者以其他方式的识别,驾驶员座舱声音通信 过程200自动地将文本数据和飞行数据的按时间排序序列传输或以其他方式传 送到一个或多个地面位置(任务212)。根据一个或多个实施例,处理系统126 监控航空器120上的一个或多个航空电子系统132、134、136的输出,并基于 一个或多个航空电子系统132、134、136的输出自动识别传输触发事件。例如, FMS134和/或航空器上的航空电子设备136可生成警告或通知(例如,失速警 告、地面邻近和/或地势邻近警告、空中防撞系统化解顾问警告、碰撞警告、舱 内失压警告、操纵杆振动器警告、烟雾警告、起飞失败通知,等等),其由处 理系统126接收,其中,响应于从FMS134和/或航空器上的航空电子设备136 对警告的接收,处理系统126自动发起对存储在数据存储元件138中的文本数 据和飞行数据的传输。在一个示例性实施例中,处理系统126构造加密数据链 路消息,其包括来自以时间顺序布置(例如,先入先出)的循环缓冲器的文本 数据和飞行数据,并将所述数据链路消息提供给通信系统130,通信系统130 转而将所述数据链路消息传输或以其他方式传送到地面操作中心102和/或飞行 跟踪站104。在其他实施例中,处理系统126可响应于对指示期望将存储的文 本数据和飞行数据传输到地面操作中心102和/或飞行跟踪站104的用户输入的 接收,来识别传输触发事件。例如,处理系统126可在显示设备122上显示或 以其他方式呈现图形用户接口单元(例如,按钮等),其适应于允许用户发起 对存储的文本数据或飞行数据的传输,其中,响应于用户(例如,驾驶员或副 驾驶员)操作用户输入设备124以选择所述图形用户接口单元,处理系统126 构造数据链路消息并将所述数据链路消息提供给通信系统130以传输到地面操 作中心102和/或飞行跟踪站104。在其他实施例中,处理系统126可响应于从 地面操作中心102和/或飞行跟踪站104接收要求传输存储的文本数据和飞行数 据的请求,来识别传输触发事件。例如,处理系统112可在显示设备108上显 示或以其他方式呈现图形用户接口单元,其适应于允许飞行跟踪站104处的地 面人员经由通信系统110向航空器120传输对存储的文本数据和飞行数据的请 求。应当注意,在可替换的实施例中,驾驶员座舱声音通信过程200可被配置 为不需要等待传输触发事件而连续地向地面位置传输文本数据和飞行数据。

飞行跟踪站104处的处理系统112接收并解密来自航空器120的数据链路 消息(例如,经由通信系统110),并将数据链路消息的内容(例如,来自数 据存储元件138的文本数据和飞行数据)存储在数据存储元件114中。另外, 处理系统112可在显示设备108上显示或以其他方式呈现所述文本数据和飞行 数据的图形化表示。在这点上,处理系统112显示了以时间排序序列布置的文 本和飞行数据,这样使得由处理系统126最近生成的文本数据及其关联的飞行 数据被首先显示,并且接着是随后生成的文本数据及其关联的飞行数据,从而 允许飞行跟踪站104处的地面人员以时间排序方式检查由(一个或多个)音频 输入设备125捕获的音频的内容以及飞行数据,以更好地分析航空器120的操 作。在示例性实施例中,飞行数据和文本数据以图表形式关联起来(例如,通 过将具有相同时间戳记的飞行数据和文本数据相互接近地显示在显示设备108 上),从而使得地面人员能够容易地确定所显示的文本数据实例的航空器120 的操作内容。

图3-4描述了排序的数据结构300,诸如循环缓冲器的图表化表示,根据上 述的驾驶员座舱声音通信过程200,其可由航空器120上的数据存储元件138 存储和维护。如图3所图示,在起始时间t0,处理系统126从音频输入设备125 接收音频输入并执行语音识别以将所接收的音频输入转换成对应的文本表示文 本数据0(text_data_0)。处理系统126还从航空器120上的一个或多个航空电 子系统132、134、136获取航空器120在时间t0的实时飞行数据,诸如,例如, 航空器120的位置航空器位置0(aircraft_location_0),航空器120的高度航空 器高度0(aircraft_altitude_0),航空器120的定向航空器定向0 (aircraft_orientation_0),等等。如所图示出的,处理系统126在循环缓冲器中 生成起始条目302,其以时间t0进行时间戳记(或标记)并包括对应的文本数据 和飞行数据。在随后的时间t1,处理系统126从音频输入设备125接收第二音 频输入并执行语音识别以将所接收的音频输入转换成对应的文本表示文本数据 1(text_data_1)。再次地,处理系统126还获取航空器120在时间t1的实时飞 行数据并在循环缓冲器中生成条目304,其以时间t1进行时间戳记(或标记)并 包括对应的文本数据和飞行数据。如图3所图示,循环缓冲器300以时间顺序 维护条目302、304,从而使得条目304跟随着,并且逻辑邻接着,对应于先前 音频输入的起始条目302。

如图4所图示,在随后的某一时间tN之后,循环缓冲器300变满,其中当 处理系统126在随后的时间tN+1接收到来自音频输入设备125的音频输入时, 处理系统126在传输开始时用针对时间tN+1的文本数据和飞行数据覆盖循环缓 冲器300中的起始条目302,并且针对时间t1的条目304被更新变为循环缓冲器 300的逻辑起点。在这点上,当处理系统126在时间tN+1后识别出传输触发事件 时,处理系统126生成加密数据链路消息,其代表了以对应于时间t1的条目304 的内容为起点并以对应于时间tN+1的条目302的内容为终点的循环缓冲器300 的内容。当由飞行跟踪站104接收时,处理系统112可以通过时间t1的文本数 据和飞行数据(例如,文本数据1、航空器位置1、航空器高度1、航空器定向 1)在最先而时间tN+1的文本数据和飞行数据(例如,文本数据N+1、航空器位 置N+1、航空器高度N+1、航空器定向N+1)在最后的排序方式,在显示设备 108上显示所接收的文本数据和飞行数据。

简要总结,本文所述主题时一个优点是由于在存储和/或传输之前将捕获的 音频转换成文本化表示,存储和传输音频信息的成本(例如,所需的存储空间 量,所需的带宽量、传输所需的时间)被减少。另外,同时发生(或同时期产 生)的飞行数据和/或信息可与音频信息的文本化表示一起获取或者相关联,从 而将捕获的音频的操作内容提供给检查捕获的音频信息的地面人员。与航空器 分离地以时间排序序列提供和存储捕获的音频及其相关飞行数据,确保了捕获 的音频以及捕获的音频的操作内容将可以独立于飞行数据记录器(FDR)和/或 驾驶员座舱声音记录器(CVR)被得到。

简短起见,涉及语音识别、音频处理和采样、数据结构、数据存储、数据 传输、航空器控制以及系统(和系统的个别操作部件)的其他功能方面的常规 技术在本文没有详细描述。此外,文本包括的各种附图中所示的连接线意在表 示各种元件间的示例性功能关系和/或物理耦合。应当注意,许多替换的或附加 的功能关系或物理连接可出现在本主题的实施例中。

本主题在本文可按照功能和/或逻辑块部件被描述,并参考由各种计算部件 或设备执行的操作、处理任务和功能的符号表示。应当意识到,附图中所示的 各种块部件可由配置为执行特定功能的任意数量的硬件、软件和/或固件部件实 现。例如,系统或者部件的实施例可采用各种集成电路部件,例如,存储器元 件、数字信号处理元件、逻辑元件、查询表,等等,它们可以在一个或多个微 处理器或其他控制设备的控制下执行多种功能。此外,本文所述的主题的实施 例能够作为存储在其上的计算机可执行指令或数据被存储、编码或以其他方式 体现在任何合适的非暂时性计算机可读介质上,当被(例如,由处理系统)执 行时,其帮助实现上述的过程。

前文的描述中提及了被“耦合”到一起的元件或节点或特征。如本文所使用 的,除非明确声明,否则“耦合”表示一个元件/节点/特征被直接或间接地连接到 另一个元件/节点/特征(或直接或间接地与其通信),且不一定以机械方式。因 此,虽然附图可能描述元件的一个示例性布置,附加干预元件、设备、特征, 或部件可出现在本主题所描述的实施例中。另外,特定术语还可以仅出于参考 的目的被用于下文的描述,并且因此没有限定的意图。

示例性实施例

示例1包括一种从航空器到地面位置处的计算机系统传送信息的方法,所 述方法包括:从所述航空器上的音频输入设备获取音频输入,所述音频输入包 括一个或多个单词;生成包括所述一个或多个单词的文本化表示的文本数据; 以及将所述文本数据传送给所述计算机系统。

示例2包括示例1所述方法,进一步包括:从所述航空器上的航空电子系 统获取飞行数据;以及在传送所述文本数据之前,将所述飞行数据与所述文本 数据相关联。

示例3包括示例2所述方法,进一步包括在传送所述文本数据之前将所述 文本数据存储在循环缓冲器中,其中:将所述飞行数据与所述文本数据相关联 包括将所述飞行数据与所述文本数据一起存储在所述循环缓冲器中。

示例4包括示例2-3任一所述方法,其中所述飞行数据与获取所述音频输 入同时地被获取。

示例5包括示例2-4任一所述方法,其中关联所述飞行数据包括将飞行数 据增补为与所述文本数据相关联的元数据。

示例6包括示例2-5任一所述方法,其中传送所述文本数据包括:创建包 括所述一个或多个单词的文本化表示和所述飞行数据的数据链路消息;以及, 将所述数据链路消息从所述航空器传输到所述地面位置。

示例7包括示例1-6任一所述方法,进一步包括:从所述航空器上的航空 电子系统获取飞行数据;以及将所述飞行数据与所述文本数据相关联地传送。

示例8包括示例7所述方法,其中将所述飞行数据与所述文本数据相关联 地传送包括连续地传送所述飞行数据以及所述一个或多个单词的文本化表示。

示例9包括示例1-8任一所述方法,进一步包括:将所述文本数据存储在 航空器上;以及识别触发事件,其中传送文本数据包括响应于对所述触发事件 的识别自动地传输所述文本数据。

示例10包括示例1-9任一所述方法,进一步包括将所述文本数据存储在采 用时间排序序列的数据结构中,其中传送所述文本数据包括根据所述时间排序 序列来传送所述文本数据。

示例11包括示例1-10任一所述方法,其中生成所述文本数据包括使用语 音识别词汇表来识别一个或多个单词。

示例12包括示例11所述方法,进一步包括在识别所述一个或多个单词之 前基于对应于所述航空器的当前操作状态的声学噪声模型对所述音频输入滤 波。

示例13包括示例1-12任一所述方法,进一步包括由所述计算机系统以图 表形式与所述飞行数据相关联地同时显示所述一个或多个单词。

示例14包括一种从航空器到地面操作中心处的飞行跟踪站传送信息的方 法,所述方法包括:在第一时间从所述航空器上的音频输入设备接收音频输入, 所述音频输入包括一个或多个单词;将所述音频输入转换成表示所述一个或多 个单词的文本数据;从所述航空器上的航空电子系统获取与所述第一时间对应 的飞行数据;从所述航空器向所述飞行跟踪站传输所述文本数据和飞行数据。

示例15包括示例14所述方法,其中获取所述飞行数据包括与接收所述音 频输入同时地获取所述飞行数据。

示例16包括示例14-15任一所述方法,进一步包括将所述文本数据与所述 飞行数据相关联,其中传输所述文本数据和飞行数据包括将所述文本数据和所 述飞行数据一起传输。

示例17包括示例16所述方法,进一步包括将所述文本数据和飞行数据存 储在所述航空器上的数据存储元件上,其中将所述文本数据和所述飞行数据一 起传输包括基于所述航空器上的第二航空电子系统的输出自动地将所述文本数 据和所述飞行数据一起传输。

示例18包括一种系统,包括:航空器上的音频输入设备,用于接收包括一 个或多个单词的音频输入;耦合到所述音频输入设备的处理系统,用于生成表 示所述一个或多个单词的文本数据;以及耦合到所述处理系统的通信系统,用 于将所述文本数据从所述航空器传送到地面位置。

示例19包括示例18所述系统,进一步包括所述航空器上的数据存储元件, 其中所述处理系统被配置为在将所述文本数据传送到所述地面位置之前,将所 述文本数据存储在所述数据存储元件中。

示例20包括示例18-19任一所述系统,进一步包括所述航空器上的航空电 子系统,用于将飞行数据提供给所述处理系统,其中所述处理系统被配置为将 所述飞行数据和所述文本数据相关联并将所述文本数据和所述飞行数据一起传 送。

虽然在上文详细描述中已经示出了至少一个示例性实施例,但应当意识到 还存在大量的变体。还应当意识到所述一个或多个示例性实施例仅仅作为示例, 而无意于以任何方式限定本主题的范围、应用、或者配置。相反地,上文的详 细描述将给本领域技术人员提供用于实施本主题的示例性实施例的便利的指 南。应当理解,在不背离在所附权利要求中阐述的本主题的范围的情况下,可 以针对在示例性实施例中描述的功能和元件布置作出各种改变。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号