用于对监控飞机发动机的系统进行验证的工具

摘要

本发明涉及一种用于对监控飞机发动机(5)的至少一项设备的系统(3)进行验证的工具，该工具包括：处理装置(11)，配置成收集与所述一项设备有关的观测数据；分析装置(12)，配置成关于观测数据的当前量计算至少一个质量指标的当前值；分析装置(12)，配置成估计质量指标的所述当前值达到预定可靠性准则的概率，由此形成概率可靠性定律；以及分析装置(12)，配置成基于所述概率可靠性定律估计观测数据的最小量，基于观测数据的该最小量，质量指标的值以高于预定值的概率达到预定可靠性准则。

说明书

技术领域

本发明涉及飞机发动机监控系统的领域，更具体地，涉及一种用于对监控飞机发动机设备的系统进行验证的工具。

背景技术

监控系统用来检查飞机发动机的各个设备在正确地运转。例如，存在一个在点火过程中分析发动机的行为的监控系统、分析气体轨迹的另一系统、检测过滤器的堵塞的又一系统以及分析耗油量的另一系统等等。

所有这些监控系统相结合足以提高飞机发动机的安全性及可靠性。特别地，这些监控系统使得可以避免或限制空中停车、减少航班的延误或取消、并且更特别地通过预测故障并识别故障或有缺陷的部件来有利于发动机维护。

目前，存在一种用于基于与规范限定的阈值进行比较的指标来设计监控系统的工具。在申请人所申请的法国专利申请FR2957170中描述了该工具。

对监控系统的验证要求测试应该例如在测试台上进行以收集大量的数据。然后，必须留出大量的资源和时间来执行这些测试，此外，收集到的大量数据会需要较长的计算时间。

还可能的是，一个监控系统的验证水平不同于另一监控系统的验证水平。这会使从不同发动机监控系统输出的数据分析起来较复杂。

本发明的目的是公开一种用于对监控飞机发动机中的设备的系统进行验证的工具，能够优化验证所需的数据量，因此减小了开发成本并节约了时间，同时提高了监控系统的可靠性。

发明内容

该发明由用于对监控飞机发动机中的至少一件设备的系统进行验证的工具来限定，该工具包括：

-处理装置，配置成收集与所述设备有关的观测数据，

-分析装置，配置成关于由处理装置收集的观测数据的当前量计算至少一个质量指标的当前值。

-分析装置，配置成估计质量指标的所述当前值达到预定可靠性准则的概率，由此形成关于质量指标的一组值估计的概率可靠性定律，该质量指标的一组值适用于观测数据的对应的一组量，以及

-分析装置，配置成根据所述概率可靠性定律估计观测数据的最小量，从观测数据的该最小量开始，质量指标的值以超出预定值的概率达到预定可靠性准则，

-测试装置，配置成通过将一组质量指标应用到与所述设备有关的观测数据的所述最小量来评估对所述监控系统的验证。

这使得可以知道何时停止收集数据以评估监控系统，从而可以降低测试成本。

有利地，所述预定值是预先限定为是可接受的误差的补数。

有利地，分析装置配置成通过将交叉验证技术应用到观测数据的所述当前量来计算质量指标的当前值。所述交叉验证技术可以选自以下技术：拔靴法、K折法、留一法。

有利地，该一组质量指标包括以下指标：误报率、检测率、定位率。

有利地，分析装置配置成对所述一组质量指标的值应用回归技术来确定逼近函数，该逼近函数表示随观测数据的量变化的所述概率可靠性定律。

根据本发明的一个特殊特征，针对与误报的概率对应的质量指标，随观测数据的量n变化的所述逼近函数由以下关系式来表达：

其中，a、b、c是回归常数。

有利地，测试装置配置成通过将一组质量指标应用到在测试台上和/或在操作中的一队飞机发动机上收集的观测数据的量来在监控系统安装到飞机上之前评估对所述监控系统的验证。这使得可以对适于监控系列发动机的通用监控系统进行验证。

有利地，测试装置配置成通过将一组质量指标应用到在飞行中所收集的观测数据的量来在监控系统安装到系列发动机上之后继续验证并调整所述监控系统。这意味着监控系统可以是专用的，以使监控系统适于该监控系统安装在其上的发动机的具体使用，该具体使用可以取决于任务、轨迹、维护等等。

本发明还旨在提出一种由根据以上特征中的任一特征所述的设计工具所设计的用于监控至少一件飞机发动机设备的系统，所述系统配置成接收特定于所述设备的观测数据，以及传递包含对所述设备的状态的诊断的结果。

本发明还涉及一种对用于监控至少一项飞机发动机设备的系统进行验证的方法，该方法包括测试步骤，以通过将一组质量指标应用到与所述设备有关的观测数据的量来评估对所述监控系统的验证，所述方法还包括以下步骤：

-收集与所述设备有关的观测数据，

-关于由处理装置收集的观测数据的当前量计算至少一个质量指标的当前值，

-估计质量指标的所述当前值达到预定可靠性准则的概率，由此形成关于一组质量指标的值估计的概率可靠性定律，质量指标的该组值适用于观测数据的对应的一组量，以及

-根据所述概率可靠性定律估计观测数据的最小量，从观测数据的最小量开始，质量指标的值以超出预定值的概率达到预定可靠性准则，观测数据的所述最小量与将用来评估对所述监控设备的验证的观测数据的所述量对应。

附图说明

在阅读以下针对非限制性的信息给出的描述之后以及参照附图，将更好地理解根据本发明的工具和方法的其他特征及优点，在附图中：

-图1概略地示出了根据本发明的一个实施例的用于对监控飞机发动机上的设备的系统进行验证的工具；

-图2为示出了根据本发明的一个实施例的确定下述最小数据量的方法的流程图，该最小数据量用于观测和验证对飞机发动机上的至少一项设备进行监控的系统；

-图3为表示根据本发明的与理论可靠性定律及其逼近函数有关的曲线的曲线图；

-图4为表示与理论可靠性定律有关的曲线周围的观测测量值的曲线图；

-图5概略地示出了根据本发明的第一优选实施例的用于对监控飞机发动机上的设备的系统进行验证的工具；以及

-图6概略地示出了根据本发明的第二优选实施例的用于对监控飞机发动机上的设备的系统进行验证的工具。

具体实施方式

本发明公开了用于对验证监控系统所必需的数据量进行估计以及预测的工具的使用。

图1概略地示出了根据本发明的第一优选实施例的用于对监控飞机发动机5上的设备的系统3进行验证的工具1。

监控系统3可以由模块31-34组成，并且每个模块使用具体的算法来执行具体的任务。这种监控系统以申请人的名义在专利申请FR2957170中进行了公开，且该监控系统可以包括数据采集模块31、归一化模块32、异常诊断或检测模块33、识别缺陷的分类模块34等等。

在执行中，数据采集模块31配置成接收通过飞机发动机5上的传感器或通过机载计算机采集的具体测量值或数据71，以及配置成输出给出了有关发动机5上的设备的物理或逻辑元件的信息的具体数据或变量。从未经处理的瞬时测量值(温度、压力、燃油量、轴旋转等等)中提取这些数据71。

例如，具体数据可以与每次发动机起动后发动机轴达到最大加速度所需的时间、发动机排气温度的梯度、点火时间、阀打开时间、速度趋势等对应。

归一化模块32配置成从采集模块31接收具体数据以使这些具体数据归一化，以及输出与环境无关的标准化数据。

从这些标准化数据开始，现在的目标是进行异常诊断，然后推断出具体的故障以及可能的有关物理部件。

因此，异常检测模块33配置成从归一化模块32接收标准化数据以构建表示发动机5的行为的标志，以及如果发动机5的行为的标志显示出异常则创建诊断。异常检测模块33还配置成输出表示该标志的评分。取决于该评分与预先限定的阈值相比较的值，检测模块33配置成生成或不生成指示检测到异常的警报。

分类模块34配置成输出故障识别措施。例如，在通过针对每个故障计算发生概率而识别了故障后，监控系统3可以使用该发生概率来检测有缺陷的部件。

因此，取决于应用类型，监控系统3配置成执行以下几个任务：这些任务可以包括数据采集、数据归一化、异常检测以及可能地对所检测到的异常的分类。

然而，必须在监控系统可以投入使用之前对监控系统执行鉴定或验证阶段。

因而，使用验证工具来核实对监控系统的验证。根据本发明，验证工具1包括处理装置11、分析装置12和测试装置13。这些装置11-13被通常位于计算机中的以下设备所使用：中央处理和计算单元、存储装置、输入外设和输出外设。

处理装置11配置成收集与待监控的发动机5上的设备有关的观测数据7。这些观测数据7包括通过飞机发动机5上的传感器或者通过机载计算机所采集的具体测量值71，并且监控系统3将使用这些具体测量值来检测缺陷或异常。而且，观测数据7还可以包括从测试台上进行的测试或从运作的发动机上进行的记录得到的数据、或者可能从仿真数据得到的数据。

此外，测试装置13配置成通过对与该设备有关的观测数据7的量应用一组质量指标(关键业绩指标-KPI)来评估对监控系统的验证。

更具体地，测试装置13对监控系统3的结果应用一个或多个质量指标KPI以核实对缺陷的检测。这导致了可以用来关于观测数据7的量验证监控系统3的标记。

有利地，该一组KPI质量指标包括POD(检测概率)的测量值、PFA(误报概率)的测量值、PCL(分类定位概率)的测量值等等。应该注意的是，可以取决于监控系统3的类型而独立地或者与其它指标相结合地来使用每个质量指标。

检测概率POD(又称检测能力)是检测在受监控的设备中真正存在的缺陷的概率。可以将该概率估计为所检测到的缺陷数量与总的缺陷数量的比率。因此，检测概率POD可以用来对具有非常良好的可靠性的监控系统3的结果进行验证。

误报概率PFA定义为尽管监控系统3检测到缺陷但受监控的设备完好的概率。误报概率PFA可以使用贝叶斯法则来计算。使P(检测到的)为监控系统3检测到异常的边缘概率，而使P(完好的)为设备完好的边缘概率。因此，误报概率PFA是在检测到缺陷之后设备还完好的概率。

误报概率PFA是航空领域中非常重要的准则。其中在监控系统3检测到缺陷时设备完好的情况是必须要限制的现象，因为它可能永久地损害用户对监控系统3的可信性的印象。因此，如果误报概率PFA较低，则非常有利。

数据质量指标是分类定位概率(PCL)的测量值，该分类定位概率定义为当观测到设备的异常时定位准确的概率。

分类定位概率PCL是分类质量信息，该PCL使得可以非常有效地验证监控系统3。这使得可以定位到存在异常的设备的精确元件(例如交流发电机、电缆、安全带等)。

通常，检测概率POD有助于检测设备是否包括异常元件，然后分类定位概率PCL指示采用其可以定位或者识别该元件的效率。

将该一组质量指标的至少一部分应用到由处理装置11收集的观测数据7以验证监控系统3。

然而，质量指标的精度取决于观测数据7的量。因此，在这些指标满足预定的质量要求之前，知道所需的观测数据7的数目是有利的。

图2为示出了根据本发明确定下述最小数据量的方法的流程图，该最小数据量用于观测和验证对飞机发动机上的至少一项设备进行监控的系统。

步骤E1涉及通过处理装置11收集观测数据的当前量。

在步骤E2中，分析装置配置成针对由处理装置11收集的观测数据7的每个当前量(或当前数量)来计算至少一个质量指标的当前值。

换言之，针对观测数据7的每个当前数目，分析装置12计算质量指标KPI的当前值KPI(n)。

有利地，通过将交叉验证技术应用到观测数据7的当前量n来计算质量指标的当前值KPI(n)。

交叉验证技术可以是以下技术中的一个技术：“拔靴法”、“K折法”和“留一法”。交叉验证技术包括生成从当前大小为n的主集得到的新数据集。针对每个数据集，分析装置12配置成进行实验以及计算相应的KPI的值。

更具体地，“拔靴法”包括在初始集上提取并提交用于校准及计算KPI的n个观测值。

“K折法”包括通过选择观测数据的预定部分并且在其余部分上进行测试来创建校准数据集。该操作重复进行K次。

“留一法”是在n-1个观测数据上校准应用，并且在最后一个观测数据上测试应用，从而获得n个基本结果。

因此，交叉验证可以生成针对每次试验获得的一组值X_i＝KPI(n|试验i)。该组值(X_i)_i＝1…K给出了当前值KPI(n)的经验性表示。

在步骤E3中，分析装置12配置成估计概率P(KPI(n)∈I)＝P(n)，该概率定义为是KPI质量指标的当前值KPI(n)达到与预定间隔I对应的预定可靠性准则的概率。

因此，针对观测数据7的对应的一组当前量N_i,....,N_m，分析装置12迭代地(即，针对n＝N_i,....,N_m)形成根据质量指标的随机变量的一组计算的当前值KPI(N_i),…,KPI(N_m)估计的概率可靠性准则P(n)。

有利地，分析装置12配置成对质量指标变量的该组值KPI(N_i),…,KPI(N_m)应用回归技术以确定逼近函数，该逼近函数表示随观测数据的量变化的概率可靠性定律P(n)。

此外，在步骤E4中，分析装置12配置成从概率可靠性定律P(n)开始并估计观测数据的最小量N₀(即，最小数目)，从观测数据的该最小量开始，质量指标的值达到预定的可靠性准则，具有概率高于预定的值1-ε，该预定值1-ε是可接受的误差ε的补数。换言之，分析装置12搜索第一N₀，以使P(KPI(N₀)∈I)>1-ε。

例如，针对POD检测率，搜索满足以下关系的第一N₀：

P(POD(N₀)>1-β)>1-ε

此外，针对误报概率(PFA)，搜索满足以下关系的第一N₀：

P(PFA(N₀)<α)>1-ε

1-β和α分别表示针对POD和PFA的可靠性要求。

为了估计最小量N₀，分析装置12有利地配置成构建概率可靠性定律P(n)，其中n＝N_i,....,N_m。然后将该曲线外推，直到其在预定值1-ε处穿过纵坐标轴。这将在横坐标上给出对所需的观测数据7的最小数目N₀的估计。

作为变体，为了确定达到目标所需要的第一N₀，可以构建表示定律P(n)的补数1-P(n)的误差曲线ε(n)，并且可以将该曲线外推，直到其在可接受的误差值ε处穿过纵坐标轴。

应该注意的是，针对误报概率PFA，概率可靠性定律P(n)是表示PFA的真实值的参数p的n次布尔实验的均值。因此，其定律是二项式除以n的定律，其以均值p并且方差σ_n＝p(1-p)/n向正态定律收敛，具有以下形状：

有利地，进行关于理论定律P(n)如何改变的假设，以简化估计该理论定律的方法。例如，当α小于p时，理论定律P(n)以指数方式向零收敛。

因此，针对误报概率PFA，理论可靠性定律P(n)可以通过逼近函数f(n)来表达，其中逼近函数f(n)具有如下形状：

其中，a、b、c是常数，可以通过误报概率PFA的所有值PFA(N_i),…,PFA(N_m)上的回归技术来确定。应该注意的是，log(n)项用来校正逼近函数f(n)的衰减，因此减小了逼近误差，从而获得更符合理论定律P(n)的估计值。

图3为表示与针对PFA的理论可靠性定律P(n)及其相应的逼近函数f(n)有关的误差曲线ε(n)的曲线图。

理论曲线C1针对参数p＝4％且可靠性要求α＝5％给出了ε(n)＝1-P(n)的形状，而虚曲线C2表示逼近1-f(n)。该两个曲线C1和C2几乎是相同的，因此逼近函数f(n)的补数可以用来确定观测数据的最小量。

例如，如果要求精度为0.9(即，误差ε(n)＝0.1)，其中误报的理论概率等于p＝4％且要求α＝5％，则如曲线图上所指示的那样需要至少650个测量值。换言之，为了评估对监控飞机发动机5上的设备的验证，其中误报概率小于等于5％且概率或保证为90％，必须收集大约650个观测值。

而且，关于观测数据的精度随数据量的增加而增加。

图4为表示代表误差ε(n)的曲线周围的观测测量值的曲线图。这些测量值在曲线C1或C2周围形成置信管41，曲线C1或C2示出了在试验开始处精度比较低，然后随着数据量的增加，管变得更加细化。

最后，在步骤E5中，测试装置13对观测数据的最小量N₀应用质量指标KPI，以便最优地评估对监控系统3的验证。

图5概略地示出了根据该发明的第一优选实施例的用于对监控飞机发动机上的设备的系统进行验证的工具。

该第一实施例涉及在通用监控系统3安装在飞机上之前在测试台43上验证通用监控系统3。

监控系统3的规范分为要求规范，其表达了要求和目标。当有测试可用于验证预期的性能时，会对要求或目标给出回应。该测试适用于与由规范限定的阈值进行比较的一组质量指标KPI的至少一部分。通过适于由要求或目标提出的问题的验证场景来计算KPI值。这些场景是基于提供对需求的合理覆盖的观测数据的。

因此，处理装置11针对待监控以及待在测试台43上创建的设备收集观测数据7。作为变体，在测试监控系统3的飞机上收集观测数据7。

正如已经描述的，分析装置12根据观测数据7的当前量计算每个质量指标的值。然后，分析装置12估计观测数据的最小数目，从观测数据的该最小数目开始，质量指标的值以高于预定值的概率满足预定可靠性准则。观测数据的该最小数目保证了对质量指标的充分覆盖，从而具有意义，并因此知道何时可以终止在测试台43上的测试。

然后，测试装置13通过将KPI质量指标应用到与该设备有关的观测数据7的所述最小量来评估对监控系统3的验证。

图6概略地示出了根据本发明的第二优选实施例的用于对监控飞机发动机上的设备的系统进行验证的工具。

该第二实施例涉及通过将一组质量指标的至少一部分应用到在飞行中收集的观测数据的最小量来在监控系统3安装在飞机45的系列发动机5上之后验证以及调整所述监控系统3。

已经针对根据第一实施例在测试台41上或者在属于同意致力于监控系统的研发的航空公司的飞机上进行的一组观测测量对监控系统3进行了预校准。

应该注意的是，其上安装有监控系统3的飞机43将遵循它自己的任务，并且还将在该飞机43上执行特定于所属航空公司的维护操作。因此，验证要考虑监控系统安装在其上的发动机的具体使用。

如上所述，处理装置12收集操作期间在发动机上产生的待监控设备的观测数据7。分析装置估计观测数据的最小数目，从该观测数据的最小数目开始，质量指标的值以高于预定值的概率达到预定可靠性准则。这可以用来确定何时可以停止验证测试，但是如果舰载飞机所执行的操作改变或者如果在维护操作后发动机配置改变，则应重新启动验证测试。