用户和他在交通工具上的环境之间的接口模型化的系统和方法

摘要

本发明涉及一种确定用户和其交通工具舱内环境之间接口模型的方法，其在于一方面根据表示交通工具接口元件的第一类信息和另一方面根据表示用户掌握的接口元件使用知识的第二类信息，建立(E1)接口模型；获取(E2)表示在用户与这些接口元件之间进行交互时所需的至少一项人类活动的数据，该数据的获取通过至少一个数据获取设备实现；分析(E3)如此获取的数据；根据数据分析调整(E4)接口模型。

说明书

技术领域

本发明是关于一种确定驾驶者和他在交通工具上的环境之间的接口模型的方法和系统。

背景技术

在不同领域(航空，汽车，船舶......)里，空中、陆地或海上交通工具针对其使用(空中驾驶或陆上驾驶，导航，通信，环境监视，系统管理......)需要配备多个接口元件的仪表板。

为了使任务顺利进行，考虑到的交通工具的用户，接口元件的驾驶员，应该非常清楚地了解这些接口元件担当的功能、这些接口元件提供的信息、以及描述与接口元件有关的待执行行动(手工的、视觉的、听觉的)命令的程序。

我们因此理解，在驾驶交通工具时，用户与安装在交通工具舱上的接口元件之间的交互具有很大的重要性并因此备受关注。

因此，用全新而有效的方式评价这一交互以便于，譬如，可在适当的范围内改善已存在的接口元件，设计全新的接口元件，或改善飞行程序，或者是改善各接口元件彼此之间相对的布局，这些将很有意义。

发明内容

为此，本发明旨在提供一种确定用户和他在交通工具上的环境之间接口模型的方法，其特征在于它包含以下步骤：

-一方面根据表示交通工具接口元件的第一类信息和另一方面根据表示用户掌握的接口元件使用知识的第二类信息，建立接口模型，

-获取表示在用户与这些接口元件之间进行交互时所需的至少一项人类活动的数据，该数据的获取通过至少一个数据获取设备实现，

-分析如此获取的数据，

-根据数据分析调整接口模型。

接口模型建立在用户-技术系统二元性的基础上，而不是建立在单独的表示该系统的技术信息的基础上的，这可以得到建立在一整套信息上的非常可靠的模型，该信息是用一种尤能表示用户与他的交通工具舱上环境，尤其是后者的接口元件之间交互的方式被彼此组织在一起的。

得益于表达用户关于接口元件的视觉和/或手势和/或话音和/或生理行为的记录数据，以及这些数据的解释，使得可以丰富事先建立的接口模型并由此将其调整至更贴近其应表示的内容。

例如，可以检测出接口元件中功能的不正常，评价新的接口元件，确定一个接口元件应该传递某些信息或保证某些功能，或者还可以确定一个承担一项或几项指定功能的尤为有用的新的接口元件。

根据一项特征，两种类型的信息，来源于技术的第一类信息和来源于人的第二类信息，采用同样的配置，被提供给一个具有用户-技术系统对称结构的动态数据库。

在这两类信息始终以同样的唯一格式被提供的情况下，在处理这些信息时并因此在建立模型时必然节约时间并且有效率。

根据一项特征，这两类信息根据同一个多主体认知模型被配置。

这样一种信息表示被证明对于建立交互模型尤其合适而有效。

根据一项特征，第一类信息根据一个多主体认知模型的配置包括一个在交通工具使用程序和交通工具接口元件之间建立联系的步骤。

因此在交通工具使用程序的不同步骤(例如，驾驶)和参与每一步骤的接口元件之间建立了对应关系，旨在把后者模型化。

根据一项特征，第一类信息根据一个多主体认知模型的配置包括一个标识每一个被考虑的接口元件的功能区域的步骤。

通过定义这些在同一接口元件内的区域，将有可能得到每一接口元件的精细模型并且由此随后，在获取数据的步骤期间，得到用户(如驾驶员)和区域，甚至是不同接口元件的多个区域之间交互的详细信息。

因此通过获取例如涉及同一接口元件的几个区域或多个接口元件的多个区域的测眼数据，模型将更为完备并且因此而更为可靠。

根据一项特征，根据多主体认知模型的第一类信息的配置对于每一接口元件包括以下步骤：

-确定关于由被考虑的接口元件履行的与交通工具的使用有关的任务，

-确定与已确定的任务有关的多主体认知模型的主体，

-在因此确定的认知模型的主体和被考虑的接口元件标识的功能区域之间建立关联。

因此建立的模型尤其代表了用户(如驾驶员)与被考虑的接口元件的交互，考虑到被指派给接口元件的任务并且它们是由例如交通工具的使用(如驾驶)程序所确定的。

根据一项特征，在用户和接口元件之间交互时被要求的人类活动在看、说、听、运动机能、生理表示和反应中选出。

表达各种各样人类活动的数据的获取和分析提供了非常有用的信息，使得可以，例如，完善/修改交互模型。

根据一项特征，数据获取设备是一种存储表示用户在接口元件上视觉路线的视觉数据的测眼设备。

当用户(如驾驶员)的目光经过不同的接口元件以及外部显示器，甚至一个或几个接口元件内部的特定区域时，这样一种设备对描述其视觉行为尤为有用。

此设备可与另一个设备配对使用，它可以在驾驶员的目光位置被第一设备追踪时，以视频格式记录驾驶员的动作。这些声音记录同样非常有用。我们因此掌握更大量的要处理的数据以及更多样的数据，这可以丰富接口模型并使其更忠实于应该显示的内容。

如上简要介绍的被确定的接口模型可运用于众多领域(航空航天，宇宙空间，汽车，航海......)并且在众多应用中可被用于：

-改善一个或多个接口元件；

-设计一个或多个接口元件；

-评估一个或多个新接口元件；

-修改交通工具使用(如驾驶)程序；

-培训驾驶交通工具的用户(如驾驶员)。

本发明同样旨在一种用于确定用户和他在交通工具上的环境之间的接口模型的系统，其特征包含：

-一方面根据表示交通工具接口元件的第一类信息和另一方面根据表示用户掌握的接口元件使用知识的第二类信息建立接口模型的建立装置，

-获取表示至少一种在用户和接口元件之间交互时所需的人类活动的数据的至少一个获取设备，

-分析因此得到的数据的分析装置，

-根据数据分析调整接口模型的调整装置。

此系统包括与上面关于方法的描述的相同的方面和优点，且这里不再复述。

附图说明

其他特征和优点将在参照附图并仅作为非限定例子给出的随后的描述中显现出来，其中：

-图1a用概括方式表示根据本发明的确定接口模型的方法的算法；

-图1b用示意的方式表示实施根据本发明的方法的系统；

-图2用示意的方式表示制作根据本发明的接口模型的过程；

-图3用示意的方式表示详细描述图1a的算法中所绘步骤的算法；

-图4是一个表格，描述飞行程序和该程序的每一步骤用到的舱内仪器的对应关系；

-图5描述舱内仪器上不同信息区域的标识；

-图6用示意的方式描述被指定给图5中定义的各区域的各功能；

-图7以表格形式表示认知模型主体和图5所绘舱内仪器功能区域之间的联系；

-图8描述建立图1a的表格16和18的例子。

具体实施方式

本发明在航天领域的应用中，特别是在飞机驾驶舱接口元件模型化中尤有意义。

在飞机驾驶舱中，可见看见几类仪表板，例如，主仪表板IP(盎格鲁撒克逊术语是“main instrument panel”)其中装配有多个供被称为PF(盎格鲁撒克逊术语是“Pilot Flying”)的正驾驶员和被称为PNF(盎格鲁撒克逊术语是“Pilot Non Flying”)的副驾驶员使用的充当接口元件的舱内仪器，即是，例如，被称为PFD或主要飞行显示屏(盎格鲁撒克逊术语是“Primary Flight Display”)的仪器和被称为ND或导航显示屏(盎格鲁撒克逊术语是“Navigation Display”)的仪器。我们同样看到一个中央面板CP(盎格鲁撒克逊术语是“Central panel”)，一个高处面板OP(盎格鲁撒克逊术语是“overhead panel”)和挡风玻璃下方面板GS(盎格鲁撒克逊术语是“glareshield panel”)。

驾驶舱用户，即驾驶员，使用前述舱内仪表板的所有接口元件执行飞机驾驶、导航任务以及在飞行领域内维护飞机的保护任务。

为便于驾驶员执行这些任务并使其在最大安全的情况下进行动作，在驾驶员和其在飞机上的环境之间确定一个接口模型被证明是有用的。

图1a的算法描述根据本发明的确定这样一种驾驶员-驾驶舱接口模型的方法的主要步骤。

该算法由一个与数据/信息存储装置(数据库，存储器......)协同工作的计算器执行。

在第一步骤E1期间，预计根据两类信息建立一个驾驶舱接口模型，第一类信息与技术系统有关并尤其代表驾驶舱接口元件，和第二类信息，与人有关并尤其代表驾驶员掌握的关于驾驶舱接口元件的使用的知识和飞行程序知识，以及其行为举止(飞机驾驶员的经验)。

驾驶员-驾驶舱交互是基于该接口的，具有动态特征，包含用户和技术系统的行为。

该步骤依靠同时来自于技术和来自于人的信息的使用，以便在交互模型建立时顾及到用户-技术系统组合。

如图2所示，前述两类信息被提供给一个配备相对于交互轴对称的驾驶员(人)——技术系统结构的动态数据库10，该交互轴将关于人方面的库12和关于技术方面的库14分开。

我们将注意到信息遵循同样的配置被有一定结构地输送到这一数据库，这一同样的配置根据每一个方面(人和技术)由细述所有使用的输入和输出的输入-输出级和一个细述使用的不同子系统的处理级定义。

模型建立始于标识人方面和技术系统方面的输入-输出，这在信息处理级进行子系统标识之前。

以对称方式建立人-技术系统交互模型可把同样的方法运用到全部在场的实体。由于技术系统以及人被当作复杂系统，并以相似的方式分解为子系统(例如我们把声音警报(属于声音子系统)和图形警报(属于图形子系统)看作技术系统部分)，应该把借以人们觉察、意识到并处理这些警报的子系统看作人部分，这些子系统与听觉和视觉形态、注意、符号处理系统、短期和长期记忆以及做出决定相似。

来源于技术(第一类)和来源于人(第二类)的信息以同样的方式根据同样一个多主体认知模型配置，并且使用公知的UML语言(盎格鲁撒克逊术语是“Unified Modelling Language”统一建模语言)以使驾驶员-驾驶舱组合形式化。

在多主体认知模型中我们将定义可描述驾驶员认知驾驶舱内接口元件的过程的主体。

这一多主体的表示尤为适合描述可同时展开的该过程。

事实上，一位驾驶员可能需要同时分析视觉信息(在人类部分输入并且在技术系统部分输出)和听觉信息，例如音频警报。

当涉及到根据有序路线跟踪可能发生在不同的独立接口元件之间的信息时，这一多主体表示同样尤其适合。

此外，这一表示对于为了方便在驾驶员和接口元件之间交互时表示涉及的人类活动的数据的后来的分析，用适当的方式分级和归类这些信息同样是有用的。

在基于主体和资源的认知模型化中，我们根据它们的角色，它们的职责，它们的资源或功能以及待实现的目标确定认知模型的主体。

遵循这种多主体研究方案，应用范围，即飞机驾驶舱接口元件的使用，在指定环境下根据待满足的需求被分析。

主体由一个目标确定方向且可考虑到与构成驾驶员信仰的方案有关的需要。

例如，驾驶员认为要改变飞行水平他需要一定数量的条件以保证其驾驶顺利进行：视野，发动机状态，大气情况......。

驾驶员因此需要得到这些信息以便完成他的任务，并因此将使用为其提供接口元件(舱内仪器)的认知资源。

他因此完成对情境的意识，并能够对未来做好计划且随后执行。

所有这些方面因此将可在依靠多主体认知模型化的实验范围内被评价。

这些有助于认知过程的主体建立在驾驶舱接口元件的感知、理解和心理表示上。

因此，每一主体借助行动计划满足固定目标，行动计划例如是，在航空航天中，在称作FCOM(盎格鲁撒克逊术语为“Flight CrewOperating Manual”)的机组人员操作手册中定义舱内仪器使用的程序和特别是预计审查不同的核对表、降落和起飞阶段......

用户(驾驶员)方面，这些行动计划与用户有书面飞行程序的心理表示对应且它根据经验有所不同。

如上参考图2已经提及的那样，认知的结构建立于两个主要级上，即输入-输出级和信息处理级。

主体是根据级(输入-输出或处理)和类型(输入-输出通道或处理系统)分类。

因此，在同一级上，我们找到几种类别：在输入-输出级，我们拥有视觉类主体、听觉类主体等，而且在处理级，我们拥有值得注意的主体、帮助记忆主体、决定主体等......。

如上指出，主体特征在于一个或多个角色、职责和资源。

尤为特别的是，一个主体的角色根据一项应该被完成的任务或子任务(例如，有关交通工具驾驶)定义。

主体的职责是执行任务或子任务，而所用到的资源使得任务或子任务得以有效执行。

因此，例如，一个三维场景可由一组主体表示，其每一个主体负责场景的一个特定特征，例如起伏、纹理。纹理对应于可为变化或恒定的起伏格子，这根据地面数据库，换而言之我们可在所有地方有同样大小的网格或者根据被表示的起伏区域、色彩和符号法有不同大小的网格。

均如这些主体，这些主体的资源按级(输入-输出或处理)和按类型(输入-输出通道或处理系统)分类。

因此，例如，前述的可由一个主体表示的三维视觉场景的起伏可拥有多样的资源，它们被用于侦测和分析视觉场景中的峡谷，河流，树林，道路，建筑......。

多主体认知模型的主体的确定根据以下指出的方法步骤进行，它遵循两种方案重复执行，由上至下的方案，被称为“上-下”，和由下至上的方案，被称为“下-上”。

“上-下”方案是建立在我们可从驾驶员以及他们使用驾驶舱内接口元件的方式中得到的知识的基础上的，并且可方便主体的分类。

“下-上”方案是建立在驾驶舱接口元件和为了强调职责和主体而进行分组的视觉指示的基础上的。

遵循此多主体认知模型的驾驶舱模型化可定义视觉场景的元素为一种精细颗粒度级，它考虑到每一接口元件(机舱仪器)的构成元素，即这些接口元件的信息区，而不是把每一个接口元件作为一组(大颗粒度级)。

在此模型的范围内，如此定义的主体资源在处理接口元件时被分配。

通常的方式，驾驶员-驾驶舱组合的形式化不局限于表示不协调的实体，而是建议如图2所示，通过把这些实体组织成包括资源、主体、关联的主体和计划，既包括人方面又包括技术系统方面的表格16、18，在这些实体间建立关联。我们将注意到关联的主体可定义与另一主体的特定资源的直接关联。若没有这些关联的主体，将仅能关联到主体，而非主体的资源。

如图2所示，技术系统的模型化被通过将在下面细述的接口元件PFD20的模型化表示在图2左边，而在本图的右边，我们表示了人方面22在两个主要级，即输入-输出级24和信息处理被执行的级26上的认知模型化结构。

这些级的每一级都可被分解成多个子系统，例如，第一级可分为视觉的、听觉的、语言的和运动机能的，而第二级可分为提醒的、长期存储的(LTM，盎格鲁撒克逊术语是“Long Term Memory”)、工作存储的(WM，盎格鲁撒克逊术语是“Work Memory”)和做决定的(盎格鲁撒克逊术语是“Decision Making”)。

一旦接口模型已从两类信息(表示接口元件的信息和表示人在使用接口元件上的知识和行为的信息)中建立出来，图1a的算法预设一个数据获取步骤E2。

在此步骤中，我们着手获取表示一项或几项人类活动的数据(例如，看，言语，听，人类肢体活动，运动觉，人体生理表示和反应......)它们在驾驶员与接口元件交互中被涉及。

因此例如，在一指定时刻，驾驶员，一方面注视驾驶舱接口元件的一个区域，该信息或该一组信息被测眼设备检测并自动记录在一个结果数据库并且，另一方面同时操纵操纵杆和/或其他仪器，相应的信息或一组信息被一个视频记录系统或其他系统采集并同样被储存下来。

我们将注意到根据相关人类活动的特性，我们使用相应的数据获取仪器(测眼仪，视频记录仪，皮肤电探测器......)

在获取数据之后，在随后步骤期间我们着手研究它们(步骤E3)，例如，通过一个或一群驾驶员专家，它们成为针对步骤E2的经验对象。

在对获得的数据进行分析的过程中，经验人员检查结果并进行解释，尽力确定在经验指定时刻采取的一个动作是否得当以及它是否在适当时刻发生。

更为通常的情况，它阐明获得信息/不获得信息和行动/不行动之间的关系。

在解释这些结果的过程中，经验人员确定，例如，为何其视线跟随一条在一个或多个连续的接口元件上和/或在同一接口元件的一个或多个区域上的指定视觉路线。

根据由经验人员以及，若有必要，不同领域的其他专家的解释和这一分析的结果，有可能使已经建立的驾驶员-驾驶舱接口模型化范围生效或对后者进行调整。

因此例如可以看到缺少一个使得驾驶员顺利完成飞行、导航或其他任务的接口元件，或者一个导航接口元件(显示器......)。

我们同样可以看到在接口模型建立时确定的颗粒度级太精细而因此无法表示真实环境或，相反，颗粒度级太大而因此不能充分获得表示环境的相关信息。

经验结果的解释同样可使接口元件或飞行程序机能障碍明显。

这例如可在证明经验人员严重疲劳和高度紧张之后被观察到。因此有可能根据步骤E3的结果改善交互模型。

我们因此用重复方法在步骤E4和E1之间执行图1a所示的循环直到得到最可能表示机舱环境的所需交互模型。

一旦接口模型已被根据本发明符合确定目标的方法确定，后者(生效模型)可被用于，例如，一个飞行模拟器中培训未来驾驶员或可被用于改善系统提供的接口(布置，信息连贯，多模态和空间冗余信息)。

我们将注意到图1b表示根据本发明的一种确定模型的系统30，表示用户32与接口元件34之间的交互。本系统包括一个有输入-输出的计算器36以便与用户32和接口元件34协作，以及与数据获取仪器38(例如一个测眼仪器)协作，它向计算器36传输待分析的获得的数据。

图3的算法用更为详尽的方式示出图2的算法步骤，突出驾驶员——驾驶舱组合的对称形式化。

技术系统方面接口模型的建立始于第一步骤E10，在该步骤期间人们在FCOM手册中定义的飞行程序和正驾驶员(PF)和副驾驶员(PNF)在相关飞行程序中所述的每一行动都必须求助的驾驶舱接口元件(机舱仪器如PFD，ND......)之间建立一个关联。

在这些程序中，我们找到起飞(盎格鲁撒克逊术语是“take off”)程序，在起飞后，爬升(盎格鲁撒克逊术语是“climb”)程序、巡航飞行(盎格鲁撒克逊术语是“cruise”)程序、下降准备(盎格鲁撒克逊术语是“descent preparation”)程序、下降(盎格鲁撒克逊术语是“descent”)程序、标准接近(盎格鲁撒克逊术语是“standardapproach”)程序、非精确接近(盎格鲁撒克逊术语是“non-precisionapproach”)程序和着陆(盎格鲁撒克逊术语是“landing”)程序。

结合一架空客A340飞行驾驶手册中爬升(“climb”)飞行程序中所述的每一行动涉及的机舱仪器，我们得到图4所绘表格，其显示，例如，驾驶员应该求助SET-valeur模式下的GS面板上被称为FCU(盎格鲁撒克逊术语是“Flight Control Unit”)的仪器和CHECK模式下主面板IP的PFD仪器以读取BARO参考(气压参考)显示。

同样，爬升过程中，驾驶员应该求助主面板的PFD仪器以显示速度和海拔高度信息，以及飞机高度。

一旦我们把飞行程序与相关驾驶舱的接口元件关联起来，图3的算法预计一个随后的步骤E12，在此过程中我们标识驾驶舱每一接口元件的信息区域，以及确定由这些区域执行的功能。

作为一个例子，我们参照图5标识主飞行显示(盎格鲁撒克逊术语是“Primary Flight Display”)的接口元件PFD上不同的信息区域。

该图被分解成两部分：在左边部分，接口元件PFD被表示并且，在右边部分，已标识了该接口元件的不同信息区域以及他们在接口元件上的定位。

因此计数出九个信息区域，在图5的右边部分被用数字1至9标记，它将在随后被指定参考Z1至Z9。

在标识每一接口元件的区域之后，我们在随后步骤E14中进行确定角色和职责(涉及到关于飞机驾驶的任务和子任务且每一接口元件被使用到的不同区域的功能)。根据区域角色和职责的这一确定，使得可以确定多主体认知模型的主体。

因此，例如对于接口元件PFD，我们挑出三项基本任务，它们是飞机驾驶(T1)，导航(T2)和为在飞行领域内维护飞机所作的保护(T3)。

在这三项任务中每一项的内部，可以确定更为详细的子任务：

-指示飞机参数值(T11)，

-指示选定点或数值(来自FMGS：盎格鲁撒克逊术语是“FlightManagement and Guidance System”飞行管理和指导系统)(T12)，

-指示飞行趋势(T13)，

-给出无线电导航和FMGS仪器的显示(T21)，

-使得更容易跟踪FMGS提供的数值(T22)，

-表示飞行范围的极限(T31)，和

-报警(T32)

一旦这些任务和子任务被确定，我们着手确定每一接口元件，例如，PFD的不同区域的角色和职责。

图6中我们在一个表格中标识并表示了之前标识的区域的不同功能或职责。

因此，从被称为FMA(盎格鲁撒克逊术语是“Flight ModeAnnunciator”飞行模式报警器)的Z1区，我们可以标识四个提供关于驾驶模式(例如，自动驾驶模式)和无线电导航的信息的子区域。

被称为VA的Z2区提供气流速度信息并可被分解成两个子区域。

可被分解成两个子区域并被称为AA的Z3区提供飞机高度信息(俯仰，稳度，横摇，导航，操纵杆)。

可被分解为三个子区域并被称为A/Vv的Z4区被用作测高计并提供飞机垂直速度信息。

被称为ILS-GS(盎格鲁撒克逊术语中ILS表示“InstrumentLanding System”仪器着陆系统而GS表示“Glide Slope”滑翔斜率)的Z5区提供相对于GS斜率仪器着陆系统ILS的垂直位置信息。

被称为“ILS-Loc”的Z6区提供关于相对于定位器(盎格鲁撒克逊术语是“localizer”)ILS的水平位置信息。

被称为M/I的Z7区提供飞机马赫数信息和航行信息。

被称为H/T的Z8区(盎格鲁撒克逊术语是“heading/track zone”航向/航迹区)提供导航和飞机航向信息。

最后，被称为Ref/Alt的Z9区提供测高参考信息。

我们将注意到区域名称代替今后将定义的主体角色定义。

得益于图6的表格以及任务和子任务的确定，使得在随后步骤E16中根据有关飞行驾驶和航行的标准确定用于建立认知模型的认知主体成为可能。

为了再次以PFD接口元件模型化为例，我们确定使得可描述如图7所示的使用PFD接口元件不同区域的认知过程的认知主体。

因此我们确定关于垂直移位(海拔高度，V/S)分析、水平移位(速度和航向)分析、姿态A/C分析、FMGS命令追踪、朝向/ILS、FMA、颜色编码和警报的主体。

如“主体职责”列中指出的，例如，主体A1其角色是参考海拔和垂直速度参数来分析飞机垂直位移并且，为了完成这一功能，它对垂直参数值和参数符号负责。

为完成这一功能，主体A1一方面依靠四个与垂直参数值的职责有关的认知资源，另一方面依靠两个与符号制定的职责有关的认知资源。这使得主体可执行主要与设备驾驶(T11和T12)有关并位于接口元件PFD的Z4区的任务。

在随后的步骤E18中，进行关于使用环境系统输入和输出的标识，换而言之我们标识系统(诸如PFD的接口元件)在一指定时刻关于指定的使用情况，诸如起飞或爬升发出的信息。

在算法的随后步骤E20中，预计标识位于处理级的系统(例如，PFD接口元件)信息。

图8详细示出遵循结构方案、关联的主体、主体和资源，既在技术系统这边又在人这边，在高度监视的范围内相对于PFD仪器，图2表格16和18的建立。

因此，在技术系统这边(表格18)，我们在示于图4的关于爬升(“CLIMB”)程序方案范围内确定，所使用的资源是PFD的Z4和Z9区(图7)，主体是PFD的主体A1并且关联的主体是机舱仪器EFIS(盎格鲁撒克逊术语是“Electronic Flight Instrument System”电子飞行仪器系统)的主体A3。

表格16(人这边)将在后面描述。

与刚才在步骤E10至E20过程中所作的描述并行的，我们参照下面将要描述的步骤E22至E28进行人这边的交互模型的建立。

源自人的信息例如借助于与驾驶或飞行程序专家的谈话被提供。在这些描述指定状况(即，与使用直接用三维显示同样信息的仪器相比，使用显示两维信息的仪器，如ND，PFD，)的谈话过程中，我们要求专家指明他们将采取的行动、执行的控制、为采取行动他们将需要的信息......。

在第一步骤E22期间，规定在人这边接口模型的输入-输出级标识与技术系统的交互方式，即，例如，构成人类视觉、人类语言、听觉、运动觉的输入-输出通道......。

在这同一步骤期间，还标识所需资源以便采取适当的行动，换而言之，例如，察觉(注视)由PFD接口元件相应区域提供的海拔高度信息，听懂(倾听)“地面”听觉警报(盎格鲁撒克逊术语是“call-out”)(意味着飞机超出相对于地面的安全区域，换而言之太低了)、拉操纵杆、或再加气。

可以注意的是，以可选择的方式，我们同样可以在输入-输出级限制有限的使用状况，譬如，起飞。它涉及到相对于飞行阶段，从而相对于特定的一些过程或一个过程的子部分的划分。有可能的是深入到这些特定阶段，研究它们在困难条件下——恶劣天气，发动机故障，信息显示错误，用户紧张或疲劳，的实现。

在随后步骤E24期间，预计在人类认知模型的输入-输出级标识多模态交互，换而言之是在不同通道(视觉，听觉......)之间的交互。

因此，例如，根据谈话时统计的情况，诸如旨在于觉察被考虑的接口元件的高度信息和听到听觉警报以及因此拉动操纵杆的情况，标识在之前标识的不同方式之间的交互。

在随后步骤E26期间，定义人类方面认知模型的处理级。

为此，一方面标识关于技术系统方面的模型化的显得尤为困难或复杂加以执行的驾驶员待采取的行动和/或待做决定，并且，另一方面建立对这些敏感或困难部分进行处理的假设。

因此，例如，我们假设用户在碰撞警报时关于技术系统接口元件向其提供的视觉和听觉信息作出正确的决定。

在本步骤E26期间，我们根据之前标识的不同形态(输入-输出通道)进行标识信息处理。

从确定的方案，即PFD的使用和飞机驾驶出发，在关于PFD仪器飞机高度监测范围内，表示对应于技术系统方面表格18的人类方面模型化的表格16被建立。

在这个表格中，我们在输入-输出和处理级确定/标识所用资源。

因此，我们标识视觉输入-输出，即PFD提供的高度监测，和相应的处理，即工作存储(WM)和长期存储(LTM)，以及作出决定。

对应主体是PFD而前述资源被关联到“飞行跟踪方案”主体。

我们因此以对称方式建立驾驶员-驾驶舱多主体认知模型。

随后的步骤E28可以完成人类认知模型并且一位该领域专家(认知心理学专家，生理学专家，语言专家)使其生效。

在随后步骤E30期间，所涉及的不同领域专家，即飞行程序专家、驾驶员专家、设计师，人类安全专家(视觉、听觉、语言、运动觉专家......)一起进行表示人-技术系统组(驾驶员-驾驶舱)模型的有效验证。

我们将注意到，用可选择的方式，步骤E28和E30可被合并。

一旦模型建立，我们转到前述的步骤E2，其间我们使用分析人类因素的方法以便采集能借助实验方案表达相应人类活动的数据。

我们因此可以引入几种分析方法，如前指出的，借助测眼仪以取得表示驾驶员随着时间在一个或多个驾驶舱接口元件(更为特别的是，监测驾驶员注视位置从一个接口元件的一个区域到另一接口元件的另一个区域)上的视觉路线的视觉数据，并且，借助驾驶舱的视频系统，得到表示驾驶员例如在操纵杆上的动作的视频数据，和/或借助音频记录仪得到听觉数据。

得益于在前述步骤中定义的环境或模型，有可能在公共存贮区(数据库)已经建立以采集来源于技术和来源于人类的两类信息的情况下，关联例如两类人类活动数据(视觉测量数据和关于人体运动机能的数据)。

我们将注意到人类因素的不同评估赖以建立的实验方案是来自于之前建立的交互模型并将由其产生的结果供给该模型。

此外，我们将注意到各方法之间和各评估之间公共存贮区的使用保证采集的信息的一致性、同质性和可追溯性。

更为特别的是，图1b的测眼设备38可以记录驾驶员注视一个视觉场景的位置，因此可以跟踪驾驶员视觉在驾驶舱接口元件上以及在外部显示器上经过的不同视觉元素。

测眼设备包括一个模拟装置，即测眼仪，它记录驾驶员眼睛的移动。测眼仪包括三个元件，即，记录眼睛视线移动的摄像机，一个向眼睛发送红外线的红外线源和一个记录驾驶员所见视觉场景的摄像机。

因此，记录眼睛视线移动的摄像机得到的视频数据和记录驾驶员所见视觉场景的摄像机得到的视频数据被叠加在一起并且驾驶员的注视位置由一个在视觉场景上移动的指针(例如，一个圆圈或一个十字准线)表示出。

单独的测眼仪的使用，虽然对于外部显示器足够了，但并不提供足够的精确度，如果我们要记录驾驶员视觉路线的特别细致的细节，例如，文字阅读或从屏幕特定区域获得信息。

因此，我们给测眼仪关联一个磁场生成器以带来最大精度。

磁场生成器如在三维空间参考系中被用以捕获驾驶员头部相对于构成驾驶员真实环境的不同表面和平面的坐标的位置。在这方面，相关表面和平面是那些构成对应于驾驶舱显示屏和面板的表面和平面，它们可如我们之前看到的对于每一个接口元件的那样分解成关注区域和关注子区域。

为了分析驾驶员头部的移动，我们因此求助于一个磁场生成器以及一个固定在驾驶员头部的接收器，而且这些与前述模拟装置(测眼仪)相结合的元件使得可以得到用户在视觉场景中注视位置的最大精度。

更为特别的是，固定在驾驶员头部的接收器提供头部在三维模型中的精确位置。

这个头部接收器和记录场景的摄像机之间的距离，以及头部接收器和驾驶员眼睛之间的距离随即被导入三维模型中。前述距离中的第一个对于执行摄像机相对于场景的校准是必需的而且第二个距离对于校准模拟装置(测眼仪)是必需的。

我们将注意到，通过结合由驾驶员头部位置提供的数据和他注视位置所提供的数据，旨在带来最大精度的驾驶舱内前述的测眼设备的匹配调整考虑到驾驶舱的几何研究和驾驶员姿势研究。

通过进行驾驶舱几何研究，申请人注意到为了在驾驶舱内的一个载体上安置磁场生成器，应该保证生成器和任何金属表面之间的距离要足够大以便把可能与测眼仪自动产生的磁干扰减到最小。

此外，当配置组成驾驶舱内部测眼设备的不同元件时，申请人证明在磁场生成器和位于驾驶员头部的接收器之间的距离应该严格低于位于驾驶员头部的接收器和任何金属表面之间的距离，这仍然是为了尽最大可能减少磁干扰。

应该注意驾驶员姿势研究可以定义其移动量的极限且因此定义头部接收器和磁场源的距离。

得益于前述测眼仪，可能的是以非常精确的方式记录眼睛运动(行为)诸如注视、扫视和目光追随这些构成驾驶员观看航空视觉场景(机舱仪表和外部显示器)的特定元素的方式特征。构成测眼设备的元件，即模拟装置、磁场生成器和一个装有头部接收器的头盔，都可从la sociétéSenso-Motric Instruments GmbH，Warthestrasse 21，D-14513 Teltow，Allemagne得到。

如上已经指出的，在获得数据步骤之后的步骤E3期间，这些获得的数据都由一位或一群经验人员(驾驶员)分析以便确认经验结果的一致性和可靠性。

因此，根据一个借自汽车领域(本发明事实上可被运用于航空领域之外的其他领域)的例子，通过在汽车驾驶学校的车辆内使用测眼仪，辅导员和学生可以，一旦课程结束并且显示用测眼仪存储的视频数据，更好地理解为何学生未在转弯前观察后视镜。

在步骤E2期间采集、在步骤E3期间分析和解释的所有数据随后由相关领域(例如，由一群驾驶员组成的航空领域)专家进行第一层面的领域内部集体验证，并且随后由不同领域专家(人类因素专家，工程师，驾驶员)进行第二层面的领域间集体验证，以便这些数据被所有相关参与者分享。

因此经验数据在三个层次被阐明和分享，一个个体层，一个领域内部层和一个领域间层。

这种专家验证可以再次定义前几个步骤(建立多主体认知模型)时确定的范围，并根据经验结果和专家的解释调整和完善模型。

一旦模型被确认有效，我们可以推导出对驾驶员-驾驶舱接口元件、这些接口元件(例如，飞行程序)使用程序可能的改善，或运用这个模型使驾驶员学会运用飞机舱的接口元件自己训练。

作为例子，根据本发明的方法可以确定何时位于高处、驾驶员头部上方的显示系统(盎格鲁撒克逊术语是“Head Up Display”)应该被用于优化其使用。根据本发明的方法同样可以确定这样一个显示系统是否真正被在一种特别交通工具中的驾驶员使用。

在另一个例子中，根据本发明的方法可以认识到驾驶员在心理上构建其交通工具在空间中位置的一个三维视觉表现，并且其，仅仅建立在机舱仪器提供的二维信息基础上。

根据本发明的方法由此可为设计一个提供交通工具在空间中位置的三维视觉表示的新的仪器提供基础。

本方法对于确定机舱仪表板接口元件提供的真实有用信息尤有优势。

事实上，尤其得益于数据，例如测眼数据，的获取和分析，本方法可把对于用户来说必不可少的信息从不是特别有用或者是冗余的信息中分离出来。