基础设施监管系统的环境仿真装置

摘要

本发明涉及一种基础设施监管系统(11)的环境仿真装置(10)，其使用来自于被监管系统(11)监管的真实装置(20)的真实数据连同来自于组成仿真装置(10)的仿真模型(101，102，104，105，121，118)的仿真数据来产生基础设施的三维表示。本发明适合用于受监管的基础设施，例如运输网、工厂和公共基础设施。

说明书

技术领域

本发明涉及一种基础设施监管系统的环境仿真装置，其产生基础 设施的情形的三维表示。受监管的基础设施可以是运输网、工厂、公 共基础设施。

背景技术

基础设施监管系统使用许多视频监控摄像机。视频监控摄像机使 监管系统的操作者能够了解需要被管理的设施的概况。每个摄像机具 有可以在屏幕或者屏幕的一部分上显示的相应的画面。这些多个画面 使得监管操作者例如可以迅速察觉监管系统设备尚未表明的异常。

基础设施配备视频监控摄像机是非常昂贵的，特别是在处理所采 集的数据的方面。

此外，摄像机所拾取的情形是通过二维图像来显示的。但是，除 了有资格使用监管系统的人员之外，其他人难以解读二维图像。在紧 急情形下，不了解基础设施的人需要能够获得情形状态的概况，以便 在基础设施中行动。使用现有的用于显示视频监控摄像机所提供的图 像的工具，不是绝对熟悉基础设施的人无法理解所表现的信息。例如， 通过从一个摄像机拍摄的画面转到另一摄像机拍摄的另一画面，难以 追踪人在场所中的运动。

例如，如果在基础设施中发生火灾，则消防员需要具有关于人对 场所的占用以及关于火灾中心的位置的可靠并准确的信息。来源于视 频监控摄像机的图像不提供这种数据。实际上，在火灾的情况下，烟 或热可能使视频监控摄像机不起作用。此外，由于消防员不熟悉该场 所，因此他们可能不能基于呈现视频监控摄像机所拍摄的情形的屏幕 来简单并快速地评估该情形。

发明内容

本发明的一个目的特别在于提供用于三维显示情形的装置。为此 目的，本发明的主题为一种基础设施监管系统的环境仿真装置。监管 系统特别包括一个或多个用于监管基础设施的真实设备的应用程序、 与监管应用程序连接的共同监管基础设施。仿真装置包括用于基于真 实数据来生成基础设施中的情形的三维表示的模型。真实数据通过共 同监管基础设施与仿真装置之间的接口来源于被监管系统监管的真实 设备。用来源于仿真模型的虚拟数据来补充真实数据。虚拟数据是仿 真模型从直接来源于共同监管基础设施的真实数据推断的。虚拟数据 模拟受监管的真实设备不传送的与基础设施中的情形有关的描述数 据。

仿真装置特别包括对基础设施的设备进行仿真的第一模型。在本 发明的一个有利实施方式中，第一模型可以具有真实模式下的操作， 在真实模式中，来源于真实设备的数据被转变成仿真数据，然后通过 合成环境基础设施广播到其他仿真模型。

第一设备仿真模型可以包括产生仿真数据的设备仿真引擎。根据 本发明的一个有利实施方式，仿真引擎在真实模式下是不运行的。

仿真装置可以包括对虚拟实体进行仿真的第二仿真模型。第二模 型可以具有真实模式下的操作，在真实模式下，所述第二模型解释接 收到的真实数据以模拟虚拟实体。

用于生成三维表示的模型特别可以基于三维基础设施描述模型的 数据以及通过合成环境基础设施广播的来源于真实设备的数据来生成 三维图像。

可以基于通过合成环境基础设施重获的来源于真实设备的数据来 更新三维基础设施描述模型。

在本发明的一个有利实施方式中，行为模型可以对占据基础设施 的人进行仿真。行为模型可以解释真实数据，以从中推断占据基础设 施的人的数目和位置，通过合成环境基础设施广播与被仿真的人对应 的虚拟数据。

在一个有利实施方式中，用于生成三维表示的模型可以生成包括 行为模型所仿真的人的三维图像。

本发明的主要优点特别在于其使用是简单的，并且使得任何用户 都能看到被监管的基础设施中的情形的全面和合成的画面。

附图说明

通过接下来的作为非限制性说明给出的描述并且根据附图，本发 明的其他特征和优点将会变得明显，其中：

图1示意性地表示了根据本发明的监管系统仿真环境的体系结构；

图2示意性地表示了用真实数据来操作的根据本发明的监管系统 仿真环境的体系结构；

图3表示仿真模型和行为模型的体系结构的示例；

图4表示本发明的总体框图。

具体实施方式

图1表示根据本发明的监管系统11的仿真环境10的示意性体系 结构。图1中所表示的监管系统11举例来说为用于陆上运输网(例如 铁路运输系统)的监管系统11。

在监管系统11的使用中，通过仿真真实情形，仿真环境10特别 可以用于火车监管操作者。为此目的，仿真环境模拟监管系统的环境， 特别是仿真环境希望从中得到的数据。例如，仿真环境可以模拟陆上 运输网的设备并且将设备的状态传达到监管系统，就像这些状态是源 自于真实设备那样。

监管系统11包括监管软件基础设施110，其更常见的是被称作监 管框架110。监管框架110特别可以使不同的应用程序简单且一致地交 换数据。

监管系统可以包括许多监管功能。例如，图1中所表示的陆上运 输网的监管系统11包括四个用于陆上运输网基础设施的不同设备的监 管功能。在图1所表示的示例中，每个监管功能是通过独立的软件应 用程序120、111、112、113来实现的。每个软件应用程序120、111、 112、113包括：

-第一监管接口1210、1110、1120、1130；

-与其监管的设备的第二接口1211、1111、1121、1131。

监管框架110可以将监管应用程序120、111、112、113所提供的 不同的监管服务协调地结合起来。监管框架110定义了用于监管应用 程序120、111、112、113和监管框架110本身之间的数据交换的内容。 例如，监管框架定义了标准数据交换接口。

第一监管应用程序120例如为火车控制模块120。火车控制模块 120用于处理火车的监管。例如，火车控制模块120可以：获知每个火 车在陆上运输网上的位置、向火车司机传送服务消息。

第二监管应用程序111例如为用于陆上运输网的车站的设备管理 模块111。设备管理模块111可以监管车站的设备，例如自动扶梯、自 动闸门、电梯、火警探测器、出入控制系统(access control system)。

第三监管应用程序112可以是视频管理模块112。视频管理模块 112可以监管视频系统，例如视频监控摄像机、用于显示来自于视频监 控摄像机的图像的屏幕。

第四监管应用程序113可以是公共信息模块113。公共信息模块 113可以管理向陆上运输网的用户传达信息的设备。被管理的通信设备 可以是消息显示屏、扬声器广播音频消息。

一个或多个操作者可以通过集成人机接口或者HMI 114来控制监 管系统。集成HMI 114特别可以使一个或多个操作者驱动一个或多个 监管应用程序120、111、112、113。集成HMI 114还可以使操作者观 察受监管的设备的状态。通过各种监管应用程序120、111、112、113 将受监管的设备状态传送到监管框架110。然后监管框架110对设备状 态编排格式，以便将其显示在集成HMI 114上。

根据本发明的仿真的体系结构10可以包括多个模型101、102、 103、104、105、118、121。在图1所表示的示例中，仿真体系结构包 括七个模型。监管系统的仿真体系结构可以包括图1中所表示的模型 以外的模型。根据本发明的仿真体系结构10还包括合成环境基础设施 106。合成环境基础设施106是拥有模型101、102、103、104、105、 118、121的基础设施。合成环境基础设施106特别定义了用于在不同 的模型之间交换数据的内容。合成环境基础设施106包括能够使不同 的模型101、102、103、104、105、118、121以标准化的方式与合成 环境基础设施106交换数据的界面的库。每个模型可以仿真一个或多 个实体，取决于模型，所述实体特别可以为设备、火车、运输网的用 户。每个模型特别将其仿真的实体的状态传送到合成基础设施106。合 成环境基础设施106将其接收到的实体的状态提供给其他的仿真模型 101、102、103、104、105、118、121。因此，每个模型可以从合成环 境基础设施106重获其操作所需要的数据。例如可以根据DIS(分布式 交互仿真)标准来实现这种合成环境基础设施106。

图1中所表示的仿真体系结构10还包括路由器107。路由器107 一方面用于向每个监管应用程序120、111、112、113传送其监管的设 备的虚拟状态。通过仿真模型101、102、103、104、105、118、121 将设备的虚拟状态提供到合成环境基础设施106。所传送的虚拟状态对 应于真实设备将要发送的状态。路由器107重获设备的状态，以通过 每个监管应用程序120、111、112、113的设备接口1211、1111、1121、 1131将其传送到适当的仿真应用程序120、111、112、113。此外，由 于每个应用程序可以驱动设备，传送到设备的命令经过路由器107，以 被传送到例如仿真的设备模型。

第一模型101可以是火车模型101。火车模型101仿真运输网上的 一个或多个火车的运动。火车模型101特别仿真运输网的不同车站中 的火车的到达。为此目的，火车模型101可以特别产生例如不同火车 的位置及其速度。

第二模型102可以是运输网的车站模型。车站模型102可以特别 仿真运输网的车站的不同设备。例如，车站模型102可以产生下列数 据：电梯状态、入口门的状态、轨道上的电源的状态、烟雾探测器的 状态、保护空间中的非法入侵探测器的状态。车站模型102可以将来 自于监管系统11的公共信息模块113的信息传送到公共信息设备115。 例如，车站模型102可以用于在屏幕上显示来自于公共信息应用程序 113的用于乘客的信息。车站模型102还可以将用于运输网的用户的音 频消息传送到扬声器。

第三模型103可以是视频监控摄像机模型103。视频监控摄像机模 型103可以产生视频流形式的图像，该图像将会显示在监视器116或 者显示屏上。在真实情形中，监视器116使操作者能够观察由一个或 多个视频监控摄像机提供的一个或多个图像。视频监控摄像机模型像 应被视频监控摄像机看到的那样产生该情形的合成图像。视频监控摄 像机模型从其他模型101、102、104、118提供的信息(特别包括设备 的状态)产生合成图像。为了产生基础设施的图像，视频监控摄像机 模型103使用来自于三维或3D基础设施模型118的数据。3D基础设 施模型118可以表现例如火车站的全部基础设施：电梯、自动扶梯、 站台、门、楼梯、走廊以及车站设备。通过模拟例如表现正进入车站 的火车的视频屏幕，不同的模型所提供的设备的状态可以使图像生动 起来。

第四模型104可以是偶发事件模型104，其可以仿真监管操作者必 须对其作出反应的事件。偶发事件模型特别可以仿真火车站中的火灾、 炸弹爆炸、一片有毒烟雾的扩散。组织仿真时段的指导员可以从指导 员站108驱动偶发事件模型。从指导员站108，指导员例如可以选择偶 发事件的类型、偶发事件地点、用于触发偶发事件的日期、偶发事件 持续时间。取决于指导员所输入的参数，偶发事件模型104将在其仿 真过程中在需要的日期、需要的地点以需要的持续时间触发所需要的 偶发事件。

第五模型105可以是行为模型105，行为模型105可以仿真处于被 监管的基础设施内的许多人的行为。模型105特别可以模拟运输网的 用户。行为模型105是基于动机模型，在动机模型中，每个被仿真的 个人基于他或她自己的动机来移动。可以从指导员站108通过行为模 型105来驱动被仿真的个人。例如，可以命令个人在指定方向中移动。 被仿真的个人可以在运输站的基础设施中到处走动。

第六模型121是用于产生三维或3D图像121的模型。用于产生 3D图像的模型可以特别基于用于基础设施模型的数据和来自于其他模 型的数据(例如个人在基础设施中的位置，火车的位置，自动扶梯的 状态)产生基础设施的三维图像。因此，可以在3D监视器119上向监 管系统的操作者表现情形的三维画面。操作者可以通过适当的接口— —3D图像控制器122在该三维画面中到处走动。3D图像控制器例如 可以是操纵杆。

仿真体系结构10还可以包括真实数据接入点117。下面将更详细 地描述真实数据接入点的使用。

图1中所表示的仿真体系结构10提供常规的仿真操作。仿真体系 结构10通过路由器107向真实的应用程序120、111、112、113提供仿 真数据。在这种情况下，根据本发明的仿真体系结构10只使用仿真数 据。

图2表示用真实数据来操作的根据本发明的仿真体系结构10。

当监管系统处于真实操作模式时，每个应用程序120、111、112、 113与其监管的设备20通信。

火车控制模块120通过其设备接口1211与真实的火车21通信。 因此，火车控制模块可以获知在火车的铁路网上的状态和位置，并且 将指令或信息传达给火车的司机。

车站设备管理模块111特别与出入控制系统、电梯、自动扶梯通 信，以便知道它们的状态并且控制它们的操作。

视频管理模块112特别与设置在车站内的监控摄像机通信。视频 管理模块因此可以知道摄像机的操作状态、远程驱动摄像机并且重获 摄像机记录的视频流以便将其广播到监视器116。通过监视器116的图 像广播可以通过监管基础设施110。

公共信息模块113特别与公共信息设备115通信。公共信息模块 113因此可以知道公共信息设备115的操作状态并且将要广播的消息传 送到所述公共信息设备。

在监管系统的实际操作中，仿真10可以考虑真实数据，例如真实 设备的状态，例如：火车21的状态、出入控制系统22的状态，电梯 和自动扶梯23的状态，监控摄像机24的状态，可能的来自于监控摄 像机24的图像，公共信息设备115的状态以及公共信息消息。仿真10 也可以考虑其他的真实数据。

在实际的操作中，监管系统可以通过真实数据接入点117与仿真 10接口。真实数据接入点117连接到监管基础设施110。监管基础设 施110则向仿真10实时传送设备20的状态以及来源于设备20的数据。 数据从真实数据接入点117直接传送到可以使用所述数据的模型，例 如：车站模型102、行为模型105、火车模型101。一些模型简单地将 与设备的状态有关的真实数据以仿真数据的形式广播到合成环境基础 设施106。于是诸如3D基础设施模型118的其他模型可以使用通过合 成环境基础设施106的真实设备的状态。

火车模型101可以考虑与火车有关的真实信息，例如不同的火车 的位置、它们的速度、它们的设备的操作状态。于是，火车模型101 以真实模式操作：其以仿真数据的形式广播其已从接入点117接收的 真实数据。在真实模式中，火车模型101不执行火车状态广播以外的 处理操作。

车站模型102可以考虑与诸如自动扶梯、电梯、出入控制系统的 火车站设备的状态有关的真实信息。车站模型还可以考虑设备所传送 的真实数据，例如自动扶梯的操作方向、已通过出入控制系统的人数。 然后车站模型102将真实数据和信息传送到合成环境基础设施。

行为模型105可以使用真实数据，以便获知车站中的人的位置和 数目。从该信息，行为模型105可以创建代表在车站内到处走动的人 的实体。然后，行为模型105可以将其正在仿真的实体的位置广播到 合成环境基础设施106。

3D基础设施模型118可以从合成环境基础设施106重获使其能够 更新基础设施的表示的数据，例如火车的位置、车站设备的状态。然 后，3D基础设施模型118将更新的基础设施传送到3D图像生成模型。 3D基础设施模型118以基本等同于其在仿真模式下的操作的方式在真 实模式下操作。

偶发事件模型104从它从真实数据接入点117接收的真实数据重 新建立车站传感器所检测到的偶发事件。例如，如果火灾开始，则偶 发事件模型可以使用车站设备管理模块111所传送的火警警报。当接 收到该警报时，偶发事件模型可以创建虚拟火灾，虚拟火灾将表现在 3D图像生成模块121生成的3D图像上。偶发事件模型还可以通过从 烟雾探测器获得的数据重新建立烟雾在基础设施中的扩散。因此，可 以在3D监视器119上观察各个火灾中心和受烟雾影响的区域。在组织 消防服务干预时，这种类型的信息可能是特别有用的。

3D图像生成模型使用来源于基础设施模型118的数据以及行为模 型所模拟的实体，以便生成真实情形的逼真的三维图像。然后在3D监 视器119上广播所生成的三维图像。操作者可以通过3D图像控制器 122在所生成的3D图像中到处移动，从而在视觉上探察屏幕。3D图 像生成模型在真实模式下具有与其在仿真模式下基本等同的操作模 式。

监控摄像机模型103在真实模式下是不操作的。路由器107在真 实模式下不连接到监管应用程序120、111、112、113。

图3表示根据本发明的适合于在真实模式下和仿真模式下操作的 仿真体系结构模型10的示意性结构。真实模式和仿真模式是仿真10 的两种互斥的操作模式。模型要么全部在真实模式下操作，要么全部 在仿真模式下操作。

图3显示了为该示例表示的两个模型。图3中所表示的第一模型 被称为设备模型30。设备模型代表诸如火车模型101、车站模型102 的模型。图3中所表示的第二模型为行为模型105。

设备模型30包括设备模型引擎31，设备模型引擎31包括针对该 模型的模拟处理功能。设备模型引擎31特别在仿真模式下生成其仿真 的实体的状态。然后通过设备模型引擎31将所生成的实体的状态传送 到存储数据库32。然后，存储数据库32将虚拟设备34的状态发送到 第一合成环境接口33。第一合成环境接口33将虚拟设备34的状态传 输到合成环境基础设施106，以使其他模型可以使用该状态。在真实模 式下，设备模型引擎31是不操作的。虚拟设备的状态不被传送到存储 数据库32。在真实模式下，设备模型可以接收来源于真实数据接入点 117的真实设备的状态。真实设备数据通过第一真实数据接入点接口 43到达设备模型30。第一真实数据接入点接口43以与设备模型引擎 31传送的虚拟设备状态34相同的格式将其接收的真实设备状态35传 送到存储数据库32。然后，存储数据库32像在仿真模式下那样将真实 设备状态35以虚拟设备状态34的形式传送到与合成环境基础设施33 的第一接口。像虚拟设备状态34那样编排格式的真实设备状态35是 合成环境基础设施106上的仿真模型能够使用的。

行为模块105包括对实体进行仿真的行为模型引擎36。仿真实体 为根据动机模型来活动的人。行为模型引擎36特别向第二合成环境基 础设施接口37提供被仿真的人的位置，可能还有其运动(类型和方向)。 第二合成环境基础设施接口37将状态和与仿真实体38有关的其他信 息传送到合成环境基础设施106。合成环境基础设施106使得其他模型 可以使用仿真实体的状态。例如，3D图像生成模型121使用该信息， 以便在其生成的3D图像中显示基础设施中可能存在的人。行为模型可 以被配置成例如在确定的地点生成特定数量的实体。为此目的，行为 模型引擎36可以考虑行为模型39的例如配置数据库形式的配置。在 仿真模式下，可以在仿真时段开始之前将配置数据库填好。配置数据 库例如可以包括随时间演变的不同配置。因此，行为模型引擎例如可 以周期性地询问配置数据库以加载当前配置。

在真实模式下，行为模型可以考虑真实数据40。真实数据40来源 于真实数据接入点117并且通过第二真实数据接入点接口41到达行为 模型105。第二真实数据接入点接口41将接收到的真实数据传送到第 一真实数据解释模块42。第一真实数据解释模块42从真实数据40推 断基础设施中存在的各个人的数量和可能的位置。所接收的真实数据 40可以是不同类型的并且来源于基础设施的不同设备。例如，真实数 据40可以是在指定时刻进入和离开车站的许多人，视频图像可以推断 出占据特定空间的人数，运动传感器、进入车站的火车的重量可以确 定火车内的人数。同一空间的在时间上连续的视频图像中的人的运动 的分析可以推断出人的运动的方向和速度。通过人的位置、他们的方 向和他们的运动，可以预测他们的将来位置。因此，第一真实数据解 释模块42不需要具有真实数据就可以推断出指定空间中的人数。例如， 可以预测不具有任何视频监控摄像机的空间的占用。第一真实数据解 释模块42可以从占据空间的人的视点来再现逼真的情形。

偶发事件模型104可以像行为模型105那样包括第三真实数据接 入点接口、第二真实数据解释模块、偶发事件模型配置模块、偶发事 件模型引擎、与合成环境基础设施的第三接口。

然后，考虑从行为模型105以及可能从偶发事件模型104获得的 数据，以生成合成3D图像，该合成3D图像因此可以表示监管系统自 身对其具有很少的信息或者对其不具有信息的空间。

图4表示本发明的一般原理。示意性地，可以通过一组数据400 来描述基础设施中的情形。描述情形的数据400可以由包括基础设施 的设备的状态的真实数据401、来自于形成基础设施的一部分的传感器 (例如摄像机、烟雾探测器)的数据构成。描述情形的数据400还可 以包括不能传送到监管系统11的数据402。描述情形的特定数据可能 无法被传送，例如，由于缺乏用于探测它们的传感器，或者是因为它 们根本无法被描述。真实数据被设备20传送到监管系统11。然后，真 实数据401被传送到仿真10。仿真10分析真实数据，以重新建立描述 情形的数据404，其尽可能地接近真实情形数据400。重新建立的数据 404是描述情形的合成数据。为此目的，仿真模型分析真实数据401， 以生成虚拟数据403。虚拟数据用模拟不能传送的数据402的虚拟数据 403来补充真实数据401。因此，仿真生成描述情形的合成数据404， 描述情形的合成数据404模拟真实情形数据400。描述情形的合成数据 404可以用于产生基础设施中的真实情形的3D图像的逼真表示。

本发明可以应用于任意类型的基础设施监管系统。而且，通过向 监管操作者提供例如通过将画面定向为从上方俯瞰可以容易地投影为 图片的画面，本发明还可以代替监管系统的接口。

也可以通过全息投影系统来投影所生成的三维图像。

本发明的显著优点在于，在不具有提供可视信息的视频监控摄像 机的情况下，可以提供情形的三维表示。

本申请的另一优点在于能够用更加便宜和稳健的传感器(例如运 动传感器)来代替某些摄像机。

本发明的另一优点在于，由于环境条件的原因，例如温度过高以 至于摄像机无法正常工作，无法在空间中安放摄像机或者其他传感器， 而本发明可以获得这样的空间中的情形的三维画面。

本发明还可以观察传感器失效或者数据由于偶发事件(例如使视 频监控摄像机提供的图像模糊的烟雾排放)而不可用的空间中的情形。

有利地，本发明可以呈现逼真且容易解读的基础设施画面。此外， 通过在三维图像中到处移动，可以选择画面的角度和位置。

有利地，本发明可以在紧急情形下获得基础设施的情形的合成的 并且可以快速解读的概况。