用于实时重建3D轨迹的方法和系统

摘要

本发明涉及一种通过连接到一组摄像机并且访问这些摄像机的视频记录的处理服务器来重建一个场所中轨迹的方法，所述处理服务器基于3D动态表示数据库和所述场所的3D表示的静态模型来实施基于虚拟现实和增强现实的3D可视化应用。3D可视化应用配置为用于：在时刻T0时的3D可视化中，响应于来自用户的第一指令来确定被视为被物主遗留在该场所中的对象的位置；确定最佳定位以显示所述对象的至少一个摄像机；访问该摄像机的视频记录以显示在T0之前的时刻t时的记录，t是响应于与所述物主遗留所述对象的时刻相对应的第二指令来确定的；启动用于通过不同摄像机从时刻t到目前时刻的记录来追踪所述物主的方法，以确定所述物主的当前位置。

说明书

本发明涉及用于重建人或移动对象在一个场所处的轨迹的方法和系统。特别地，本发明涉及敏感场所，例如机场、体育场、车站等的决策中心内的安全管理。

本发明有利地但不仅仅应用于搜索已经遗留行李件的人，该行李可能被视为是可疑的。

目前，例如在车站中发现有遗留的行李件的情况下，通过扬声器做出通知使得遗留其行李的人会过来并领取该行李。但是，如果该行李是被故意遗弃的，则行李的物主不会出现来收回其行李。此外，即使在行李被无意地遗弃的情况下，物主出现所需要的时间也可能非常长。只要在接近行李已经被遗弃的地方的活动由于预防措施中断直到确定该行李是无害的，这就是不利的。

已知文件US 2004/0240542描述了一种具有多个摄像机的监控系统，每个摄像机都与用于自动检测可疑对象的方法相关。在US 2004/0240542所描述的系统中，实时地自动分析来自摄像机的数据，以确定已经为其预定义参数的可疑对象。在警报的情况下，操作者回放记录以确定有问题的对象：实际上是机器检测然后触发警报，然后操作者必须确定对象。

还已知文件EP 1 975 752描述了一种使得能够确定最佳定位的摄像机的实时方法。但是，该实时方法需要最初确定对象，然后确定在摄像机朝向有问题的对象的定向方面最佳定位的摄像机。

本发明的一个目的是减少在包括视频监控系统的位置中搜索对象的物主的时间。

本发明的另一目的是提供一种易于使用的、有效的、统一的工具以确定物主。

上述目的中的至少一个利用一种用于通过连接到一组摄像机并且访问来自这些摄像机的视频记录的处理服务器来重建一个场所处轨迹的方法来实现。该处理服务器基于以下来实施基于虚拟现实和增强现实的3D可视化应用：

-场所的3D表示的静态模型，和

-动态3D表示数据库。

根据本发明，3D可视化应用配置为用于：

-在时刻T0时的3D可视化中，响应于来自用户的第一指令来确定被视为已经被物主遗留在该场所的对象的位置，

-确定用于显示该对象的最佳定位的至少一个摄像机，

-访问来自该摄像机的视频记录以显示在T0之前的时刻t时的记录，t响应于与物主遗留对象的时刻相对应的第二指令来确定，

-启动用于通过来自不同摄像机的从时刻t到目前时刻的记录来追踪物主的方法，以确定物主的当前位置。

利用根据本发明的方法，当由监控摄像机监测到对象被遗留在一个场所时，如今可以快速地发现被遗留的对象的物主。在敏感场所、例如机场处，这种方法使得能够快速拘押遗留的行李件的物主以核实这是真实的疏忽事件还是危险的行为。

对象的位置可以通过用户在显示场所的3D可视化的屏幕上的点击来确定。用户可以已经通过来自安保人员的呼叫接收关于对象状况的信息。还可以根据处理服务器中接收到的GPS(“全球定位系统”)坐标或来自建筑物内的定位系统的坐标来确定对象的位置。这些坐标会由安保人员具体地从便携式设备、例如移动电话或“智能手机”传输。优选地，摄像机形成包括其他传感器的视频监控系统的一部分。

根据本发明的方法提供3D可视化以及对实时多维决策的辅助。由此可以在几秒内而不是如之前的几分钟内检测事件、消除怀疑、控制威胁或采取行动。

处理服务器使用场所的3D表示的静态模型和动态3D表示数据库来确定最佳放置的摄像机。3D表示使得能够特别地考虑墙壁和其他障碍物。由此可以得知人是否位于摄像机的视场中。动态数据库可以包含关于以下的动态数据：

-摄像机的移动，

-用户做出的不同点击，

-正在监控的轨迹，

-坐标，

-时间线，

-等。

参照已知的现有技术，结合文件US 2004/0240542和EP 1 975 752不能实现本发明，这是因为在本发明中，操作者确定对象，确定最佳定位的摄像机，然后回放来自该相同摄像机的记录。在US 2004/0240542中，记录被回放，而不是由操作者来确定对象。

根据本发明，追踪方法允许在其中可以看到物主的视频的直接回放，在回放期间当物主离开视频(记录)的视场时从一个视频转到另一个视频。这种转换每次都发生，确定最佳定位的摄像机。

根据本发明的一个有利特征，可以如下所述地进行最佳定位的摄像机的选择：

-基于在显示正在查看的记录的2D监视器上做出的点击，确定物主与地面的作用点的三维坐标，

-基于3D可视化和2D监视器之间的双射函数来计算在3D可视化中物主与地面的作用点的三维坐标，并且基于该三维坐标来确定最佳定位的摄像机，然后显示来自最佳定位的摄像机的记录以继续追踪。

本发明特别地但并不仅仅值得注意的是，通过在与地面的作用点上的点击，实际上固定了沿着“z”轴的位置，该位置对应于地面。由此利用x、y、z坐标，本领域技术人员可以找到使得能够使3D可视化和监视器上的2D视频显示联系的双射函数。

作为非限制性实例，可以如下所述地定义描述双射函数的算法：

双射函数3D坐标<->2D摄像机坐标

f：摄像机参考标记->3D参考标记

f-1：3D参考标记->摄像机参考标记

(u,v)视频窗口中2D点的标准化坐标

(X,Y,Z)三维空间中3D点的坐标

f(u,v,摄像机参考标记，3D参考标记，3D静态模型，3D动态模型)->X,Y,Z

Calculate3Dposition(u,v,摄像机参考标记，3D参考标记)->U,V

CalculateIntersection(U,V,3D静态模型，3D动态模型)->X,Y,Zf-1(X,Y,Z，3D参考标记，摄像机参考标记，3D静态模型，3D动态模型)->U,V

If(X,Y,Z)在摄像机视场(摄像机参考标记)中ThenCalculatePosition2D(X,Y,Z，3D参考标记，摄像机参考标记，u,v)

End if

监视器上的点击使得在3D可视化中能够具有三维定位。转换到3D表示使得能够考虑障碍物并且有效地计算最佳定位的摄像机。

根据本发明的一个有利特征，通过计算每个摄像机的d/f比来确定最佳放置的摄像机，d为物主与地面的作用点的三维坐标和所考虑的摄像机之间的距离，f为摄像机的焦距。表述“最佳定位的摄像机”指的是物主在其视场中并且具有最小d/f比的摄像机。可以具有多个摄像机的排名，并且不仅显示最佳定位的摄像机，还显示最佳定位的那些摄像机中的多个摄像机。

根据一个实施方案，焦距和摄像机的位置可以随着时间的推移保持不变。由于固定了摄像机，所以这降低了摄像机的动态特性。但是，由于每个摄像机的焦距都能够预先确定并且保存在存储空间中，所以这使得能够简化d/f比的计算。例如，为了进一步简化计算，焦距可以是对于所有的摄像机都相同的。

根据另一实施方案，处理服务器还可以恢复与焦距的动态特性和摄像机的方位相关的数据以计算d/f比。在这种情况下，处理服务器永久地连接到摄像机并且连续接收来自每个摄像机的特征数据。

有利地，3D可视化和监视器可以集成在同一显示屏上。监视器可以是覆盖到在背景中具有3D可视化的屏幕上的视频窗口。用户在视频窗口之一中的点击使得能够在3D可视化中获得相应的三维位置。优选地，显示屏是触摸屏类型的。

根据本发明的一个有利特征，在追踪方法中，可以以大于正常记录速度的速度来读取记录。实际上，为了实现实时的视频显示并确定物主的当前位置，以大于正常速度的速度来读取视频记录。可以在允许“时移”管理的数字存储介质上作出这些记录。

此外，一旦确定了物主的当前位置，就将其坐标无线传输到远程移动终端。

根据本发明，第一指令可以是由光标产生的，所述光标可以由用户沿着在3D可视化中显示的时间线移动。该时间光标提供与定位所有记录相关的参考系。

根据本发明的另一方面，提出了一种用于通过处理服务器重建一个场所处的轨迹的系统，所述处理服务器连接到：

-一组摄像机并且访问来自这些摄像机的视频记录，

-场所的3D表示的静态模型，和

-动态3D表示数据库。

该处理服务器实施基于虚拟现实和增强现实的3D可视化应用，用于：

-在时刻T0时的3D可视化中，响应于来自用户的第一指令来确定被视为已经被物主遗留在该场所的对象的位置，

-确定用于显示该对象的最佳定位的至少一个摄像机，

-访问来自该摄像机的视频记录以显示在T0之前的时刻t时的记录，t响应于与物主遗留对象的时刻相对应的第二指令来确定，

-启动用于通过来自不同摄像机的从时刻t到目前时刻的记录来追踪物主的方法，以确定物主的当前位置。

通过查阅绝非限制性的实施方案的详细描述以及附图，本发明的其他优点和特征会变得明显，其中：

图1是根据本发明的识别系统的一般简图，

图2是根据本发明的融入两个视频监视器的3D可视化的简图，

图3是图示了摄像机的视场在地面上的投影的图，

图4是示出在实时追踪人的方法中所实施的步骤和动作的图，

图5是3D可视化中的事件的表示的简图，

图6是图示了显示视频记录的三个监视器和在下半部的3D可视化的简图，和

图7是图示了向远程设备发送信息的简化示意图。

虽然以下描述了用于识别在机场的一个位置处已经遗留行李件的人的轨迹的方法，但是本发明并不限制于此。本发明可以应用到用于识别在包括视频监控系统的场所处的轨迹的任何方法。

图1示出了具有使得能够实施3D可视化应用的硬件和软件组件的处理服务器1。硬件组件具体地包括称为RAM和ROM的存储组件、一个或更多个微处理器或微控制器、一个或更多个图形卡、一个或更多个网卡和输入/输出装置。该处理服务器与将机场区域的3D可视化作为背景显示的显示屏相关联。3D可视化应用基于机场的3D表示的静态模型3来执行，该模型保存在数据库中。该静态模型包括机场结构、墙壁、楼梯等的表示。还使用动态3D表示数据库4。该数据库包含与摄像机的移动、用户做出的不同的点击、正在被监视的轨迹、坐标以及时间线相关的数据。组合件因此使得能够准备3D表示，其一部分显示在屏幕2上。

处理服务器1还连接到机场的视频监控系统5。这可以是处理服务器已经连接到的现有的视频监控系统。通常可以提供其他系统，例如防入侵系统、访问控制、地理定位或通信系统。有利地，该视频监控系统包括在非常精确的位置中遍布整个机场的多个摄像机6、7和8。这些摄像机连接到包含来自这些摄像机的视频记录的数据库9。可以设想在滑动窗口上的记录，即仅保留例如24小时的视频使得不填满可用的存储空间。数据库9可以包含自动擦除超过24小时的任何记录的数字存储介质。来自每个摄像机的每个直接记录或视频都可以显示在监视器、即覆盖在显示屏2上的视频窗口上。

处理服务器1能够将指令发送到视频监控系统以恢复视频记录。

图2示出了显示屏2，其具有作为背景10的3D可视化，以及显示来自视频监控系统5的两个摄像机的视频的两个监视器11和12。

由处理服务器实施的3D可视化应用是增强现实类型的。这是在其中空间化并标准化所有安全信息的软件包，提供实时的决策支持和资源的有效操作管理。

监视器11和12显示其中将鼠标点击功能考虑在内的2D视频。3D可视化应用包含所显示的2D视频和背景3D可视化之间的双射函数。2D视频上的点击使得能够在3D可视化显示中确定相应的位置。

可以根据图3的投影来定义摄像机视场和3D参考标记之间的双射函数的一个实例：

f：摄像机参考标记->3D参考标记

实线矩形31表示摄像机视场在地面上的投影。

虚线32表示摄像机关于3D的可见锥：其由从摄像机移动到摄像机看到的中心点的方向矢量DC以及取决于焦距并对应于{u；v}＝{1；1}的两个坐标轴的两个角度α、β来限定。

方向33是相对于DC和{u.α,v.β}获得的。

在2D图像上点击的点34的坐标(x,y,z)通过方向33与表示地面的平面的交点来获得。

f-1：3D参考标记->摄像机参考标记

如果点(X,Y,Z)在摄像机的视场中，则坐标(u,v)通过将该点投影到摄像机的参考标记中来获得。

图2还示出了具有表示现在时间的第一光标14和表示过去时间的第二光标15的时间线13。优选地，监视器11和12显示与在第二光标的时间中的时刻相对于的视频记录。该第二光标可以由用户来移动以及时导航。根据本发明的方法对于安全保护的操作者来说是决策支持工具，这是因为该方法允许：

-来自摄像机和安全系统的信息的四维(空间-时间)分析和复原，

-来自不同种类的信息源的数据或来自第三方软件(地理定位和视频、防入侵和视频、具有空间-时间相关性的多重检测等)的数据的组合，

-根据动态3D模型(访问的开放-关闭)的撤离或干预路线的计算，和

-将安全保护程序并入到事件管理和警报公告发布中。

现在接着描述实施根据本发明的用于搜索已在机场内的区域中遗留行李件的物主的方法的一个实例。

下文中使用以下术语：

遗留行李：看起来不再处于其物主的监管下，并且已经是警报主题的包裹、行李件、小包、货物、袋子。从警报声明开始10分钟后，行李件视为已经被遗留。如果没有在这10分钟之内找到行李的物主，那么该行李处于遗弃行李的状态。

遗弃行李：当它们位于遗弃可能会导致官方处罚的区域中时被证明是不再处于其物主的监管下的包裹、行李件、小包、货物、袋子。安保部门对遗弃行李承担责任，并且其被安全边界包围。

可疑行李：其是一件遗弃行李，没有找到其物主，并且炸弹处理专家在分析后认为该行李是危险的。

物主：已经遗留或遗弃行李件的人。

遗留区：遗留行李所在的地方。

搜索区：3D建模的区域，其中操作者可以执行对遗弃行李的物主的搜索。

事件：事件是表现为3D定位于事件的位置周围的半球的情况。事件使得能够在3D场景中以符号表示遗弃行李并且对其进行定位。通过情况“遗留行李”来产生事件。事件是数据的结构化项，记录其所有状态变化。

视频标签：视频标签是由视频中的点击产生的空间-时间标签。为了重建轨迹，该标签以3D图形来表示。

3D可视化应用使用待保护的环境的3D表示。使两个区之间有所差别：遗留区和搜索区。行李的遗弃显著地影响遗留区。为了有利于搜索遗弃行李的物主，操作者具有比遗留区宽的区域的可用3D建模。该区包括：

·包含遗留区的0级(到达)，

·1级(离开)

·-1级

·建筑物的直接外周边。

这3个级别的建模使得操作者能够在多个级别上追踪物主并且提高在例如10分钟的指定时间内找到他们的可能性。这通过示例进行公开，级别的数量是非限制性的。

特别地，考虑了观察到区的入口和区的出口的所有摄像机和级别(楼梯和自动扶梯)的变化。

搜索过程由图4中的图呈现。

图分为5部分：

·步骤(遗留行李、参照行李等)

·在两个步骤之间进行的活动

·操作者利用3D可视化应用进行的主要动作

·出现在该场所的人员接收到的信息

·指示指定时间限制的时间线。

如图4中的活动的图中所示，连续发生以搜索物主的三个活动为：

·确定物主

·确定物主的位置

·追踪物主

在步骤1中，确定遗留行李的位置。引起该步骤的情况是操作者通过警报系统或通过任何其他手段接收警报。操作者可以直接在3D场景中(例如声音警报)或者在智能手机上接收该警报。

操作者的活动是在3D可视化中标记行李的精确位置。为此，操作者基于包含在警报消息中的信息在3D场景中创建事件。该信息越精确，操作者可以定位遗弃行李的位置的精确度越高。

可以基于警报消息自动产生事件。实际上，如果警报消息被格式化，则可以自动将事件定位在消息中指示的位置处。

事件的创建是例如利用键盘快捷键执行的快速操作。图5中图示了3D建模中事件的表示的一个实例。示出事件泡16表示在两个柱子旁边的遗留区。还示出了物主的位置17。

事件以及其空间-时间和信息坐标记录在动态数据库中。事件的创建使得能够记录会用作用于确定关于搜索物主的10分钟的参照的时间(T0)。

在该步骤，确定事件的位置。操作者然后会显示来自查看事件位置的摄像机的视频流。该操作使得其一方面能够注意实际位置，另一方面能够确保他已经3D定位的事件确实对应于遗弃行李的准确位置。

3D可视化应用具有使得能够通过简单的点击来确定用于查看选定点的最佳定位的摄像机。考虑了已经3D建模的障碍物(柱子、墙壁、嵌板等)以确定对象是否真的对摄像机可见。

操作者将该功能应用于之前创建的事件。他获得摄像机的列表。他可以然后选择一个或更多个摄像机并且显示相应的视频流。根据视频子系统的开口程度，视频窗口显示在屏幕2上或者在另一屏幕上。

在对视频进行验证之后，操作者标记事件的精确位置。为此，如果合适的话，他移动事件泡然后描述事件：

·他通过描述遗弃行李来为事件命名；例如：红色手提箱。

·他添加注释：所参照的行李。

3D可视化应用将该信息作为记录在具有事件的空间-时间坐标的动态数据库中的情况进行处理。

参照遗留行李，操作者的活动然后包括确定物主。

该确定基于以下原则：知道可以看见遗弃行李的摄像机的列表的操作者可以检查与这些摄像机相关联的视频记录，找到行李被遗弃的精确时刻并找到物主。

为了确定物主，显示应用使与时间线13的显示对应的“时间线”功能对操作者是可用的。该功能使得操作者能够使用来自他之前已经选择的摄像机的视频记录。他可以及时复位视频记录并且利用视频历史获得物主的可用图像。

“时间线”功能使得能够同步地复位来自所选择的所有摄像机的记录。

操作者的活动然后包括：

·传递物主的图像

·重建物主的轨迹

·传递物主的轨迹

首先，操作者传递屏幕截图以将使得他们能够确定物主的第一信息提供给在场人员。

为了帮助重建轨迹，3D可视化应用使视频标签功能对操作者是可用的。当操作者在来自摄像机的视频记录中点击时，软件包执行以下行动：

·它使对应于视频中选定区域的点在3D中出现，

·该标签之后出现在来自可以看见该标签的摄像机的所有视图中(增强现实)。

图5是图示了视频标签的外观的示意图。

视频标签功能使得能够利用以下特征来帮助重建物主的轨迹：

·标签通过利用鼠标和触摸键的键盘快捷键进行应用，

·取得图像的时间与每个视频标签相关联，

·视频标签功能在3D可视化中关联两个连续的标签，这在使用视频记录时将轨迹提供给操作者。

当物主移动时，他最后离开摄像机的视场。在这种情况下，操作者通过点击物主的脚部来使用摄像机的直接选择功能以标记该脚部与地面的作用点：系统负责将摄像机的列表提供给操作者。他可以由此选择另一摄像机并继续重建轨迹。图6中的图提供该操作的图示：操作者然后通过在屏幕上可见的人的脚部上点击来使用来自摄像机中的一个、例如左边的摄像机1的视频记录上的视频标签，以继续重建轨迹。

该操作是迭代的。非常快速地，它可以提供会使得能够引导搜索的重要指示。指示的一个示例：物主已经乘坐位于门G处的自动扶梯下降到-1层；物主已经朝店铺“R”行进等。

一有足够的轨迹指示物，操作者就可以将它们传输到部署在南部终端中的安保人员。

轨迹重建的工作具有找到当前时刻的物主位置的目标。但是由操作者执行的工作可能使得不能定位物主，这是由于各种原因：

·物主已经离开搜索区，

·操作者已经不能重建轨迹。

在这种情况下，如果已经过去10分钟的时间限制，则遗留行李会变成一件遗弃行李并且这样对待。但是操作者会能够在这些第一个10分钟之外继续搜索。

如果确定了物主的位置，则这结束事件，由在事件窗口中添加注释的操作者手动执行操作。

现在接着描述从处理服务器到远程设备的警报过程。这些警报为操作者和部署在机场中的人员之间的信息交换。为了促进这些交换，3D可视化应用与在场的智能手机交互。

这些交换包括：

-发送关于物主的信息。一旦操作者已经确定了物主，他就传递由视频记录所产生的一个或更多个屏幕截图并且将其安全地发送到具有在系统上确认的智能手机的在场人员，以使得他们能够确定物主。

-智能手机定期发送使得能够地理定位人员的系统消息来以更好的方式引导他。

关于物主轨迹的信息在其重建时进行发送。这些传输会以包含简要注释的消息的形式进行。

图7示出将关于物主的信息从处理服务器传输到安保人员、特别是传输到边防警察的一个实例。在步骤1中，从监视器中提取照片并且操作者在步骤2中写下注释。照片和注释经由移动网络传输到出现在现场的多个安保人员的多媒体电话(“智能手机”)。该照片和注释以加密消息的形式传输到搜索物主的这些人员。注释可以包含关于位置或物主行进的轨迹的信息。照片加上了时间戳。

换言之，为了在3D可视化的人机界面中传输消息，操作者具有使得他能够进行以下行为的功能：

·由视频记录产生屏幕截图，

·在窗口中写注释，

·在发送按钮上点击以将“照片+注释”的组传输到具有专用智能手机的其他人。

还可以设想从处理服务器传输邮件。

通常，3D可视化应用基于以四维(空间和时间)记录与安全保护操作相关的状态的所有情况和变化的数据库来设计。

在具有遗弃行李的问题的情况下，以下的表格描述了会发生的情况的非详尽性实例。

当然，本发明并不限于刚才已经描述的实例，并且在不超出本发明的范围的情况下可以对这些实例做出许多调整。