基于虚实融合的VR远程火灾勘验系统和方法

摘要

本发明公开了一种基于虚实融合的VR远程火灾勘验系统和方法。所述系统包括：三维模型模块，用于构建火灾现场的三维模型；实时全景预览模块，用于构建实时VR全景火灾现场与地图导航，并基于远程勘察者的实时眼动数据进行实时渲染；物证标注模块，用于对物品进行自动标注，生成多个标注信息，然后将所述标注信息呈现给所述远程勘察者，并接收所述远程勘察者的修订操作，以对所述标注信息进行保留和/或修改；远程交互模块，用于建立多个所述远程勘察者之间和/或所述远程勘察者与现场勘察者之间的实时信息交互。本发明提供的系统和方法的运行效率高，勘验操作便利性强，能够建立身临其境的三维火灾现场，便于远程勘察者远程勘验评判。

说明书

技术领域

本发明涉及VR全景技术领域，尤其涉及一种基于虚实融合的VR远程火灾勘验系统和方法。

背景技术

现阶段在对火灾原因以及事故责任进行分析与认定时仍缺少搜集现场全场景强有力的技术手段，主要还是依靠传统经验和手段进行判定，从而导致认定结论缺乏强有力证据支撑。

因此，现阶段，如何利用技术手段实现行之有效的火灾调查方法，合理共享利用现有专业人才，借助远程勘察者体系进行远程勘验和痕迹辨识显得尤为重要。

现有技术提供了一些远程勘验平台，然而，本发明的发明人在实践中发现，现有的勘验平台仍存在运行效率低、勘验便捷性差的问题。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于虚实融合的VR远程火灾勘验系统和方法。

为实现前述发明目的，本发明采用的技术方案包括：

第一方面，本发明提供一种基于虚实融合的VR远程火灾勘验系统，包括：

三维模型模块，用于基于火灾现场的影像，采用Neff三维重建技术并结合多分辨率哈希网格编码技术构建火灾现场的三维模型；

实时全景预览模块，用于基于所述三维模型构建实时VR全景火灾现场与地图导航，并基于远程勘察者的实时眼动数据对所述VR全景火灾现场对应的局部细节进行实时渲染；

物证标注模块，用于自动识别所述VR全景火灾现场中的所有物品，并对所述物品进行自动标注，生成多个标注信息，然后将所述标注信息呈现给所述远程勘察者，并接收所述远程勘察者的修订操作，以对所述标注信息进行保留和/或修改；

远程交互模块，用于建立多个所述远程勘察者之间和/或所述远程勘察者与现场勘察者之间的实时信息交互。

第二方面，本发明还提供一种基于虚实融合的VR远程火灾勘验方法，利用上述VR远程火灾勘验系统进行火灾勘验，所述VR远程火灾勘验方法包括：

基于火灾现场的影像，采用Neff三维重建技术并结合多分辨率哈希网格编码技术构建火灾现场的三维模型；

基于所述三维模型构建实时VR全景火灾现场与地图导航，并基于远程勘察者的实时眼动数据对所述VR全景火灾现场对应的局部细节进行实时渲染；

自动识别所述VR全景火灾现场中的所有物品，并对所述物品进行自动标注，生成多个标注信息，然后将所述标注信息呈现给所述远程勘察者，并接收所述远程勘察者的修订操作，以对所述标注信息进行保留和/或修改；

建立多个所述远程勘察者之间和/或所述远程勘察者与现场勘察者之间的实时信息交互。

基于上述技术方案，与现有技术相比，本发明的有益效果至少包括：

1、本发明所提供的VR远程火灾勘验系统和方法所采用的三维模型模块所构建高精度火灾现场的三维模型，能够1∶1真实还原火灾现场的房间结构和内部细节，并且三维模型的构建速度比传统的方法相比提高了很多，使远程勘察者拥有沉浸式、互动性、实时性的线上远程勘验体验。

2、所采用的实时全景预览模块能够向远程勘察者展示火灾现场的地图导航，采用了最新的人机交互技术，可以捕捉到远程勘察者的观测区域，在高精度模型细节的基础上，针对性地渲染对应区域，给远程勘察者的细致观察带来了极大的便利，同时提高了运行效率。

3、通过设置全物证标注模块，通过算法对证物进行自动标注，极大的节省了远程勘察者的时间，并且可以使得远程勘察者可以在VR全景火灾现场中快速、精准地选取重要物证，并迅速给分享给其他远程勘察者。

4、本发明所提供的技术方案能够建立身临其境的三维火灾现场，共享“火调专业人士”，便于远程勘察者远程勘验评判，形成仿真教学素材，现场复盘，教学应用。

上述说明仅是本发明技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合详细附图说明如后。

附图说明

图1是本发明一典型实施案例提供的VR远程火灾勘验系统的结构示意图。

具体实施方式

鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

而且，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个与另一个具有相同名称的部件或方法步骤区分开来，而不一定要求或者暗示这些部件或方法步骤之间存在任何这种实际的关系或者顺序。

参见图1，本发明实施例提供一种基于虚实融合的VR远程火灾勘验系统，包括：

三维模型模块，用于基于火灾现场的影像，采用Neff三维重建技术并结合多分辨率哈希网格编码技术构建火灾现场的三维模型。

不同于传统的三维模型，本发明所提供的技术方案采用了Neff三维重建技术，并结合了多分辨率哈希网格编码技术，可以在几分钟之内构建出高精度火灾现场的三维模型。

实时全景预览模块，用于基于所述三维模型构建实时VR全景火灾现场与地图导航，并基于远程勘察者的实时眼动数据对所述VR全景火灾现场对应的局部细节进行实时渲染。

该模块在高精度的三维模型的基础上，本发明所提供的技术方案融入了人机交互技术，可以根据专家的眼球注视点来捕获观测区域，对观测区域进行局部渲染以全方位展示火灾现场的真实场景，并节约运算资源。

物证标注模块，用于自动识别所述VR全景火灾现场中的所有物品，并对所述物品进行自动标注，生成多个标注信息，然后将所述标注信息呈现给所述远程勘察者，并接收所述远程勘察者的修订操作，以对所述标注信息进行保留和/或修改。

该模块通过自动标注算法对当前场景内所有物品进行标注，专家可以进行选择需要保留的标注或者修改标注。可以根据重要性将所有标注信息进行排序后呈现给专家，更优选的，可以结合上述眼动数据，基于专家的观测区域，将观区域内或最接近观区域中心的物品对应的标注信息呈现在专家视野的对应位置，例如优选为呈现在物品旁边，并增加引线指示。

远程交互模块，用于建立多个所述远程勘察者之间和/或所述远程勘察者与现场勘察者之间的实时信息交互。

具体应用中，异地专家例如可以结合智能语音助手通过实时视频、语音与火灾现场火调员进行交互。更具体的，可以基于华为腾讯或华为视频SDK二次开发包，实现异地专家通过实时视频、语音与火灾现场火调员进行交互。

其中，通常所述远程勘察者是指火灾调查专家(下述具体实施方式中，简称为“火调专家”或“专家”)，一般是拥有较为丰富的经验的火灾调查专业人士，而现场勘察者可以是火灾现场的协助人员，亦可以是具有丰富经验的调查者(例如通常可以简称为“火调员”)，利用上述VR远程火灾勘验系统，可以共享多个专业人士，同时构建其多个专业人士之间的高效率沟通与交流，同时基于高精度的模型以及对应的局部渲染，在有限的计算资源内实现了细致化的细节呈现，辅以自动化的物证标注以及共享修订信息，提高了交互效率，进而获得了显著优于现有勘验系统的运行效率。

作为上述技术方案的一些典型的应用示例，在上述系统中，三维模型模块主要用于构建高精度火灾现场的三维模型，真实还原火灾现场情况，使用专家能够流畅的操作三维模型，同时能够对三维场景进行放大、缩小、自动漫游等操作；实时全景预览模块主要用于构建实时VR全景火灾现场与地图导航，以全方位展示火灾现场的真实场景；远程交互模块，其形式尤其优选为一种视频交互模块，主要用于异地专家通过实时视频、语音与火灾现场火调员进行交互；物证标注模块主要用于获取专家在VR全景火灾现场中点击物证后的查看指令，并根据所述查看指令向专家展示被点击物证的详细信息，专家可对重要物证进行标注。

基于上述技术方案，本发明实施例通过实景三维建模、实景影像数据与VR技术的结合，进行现场创建、重构或还原。同时采用了深度信息与神经辐射场相互结合的方法来进行三维模型的训练，为了提高模型的训练速度，采用多分辨率哈希网格编码技术，将可训练的特征向量存储在一个紧凑的哈希表中。使参与调查的专家能够迅速地异地协作远程体验、标注分析、火情模拟等研判分析。

在一些实施方案中，所述实时全景预览模块包括导航生成单元，所述导航生成单元用于基于所述三维模型分析获取对应的火灾现场的火情信息，并基于所述火情信息生成所述地图导航；其中，所述火情信息至少用于指示所述火灾现场的火灾严重程度，所述地图导航中至少指示出所述火灾现场的多个区域的火灾严重程度。

在具体应用中，可以通过yolo算法识别火灾的发黑程度的面积来分析火灾现场严重程度，并根据严重程度向专家展示火灾现场的地图导航；获取专家在所述地图导航中点击的所选火灾现场的查看指令，并根据所述查看指令跳转到对应的VR火灾现场；所述VR火灾现场能够根据专家的需求选择相应火灾场景的展示角度范围，以使专家能够多角度体验观看。

同时，还可以基于火情信息，计算获取每个区域对应的典型视角，该典型视角优选是呈现该区域对应的重要物证的视角，当场景跳转至该区域时，向专家呈现该区域对应的典型视角列表并基于专家的选择转向至对应视角和/或使专家的视角吸附于上述典型视角，以此来提高专家的调查效率。

进一步地，所述全景预览模块至少具有如下功能：构建VR全景火灾现场和地图导航，全方位展示VR火灾现场的真实场景。所述VR全景火灾现场能够实现720°全方位实时观看火灾当前现场情况。其中，所述地图导航能够辅助专家跳转到所需火灾现场，满足专家足不出户即可远程勘验的需求。

作为上述技术方案的一些具体的应用示例，所述实时全景预览模块可以是基于krpano引擎开发的。并且，所述全景预览模块还可以基于threejs、photosphereview等全景引擎构建。

在一些实施方案中，所述实时全景预览模块还包括场景跳转单元，所述场景跳转单元用于接收所述远程勘察者的查看指令，并基于所述查看指令跳转至所述VR全景火灾现场的对应区域。

在一些实施方案中，所述场景跳转单元根据所述实时眼动数据获取所述远程勘察者的注意力区域，并基于所述注意力区域的所在位置跳转至所述VR全景火灾现场的对应区域。

在一些实施方案中，所述注意力区域选自所述远程勘察者的注视时长在预设时长以上的区域；所述的预设时长例如是0.5s或1s这种较短的时间，通常设定为0.3-2s之间。

在一些实施方案中，当所述远程勘察者的注意力区域处于当前所呈现的第一对应区域对应在所述地图导航中的不同位置时，跳转至当前注意力区域对应的第二对应区域中。

在一些实施方案中，所述物证标注模块包括自动标注单元、标注查看单元、标注修订单元。

所述自动标注单元用于生成所有物品中能够作为物证的物品的标注信息。

所述标注查看单元用于接收所述远程勘察者的查看指令，将所述标注信息呈现给所述远程勘察者。

所述标注修订单元用于接收所述修订操作，并基于所述修订操作对所述标注信息进行修改、保存或删除的操作。

在一些实施方案中，所述物证标注模块还包括标注收藏单元，用于接收所述远程勘察者的收藏操作，将对应的所述标注信息收藏于所述远程勘察者的收藏库中。

在一些实施方案中，所述远程交互模块所交互的实时信息交互至少包括多个所述远程勘察者对应的收藏库中的标注信息和/或对所述标注信息进行的修改或删除操作记录。

作为上述技术方案的一些典型的应用示例，所述物证标注模块获取专家在VR全景火灾现场中点击物证后的查看指令，并根据所述查看指令展示相应物证的详细信息页面，其中展示的物证信息包括物证图片、物证类型、物证烧毁程度中的一种或多种的组合，同时算法将自动对重要物件进行标注(生成文字、对细节画圈等)，专家可以对标注进行修改、保存和删除，同时有收藏按钮使用专家能够根据需求将物证加入收藏夹。

更具体的，所述VR远程火灾勘验系统在向专家展示物证的详细信息的同时，还可以呈现加入收藏键。在专家完成物证加入收藏夹后，所述VR远程火灾勘验系统还将专家的收藏信息和标注信息发送给其他专家。

在一些实施方案中，所述自动标注单元根据不同物品之间的从属关系建立知识谱图，通过知识图谱的关联程度分析所述物证的重要程度数据，例如与重要物证关联程度越高的其他物品的重要程度也就越高，并进行物证属性的标注，所述标注信息至少包含所述重要程度数据和物证属性。

基于上述系统，本发明实施例还提供了一种基于虚实融合的VR远程火灾勘验方法，利用上述任一实施方式所述的VR远程火灾勘验系统进行火灾勘验，所述VR远程火灾勘验方法包括如下的步骤：

基于火灾现场的影像，采用Neff三维重建技术并结合多分辨率哈希网格编码技术构建火灾现场的三维模型。

基于所述三维模型构建实时VR全景火灾现场与地图导航，并基于远程勘察者的实时眼动数据对所述VR全景火灾现场对应的局部细节进行实时渲染。

自动识别所述VR全景火灾现场中的所有物品，并对所述物品进行自动标注，生成多个标注信息，然后将所述标注信息呈现给所述远程勘察者，并接收所述远程勘察者的修订操作，以对所述标注信息进行保留和/或修改。

建立多个所述远程勘察者之间和/或所述远程勘察者与现场勘察者之间的实时信息交互。

作为上述技术方案的一些典型的应用示例，可以以实时全景预览模块构建实时VR全景火灾现场与地图导航，以全方位展示火灾现场的真实场景；以物证标注模块用于获取专家在VR全景火灾现场中点击物证后的查看指令，并根据所述查看指令向专家展示被点击物证的详细信息，通过知识图谱算法分析物证的重要程度，并进行自动标注，专家可以选择是否保留证物的标注

在一些实施方案中，上述方法具体可以包括：

向远程勘察者展示所述地图导航，并通过人机三维交互技术捕捉远程勘察者的观测区域，来自动点击远程勘察者的注意力区域，当所述远程勘察者的注意力区域处于当前所呈现的第一对应区域对应在所述地图导航中的不同位置时，跳转至当前注意力区域对应的第二对应区域中。

在一些实施方案中，还可以包括如下的步骤：

利用知识图谱技术，根据所有物品出现的场所进行关联，并关联不同场所中物品出现的频率。

在一些实施方案中，还可以包括如下的步骤：

获取远程勘察者在VR全景火灾现场中点击物证后的查看指令，并根据所述查看指令展示相应物证的详细信息的页面，同时对重要程度大于预设阂值的物证进行标注生成标注信息，并接收远程勘察者对标注进行的修改、保存和删除操作，对所述标注信息进行修订，同时接收所述远程勘察者的收藏操作将所述标注信息收藏至对应的收藏库。

在远程勘察者完成物证的收藏后，将对应的收藏信息和标注信息发送给其他远程勘察者。

在一些实施方案中，所述详细信息包括物证图片、物证类型、物证烧毁程度中的任意一种或两种以上的组合。

在一些实施方案中，所述标注包括生成文字注释以及对细节进行标记。

更具体的，在一些典型的示例中，可以以实时全景预览模块向专家展示VR火灾现场的地图导航，并通过人机三维交互技术捕捉专家的观测区域，来自动点击专家长时间注视区域，若注视地图导航内其它的火灾现场，则跳转到相对应的VR火灾现场。

以物证标注模块获取专家在VR全景火灾现场中点击物证后的查看指令，并根据所述查看指令展示相应物证的详细信息页面，其中展示的物证信息包括物证图片、物证类型、物证烧毁程度中的一种或多种的组合，同时算法将自动对重要物件进行标注(生成文字、对细节画圈等)，专家可以对标注进行修改、保存和删除，同时有收藏按钮使用专家能够根据需求将物证加入收藏夹。

在专家完成物证的收藏后，可将收藏信息和标注信息发送给其他专家。

作为上述技术方案的一些非常具体的应用场景，远程火灾勘验的过程可以如下所示：

S1、专家点击切换模块按键，当前界面全屏显示该模块内容，选择其中一个模块，其他模块缩小成小窗口显示在界面右上角。

S2、若专家选择三维模型模块，当前界面全屏显示高精度火灾现场的三维模型，使用专家能够对三维场景进行放大、缩小、自动漫游等操作。

或者，若专家选择视频交互模块，专家可通过实时视频、语音与火灾现场火调员进行交互，

或者，若专家选择视频交互模块，首先构建实时VR全景火灾现场与地图导航，然后以实时物证标注模块获取专家在VR全景火灾现场中点击物证后的查看指令，并根据所述查看指令向专家展示被点击物证的详细信息，获取专家在VR全景火灾现场中点击物证后的查看指令，并根据所述查看指令展示相应物证的详细信息页面，其中展示的物证信息包括物证图片、物证类型、物证烧毁程度中的一种或多种的组合，通过算法自动对重要证物进行标注(生成文字、对细节花圈等)。同时显示出加入收藏按键、修改标注按键和删除标注按键，使用修改标注按键可对重要物证的标注内容进行修改，最后专家能够根据需求将物证加入收藏夹。

本实施例中，将VR全景技术与消防相结合，提供了一个综合的全景火灾勘验平台，建立身临其境的火灾现场，共享“火调专家”，便于专家远程勘验评判，形成仿真教学素材，现场复盘，教学应用。

基于上述实施案例，可以明确，本发明实施例所提供的VR远程火灾勘验系统和方法所采用的三维模型模块所构建高精度火灾现场的三维模型，能够1∶1真实还原火灾现场的房间结构和内部细节，并且三维模型的构建速度比传统的方法相比提高了很多，使远程勘察者拥有沉浸式、互动性、实时性的线上远程勘验体验；所采用的实时全景预览模块能够向远程勘察者展示火灾现场的地图导航，采用了最新的人机交互技术，可以捕捉到远程勘察者的观测区域，在高精度模型细节的基础上，针对性地渲染对应区域，给远程勘察者的细致观察带来了极大的便利，同时提高了运算/运行效率；通过设置全物证标注模块，通过算法对证物进行自动标注，极大的节省了远程勘察者的时间，并且可以使得远程勘察者可以在VR全景火灾现场中快速、精准地选取重要物证，并迅速给分享给其他远程勘察者。

本发明实施例所提供的技术方案能够建立身临其境的三维火灾现场，共享“火调专业人士”，便于远程勘察者远程勘验评判，形成仿真教学素材，现场复盘，教学应用。

应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。