一种消防救援机器人、救援协助系统及其通信方法

摘要

本发明公开了一种消防救援机器人、救援协助系统及其通信方法，该机器人包括：运动动力子系统，用于驱动消防救援机器人运动；识别定位子系统，用于利用双目摄像头采集室内火灾现场影像，然后根据立体视觉匹配进行火灾现场三维地图的绘制；安全探测子系统，用于将多种传感器探测得到的信息与识别定位子系统相结合，对现场有毒烟雾进行检测和对现场区域进行区域属性划分；路径导航子系统，用于在火灾现场利用优化的粒子群算法实时选出/更新出最优救援路径；第一信息处理子系统，用于采集或接收上述各个子系统发送的数据，进行运算处理后得出相应的处理结果数据。采用本发明，能够用于火灾现场救援，提高救援效率和减少不必要的伤亡。

说明书

技术领域

本发明涉及火场救援和智能算法应用技术，尤其涉及一种消防救援机器人、救援协助系统及其通信方法。

背景技术

我国每年在建建筑面积130多亿平米，高层建筑已达62万多栋，现有百米以上超高层6000余幢，年均增长率达8％，是世界年均增长率的2.5倍，已连续九年成为世界上拥有200米以上摩天大楼数量最多的国家。

据应急管理部统计，2019年全国共接报火灾23.3万起，亡1335人。在火灾重点场所分布上，商业场所、宾馆饭店、学校、医院养老院等火灾数量均下降，高层建筑火灾数量却同比上涨10％，达到6974起，平均每天近20起。而相对于低楼层的火灾现场，高层建筑的火灾救援工作难点之一在于无法快速掌握火情、室内状况和危险源分布。

上述的火灾救援工作难点反映在技术层面，主要存在如下几点技术上难以克服的问题：

其一，无法应用现有的导航技术获得室内的地图信息。比如应用全球定位系统(GPS)或北斗导航系统(BDS)均不能在室内获得相应的卫星信号，因而不能将其与电子地图结合应用于室内定位和导航。

其二，对未知环境的危险因素预判不足，导致救援人员伤亡过高。当前火灾救援中对安全威胁最大的因素包括建筑物坍塌、现场存在爆炸物、有毒物质、爆燃等。而现有火灾现场救援工作中，对未知环境的危险因素进行提前探测的工作较少涉及。

其三，对地形的适应能力不足，对于复杂地形，无法很好的移动或跨越障碍。

现有消防救援技术多是研究如何替代人工进行现场救援的，很少研究救援人员进入火场的安全问题和实际救援效率的问题，而现阶段机器消防救援技术还不能实现完全替代人工救援。因而，研究一种救援协助系统作为消防人员进行火灾现场的救援辅助工具进行搜救，是较现实和合理的选择。

发明内容

有鉴于此，本发明的主要目的在于提供一种消防救援机器人、救援协助系统及其通信方法，采用双目机器人进入救援现场进行数据采集和探测，利用救援协助系统进行三维图像重建，将生成的现场立体地图或/和被困人员的定位信息反馈给救灾人员；并能够对现场进行分区标定出安全区域和危险区域，在地图上为救灾人员规划出安全救援路线及提供导航功能，从而实现现场救援的全套技术支持，避免搜救工作中人为失误及对现场情况缺乏了解而造成的不必要伤亡。

为实现上述发明目的，本发明的技术方案如下：

一种消防救援机器人，包括运动动力子系统、识别定位子系统、第一信息处理子系统、第一无线通信子系统、安全探测子系统和路径导航子系统；

运动动力子系统，用于驱动消防救援机器人运动；

识别定位子系统，用于利用双目摄像头采集室内火灾现场影像，并根据立体视觉匹配进行火灾现场三维地图的绘制；

安全探测子系统，用于将多种传感器探测得到的信息与识别定位子系统相结合，对火灾现场有毒烟雾进行检测和对现场区域进行区域属性划分；

路径导航子系统，用于在火灾现场通过第一无线通信子系统与火场外的救援协助系统的服务器B进行通信，利用优化的粒子群算法实时选出/更新出最优救援路径；

第一信息处理子系统，用于采集或接收上述各个子系统发送的数据，进行运算处理后得出相应的处理结果数据。

进一步，还包括控制本体，第一信息处理子系统、无线通信子系统和路径导航子系统均设置在控制本体内。

进一步，运动动力子系统设置在控制本体两侧，其包括履带、设置在履带内的主动轮和从动轮、设置在主动轮上通过连杆结构连接的辅助轮；辅助轮包括第一滚轮、第二滚轮、第三滚轮、以及连接上述三个滚轮的连接板，第一滚轮、第二滚轮和第三滚轮的圆心连线成形成正三角形，在连接板上对应正三角形中心位置处设置有辅助驱动轴，辅助驱动轴与连杆结构连接，第一滚轮的直径大于第二滚轮的直径和第三滚轮的直径，第二滚轮的直径大于第三滚轮的直径。

进一步，识别定位子系统包括设置在控制本体上的线控盒，双目摄像头设置在线控盒的上方。

进一步，控制本体前方设置有传感器组件，传感器组件包括电机、利用电机控制的旋转伸缩杆、设置在旋转伸缩杆上方的传感器台，传感器台为六面体结构，其每一个面上均设置有传感器，传感器包括红外传感器、超声波探测传感器、烟雾传感器。

进一步，控制本体上设置有用于存放救援物品的救援箱，救援箱为抽屉形结构；救援箱上设置有可电动翻转的视频组件，视频组件内置有喇叭和语音通话系统。

进一步，识别定位子系统，还用于利用红外线传感器、超声波探测传感器配合双目摄像头摄录影像的方式对火灾现场进行生命探测、物体识别及进行定位。

进一步，识别定位子系统还包括设置在控制本体内的硬件或软件视频压缩编码模块，用于对经双目摄像头摄录影像在上传到服务器B之前进行视频压缩编码处理。

进一步，识别定位子系统还包括设置在线控盒侧面的长波长的可见光照明光源，可见光照明光源有两个，分别设置在线控盒的两侧。

进一步，安全探测子系统将火灾现场区域依据危险程度不同，划分为有毒烟雾/可燃气体区、着火核心区、安全通过区和危险叠加区。

本发明还提供一种包含消防救援机器人的救援协助系统，还包括服务器B，用于接收消防救援机器人A发来的视频压缩编码数据进行火灾现场三维电子地图的绘制，还用于接收消防救援机器人A反馈的探测/检测结果执行优化的粒子群算法选出当前最优救援路径。

其中，服务器B，还包括第二无线通信子系统，用于通过4G/5G通信网络与第一无线通信子系统进行数据通信。

还包括救援信息显示终端C，用于接收并显示服务器B下发的火灾现场三维电子地图、火灾现场探测/检测结果数据和区域属性标示信息以及最优救援路径信息。

一种救援协助系统的通信方法，包括如下步骤：

利用消防救援机器人A采集火灾现场影像，经视频压缩处理后发送到服务器B进行三维地图的绘制；

利用消防机器人A自带的红外传感器、超声波传感器探测室内火灾现场被困人员的位置和根据危险程度标示不同的区域属性信息，并发送到服务器B；

服务器B利用多个消防救援机器人A搜索和反馈的信息，利用优化的粒子群算法选出当前最优救援路径，将最优救援路径信息反馈到消防救援机器人A；

服务器B将上述生成的三维地图、火灾现场探测/检测结果和区域属性标示信息、最优救援路径信息下发到救援信息显示终端C。

较佳地，还包括：

由服务器端收集多个机器人A探测的多传感器信息，经过PSO优化救援路径，再由服务器B端通信系统将更新或调整后的最优救援路径信息下发到救援信息显示终端C。。

较佳地，还包括：

消防救援机器人A向救援信息显示终端C不断地发出信号，提示消防救援机器人A在电子地图中的位置信息。

本发明的消防救援机器人、救援协助系统及其通信方法，具有如下有益效果：

1)本发明利用机器人进行双目视觉三维图像现场重建技术，克服了无法利用现有导航技术与电子地图结合进行室内定位和导航的问题，解决了救援的筹划阶段对室内进行初步勘察的问题。

2)通过救援协助系统对室内地形和环境进行三维模型重构，对被救援者的准确三维位置进行标定及对救援路径进行规划，使消防救援人员准确掌握火灾现场的情况，尽快的指导或解救被困人员，避免了救援行动的盲目性，从而降低了不必要的伤亡。

3)利用机器人附带的传感器系统，对火灾现场区域进行划分和反馈，分别标注出着火核心区、有毒危险区、危险叠加区和安全通过区，为救援人员提供安全参考，进一步降低救援安全风险。

4)本发明还提供三维或二维环境的电子地图导航功能，能够引导火灾现场被困者尽快脱困或便于消防人员解救，并能够为消防人员灭火提供安全路径。

附图说明

图1为本发明实施例的消防救援机器人的系统架构示意图；

图2为本发明实施例包含图1所示机器人的救援协助系统架构示意图；

图3为本发明实施例救援协助系统的通信方法流程图；

图4为本发明实施例的消防救援机器人的结构示意图；

图5为本发明实施例辅助轮驱动的结构示意图。

运动动力子系统1、识别定位子系统2、第一信息处理子系统3、第一无线通信子系统4、安全探测子系统5、路径导航子系统6、履带11、主动轮12、从动轮13、连杆结构14、辅助轮15、第一滚轮151、第二滚轮152、第三滚轮153、连接板154、辅助驱动轴155、线控盒21、双目摄像头22、可见照明光源23、传感器组件83、旋转伸缩杆81、传感器台82、传感器821、救援箱71、视频组件72、控制本体733、第一存储子系统7、第二无线通信子系统8、第三无线通信子系统9。

具体实施方式

下面结合附图及本发明的实施例对本发明作进一步详细的说明。

在针对火灾的现场救援中，绝大多数场景下仍主要依靠纯人工救援。而人工救援因对火灾现场内部场景了解较少，寻找被困人员速度较慢，且建筑内部危险因素需要查看建筑内部设计图、询问负责人员等，可能无法及时规避危险因素，因此会给消防救援活动带来极高的危险性。近年来，根据对消防人员伤亡原因的统计分析报告，可以知道对未知环境的提前感知不足仍是导致消防人员伤亡的最主要原因之一。

图1为本发明实施例的消防救援机器人的系统架构示意图。

如图1所示，该消防救援机器人A，包括：运动动力子系统1、识别定位子系统2、第一信息处理子系统3、第一无线通信子系统4、安全探测子系统5和路径导航子系统6。其中：

运动动力子系统1，用于驱动该消防救援机器人运动。该运动动力子系统1，主要包括动力底盘和电源。能够接收遥控指令通过电机驱动履带式车轮进行前进、倒退及转弯等运动。该履带外层采用阻燃橡胶，内层采用多层帘布和钢骨架结构，保证了履带具有较高的机械强度和韧度。机器人的动力底盘11及其他外露部分，均包覆防火隔热材料，以便适应火灾现场的高温工作环境。

较佳地，在另一实施例中，该运动动力子系统1，还可利用机器人自带的红外传感器、超声波探测/传感器、热传感器、图像传感器等采集室内火灾现场场景信息，调用第一信息处理子系统3的部分系统资源对上述火灾现场信息进行运算处理，根据运算处理结果避开现场障碍物或危险源，自主进行运动。

识别定位子系统2，用于利用双目摄像头22采集室内火灾现场影像，并根据立体视觉匹配进行三维地图的绘制。在本实施例中，主要利用红外线传感器、超声波探测/传感器配合双目摄像22摄录影像的方式进行室内生命探测、物体识别和进行定位。所述识别定位子系统2，包括设置在机器人动力底盘上的云台上的双目摄像机。

在另一较佳实施例中，识别定位子系统2，将上述通过双目摄像头22采集的火灾现场影像数据，通过调用第一信息处理子系统3的一部分系统资源对所述影像数据进行视频压缩编码处理，然后将所述经过视频压缩编码处理后的影像数据通过第一无线通信子系统4上传到火灾现场之外的服务器，即服务器B，其与消防救援机器人A共同组成救援协助系统(参考图2)，由所述救援协助系统的服务器B进行室内火灾现场三维地图的绘制。这里，所述视频压缩编码处理，优选采用硬件压缩方式实现，其优点是处理速度快，时延较小，因而实时性较好。当然，若该机器人配置有高性能的处理器，也可采用软件压缩方式实现，实时性也可得到保证。

安全探测子系统5，用于将多种传感器探测得到信息与识别定位子系统2相结合，对火灾现场的有毒烟雾/可燃气体进行检测和对现场区域进行区域属性标示。本实施例中，采用四色分区法反馈所述区域的划分信息，根据危险程度不同，将室内火灾现场划分为有毒烟雾/可燃气体区、着火核心区、安全通过区和危险叠加区，为救援人员提供安全保障。具体的，可以采用多种烟雾感应浓度传感器、火焰探测器或红外温度探测器与所述识别定位子系统2相结合，利用识别定位功能将探测到的有毒烟雾/可燃气体所在区域实时反馈在三维或二维电子地图中；同时，还可利用接收到的红外温度探测器反馈回来的信息结合所述识别定位子系统2，在三维或二维电子地图中进行区域属性标示。本发明的上述实施例，采用四色分区法反馈三维或二维的分区信息，例如，将火场内部划分为紫色的有毒烟雾/可燃气体区、红色的着火核心区、绿色的安全通过区以及黑色的危险叠加区，以便为消防救援人员提供安全保障。较佳地，对于存在有毒烟雾/可燃气体区、着火核心区等多种区域属性叠加的情况，在本发明实施例中，采用不同颜色的图层来表示上述区域属性信息，同时也支持根据使用习惯进行自定义来显示。

路径导航子系统6，用于在火灾现场的复杂环境下，通过第一无线通信子系统4与火场外的救援协助系统的服务器B的第二无线通信子系统8进行通信，利用优化的粒子群算法实时选出/更新出最优救援路径。为实现救援机器人采用优化的粒子群算法进行最优路径规划，设置所述救援机器人之间接收指令、采集和探测获取的数据信息、运算处理结果信息可以共享，以及相互之间还具有防碰撞机制。

如图4所示，消防救援机器人包括控制本体73，第一信息处理子系统3、无线通信子系统4和路径导航子系统6、电源均设置在控制本体73内。运动动力子系统1设置在控制本体73两侧，其包括履带11、设置在履带11内的主动轮12和从动轮13、设置在主动轮12上通过连杆结构14连接的辅助轮15；辅助轮15包括第一滚轮151、第二滚轮152、第三滚轮153、以及连接上述三个滚轮的连接板154，第一滚轮151、第二滚轮152和第三滚轮153的圆心连线成形成正三角形，在连接板154上对应正三角形中心位置处设置有辅助驱动轴155，辅助驱动轴155与连杆结构14连接，第一滚轮151的直径大于第二滚轮152的直径和第三滚轮153的直径，第二滚轮152的直径大于第三滚轮153的直径。辅助轮15绕着连杆结构14旋转，将消防救援机器人的前端支起，从而翻越障碍。通过设置辅助轮15提高消防机器人在复杂路况上运动的能力，尤其是爬楼能力，第一滚轮151、第二滚轮152、第三滚轮153的尺寸不同使消防机器人更进一步适应不同的路况。

如图5所示，第一驱动轴121的一端连接有主动轮12，第一驱动轴121的另一端设置有第一齿轮122，第一齿轮122与第二齿轮123啮合，第二齿轮123连接第一电机124，第一电机124控制第二齿轮123转动，从而带动主动轮12转动；第一驱动轴121为中空结构，内设置有第二驱动轴157，其一端连接有第二电机156，其另一端连接连杆结构14；通过第二电机156驱动第二驱动轴157转动，带动连杆结构14转动，从而使辅助轮15转动。

进一步，识别定位子系统2包括设置在控制本体73上的线控盒21，双目摄像头22设置在线控盒21的上方，双目摄像头22与第一信息处理子系统电连接3，线控盒21与控制本体73的空间连通，双目摄像头22的线缆设置在线控盒21内。

进一步，控制本体73前方设置有传感器组件83，传感器组件83包括电机、利用电机控制的旋转伸缩杆81、设置在旋转伸缩杆81上方的传感器台82，传感器台82为六面体结构，其每一个面上均设置有传感器821，传感器821包括红外传感器、超声波探测传感器、烟雾传感器，电机设置保护外壳83内。根据现场情况，通过电机控制旋转伸缩杆81进行旋转和伸缩带动传感器台82进行旋转和升降，使不同的传感器81可以检测四周的情况，进一步提高检测的准确性。

进一步，控制本体73上设置有用于存放救援物品的救援箱71，根据现场情况的判断，可以在救援箱71内放置消防绳索、防毒面罩等救援工具，并通过消防机器人运送到被困人员处。救援箱71为抽屉形结构；救援箱71上设置有可电动翻转的视频组件72，视频组件72内置有喇叭和语音通话系统；视频组件72可用于展示最佳逃生路线，救援物资使用方法等，更直观的辅助被困人员逃生，语音通话系统方便与救援人员通话，并确定位置。

进一步，识别定位子系统2还包括设置在线控盒21侧面的长波长的可见光照明光源23，可见光照明光源23有两个，分别设置在线控盒21的两侧。优选的，可见照明光源23发射红色或橘色光的LED光源，采用波长较长的可见光光源，对火场烟雾有一定的穿透性，以便提供清晰的影像信息。

在本发明实施例中，采用优化的粒子群算法在多维空间求解最优路径，将一台救援机器人作为一个“粒子(particle)”，利用m台救援机器人组成一个“粒子群”，将所有粒子经历过的位置中的最好位置定义为全局历史最好位置，相应的适应值为全局历史最优适应值。

假设在一个D维搜索空间中，有m个粒子组成一粒子群，其中第i个粒子的空间位置为X

其中：ω为惯性权值；c1和c2都为正值常数，称为加速系数；r1和r2为两个在[0,1]范围内变化的随机数。第d维粒子元素的位置变化范围和速度变化范围分别限制为[X

粒子群速度更新公式(4-1)中的第1部分由粒子先前速度的惯性引起，为“惯性”部分；第2部分为“认知”部分，表示粒子本身的思考，即粒子根据自身历史经验信息对自己下一步行为的影响；第3部分为“社会”部分，表示粒子之间的信息共享和相互合作，即群体信息对粒子下一步行为的影响。

基本优化的粒子群算法(PSO)具体步骤如下：

(1)粒子群初始化；

(2)根据目标函数计算各粒子适应度值，并初始化个体、全局最优值；

(3)判断是否满足终止条件，是则搜索停止，输出搜索结果；否则继续下步；

(4)根据速度、位置更新公式更新各粒子的速度和位置；

(5)根据目标函数计算各粒子适应度值；

(6)更新各粒子历史最优值以及全局最优值；

(7)跳转至步骤(3)。

对于终止条件，通常可以设置为适应值误差达到预设要求，或迭代次数超过最大允许迭代次数。

本申请的上述实施例采用的连续PSO算法中，其主要参数，即惯性权值ω为机器人行进速度(初始值为0)、加速系数c1和c2均为正值常数、种群规模为设为3～7、迭代次数为2～5。

第一信息处理子系统3，分别与所述的识别定位子系统2、无线通信子系统4、安全探测子系统5和路径导航子系统6数据连接，用于采集、接收上述各子系统发送的数据，进行运算处理后得出相应的处理结果数据。比如，用于通过无线通信子系统4接收遥控操作指令，将所述遥控操作指令通过处理后转换为操纵电机的信号，完成相应的动作或操作。还用于将采集到的室内火灾现场影像，通过图像编码处理后上传到救援协助系统。也可用于救援机器人与其他救援机器人之间相互协作联络、探测得到的信息和运算处理结果信息的共享和运算处理，以及根据处理结果自行判断和驱动所述运动动力子系统1移动所述救援机器人。

较佳地，所述救援机器人还包括第一存储子系统7，用于存储双目摄像头采集的室内火灾现场影像、视频压缩编码处理结果影像、各种传感器和探测器获取的数据信息、信息处理的过程数据、结果数据信息等内容。

进一步的，所述救援机器人还预设有存储有管理和检测机器人工作的固件，所述固件中还预存有各种机器人操作指令。

图2为本发明实施例包含图1所示机器人的救援协助系统架构示意图。

如图2所示，该救援协助系统，主要包括救援机器人A和与之无线数据通信相连的服务器B。服务器B中配置运算能力较强的硬件和软件处理系统，以及第二无线通信子系统8，所述第二无线通信子系统8与救援机器人A的第一无线通信子系统4能够进行高速无线通信和数据交换，具体的，所述第一无线通信子系统4、第二无线通信子系统8和第三无线通信子系统9，均包含4G/5G通信模块。

较佳地，还可以包括若干配备给每位消防人员的救援信息显示终端C。所述服务器B与救援信息显示终端C之间，也为无线通信方式连接。所述救援信息显示终端C内设有支持以无线或有线通信方式高速下载和实时显示三维/二维电子地图的硬件资源，该救援信息显示终端C为大屏幕显示终端，如平板电脑。所述救援信息显示终端C中设有第三无线通信子系统9，所述第三无线通信子系统9、服务器B的第二无线通信子系统8、救援机器人A的第一无线通信子系统4之间，均可相互进行无线通信(参考图3)。

所述救援协助系统，通过服务器B向所述救援信息显示终端C发送室内火场的现场三维或二维地图、救援导航路径、被困人员位置、数量信息以及不同特征的区域信息等内容，以便消防人员有针对性的营救被困人员和撤离火场以及选择灭火措施。

图3为本发明实施例救援协助系统的通信方法流程图。

如图3所示，该救援协助系统的通信方法，主要包括如下几个信息交互过程：

消防救援机器人A与服务器B之间的信息交互过程、服务器B与救援信息显示终端C之间的信息交互过程和消防救援机器人A与救援信息显示终端C之间的信息交互过程。

以图3所示的信息交互过程为例，一个完整的救援协助系统的通信过程，主要包括如下步骤：

步骤31：利用消防救援机器人A采集火灾现场影像，经视频压缩处理后发送到服务器B进行三维地图的绘制。

步骤32：服务器B将上述生成的三维地图传送给救援信息显示终端C。

步骤33：利用所述消防机器人A自带的红外传感器、超声波传感器探测室内火灾现场被困人员的位置和根据危险程度标示不同的区域属性信息，并发送到服务器B。

步骤34：将火灾现场探测/检测结果和区域属性标示信息发送给救援信息显示终端C。

步骤35：服务器B利用多个消防救援机器人A搜索和反馈的信息，利用优化的粒子群算法选出当前最优救援路径，将所述最优救援路径信息反馈到所述消防救援机器人A。

步骤36：将所述最优救援路径信息下发到救援信息显示终端C。

较佳地，进一步包括：

步骤37：所述消防救援机器人A动态更新多种传感器探测得到的环境量信息和区域属性标示变化信息。

步骤38：更新或调整最优救援路径，并将所述更新或调整后的最优救援路径信息下发到救援信息显示终端C。

步骤39：向所述救援信息显示终端C不断地发出信号，提示消防救援机器人A在电子地图中的位置信息。

上述步骤中，步骤32、步骤34、步骤36，也可同时在步骤35之后合并执行，以便同步将包含火灾现场三维电子地图、火灾现场探测/检测结果数据信息(包含被困人员的精确位置和数量信息)、最优导航救援路径规划数据信息发送到救援信息显示终端C中。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。