基于红外-可见光图像的双光谱森林火情监测方法及装置

摘要

本发明实施例公开了一种基于红外-可见光图像的双光谱森林火情监测方法及装置。该方法包括：获取当前场景的红外图像和可见光图像；确定红外图像中的疑似火点标记区域；将疑似火点标记区域映射到可见光图像中的相应位置，得到可见光图像中的感兴趣区域；对感兴趣区域内的图像进行验证，根据验证结果确定当前场景中是否存在真实火点。本发明通过采用上述技术方案，将红外图像检测识别优势与可见光图像检测识别优势进行结合，可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干扰，提升准确度。并且，在可见光图像中仅对感兴趣区域中的图像进行验证，可减少计算量，提升效率，保证火情监测的实时性。

说明书

技术领域

本发明实施例涉及移动设备技术领域，尤其涉及一种基于红外-可见光图像 的双光谱森林火情监测方法及装置。

背景技术

森林火灾是一种突发性强、破坏性大、处置救助较为困难的自然灾害。因 此，在林火险情监测环节中，发现险情的及时性和准确性尤为重要，能够使相 关工作人员尽快采取抢救措施，最大限度的降低森林火灾的损失。

目前，云台定点观测是我国采用的主要林火检测手段，为了节省人力，通 常采用视频图像自动检测技术来监测森林火情。常见的视频图像自动检测技术 包括基于可见光图像的火点检测技术和基于遥感图像的火点检测技术。其中， 基于可见光图像的火点检测算法中，利用了火焰的可见光光谱特征(如颜色特 征、纹理特征和运动特征等)，难以滤除外观与火焰相似度高的物体(如飘扬的 红旗及灯光等)，报警准确率低，且算法中火点与背景进行同样处理，需要计算 较大的数据量，效率较低，尤其不适用于在远距离以及低照度环境下的检测。 基于遥感图像的火点检测算法中，主要是利用特定卫星的某些波段经过不同方 式的伪彩色合成、波段代数运算后阈值化得到火点位置，通常需要人工交互处 理；此外，遥感数据为地面站接收、解析、处理并分发出来的，并且遥感图像 分辨率低，发现火点时地面可能已经成灾，因此实时性方面较为逊色。

发明内容

本发明实施例的目的是提供一种基于红外-可见光图像的双光谱森林火情 监测方法及装置，以解决现有的森林火情监测方案准确度低且实时性差的问题。

一方面，本发明实施例提供了一种基于红外-可见光图像的双光谱森林火情 监测方法，包括：

获取当前场景的红外图像和可见光图像；

确定所述红外图像中的疑似火点标记区域；

将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得到所述 可见光图像中的感兴趣区域；

对所述感兴趣区域内的图像进行验证，根据验证结果确定所述当前场景中 是否存在真实火点。

另一方面，本发明实施例提供了一种基于红外-可见光图像的双光谱森林火 情监测装置，包括：

图像获取模块，用于获取当前场景的红外图像和可见光图像；

疑似火点标记区域确定模块，用于确定所述红外图像中的疑似火点标记区 域；

映射模块，用于将所述疑似火点标记区域映射到所述可见光图像中的相应 位置，得到所述可见光图像中的感兴趣区域；

真实火点确定模块，用于对所述感兴趣区域内的图像进行验证，根据验证 结果确定所述当前场景中是否存在真实火点。

本发明实施例中提供的一种基于红外-可见光图像的双光谱森林火情监测 方案，获取当前场景的红外图像和可见光图像后，先确定红外图像中的疑似火 点标记区域，再将疑似火点标记区域映射到所述可见光图像中的相应位置，得 到可见光图像中的感兴趣区域，并对感兴趣区域内的图像进行验证，最后根据 验证结果确定当前场景中是否存在真实火点。通过采用上述技术方案，将红外 图像检测识别优势与可见光图像检测识别优势进行结合，先根据红外图像的成 像特征确定疑似火点标记区域，再将疑似火点标记区域映射到可见光图像中， 可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干扰， 提升准确度。并且，在可见光图像中仅对感兴趣区域中的图像进行验证，避免 了在夜间场景下的林区图像中亮度低的背景占了绝大部分、所有像素参与计算 浪费大量资源的缺陷，可减少计算量，提升效率，保证火情监测的实时性。此 外，上述技术方案既能够克服单可见光火点识别算法在远距离、低照度环境下 的不足，也适用于大范围搜索火点及近距离监测火情，同遥感图像与可见光图 像相结合的方式比，该方案的简便性和实时性同样也十分突出。

附图说明

图1为本发明实施例一提供的一种基于红外-可见光图像的双光谱森林火情 监测方法的流程示意图；

图2为本发明实施例二提供的一种基于红外-可见光图像的双光谱森林火情 监测方法的流程示意图；

图3为本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森 林火情监测方法的流程示意图；

图4为本发明实施例三提供的一种红外热点检测算法流程示意图；

图5为本发明实施例三提供的一种可见光疑似火点验证算法流程示意图；

图6为本发明实施例四提供的一种基于红外-可见光图像的双光谱森林火情 监测装置的结构框图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以 理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限 定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部 分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被 描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理， 但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺 序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未 包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、 子程序等等。

实施例一

图1为本发明实施例一提供的一种基于红外-可见光图像的双光谱森林火情 监测方法的流程示意图，该方法可以由基于红外-可见光图像的双光谱森林火情 监测装置执行，其中该装置可由软件和/或硬件实现，一般可集成在森林火情监 测系统中。如图1所示，该方法包括：

步骤110、获取当前场景的红外图像和可见光图像。

示例性的，所述森林火情监测系统可包括球台(又称云台)、红外相机和可 见光相机，还可包括球机控制设备。在开始监测前，需要合理设置球台的巡航 方式及预置位，以覆盖所有待监测区域，在球台上安装红外相机和可见光相机， 并对红外相机和可见光相机的位置以及各项参数等进行调整。上述准备工作完 毕后，可由球机控制设备控制球台转动到预置位位置，实时获取红外相机和可 见光相机的数据，即本步骤中的获取当前场景的红外图像和可见光图像。

需要说明的是，红外相机的取景范围大小与可见光相机的取景范围大小可 相同也可不同。如果不同，优选的，可见光相机的取景范围大于红外相机的取 景范围。也就是说，可见光图像中包含红外图像中的所有景象，还可包含红外 图像中不存在的其他景象。

步骤120、确定红外图像中的疑似火点标记区域。

红外图像的成像特点是可反映不同物体向外辐射能量的差异，也即可反映 物体的热量特征。示例性的，因为物体的热量特征能够以红外图像中的亮度值 进行衡量，热量较高的物体在红外图像中的亮度值较高，而热量较低的物体在 红外图像中的亮度值较低，所以可根据红外图像中的亮度值分布特点来初步挑 选出符合火焰的热量特征的区域，从而确定红外图像中的疑似火点标记区域。 疑似火点标记区域中包含了疑似火点的景物。

示例性的，所述疑似火点标记区域的形状和大小不作具体限定，可预先进 行设置，也可根据实际的亮度值分布特点进行自动调整。优选的，为了分析方 便，所述疑似火点标记区域具体可为疑似火点矩形标记区域。

进一步的，本步骤可优选为：根据红外图像中的亮度值分布特点将红外图 像分割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为疑 似火点矩形标记区域。示例性的，进行区域分割时，可将亮度值较为接近的像 素分割到同一个区域中，详尽的分割方式此处不作限定。在采用矩形标记圈定 疑似火点矩形标记区域时，可计算当前区域中亮度值的平均值是否高于预设亮 度阈值，若是，则将当前区域圈定为疑似火点矩形标记区域。

步骤130、将疑似火点标记区域映射到可见光图像中的相应位置，得到可见 光图像中的感兴趣区域。

示例性的，红外图像和可见光图像同时包含了当前场景，所以从红外图像 中确定的疑似火点标记区域中包含的景物也同样存在于可见光图像中。需要说 明的是，本实施例中将疑似火点标记区域映射到可见光图像中的相应位置是指， 将疑似火点标记区域的边界映射到可见光图像的相应位置，而非将疑似火点标 记区域中包含的图像内容复制到可见光图像的相应位置。根据预设算法将红外 图像中的疑似火点标记区域映射到可见光图像中的相应位置，得到可见光图像 中的感兴趣区域(regionofinterest，ROI)，所以感兴趣区域中同样包含疑似 火点的景物，该疑似火点的景物在可见光图像中的分辨率更高，更有利于做进 一步的是否为真实火点的验证。需要说明的是，所述预设算法不是唯一的，例 如，可参照红外-可见光相机联合标定技术，得到红外图像与可见光图像之间像 素级对应的映射矩阵，利用该映射矩阵可以将红外图像中的疑似火点标记区域 集合映射到可见光图像上。本领域技术人员可根据实际应用情况以及森林火情 监测系统的配置情况选取合适的预设算法，本实施例不作具体限定。

需要说明的是，红外图像中的疑似火点标记区域可以为多个，所以对应的 可见光图像中的感兴趣区域也可以为多个。

步骤140、对感兴趣区域内的图像进行验证，根据验证结果确定当前场景中 是否存在真实火点。

示例性的，对可见光图像中的感兴趣区域内的图像进行验证的方式可参照 现有的验证方式。例如，可对颜色特征、亮度分布特征以及运动特征等方面进 行验证。与现有的验证方式的主要区别在于，现有的验证方式中，需要对整个 可见光图像进行验证，对火点以及背景都进行同样的处理，需要计算较大的数 据量，效率较低；而本实施例中，仅对包含疑似火点的感兴趣区域内的图像进 行验证，大大减少了需要计算的数据量，提升效率，保证实时性。

本发明实施例一提供的基于红外-可见光图像的双光谱森林火情监测方法， 获取当前场景的红外图像和可见光图像后，先确定红外图像中的疑似火点标记 区域，再将疑似火点标记区域映射到所述可见光图像中的相应位置，得到可见 光图像中的感兴趣区域，并对感兴趣区域内的图像进行验证，最后根据验证结 果确定当前场景中是否存在真实火点。通过采用上述技术方案，将红外图像检 测识别优势与可见光图像检测识别优势进行结合，先根据红外图像的成像特征 确定疑似火点标记区域，再将疑似火点标记区域映射到可见光图像中，可消除 外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干扰，提升准 确度。并且，在可见光图像中仅对感兴趣区域中的图像进行验证，避免了在夜 间场景下的林区图像中亮度低的背景占了绝大部分、所有像素参与计算浪费大 量资源的缺陷，可减少计算量，提升效率，保证火情监测的实时性。此外，上 述技术方案既能够克服单可见光火点识别算法在远距离、低照度环境下的不足， 也适用于大范围搜索火点及近距离监测火情，同遥感图像与可见光图像相结合 的方式比，该方案的简便性和实时性同样也十分突出。

实施例二

图2为本发明实施例二提供的一种基于红外-可见光图像的双光谱森林火情 监测方法的流程示意图，本实施例以上述实施例为基础进行优化，尤其是采用 矩形标记圈定疑似火点区域，并利用投票机制对多帧红外图像进行处理，提高 确定疑似火点矩形标记区域的准确度，在兼顾到火点可能存在的小幅度摇曳运 动的前提下，消除运动车灯等物体造成的干扰。

具体的，本实施例的方法包括如下步骤：

步骤210、获取当前场景的红外图像集合和可见光图像，红外图像集合中包 含n帧对应n个不同时刻的红外图像。

步骤220、对于红外图像集合中的每一帧红外图像，根据亮度值分布特点将 当前红外图像分割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区 域圈定为矩形标记区域；将当前红外图像中的矩形标记区域内的像素标记为1， 矩形标记区域外的像素标记为0。

具体的，红外图像集合可记为{A1,A2,A3……An|n>0}，对于每帧红外 图像Ai(0<i<n)进行标记，将矩形标记区域内的像素标记为1，矩形标记区 域外的像素标记为0。

步骤230、统计在红外图像集合中的不同红外图像中的相同位置处的像素被 标记为1的次数，采用投票机制将被标记为1的次数不小于预设次数的像素记 为1，其他像素记为0，形成目标二值图像。

优选的，所述预设次数为0.8n。

步骤240、对目标二值图像进行轮廓提取，并采用矩形标记圈定疑似火点矩 形标记区域。

示例性的，执行步骤210-步骤240的好处在于，对n帧红外图像得到的疑 似火点矩形标记区域，采用像素级的投票机制作为最终的判别结果，可消除 运动车灯等物体造成的干扰，同时兼顾到火点可能存在的小幅度摇曳运动， 最终得到准确度更高的疑似火点矩形标记区域。

步骤250、采用图像变换模型将疑似火点矩形标记区域映射到可见光图像中 的相应位置，得到可见光图像中的感兴趣区域。

具体的，所述图像变换模型具体为：

$\left(\begin{array}{c}{u}_2\\ {\upsilon }_2\\ 1\end{array}\right)=\frac{Z_{c1}}{Z_{c2}}{K}_2\left(\begin{array}{cc}R& t\end{array}\right)K_1^{-1}\left(\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right)$

其中，C₁表示红外相机，C₂表示可见光相机；R为C₂相对于C₁的旋转矩阵， t为C₂相对于C₁的位移向量；(u₁,v₁)为空间点在红外图像中的坐标，(u₂,v₂)为所 述空间点在可见光图像中的坐标；K₁为C₁的内参数矩阵，K₂为C₂的内参数矩阵； Z_c1为所述空间点到C₁像平面的距离，Z_c2为所述空间点到C₂像平面的距离。

示例性的，该模型给出了从不同视角获取包含同一场景的两幅图像之间的 几何变换关系，可称之为基于摄像机运动参数的图像变换模型。根据相机厂商 提供的设备说明，获取可见光相机和红外相机的内参数信息，包括焦距、图像 中心坐标、像元尺寸等，并将其作为内参数初始值，即矩阵K₁为和K₂。

上述模型公式中的旋转矩阵R可以用3个欧拉角来表示，即绕X轴旋转的角 度α，绕Y轴旋转的角度β，绕Z轴旋转的角度γ，R的表达式为

$\left(\begin{array}{c}R=\left(\begin{array}{ccc}\cos \alpha & -\sin \alpha & 0\\ \sin \alpha & \cos \alpha & 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \beta & 0& -\sin \beta \\ 0& 1& 0\\ \sin \beta & 0& \cos \beta \end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \gamma & -\sin \gamma \\ 0& \sin \gamma & \cos \gamma \end{array}\right)=\\ \left(\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right)\end{array}\right)$

上述模型公式中的平移向量t的表达式为t＝[t₁t₂t₃]^T。

优选的，在将疑似火点矩形标记区域映射到可见光图像中的相应位置之前， 可将疑似火点矩形标记区域的轮廓向外延拓预设数量的像素，形成最终疑似火 点标记区域。随后，将最终疑似火点标记区域映射到可见光图像中的相应位置， 得到可见光图像中的感兴趣区域。这样做的好处在于，可以消除映射过程产生 误差而带来的影响。需要说明的是，也可在将疑似火点矩形标记区域映射到可 见光图像中的相应位置之后，得到初始感兴趣区域，再将初始感兴趣区域轮廓 向外延拓预设数量的像素，形成最终的感兴趣区域，同样可到达消除误差影响 的效果。

步骤260、对感兴趣区域内的图像进行验证，根据验证结果确定当前场景中 是否存在真实火点。

具体的，本步骤可包括：将当前感兴趣区域与预设真火情颜色空间模型进 行匹配，得到第一匹配度；将所述当前感兴趣区域与预设伪火情颜色空间模型 进行匹配，得到第二匹配度；若第一匹配度高于第二匹配度，则确定当前感兴 趣区域为疑似火点区域；对可见光图像中的所有疑似火点区域进行验证，根据 验证结果确定当前场景中是否存在真实火点。

示例性的，所述预设真火情颜色空间模型和预设伪火情颜色空间模型具体 可为利用混合高斯模型技术分别对真实着火点(如树木、草原等)和干扰热源(如 车辆、灯光等)分别进行颜色空间建模而得到的。匹配度具体可用于衡量感兴趣 区域与预设真火情颜色空间模型或预设伪火情颜色空间模型的接近程度，匹配 度越高，则说明与相应的模型越接近。当对应于预设真火情颜色空间模型的第 一匹配度高于对应于预设伪火情颜色空间模型的第二匹配度时，说明当前感兴 趣区域更接近预设真火情颜色空间模型，则可确定当前感兴趣区域为疑似火点 区域。

随后，对可见光图像中的所有疑似火点区域进行验证，根据验证结果确定 当前场景中是否存在真实火点。例如，可进行亮度分布检测和运动特征检测等。 在进行亮度分布检测时，可分析火焰像素亮度的分布规律，由内焰的燃烧中心 点到外焰边缘，由于燃烧温度的差异，颜色亮度会逐层递减，利用亮度直方图 统计灰度变化规律，并对疑似火点进行筛选；在进行运动特征检测时，可利用 高斯混合模型(GaussianMixtureModel，GMM；又称混合高斯模型)背景建模 技术进行疑似火点筛选，以进一步消除运动车灯等物体造成的干扰，同时兼顾 到火点可能存在的小幅度摇曳运动，运动特征检测时同样需要多帧可见光图像， 优选的，在获取当前场景的红外图像集合时，同样获取可见光图像集合。

本发明实施例二在实施例一的基础上，采用矩形标记圈定疑似火点区域， 并利用投票机制对多帧红外图像进行处理，提高确定疑似火点矩形标记区域的 准确度，在兼顾到火点可能存在的小幅度摇曳运动的前提下，消除运动车灯 等物体造成的干扰，可进一步提高火情监测的准确度。并且，消除运动车灯等 物体干扰后，疑似火点矩形标记区域的总面积也会相应减少，从而使感兴趣区 域的总面积减少，可进一步减少计算量，提升效率，保证火情监测的实时性。

实施例三

图3为本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森 林火情监测方法的流程示意图，如图3所示，该方法具体包括如下步骤：

步骤310、球台转动到当前预置位。

步骤320、获取当前预置位对应的当前场景的红外图像和可见光图像。

步骤330、运行红外热点检测算法，判断是否能够得出疑似火点矩形标记 区域，若是，则执行步骤350；否则，执行步骤340。

进一步的，图4为本发明实施例三提供的一种红外热点检测算法流程示意 图，如图4所示，该算法包括如下步骤：

步骤331、对红外图像进行预处理。

具体的，可对红外图像进行滤波增强等操作，削弱或消除光线较弱产生 的一些干扰。

步骤332、对预处理之后的红外图像进行阈值分割。

利用红外图像的成像特点，即热量高的物体在红外图像中亮度值高、反之 则低，对每帧红外图像进行阈值分割，可将热点目标从背景中分离出来。

步骤333、对经过阈值分割后的红外图像进行形态学操作。

示例性的，步骤332中对红外图像进行阈值分割后，可形成二值图，通过 对二值图进行膨胀等形态学操作，以达到填补空洞、将热点目标的整体而不 是部分提取出来的目的。

步骤334、采用矩形标记圈定矩形标记区域。

示例性的，寻找热点目标轮廓，并用矩形标记最外面的边界，得到疑似 火点的矩形标记区域。

步骤335、判断当前矩形标记区域是否满足滤除条件，若是，则执行步骤 336，否则执行步骤337。

示例性的，所述滤除条件可包括森林火点的先验知识。

步骤336、滤除当前矩形标记区域，执行步骤338。

步骤337、保留当前矩形标记区域，执行步骤338。

步骤338、判断当前矩形标记区域是否为最后一个，如果是，结束流程；否 则，执行步骤339。

步骤339、将下一个矩形标记区域设置为新的当前矩形标记区域，返回执行 步骤335。

经过滤除保留下来的矩形标记区域即为疑似火点矩形标记区域。

优选的，还可进行如实施例二中的利用投票机制对多帧红外图像进行处理， 得到最终的疑似火点矩形标记区域，以进一步提高确定疑似火点矩形标记区域 的准确度。具体细节可参照本发明实施例二中的相关描述。

红外热点检测算法流程结束后，可执行步骤350。若按照红外热点检测算 法无法得出疑似火点矩形标记区域，说明当前场景中不存在疑似火点，可执 行步骤340。

步骤340、将下一个预置位设定为当前预置位，并返回执行步骤310。

步骤350、将疑似火点标记区域映射到可见光图像中的相应位置，得到可见 光图像中的感兴趣区域。

具体的，可采用图像变换模型将疑似火点矩形标记区域映射到可见光图像 中的相应位置，得到可见光图像中的感兴趣区域。

所述图像变换模型具体为：

$\left(\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right)=\frac{Z_{c1}}{Z_{c2}}{K}_2\left(\begin{array}{cc}R& t\end{array}\right)K_1^{-1}\left(\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right)$

其中，C₁表示红外相机，C₂表示可见光相机；R为C₂相对于C₁的旋转矩阵， t为C₂相对于C₁的位移向量；(u₁,v₁)为空间点在红外图像中的坐标，(u₂,v₂)为所 述空间点在可见光图像中的坐标；K₁为C₁的内参数矩阵，K₂为C₂的内参数矩阵； Z_c1为所述空间点到C₁像平面的距离，Z_c2为所述空间点到C₂像平面的距离。

步骤360、根据可见光疑似火点验证算法对感兴趣区域内的图像进行验证， 根据验证结果确定当前场景中是否存在真实火点，若是，则执行步骤370；否则， 执行步骤340。

进一步的，图5为本发明实施例三提供的一种可见光疑似火点验证算法流 程示意图，如图5所示，该算法具体可包括如下步骤：

步骤361、对当前感兴趣区域进行预处理。

具体的，所述预处理可包括将感兴趣区域轮廓向外延拓预设数量的像素， 形成最终的感兴趣区域，可以消除后续映射过程中所产生误差带来的影响。

步骤362、对当前感兴趣区域内的图像进行颜色空间模型检测，判断检测结 果是否通过，若是，则执行步骤365；否则，执行步骤363。

具体的，可将当前感兴趣区域分别与预设真火情颜色空间模型和预设伪火 情颜色空间模型进行匹配，得到第一匹配度和第二匹配度；若第一匹配度高于 第二匹配度，则确定当前感兴趣区域的检测结果为通过。具体检测方式可参照 本发明实施例二步骤260中的相关描述。

步骤363、判断当前感兴趣区域是否为最后一个感兴趣区域，若是，则结束 流程；否则，执行步骤364。

步骤364、将下一个感兴趣区域设置为新的当前感兴趣区域，返回执行步骤 361。

步骤365、对当前感兴趣区域内的图像进行亮度分布检测，判断检测结果是 否通过，若是，则执行步骤366；否则，执行步骤363。

示例性的，可分析火焰像素亮度的分布规律，由内焰的燃烧中心点到外焰 边缘，由于燃烧温度的差异，颜色亮度会逐层递减，利用亮度直方图统计灰度 变化规律，若当前感兴趣区域符合该灰度变化规律，则可认为检测通过。

步骤366、对当前感兴趣区域内的图像进行运动特征检测，判断检测结果是 否通过，若是，则执行步骤367；否则，执行步骤363。

示例性的，可利用高斯混合模型(GaussianMixtureModel，GMM；又称混 合高斯模型)背景建模技术进行疑似火点筛选，以进一步消除运动车灯等物体 造成的干扰，同时兼顾到火点可能存在的小幅度摇曳运动。例如，当前感兴趣 区域与利用高斯混合模型背景建模技术建立的标准模型匹配时，可认为检测通 过。

步骤367、确定当前感兴趣区域内存在真实火点，并执行步骤363。

需要说明的是，本步骤中确定当前区域内存在真实火点时，可先执行步骤 370进行火点报警，警示相关工作人员采取灭火相关措施或控制相关设备进入灭 火流程，同时继续执行步骤363，验证下一个感兴趣区域内是否也存在真实火点。

步骤370、进行火点报警。

本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森林火 情监测方法，利用红外热点检测算法筛选出热量特征满足检测条件的疑似火点， 然后将疑似火点映射到可见光图像中，再进行若干像素的延拓后作为可见光图 像的ROI区域，最后利用可见光疑似火点验证算法对ROI区域进行验证，从而 筛选出真实的火点并进行火点报警。该方法的准确度高，且计算量小，可提高 效率，保证火情监测的实时性。

实施例四

图6为本发明实施例四提供的一种基于红外-可见光图像的双光谱森林火情 监测装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在森林火情 监测系统中，可通过执行基于红外-可见光图像的双光谱森林火情监测方法来监 测森林火情。如图6所示，该装置包括图像获取模块601、疑似火点标记区域确 定模块602、映射模块603和真实火点确定模块604。

其中，图像获取模块601，用于获取当前场景的红外图像和可见光图像；疑 似火点标记区域确定模块602，用于确定所述红外图像中的疑似火点标记区域； 映射模块603，用于将所述疑似火点标记区域映射到所述可见光图像中的相应位 置，得到所述可见光图像中的感兴趣区域；真实火点确定模块604，用于对所述 感兴趣区域内的图像进行验证，根据验证结果确定所述当前场景中是否存在真 实火点。

本发明实施例四提供的基于红外-可见光图像的双光谱森林火情监测装置， 将红外图像检测识别优势与可见光图像检测识别优势进行结合，先根据红外图 像的成像特征确定疑似火点标记区域，再将疑似火点标记区域映射到可见光图 像中，可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的 干扰，提升准确度。并且，在可见光图像中仅对感兴趣区域中的图像进行验证， 可减少计算量，提升效率，保证火情监测的实时性。

在上述实施例的基础上，所述疑似火点标记区域具体可为疑似火点矩形标 记区域；所述疑似火点标记区域确定模块具体可用于：根据所述红外图像中的 亮度值分布特点将所述红外图像分割成多个区域，采用矩形标记将亮度值高于 预设亮度阈值的区域圈定为疑似火点矩形标记区域。

在上述实施例的基础上，所述图像获取模块具体可用于：获取当前场景的 红外图像集合和可见光图像，所述红外图像集合中包含n帧对应n个不同时刻 的红外图像。所述疑似火点标记区域确定模块可包括标记单元、目标二值图像 形成单元和疑似火点矩形标记区域确定单元。其中，标记单元，用于对于所述 红外图像集合中的每一帧红外图像，根据亮度值分布特点将当前红外图像分割 成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为矩形标记 区域；将所述当前红外图像中的所述矩形标记区域内的像素标记为1，矩形标记 区域外的像素标记为0。目标二值图像形成单元，用于统计在所述红外图像集合 中的不同红外图像中的相同位置处的像素被标记为1的次数，采用投票机制将 被标记为1的次数不小于预设次数的像素记为1，其他像素记为0，形成目标二 值图像。疑似火点矩形标记区域确定单元，用于对所述目标二值图像进行轮廓 提取，并采用矩形标记圈定疑似火点矩形标记区域。

在上述实施例的基础上，所述映射模块具体可用于：采用图像变换模型将 所述疑似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光 图像中的感兴趣区域；

所述图像变换模型具体为：

$\left(\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right)=\frac{Z_{c1}}{Z_{c2}}{K}_2\left(\begin{array}{cc}R& t\end{array}\right)K_1^{-1}\left(\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right)$

其中，C₁表示红外相机，C₂表示可见光相机；R为C₂相对于C₁的旋转矩阵， t为C₂相对于C₁的位移向量；(u₁,v₁)为空间点在红外图像中的坐标，(u₂,v₂)为所 述空间点在可见光图像中的坐标；K₁为C₁的内参数矩阵，K₂为C₂的内参数矩阵； Z_c1为所述空间点到C₁像平面的距离，Z_c2为所述空间点到C₂像平面的距离。

在上述实施例的基础上，所述映射模块具体可用于：将所述疑似火点标记 区域的轮廓向外延拓预设个像素，形成最终疑似火点标记区域；将所述最终疑 似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光图像中 的感兴趣区域。

在上述实施例的基础上，所述真实火点确定模块具体可用于：将当前感兴 趣区域与预设真火情颜色空间模型进行匹配，得到第一匹配度；将所述当前感 兴趣区域与预设伪火情颜色空间模型进行匹配，得到第二匹配度；若所述第一 匹配度高于所述第二匹配度，则确定当前感兴趣区域为疑似火点区域；对所述 可见光图像中的所有疑似火点区域进行验证，根据验证结果确定所述当前场景 中是否存在真实火点。

上述实施例中提供的基于红外-可见光图像的双光谱森林火情监测装置可 执行本发明任意实施例所提供的基于红外-可见光图像的双光谱森林火情监测 方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描 述的技术细节，可参见本发明任意实施例所提供的基于红外-可见光图像的双光 谱森林火情监测方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽 然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以 上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。