时空和跨模态一致性的低秩稀疏分解运动目标检测

摘要

运动目标检测主要目的是从视频序列的背景中提取出运动的目标。在智能视频监控技术中，运动目标检测处在最底层，是理解和分析图像内容最关键一步。此外，运动目标检测的精度对后续目标识别、行为理解等起着至关重要的作用。 近年来，基于矩阵低秩稀疏分解方法受到学者们高度关注，并成功运用在运动目标检测上，但是在复杂环境和极端条件下，其算法的鲁棒性较低，且检测的目标区域信息不完整。例如，当监控场景在黑暗、浓雾、遮挡等条件下，检测精度低甚至无法检测。本文针对以上问题对矩阵低秩稀疏分解方法开展相关研究，具体研究工作和贡献如下: (1)针对引入时序信息和运动目标检测区域信息不完整等问题，提出基于低秩稀疏分解的追求高阶结构一致性的运动目标检测。监控视频一般每秒20-30帧，视频数据中存在大量冗余且具有强相关性。在连续短时间内，视频帧中的运动目标具有一致性。将视频帧之间的时序关系运用到运动目标检测算法中，将有助于提高检测的精度和鲁棒性。首先，通过视频分割算法获得视频帧的超体素信息，超像素是指高阶/三维体素，在时序和空间上具有相同的外观特征。利用超体素的时序信息并结合高阶势能函数构造前景目标像素之间的时序约束。为了使检测的目标区域更加精准，利用超体素的区域结构信息作为先验知识，构造空间结构约束。最后将时序约束和空间结构约束加入到低秩稀疏分解模型上，并利用SOFT-IMPUTE和图割算法联合优化求解获得低秩背景矩阵和稀疏前景掩模。在GTFD和CDnet14数据集上充分验证了所提出方法的有效性。 (2)针对低光照、遮挡等复杂场景检测准确率低的问题，提出跨模态一致性的运动目标检测算法。可见光相机拍摄的视频一般具有高分辨率，丰富的颜色、纹理和空间结构特征，但是易受光线的影响。热红外相机通过场景物体热辐射成像，在低光照、遮挡、烟雾等环境下均可很好成像，但是易受温度的影响。为了有效地利用两个模态信息的互补性，提高运动目标检测的健壮性，本文提出更加鲁棒的多模态运动目标检测算法，在低秩稀疏分解框架下提出追求互异模态之间的跨模态一致性约束。不同于现有的多模态运动目标检测算法，通过加法法则融合两个模态的信息或强制要求两个模态共享前景掩模矩阵，而忽视模态中物体成像的差异性。本文在低秩稀疏分解模型基础上，对可见光和热红外图像对进行构图，并提出跨模态一致性约束，自适应学习两个模态之间的互补信息，并引入外观一致性约束，提高运动目标检测的精度。在GTFD多模态数据集上进行测试，实验结果表明该方法可以有效融合两个模态的信息，并且一定程度上可以抑制模态信息不匹配的问题，实现更加鲁棒的运动目标检测。