面向连续图像序列的语义分割

摘要

为弥补传统语义分割模型忽略时间维度上信息的不足,文中提出一种时间连续的语义分割模型。该模型在经典的U-Net语义分割模型基础上,利用前几帧分割的结果,添加时间维度上的图像特征模块;再通过特征融合模块对各部分的特征图进行融合;最后,利用融合的特征对像素进行分类。为验证所提出模型的分割效果,采集连续图像数据集并利用Labelme对其进行标注,在该数据集上进行训练和测试。结果表明,在同等条件下,基于时间连续的语义分割模型在Dice系数、精确率和召回率方面均高于U-Net网络,对运动模糊图像的语义分割效果也较好,说明该方法能够改善语义分割效果。