融合ASPP-Attention和上下文的复杂场景语义分割

摘要

现有模型主要有两种方法提高复杂场景语义分割精度,一是考虑像素之间的空间关系,二是扩大感受野.前者常采用条件随机场但会产生高额计算量,后者常采用金字塔分辨率方法但在上下文表示方面依旧不够明确.针对复杂场景下的语义分割问题,提出Fusion ASPP-Attention and Context Semantic for Segmentation Generative Adversarial Networks(ACSSGAN)算法.生成式对抗网络自主学习数据之间的分布规律,可以解决忽略像素之间的空间关系问题.引入Atrous Spatial Pyramid Pooling (ASPP)结构的Self-Attention机制,实现多尺度特征提取来增加前景目标特征的权重.设计了Context Semantic Encoding模块,将高层语义信息与低层语义信息融合引入空间上下文.基于提出的ACSSGAN,在PASCAL VOC 2012上获得了90.0％的测试性能,同时在恐怖主义图像场景理解也取得了44.8％的测试性能.实验结果证明本文所提方法具有可行性.