互补注意多样性特征融合网络的细粒度分类

摘要

目的基于Transformer架构的网络在图像分类中表现出优异的性能。然而,注意力机制往往只关注图像中的显著性特征,而忽略了其他区域的次级显著信息,基于自注意力机制的Transformer也是如此。为了获取更多的有效信息,从有区别的潜在性特征中学习到更多的可判别特征,提出了一种互补注意多样性特征融合网络(complementary attention diversity feature fusion network,CADF),通过关注次显特征和对通道与空间特征协同编码,以增强特征多样性的注意感知。方法CADF由潜在性特征模块(potential feature module,PFM)和多样性特征融合模块(diversity feature fusion module,DFFM)组成。PFM模块通过聚合空间与通道中感兴趣区域得到显著性特征,再对特征的显著性进行抑制,以强制网络挖掘潜在性特征,从而增强网络对微小判别特征的感知。DFFM模块探索特征间的相关性,对不同尺寸的特征交互建模,以得到更加丰富的互补信息,从而产生更强的细粒度特征。结果本文方法可以端到端地进行训练,不需要边界框和多阶段训练。在CUB-200-2011(Caltech-UCSD Birds-200-2011)、Stanford Dogs、Stanford Cars以及FGVC-Aircraft(fine-grained visual classification of aircraft)4个基准数据集上验证所提方法,准确率分别达到了92.6%、94.5%、95.3%和93.5%。实验结果表明,本文方法的性能优于当前主流方法,并在多个数据集中表现出良好的性能。在消融研究中,验证了模型中各个模块的有效性。结论本文方法具有显著性能,通过注意互补有效提升了特征的多样性,以此尽可能地获取丰富的判别特征,使分类的结果更加精准。