基于HardSoftmax的并行选择核注意力

摘要

注意力被广泛地运用在卷积神经网络中,并有效地提升了卷积神经网络的性能.同时,注意力是非常轻量的,且几乎不需要改变卷积神经网络原来的架构.提出了基于HardSoftmax的并行选择核注意力.针对Softmax包含指数运算,对于较大的正输入很容易发生计算溢出的问题,提出了计算更安全的HardSoftmax来替换Softmax.不同于选择核注意力将全局特征的提取和转换放在特征融合之后,并行选择核注意力将全局特征的提取和转换单独放在一个分支,与具有不同核大小的多个分支构成并行结构.同时,并行选择核注意力的全局特征转换使用分组卷积,进一步减少参数量和计算量.并行选择核注意力通过HardSoftmax注意来关注不同核大小的多个分支.一系列的图像分类实验表明,只是简单地用HardSoftmax替换Softmax,也能保持或提升原注意力的性能.HardSoftmax的运行速度在实验中也比Softmax更快速.并行选择核注意力能够以更少的参数量和计算量追平或超越选择核注意力.