基于深度学习的Attention机制文献综述

摘要

主要对机器学习中深度学习内应用较广、效果较好的一种Attention注意力机制的相关知识进行了总结。首先从背景、原理、分类、比较、应用场景等方面入手,参考了多篇文献;背景方面,介绍了深度学习、自然语言处理(natural language processing,NLP)的相关技术的研究现状,并明确了Attention在其中的定位;原理方面,由于self-attention的优越性和广泛应用,主要对self-attention进行了阐述;最后对不同的Attention类别进行了整理,依据不同的分类标准,划分了6大类别,并分别对其进行介绍。此外,将经典的卷积神经网络(convolutional neural network,CNN)、循环神经网络(recurrent neural network,RNN)与Attention机制进行对比,进一步明确了Attention在当前的深度学习中的地位,最后对应用场景进行了简要的介绍。