基于交叉注意力蒸馏Transformer的花粉图像分类方法

摘要

一种基于交叉注意力蒸馏Transformer的花粉图像分类方法，利用两个网络训练数据，两个网络互为对方的老师；网络一将图片编码为图片令牌，并加入Class令牌和蒸馏令牌；利用再注意力Transformer模块计算所有令牌的全局关联性；采用动态令牌稀疏化模块修剪掉冗余图片令牌，提高吞吐量；网络二将图片通过卷积运算编码为图片令牌，增加对图片令牌内部信息的建模，并加入Class令牌和蒸馏令牌；利用卷积投影以动态的卷积注意力机制来实现图片令牌的局部和全局像素信息的融合；本发明使两个网络通过各自的蒸馏令牌在蒸馏损失部分与老师网络的输出空间进行交互，学习老师网络的特征空间表达，最后输出分类结果。