基于多头注意力机制的特征提取方法及语音命令识别方法

摘要

本申请揭示了一种基于多头注意力机制的特征提取方法及语音命令识别方法、装置、存储介质以及计算机设备，其中基于多头注意力机制的特征提取方法包括：获取第一特征矩阵；将第一特征矩阵输入预设的全连接层进行计算得到第二特征矩阵，第二特征矩阵的列数为N；将第二特征矩阵输入预设的多头注意力机制网络进行计算，得到第三特征矩阵，多头注意力机制网络包括M层多头注意力机制层，每层所述多头注意力机制层的注意力头数量为K，其中，每层的K分别为N的不同约数，且M为N所有约数的个数，这样只需一层全连接层以及多层不同的多头注意力机制层即可有效的实现特性提取，减少了由于多个全连接层所带来的巨大参数量，大大地降低计算量。