一种基于神经聚类方法的近似注意力系统及方法

摘要

本发明公开了一种基于神经聚类方法的近似注意力系统及方法,该系统包括基于神经聚类方法的词向量聚类模块，基于神经聚类方法的近似注意力模块，注意力输出模块；所述词向量聚类模块使用神经聚类方法将词向量进行聚类并对质心向量进行更新；所述近似注意力模块通过将词向量用相应质心向量代替去近似全局注意力机制，并通过公式化简达到提升模型效率(时间和显存)的效果；注意力输出模块结合残差结构以及标准化操作，对词向量的最终表示和质心向量的最终表示作进一步的处理，以提高模型的性能；本发明克服了基于自注意力机制的Transformer系统复杂度高，运行速度慢，以及显存占用大的问题。