一种基于自注意力机制的可控可解释司法文本分类方法

摘要

本发明涉及一种基于自注意力机制的可控可解释司法文本分类方法，属于自然语言处理文本分类领域。该方法提出了Leadformer模型，在Leadformer上人为的设定每个头的作用，分为关键词头与多粒度上下文头，做到宏观上的可控可解释，在关键词头上，以自注意力机制为着力点，采用多任务学习，文本分类任务结合关键词抽取任务，使模型受人为控制地注意在可作为分类解释的词语上，做到微观上的可控可解释。本发明应用于司法领域，能够在高准确率分类的同时，给出分类的解释，并且人为控制注意力矩阵注意在与此类案由相关的关键词上，使相关人员能信任此分类结果。