融合主题模型和注意力机制的政策文本分类模型

摘要

[目的/意义]从政策文本的内容特征分析和语义特征表示出发,利用基于深度学习的政策文本分类模型,提高政策文本分类的效果,发挥和利用政策文本所蕴含的巨大价值.[方法/过程]以LDA主题模型和注意力机制为核心,构建政策文本表示和分类的一体化框架,即利用LDA模型和改进的TextRank模型增强政策文本表示效果,采用CNN-BiLSTM-Attention集成模型提取政策文本内涵特征,提升政策文本分类的效果和准确度.[结果/结论]对比实验表明,与单一模型相比,文章所提的集成模型对政策文本分类的准确率更高,且使用主题模型增强政策文本表示效果后,能够进一步促进模型分类的准确率,而融入注意力机制对特征进行权重分配后,模型的分类准确率达到最高,其F1值为91.11％.[局限]未充分挖掘和利用政策文本的功能属性和结构特征,缺乏对政策文本类别不均衡问题的考虑.