基于统计因果性及最优传输的文本分类模型

摘要

近年来随着数据规模和算力水平的提高,深度学习及相关预训练模型如CNN、BERT等在文本分类领域取得了较快的进展。但这些模型仍然有提取分布特征能力不强、泛化性能较差等问题。目前针对这一问题,常见的做法是改进模型的结构或者扩充训练的数据集来改善性能,然而这些方法依赖于大量数据集和大量算力的网络结构修剪。因此提出一种基于格兰杰因果关系检验和最优传输理论的深度学习预训练模型优化方法。从数据分布角度出发,生成深度学习预训练模型中能够稳定提取分布信息的特征通路结构。在此基础上,基于最优传输距离给出特征通路结构的最优组合,生成在统计分布上具有稳定性的多视角结构化表征。理论分析和实验结果表明,该方法大幅降低了模型优化过程中数据和算力的要求。对比基于卷积结构的预训练模型如CNN,在20ng news、Ohsumed、R8数据集上分别有5、7和2个百分点的提升,对比基于Transformer结构的预训练模型如BERT分别有2、3和2个百分点的提升。