基于BERT和GCN的引文推荐模型

摘要

采用一个组织良好的数据集和基于深度学习的模型,实现根据上下文获得论文的引文推荐.模型包括一个文档编码器和一个上下文编码器,使用图卷积网络层(GCN)和预训练模型BERT[1]的双向编码器表示.通过修改相关的PeerRead数据集,建立一个PeerReadPlus新数据集,它包含引用文献的上下文语句和论文元数据.结果表明,在采用BERT进行上下文编码,改进上下文侧的表示学习后,该模型的性能获得了显著的提升,平均精度均值(MAP)和召回率(Recall@K)均提高了28％以上.