基于领域自适应的无监督文本关键词提取模型——以“人工智能风险”领域文本为例

摘要

[目的/意义]针对专业领域研究人员难以从大量无监督文本数据中快速获取领域关键知识,以精准把握专业研究方向和内容。[方法/过程]文章提出一种基于迁移学习领域自适应的文本关键词提取模型。首先通过采集中国知网中特定领域的文章和关键词,将其作为目标域数据,将待提取关键词的无监督文本作为源域数据,通过最小化二者间的共享相似特征和关键词分类交叉熵,实现关键词提取方法的跨领域迁移,完成对无监督领域文本的关键词提取任务。[结果/结论]对1313篇“人工智能风险”主题的文章进行领域关键词提取,实验表明该领域关键词提取模型相比于BiLSTM-CRF、TF-IDF模型提取效果提升显著,在领域关键知识提取场景中有较强应用价值。