一种多语言新闻主题词的分词方法

摘要

本发明提供一种多语言新闻主题词的分词方法，属于数据挖掘技术领域，具体包括：基于新闻的发布时间、题目中的关键词、分类确定待提取文本的临近领域，构建模型的源域模块，采集待提取文本的所述临近领域的有标签数据，构建源域数据集，构建目标域模块，将待提取主题词的领域文本视为目标数据集；构建领域文本主题词提取预训练模型，在进行预训练模型训练时，对于不同语种的词向量的表征，分别选择不同的预训练模型，采用迁移成分分析的方法，对预训练模型进行优化，获得邻域文本主题词提取模型，获得待提取领域文本的主题词标签，获取领域文本主题词，从而更好的实现了对多语言的新闻主题词的准确高效分词。