一种基于语义、时间和社交关系的中文微博话题检测方法及系统

摘要

本发明提供一种基于语义、时间和社交关系的中文微博话题检测方法及系统，用以解决话题检测中微博数据由于文本短小、口语化和一词多义等缺点导致的话题检测效果不佳的问题，该方法包括步骤：采集一定时间间隔上的相关话题的微博数据；使用预训练语言模型BERT(Bidirectional Encoder Representation from Transformers)在采集的微博数据上进行预训练；通过预训练好的BERT模型对微博文本进行向量化表示，得到基于上下文语义的微博语义表示；提出综合考虑时间因素和微博之间转发关系的文本聚类算法，从而解决传统微博话题检测仅考虑文本语义相似的问题。本发明主要用于微博搜索的任务，利用相关微博的话题检测结果来提高微博搜索命中率。