文本预处理后的LDA模型主题发现与技术演进研究

摘要

[目的]在科技情报资源快速增长的环境下,通过大文本数据分析快速发现研究主题,且进一步挖掘各研究主题下的技术发展与变化,对做出全面快速响应的科技情报工作有着重要的意义。[方法]针对大文本数据,利用Python实现了文本预处理后的LDA模型主题发现与技术演进,首先构建文本预处理泛化模型,实现技术词自动识别处理;然后基于技术词进行LDA模型构建及可视化,来识别研究主题;最后基于技术词构建技术演进的计算模型,来进一步挖掘技术的发展与变化。[结果]文章以SiC技术领域43621项专利为分析对象进行了实践,包括文本预处理、主题发现及可视化、某主题下技术发展和变化分析等全流程,处理畅通且用时很短(案例全程历时约10分钟)。[局限]文章提出的LDA各主题下技术演进模型中,文档只与其相关度最大的主题关联,尚未对文档多主题关联情况下的演进效果进行对比,后续有待进一步优化验证。[结论]文章提出的方法对快速全面把握一个科技领域有着重要作用,通过主题的识别以及主题之下的技术发展变化,可以以不同的颗粒度去研究一个科技领域,并对后续的调研分析提供有价值的线索。