网络舆情与上证指数涨跌幅的关联性分析——基于LDA主题模型的文本挖掘

摘要

基于对网络信息进行LDA主题模型的文本挖掘和实证分析，考察网络舆情的变化与上证指数的涨跌幅之间的关联性。编写网络爬虫抓取“今日头条”网站中的一千三百余万条帖子，通过LDA主题模型的方法将网络新闻和帖子分为100类主题，考察各类主题在每天的网络舆情中所占的比重及其变化情况。分析结果显示，网络舆情中部分主题所占比重的变化情况，与上证综指涨跌幅之间具有关联性＆这既反映着网络舆情作为“社会传感器”与金融市场中的社会后果之间的关联，也从网络信息挖掘的角度为有限理性和有限注意力背景下的行为经济学研究提供有益路向。