基于分布式网络爬虫与NLP的资本市场舆情监测方法

摘要

本发明公开一种基于分布式网络爬虫与NLP的资本市场舆情监测方法，包括基于云服务器的分布式爬虫模块和金融文本NLP分析系统；基于云服务器的分布式爬虫，实现多进程、周期更新的公开信息抓取，并可根据使用需求快速调整系统规模；构建金融分词库、正负情感词库，通过混合样本检验、模糊聚类等算法在语料库构建过程中降低了人工标注的成本，基于监督学习算法计算文本的正、负情感倾向概率，并采用自编码器算法合成情绪指数，提高了情感判断的准确率；本发明的分布式的架构避免单一节点故障造成的系统崩溃，重构的金融情感词库与文本分析算法提升了情绪指数的效度，动态反映市场情绪，为使用者提供实时的资本市场数据。