基于新浪微博的冰雹实况信息提取方法和实用性研究

摘要

通过网络爬虫提取新浪微博的冰雹信息,比较文档频率(DF)、词频-逆向文件频率(TF-IDF)、信息增益(IG)、互信息(MI)、卡方检验(CHI)、类间词频方差(DAC)在SVM支持向量机、NB朴素贝叶斯分类器、KNNK近邻分类器、DT决策树以及Google公司BERT模型分类器的训练测试结果,发现互信息(MI)函数分类排序在朴素贝叶斯(NB)分类器训练的模型在对冰雹降雹事件识别准确率较高,制定了冰雹实况提取规则,并提取出冰雹的时间、地点、大小,与山西109个气象台站2010-02-2020-12的观测资料对比,通过微博提取的冰雹实况信息虽然不能替代气象台站的工作,但是有一定参考性.