基于网络爬虫的民用运力数据获取

摘要

为解决军事交通运输民用运力数据获取难的问题,采用主题网络爬虫的方法获取相关数据,在Shark-Search算法基础上,考虑URL结构对主题相关度的影响,使用朴素贝叶斯模型,结合TF-IDF算法对主题相关度进行计算.实验表明,该方法可靠有效,可以作为民用运力数据获取的一种补充手段.