基于互联网大数据的事件智能抓取和画像

摘要

cqvip:文章主要以航空公司为背景,通过爬虫获取和航班量相关的事件信息,并且对这些事件进行智能抓取和建模画像,主要采用了URL去重算法和4种分布式调度算法进行事件抓取,通过近义词匹配进行事件去重,最后对抓取的事件进行画像建模和可视化展现。