海量数据采集技术在IDC不良信息监测系统中的应用研究

摘要

本文阐述了某电信企业在建设IDC不良信息监测系统过程中,为高效处理每天的海量数据,选取了多种数据采集技术,进行反复方案论证和实验对比,最终选择了"Hadoop脚本+FTP"方式,极大提高了数据采集效率,实现了海量数据高效采集和处理,保证IDC不良信息监测系统能够及时发现和处理IDC中包含的不良信息,助力IDC业务健康发展,避免给国家和社会带来负面影响.