一种基于事件驱动的公文数据采集和处理系统及其方法

摘要

本发明公开了一种基于事件驱动的公文数据采集和处理系统及其方法，属于大数据技术领域，包括：数据采集服务模块，数据清洗服务模块，数据抽取计算服务模块，数据索引服务模块，日志模块；其采集和处理方法包括：分布式数据采集方式中的分布式爬虫抓取发布在网站上的公文数据，发送给数据采集服务模块处理，在通过数据抽取计算服务模块进行抽取计算，然后通过数据索引服务模块入库存放于数据库中，日志模块记录整个采集与处理过程。本发明采用分布式爬虫进行各个公文发布网站进行抓取，有效解决海量多源异构公文数据的采集和处理时效问题。