一种基于大数据的实时政务数据处理系统

摘要

本发明公开了一种基于大数据的实时政务数据处理系统，包括数据实时采集子系统和数据实时处理子系统，其中，所述数据实时采集子系统和数据实时处理子系统通过数据管道相连，所述数据管道用于缓存实时采集数据子系统输出的数据，供数据实时处理子系统按规则抓取，所述数据实时处理子系统将处理好的数据发送给客户端进行实时展示。本发明提供的基于大数据的实时政务数据处理系统，能够提高数据采集的覆盖率与准确率，实现高效的数据去重和异常处理，并能保证整个大数据处理的实时性与稳定性。