中国科协'智慧科协'工程支撑保障系列平台建设——中国科协数据中心的建设与应用

摘要

2018年初,中国科协提出建设"智慧科协"一号工程,以此实现"泛在永不落幕的网上科协".在此大背景下,中国科协信息中心于2018年6月启动了"中国科协数据中心技术平台建设"工作.通过该项工作建成了集汇聚中心、治理中心和调度中心于一体的大数据技术平台,实现了科协内外部数据的采集、存储、治理、开放共享、应用等功能.系统由基础设施层、数据存储计算层、数据工具层和数据服务层等四层结构组成,通过对Yarn,HDFS,MR,Spark,Kafka等分布式存储计算引擎的整合,为整个大数据平台提供了基础能力.在建成技术平台的同时,按照"应连尽连、全面覆盖"的工作原则,开展面向科协系统"一体两翼"的数据汇聚和清洗工作,最终形成了数据服务大厅,面向科协内部,社会机构与公众提供大数据服务,尝试解决"智慧科协"建设过程中面临的数据分散、标准不一致、共享互通难和大数据应用不足等难题.