一种基于大数据技术提升数据交换效率的构建方法

摘要

本发明提出一种基于大数据技术提升数据交换效率的构建方法，其特征在于，包括：1）中心端的构建步骤；建立中心数据库，其中包括基于RDBMS的基础信息库和基于HDFS的交换数据库；建立桥接接口，其中包括基于Flume和Kafka系统的采集服务程序、分发服务程序，Flume用于收集各种来源、形式的数据，并把数据传给Kafka集群，由Kafka集群统一分发给大数据集群进行处理；2）数据提供方或数据使用方的构建步骤；建立业务系统、业务库和桥接接口；3）数据使用方的构建步骤；建立业务系统、业务库和桥接接口。本发明可有效扩展可存储的数据类型，同时分布式的技术可大大提升数据读取与写入的效率，使平台得到较高的吞吐量和可靠性，从而可处理海量的数据及数据交换任。