一种并行分布式大数据架构构建方法及系统

摘要

本申请公开了一种并行分布式大数据架构构建方法及系统。所述并行分布式大数据架构构建方法包括生产者端的搭建及数据连接器端的搭建，所述生产者端的搭建方法包括：加载指定的序列化策略；完成生产属性配置；对预备发送数据进行avro序列化；对avro序列化后的数据进行内存填充，并形成kafka消息，发送至kafka消息队列中；数据连接器端的搭建方法包括：读取Dataframe，并完成预置的组态配置；加载指定序列化策略并执行反序列化；使用spark微批处理形式进行数据库或数据表的写入。本申请解决了国产超级计算机不能持久化存储海量数据的问题。