一种基于Sqoop的数据交换系统

摘要

Hadoop是一个可开源提供分布式服务的平台，由于其具有高可靠、高效、高容错性和很强的横向扩展性，因此在大数据领域应用非常广泛，是当今大数据行业的热门。为了将关系型数据库中的数据导入到Hadoop集群中，以达到利用Hadoop本身的优点对数据进行存储、分析、处理的目的，并且在数据传输过程中兼顾传输效率和数据质量。本系统使用一种开源的数据传输工具Sqoop将关系型数据库中的数据导入到Hadoop平台上的分布式文件系统（HDFS）、非关系型数据库（HBase）、关系型数据仓库（Hive）中存储，从而实现数据交换。经测试，该系统可以完成数据交换的功能，系统总的传输速度可以达到20000条/秒。在网络畅通的条件下，没有数据丢失，保证了数据质量，可实现数据的高效、可靠传输。