基于Linux构建Hadoop高性能服务器集群

摘要

随着大多数企业在生产过程中对并行计算要求的提高,而且Hadoop框架已成为当今大数据时代的关键部件,构建高性能的Hadoop服务器集群已成为大势所趋.文章介绍了如何在Linux下实现Hadoop高性能服务器集群的搭建,并且创建了一个hadoop账号,对帐号的home目录下的hadoop文件夹中相关的6个配置文件进行配置.针对这些关键的配置文件,设置hdfs.replication配置文件块的副本数,完成Map和Reduce任务数的配置,通过和硬件的结合来使Hadoop服务器性能达到最优.