一种基于脚本自动化部署Hadoop和Spark集群的方法

摘要

本发明涉及.一种基于脚本自动化部署Hadoop和Spark集群的方法，包括以下步骤：S1.用户提供配置文件模板、参数配置文件、源文件、脚本文件并放在同一文件夹下；S2.任选一节点，以Hadoop用户执行生成配置脚本，脚本文件将参数配置文件中的参数写入到配置文件模板中，生成实际可用配置文件；S3.任选一节点，以Hadoop用户执行安装脚本，安装脚本首先会在本机执行并自动进行环境配置，然后会ssh到其他节点执行安装脚本并自动进行环境配置；S4.用户测试Hadoop和Spark环境是否搭建成功。