事无巨细 Spark 1.6.1 集群环境搭建

还是在之前的Hadoop集群环境上继续搭建Spark-1.6.1环境

下载安装

下载Spark并解压

wget http://mirrors.cnnic.cn/apache/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz
tar -xvzf spark-1.6.1-bin-hadoop2.6.tgz -C /home/dps-hadoop/

改个舒服的名字

mv spark-1.6.1-bin-hadoop2.6/ spark-1.6.1

配置环境变量

同样，修改.bashrc文件

vim ~/.bashrc

添加内容

export SPARK_HOME=$HOME/spark-1.6.1
export PATH=$PATH:$HOME/bin:$HIVE_HOME/bin:$SPARK_HOME/bin

立即生效

source ~/.bashrc

配置Spark

拷贝一份配置文件模版

cp conf/slaves.template conf/slaves

修改slaves内容如下

master
slave15
slave16

其余走默认(这点来看，Spark真的很方便)，将安装包拷贝到集群的其他节点。

scp -r spark-1.6.1/ slave15:~/
scp -r spark-1.6.1/ slave16:~/

启动集群

启动主节点

sbin/start-master.sh

启动从节点

sbin/start-slaves.sh

通过 Web UI查看，一切ok

所有代码已上传至Github：https://github.com/lihongzheshuai/yummy-code

GESP 学习专题站：GESP WIKI

"luogu-"系列题目可在洛谷题库进行在线评测。

"bcqm-"系列题目可在编程启蒙题库进行在线评测。

欢迎加入：Java、C++、Python技术交流QQ群(982860385)，大佬免费带队，有问必答

欢迎加入：C++ GESP/CSP认证学习QQ频道，考试资源总结汇总

欢迎加入：C++ GESP/CSP学习交流QQ群(688906745)，考试认证学员交流，互帮互助

GESP/CSP 认证学习微信公众号