Spark 分布式

Spark 安装

下载地址：https://archive.apache.org/dist/spark/spark-2.4.5/
安装机器：master
版本：spark-2.4.5-bin-without-hadoop-scala-2.12.tgz

下载并解压

wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoop-scala-2.12.tgz -P /opt/software

cd /opt/software

tar -zvxf spark-2.4.5-bin-without-hadoop-scala-2.12.gz

mv /opt/software/spark-2.4.5-bin-without-hadoop-scala-2.12 /opt/servers/spark-2.4.5

配置环境变量

vim /etc/profile

1
2
3

# Spark
export SPARK_HOME=/opt/servers/spark-2.4.5
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

删除多余的.cmd 脚本

1 2	cd $SPARK_HOME/bin rm *.cmd

使其生效

1	source /etc/profile

Spark 配置

复制配置文件模版

cd $SPARK_HOME/conf

cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf
cp slaves.template slaves
cp log4j.properties.template log4j.properties

修改从节点主机名

vim slaves

master
slave1
slave2

vim spark-env.sh 在末尾添加

export JAVA_HOME=/usr/java/jdk1.8.0_202
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
# 默认端口8080 与 zookeeper 8080 端口冲突
export SPARK_MASTER_WEBUI_PORT=8989

export HADOOP_HOME=/opt/servers/hadoop-2.10.1
export HADOOP_CONF_DIR=/opt/servers/hadoop-2.10.1/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/opt/servers/hadoop-2.10.1/bin/hadoop classpath)

备注：这里使用的是spark-2.4.5-bin-without-hadoop,所以要将Hadoop相关jars的位置告诉Spark

vim spark-defaults.conf

spark.master                     spark://master:7077
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://master:9000/spark-eventlog
spark.serializer                 org.apache.spark.serializer.KryoSerializer
spark.driver.memory              512m

创建HDFS目录：hadoop fs -mkdir /spark-eventlog
备注：

spark.master。定义master节点，缺省端口号7077
spark.eventLog.enabled。开启eventLog
spark.eventLog.dir。eventLog的存放位置
spark.serializer。一个高效的序列化器
spark.driver.memory。定义driver内存的大小（缺省1G)

将 spark 分发到其他节点中

1 2	cd /opt/servers rsync-script spark-2.4.5

其他节点配置 Spark 环境变量

vim /etc/profile 

# Spark
export SPARK_HOME=/opt/servers/spark-2.4.5
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

启动集群

要在主节点上启动集群
关掉 Yarn 对应的服务
启动 Dfs 服务

1
2
3

start-dfs.sh
cd $SPARK_HOME/sbin
./start-all.sh

访问 web 界面 http://master:8989

集群测试

1	run-example SparkPi 10

HA 高可用

启动 zookeeper
修改 spark-env.sh

# 注释以下两行
#export SPARK_MASTER_HOST=master
#export SPARK_MASTER_PORT=7077

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master,slave1,slave2 -Dspark.deploy.zookeeper.dir=/spark"

备注：

spark.deploy.recoveryMode:可选值Zookeeper、FileSystem、None
ploy.zookeeper.url:Zookeeper的URL,主机名：端口号（缺省2181)
loy.zookeeper.dir:保存集群元数据信息的地址，在ZooKeeper中保存该信息

分发到其他节点

1	rsync-script spark-env.sh

启动spark集群

1	$SPARK_HOME/sbin/start-all.sh

在 slave1 启动一个master

1	$SPARK_HOME/sbin/start-master.sh

此时如果 kill 掉 master节点的 Master 服务，那么 slave1的Master服务就会开始提供服务