良许Linux教程网 干货合集 详解Spark集群搭建具体方法

详解Spark集群搭建具体方法

spark是一个用于大规模数据处理的统一计算引擎。适用于各种各样原先需要多种不同的分布式平台处理的场景,包括批处理、迭代计算、交互式查询、流处理。通过统一的框架将各种处理流程整合到一起,下面为大家详细讲解一下spark集群搭建具体方法。

详解Spark集群搭建具体方法

1 解压缩文件

将spark-3.0.0-bin-hadoop3.2.tgz.tgz文件上传到Linux并解压缩在指定位置

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module  
mv spark-3.0.0-bin-hadoop3.2 spark-standalone

2 修改配置文件

\1) 进入解压缩后路径的conf目录,修改slaves.template文件名为slaves

mv slaves.template slaves

\2) 修改slaves文件,添加work节点

hadoop102hadoop103hadoop104

\3) 修改spark-env.sh.template文件名为spark-env.sh

mv spark-env.sh.template spark-env.sh

\4) 修改spark-env.sh文件,添加JAVA_HOME环境变量和集群对应的master节点

export JAVA_HOME=/opt/module/jdk1.8.0_212
SPARK_MASTER_HOST=hadoop102SPARK_MASTER_PORT=7077

注意:7077端口,相当于hadoop3.x内部通信的8020端口,此处的端口需要确认自己的虚拟机配置

\5) 分发spark-standalone目录

xsync spark-standalone

3 启动集群

\1) 执行脚本命令

sbin/start-all.sh

\2) 查看三台服务器运行进程

================hadoop102================
3330 Jps
3238 Worker
3163 Master
================hadoop103================
2966 Jps
2908 Worker
================hadoop104================
2978 Worker
3036 Jps

\3) 查看Master资源监控Web UI界面: http://hadoop102:8080

4 提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

–class表示要执行程序的主类

–master spark://hadoop102:7077 独立部署模式,连接到Spark集群

spark-examples_2.12-3.0.0.jar 运行类所在的jar包

数字10表示程序的入口参数,用于设定当前应用的任务数量

执行任务时,会产生多个Java进程 大数据Spark集群模式配置大数据Spark集群模式配置 大数据Spark运行环境:Standalone模式与配置详解 执行任务时,默认采用服务器集群节点的总核数,每个节点内存1024M。

5 配置历史服务

由于spark-shell停止掉后,集群监控hadoop102:4040页面就看不到历史任务的运行情况,所以开发时都配置历史服务器记录任务运行情况。

\1) 修改spark-defaults.conf.template文件名为spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

\2) 修改spark-default.conf文件,配置日志存储路径

spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://hadoop102:8020/directory

注意:需要启动hadoop集群,HDFS上的directory目录需要提前存在。

sbin/start-dfs.sh
hadoop fs -mkdir /directory

\3) 修改spark-env.sh文件, 添加日志配置

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory
-Dspark.history.retainedApplications=30"

注:写成一行!!空格隔开!!!

参数1含义:WEB UI访问的端口号为18080

参数2含义:指定历史服务器日志存储路径

参数3含义:指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。

\4) 分发配置文件

xsync conf

\5) 重新启动集群和历史服务

sbin/start-all.shsbin/start-history-server.sh

\6) 重新执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

\7) 查看历史服务:http://hadoop102:18080

6 配置高可用(HA)

所谓的高可用是因为当前集群中的Master节点只有一个,所以会存在单点故障问题。所以为了解决单点故障问题,需要在集群中配置多个Master节点,一旦处于活动状态的Master发生故障时,由备用Master提供服务,保证作业可以继续执行。这里的高可用一般采用Zookeeper设置

集群规划: 大数据Spark集群模式配置大数据Spark集群模式配置 \1) 停止集群

sbin/stop-all.sh

\2) 启动Zookeeper

\3) 修改spark-env.sh文件添加如下配置

注释如下内容:
#SPARK_MASTER_HOST=hadoop102#SPARK_MASTER_PORT=7077
添加如下内容:#Master监控页面默认访问端口为8080,但是会和Zookeeper冲突,所以改成8989,也可以自定义,访问UI监控页面时请注意
SPARK_MASTER_WEBUI_PORT=8989
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 -Dspark.deploy.zookeeper.dir=/spark"
注:写成一行!!空格隔开!!!

\4) 分发配置文件

xsync conf/

\5) 启动集群

sbin/start-all.sh

\6) 启动hadoop103的单独Master节点,此时hadoop103节点Master状态处于备用状态

[bigdata@hadoop103 spark-standalone]$ sbin/start-master.sh

\7) 提交应用到高可用集群

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

\8) 停止hadoop102的Master资源监控进程

\9) 查看hadoop103的Master 资源监控Web UI,稍等一段时间后,hadoop103节点的Master状态提升为活动状态

以上就是良许教程网为各位朋友分享的Linux系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你 !

img
本文由 良许Linux教程网 发布,可自由转载、引用,但需署名作者且注明文章出处。如转载至微信公众号,请在文末添加作者公众号二维码。
良许

作者: 良许

良许,世界500强企业Linux开发工程师,公众号【良许Linux】的作者,全网拥有超30W粉丝。个人标签:创业者,CSDN学院讲师,副业达人,流量玩家,摄影爱好者。
上一篇
下一篇

发表评论

邮箱地址不会被公开。 必填项已用*标注

联系我们

联系我们

公众号:良许Linux

在线咨询: QQ交谈

邮箱: yychuyu@163.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部