Spark应用(app jar)发布到Hadoop集群的过程

438次阅读

共计 1630 个字符，预计需要花费 5 分钟才能阅读完成。

记录了 Spark，Hadoop 集群的开启，关闭，以及 Spark 应用提交到 Hadoop 集群的过程，通过 web 端监控运行状态。

1. 绝对路径开启集群

（每次集群重启，默认配置的 hadoop 集群中 tmp 文件被清空所以需要重新 format)
我的集群安装位置是 /opt/hadoop 下，可以根据自己路径修改。

/opt/hadoop/bin/hdfs namenode -format

/opt/hadoop/sbin/start-all.sh
/opt/spark/sbin/start-all.sh

使用 jps 命令查看集群是否全部正确开启
Spark 应用 (app jar) 发布到 Hadoop 集群的过程

2. 绝对路径关闭集群

/opt/hadoop/sbin/stop-all.sh
/opt/spark/sbin/stop-all.sh

3.Spark 业务 (app) 发布到 Hadoop YARN 集群方式

这里发布一个 spark 本身自带的 jar 发到 hadoop 集群中（此时 hadoop 和 spark 都已开启）

cd /opt/spark

./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
lib/spark-examples-1.6.2-hadoop2.6.0.jar \
10

注意 spark-examples-1.6.2-hadoop2.6.0.jar，需要根据你的版本来看自带的版本号。
Spark 应用 (app jar) 发布到 Hadoop 集群的过程

4.log 地址(方便查看错误信息)

/opt/hadoop/logs/
/opt/spark/logs/

5.web 地址查看（可以直观的查看集群执行情况）

http://localhost:8088/cluster/apps
http://localhost:8080/
通过 http://localhost:8088/cluster/apps 看到执行成功 SUCCEEDED
Spark 应用 (app jar) 发布到 Hadoop 集群的过程
查看 SparkPi 运行结果，结果为 Pi is roughly 3.140572。数值可能稍有不同。总之成功了！

Spark 应用 (app jar) 发布到 Hadoop 集群的过程

下面关于 Hadoop 的文章您也可能喜欢，不妨看看：

CentOS7.2 下 Hadoop2.7.2 集群搭建 http://www.linuxidc.com/Linux/2016-07/133644.htm

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址：http://www.linuxidc.com/Linux/2016-08/134132.htm