Spark2.0.2+Zeppelin0.6.2 环境搭建入门初探

484次阅读

没有评论

共计 2835 个字符，预计需要花费 8 分钟才能阅读完成。

首先一点想说的是版本问题，为什么标题我会写清楚版本号呢！原因就是版本不对真的很会坑人。

就在写这篇文章的同一天，我还写了另一篇，是

Hadoop2.7.3+Spark2.1.0 完全分布式环境搭建全过程 http://www.linuxidc.com/Linux/2017-06/144926.htm

坑人的地方在哪里呢，Zeppelin0.6.2 不支持 Spark2.1.0 这个版本

于是我又仔细的查看了官网的教程：

得出的结论是我必须要装老版本的，还好的是支持 Spark2.0，于是我又安装了 Spark2.0.2

不过呢如果你没有任何的集群环境，上面这篇是值得参考的，只不过你得自己改下版本号，从 2.1.0 到 2.0.2，其他完全一样。

wget http://www-eu.apache.org/dist/zeppelin/zeppelin-0.6.2/zeppelin-0.6.2-bin-all.tgz

tar -xvf zeppelin-0.6.2-bin-all.tgz
mv zepplin-0.6.2-bin-all /opt

网络安装版需要运行下面的命令：

./bin/install-interpreter.sh --all

而完整版不需要，直接进入到 zeppelin 的根目录修改配置文件即可。

cd zepplin-0.6.2-bin-all

export Java_HOME=/usr/java/jdk1.8.0_112/
export MASTER="spark://master:7077"
export SPARK_HOME=/opt/spark-2.0.2-bin-hadoop2.7/
export HADOOP_HOME=/opt/hadoop-2.7.3/
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

为了防止端口冲突我们将 8080 改为 8099，具体情况要看自己的机子决定：

<property>
  <name>zeppelin.server.port</name>
  <value>8099</value>
  <description>Server port.</description>
</property>

修改之前的启动脚本为:

#!/bin/bash
echo -e "\033[31m ========Start The Cluster======== \033[0m"
echo -e "\033[31m Starting Hadoop Now !!! \033[0m"
/opt/hadoop-2.7.3/sbin/start-all.sh
echo -e "\033[31m Starting Spark Now !!! \033[0m"
/opt/spark-2.0.2-bin-hadoop2.7/sbin/start-all.sh
echo -e "\033[31m Starting Zeppelin Now !!! \033[0m"
/opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh start
echo -e "\033[31m The Result Of The Command \"jps\":  \033[0m"
jps
echo -e "\033[31m ========END======== \033[0m"

修改之前的关闭脚本为：

#!/bin/bash
echo -e “\033[31m ===== Stoping The Cluster ====== \033[0m“
echo -e “\033[31m Stoping Zeppelin Now !!! \033[0m“
/opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh stop
echo -e “\033[31m Stoping Spark Now !!! \033[0m“
/opt/spark-2.0.2-bin-hadoop2.7/sbin/stop-all.sh
echo -e “\033[31m Stopting Hadoop Now !!! \033[0m“
/opt/hadoop-2.7.3/sbin/stop-all.sh
echo -e “\033[31m The Result Of The Command \”jps\” : \033[0m“
jps
echo -e “\033[31m ======END======== \033[0m“

在浏览器里输入地址：

z-ip 指代 zepplin 所在机子的 ip（xxx.xxx.xxx.xxx）

即：http://z-ip:8099/#/

如下图：

Spark2.0.2+Zeppelin0.6.2 环境搭建入门初探