CentOS 6.2(64位)下安装Spark0.8.0详细记录

130次阅读

共计 11718 个字符，预计需要花费 30 分钟才能阅读完成。

系统：CentOS 6.2

操作账号：root

Spark 版本：spark-0.8.0-incubating-bin-Hadoop1.tgz

jdk 版本：jdk-7-linux-x64.rpm

scala 版本：scala-2.9.3.tgz

使用的节点情况：（172.18.11.XX）XX=16,17,18,20,21,23,24,25,26,27,28,29,30,31,32,33,34 共 17 个节点

主控节点：hw024，以下操作如无特别说明全部在 hw024 上进行

注意：（1）因为我之前在 24-28 上安装过所有环境，所以以下 for 循环中没有这五个节点，但是如果要自行配置，需要在 for 循环中加入所有节点 hostname

（2）注意，三台机器 spark 所在目录必须一致，因为 master 会登陆到 worker 上执行命令，master 认为 worker 的 spark 路径与自己一样。

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群(在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

1. 配置各个节点无密码登陆

（a）在每个节点分别执行：

yum remove selinux* -y（预防 ssh-keygen 命令不成功）

ssh-keygen -t rsa(之后一路回车)

这将在 /root/.ssh/ 目录下生成一个私钥 id_rsa 和一个公钥 id_rsa.pub。

(b)将所有 datanode 节点的公钥 id_rsa.pub 传送到 namenode 上:

cp id_rsa.pub hw016.id_rsa.pub

scp hw016.id_rsa.pub “namenode 节点 ip 地址 ”:/root/.ssh

……

cp id_rsa.pub hw0XX.id_rsa.pub

scp hw0XX.id_rsa.pub namenode 节点 ip 地址:/root/.ssh

(c)namenode 节点上综合所有公钥 (包括自身) 并传送到所有节点上

cp id_rsa.pub authorized_keys 这是 namenode 自己的公钥

cat hw016.id_rsa.pub >> authorized_keys

……

cat hw0XX.id_rsa.pub >> authorized_keys

然后使用 SSH 协议将所有公钥信息 authorized_keys 复制到所有 DataNode 的.ssh 目录下

scp authorized_keys“data 节点 ip 地址”:/root/.ssh

这样配置过后，所有节点之间可以相互 SSH 无密码登陆，可以通过命令

“ssh 节点 ip 地址”来验证。

配置完毕，在 namenode 上执行“ssh 本机，所有数据节点”命令，因为 ssh 执行一次之后将不会再询问。

备注：用 scp 命令拷贝到所有节点时，可以放到脚本执行，脚本内容如下：

for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw024 hw025 hw026 hw027 hw028 hw029 hw030 hw031 hw032 hw033 hw034

do

echo cping to $dir

scp -r authorized_keys root@$dir:/root/.ssh/

done

2. 修改 hosts 并拷贝到所有节点

hosts 内容如下：

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

172.18.11.15 hw015

172.18.11.16 hw016

172.18.11.17 hw017

172.18.11.18 hw018

172.18.11.20 hw020

172.18.11.21 hw021

172.18.11.23 hw023

172.18.11.24 hw024

172.18.11.25 hw025

172.18.11.26 hw026

172.18.11.27 hw027

172.18.11.28 hw028

172.18.11.29 hw029

172.18.11.30 hw030

172.18.11.31 hw031

172.18.11.32 hw032

172.18.11.33 hw033

172.18.11.34 hw034

scp 到所有节点的 /etc/ 目录下

这一步是为了方便以后的操作，以后再拷贝其他文件，在脚本中就不用写 ip。

3. 拷贝所有需要安装的包到各个节点的对应目录下

#!/bin/bash

for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw029 hw030 hw031 hw032 hw033 hw034

do

echo cping to $dir

scp -r jdk-7-linux-x64.rpm root@$dir:/home/xxx

done

4. 分别登陆各个节点，安装 jdk1.7

进入每个节点的 /home/xxx, 执行命令：rpm -ivh jdk-7-linux-x64.rpm

其自动安装到 /usr/Java/jdk1.7.0

5. 安装 scala

解压 scala-2.9.3.tgz 到 /home/xxx 下，生成 scala-2.9.3 目录

拷贝 scala-2.9.3 到每个节点的 /usr/lib 下：

for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw029 hw030 hw031 hw032 hw033 hw034

do

echo cping to $dir

scp -r scala-2.9.3 root@$dir:/usr/lib

done

6. 安装 Spark

（1）解压 spark-0.8.0-incubating-bin-hadoop1.tgz 到每个节点的 /home/xxx 目录下

由于我们已经将解压好的 spark 目录拷贝到各个节点上（见步骤 3），故这里略去。

（2）设置环境变量

我们会在后面统一设置环境变量。

（3）设置 spark 的配置文件

设置 spark 源码目录下的 /conf/slaves 文件如下：

hw016

hw017

hw018

hw020

hw021

hw023

hw025

hw026

hw027

hw028

hw029

hw030

hw031

hw032

hw033

hw034

设置 spark-env.sh 文件，添加一行内容：

export SCALA_HOME=/usr/lib/scala-2.9.3

保存退出

（4）拷贝配置好的 spark 源码到所有 slaves 节点上：

#!/bin/bash

#for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw029 hw030 hw031 hw032 hw033 hw034

for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw024 hw025 hw026 hw027 hw028 hw029 hw030 hw031 hw032 hw033 hw034

#for dir in hw025 hw026 hw027 hw028

do

echo cping to $dir

scp -r spark-0.8.0-incubating-bin-hadoop1 root@$dir:/home/xxx

done

保存退出，spark 配置完成

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-06/102583p2.htm

7. 设置环境变量

在 hw024 上设置好环境变量，一次性拷贝到各个节点上：

打开 /etc/profile 加入以下内容：

#scala

export SCALA_HOME=/usr/lib/scala-2.9.3

export PATH=$PATH:$SCALA_HOME/bin

#spark

export SPARK_HOME=/home/xxx/spark-0.8.0-incubating-bin-Hadoop1

export PATH=$PATH:$SPARK_HOME/bin

#Java

export JAVA_HOME=/usr/java/jdk1.7.0

export JRE_HOME=/usr/java/jdk1.7.0/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

用 for 循环和 scp 命令拷贝到各个节点：

#!/bin/bash

for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw029 hw030 hw031 hw032 hw033 hw034

do

echo cping to $dir

scp -r /etc/profile root@$dir:/etc/profile

done

分别在各个节点执行 source /etc/profile，让修改的环境变量生效

8. 安装 hadoop

spark 的 cluster 模式需要使用 hadoop 的 HDFS 文件系统，需要先安装 hadoop。

（1）在 24 节点上解压 hadoop-1.2.1.tar.gz，并将解压后的目录放到 /usr/local/hadoop/ 目录下

（2）配置 hadoop：

修改 /conf/hadoop-env.sh 文件如下：

export JAVA_HOME=/usr/java/jdk1.7.0

export HADOOP_NAMENODE_OPTS=”-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS”

export HADOOP_SECONDARYNAMENODE_OPTS=”-Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS”

export HADOOP_DATANODE_OPTS=”-Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS”

export HADOOP_BALANCER_OPTS=”-Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS”

export HADOOP_JOBTRACKER_OPTS=”-Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS”

修改 core-site.xml 如下：

<?xml version=”1.0″?>

<?xml-stylesheet type=”text/xsl” href=”https://www.linuxidc.com/Linux/2014-06/configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>

<property>

<name>master.node</name>

<value>hw024</value>

<description>master</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

<description>local dir</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://${master.node}:9000</value>

<description> </description>

</property>

</configuration>

修改 hdfs-site.xml 如下：

<?xml version=”1.0″?>

<?xml-stylesheet type=”text/xsl” href=”https://www.linuxidc.com/Linux/2014-06/configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>${hadoop.tmp.dir}/hdfs/name</value>

<description>local dir</description>

</property>

<property>

<name>dfs.data.dir</name>

<value>${hadoop.tmp.dir}/hdfs/data</value>

<description> </description>

</property>

</configuration>

修改 mapred-siter.xml 如下：

<?xml version=”1.0″?>

<?xml-stylesheet type=”text/xsl” href=”https://www.linuxidc.com/Linux/2014-06/configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>${master.node}:9001</value>

<description> </description>

</property>

<property>

<name>mapred.local.dir</name>

<value>${hadoop.tmp.dir}/mapred/local</value>

<description> </description>

</property>

<property>

<name>mapred.system.dir</name>

<value>/tmp/mapred/system</value>

<description>hdfs dir</description>

</property>

</configuration>

（3）配置 conf/master 文件，加入 namenode 的主机名：

hw024

配置 slaves 文件，加入所有 datanode 的主机名：

hw016

hw017

hw018

hw020

hw021

hw023

hw024

hw025

hw026

hw027

hw028

hw029

hw030

hw031

hw032

hw033

hw034

（4）复制以上配置好的内容到所有节点上

#!/bin/bash

for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw029 hw030 hw031 hw032 hw033 hw034

do

echo cping to $dir

#scp -r jdk-7-linux-x64.rpm root@$dir:/home/xxx

#scp -r spark-0.8.0-incubating-bin-hadoop1 root@$dir:/home/xxx

#scp -r profile root@$dir:/etc/profile

#scp -r scala-2.9.3.tgz root@$dir:/home/xxx

#scp -r slaves spark-env.sh root@$dir:/home/xxx/spark-0.8.0-incubating-bin-hadoop1/conf

#scp -r hosts root@$dir:/etc

scp -r /usr/local/hadoop/hadoop-1.2.1 root@$dir:/usr/local/hadoop/

#scp -r scala-2.9.3 root@$dir:/usr/lib

done

（5）在每个节点上创建 hadoop 使用的临时文件如下：

mkdir -p /usr/local/hadoop/tmp/hdfs/name

mkdir -p /usr/local/hadoop/tmp/hdfs/data

mkdir -p /usr/local/hadoop/tmp/mapred/local

mkdir -p /tmp/mapred/system

（6）关闭所有节点的防火墙：

/etc/init.d/iptables stop

9. spark 测试

（1）启动 spark 集群

在 hw024 的 spark 源码目录下执行：

./bin/start-all.sh

（2）检测进程是否启动：

[root@hw024 xxx]# jps

30435 Worker

16223 Jps

9032 SecondaryNameNode

9152 JobTracker

10283 Master

3075 TaskTracker

8811 NameNode

如果 spark 正常启动，jps 运行结果如上所示。

浏览 hw024 的 web UI（http://172.18.11.24:8080），此时应该可以看到所有的 work 节点，以及他们的 CPU 个数和内存信息。

（3）运行 spark 自带的例子：

运行 SparkPi

$ ./run-example org.apache.spark.examples.SparkPi spark://hw024:7077

运行 SparkKMeans

$ ./run-example org.apache.spark.examples.SparkKMeans spark://hw024:7077 ./kmeans_data.txt 2 1

运行 wordcount

$ cd /home/xxx/spark-0.8.0-incubating-bin-hadoop1

$ hadoop fs -put README.md ./

$ MASTER=spark://master:7077 ./spark-shell

scala> val file = sc.textFile(“hdfs://master:9000/user/dev/README.md”)

scala> val count = file.flatMap(line => line.split(” “)).map(map => (word, 1)).reduceByKey(+)

scala> count.collect()

注意：wordcount 例子中有两个地方需要根据之前 hadoop 的设置进行修改：

（1）MASTER=spark://master:7077 ./spark-shell：
其中斜体需要改为你的 namenode 的 hostname

（2）scala> val file = sc.textFile(“hdfs://master:9000/user/dev/README.md”)：其中 master 要修改，而且后面的 9000 也要根据你的具体配置修改

Spark 的详细介绍：请点这里
Spark 的下载地址：请点这里

更多 CentOS 相关信息见CentOS 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=14

系统：CentOS 6.2

操作账号：root

Spark 版本：spark-0.8.0-incubating-bin-Hadoop1.tgz

jdk 版本：jdk-7-linux-x64.rpm

scala 版本：scala-2.9.3.tgz

使用的节点情况：（172.18.11.XX）XX=16,17,18,20,21,23,24,25,26,27,28,29,30,31,32,33,34 共 17 个节点

主控节点：hw024，以下操作如无特别说明全部在 hw024 上进行

注意：（1）因为我之前在 24-28 上安装过所有环境，所以以下 for 循环中没有这五个节点，但是如果要自行配置，需要在 for 循环中加入所有节点 hostname

（2）注意，三台机器 spark 所在目录必须一致，因为 master 会登陆到 worker 上执行命令，master 认为 worker 的 spark 路径与自己一样。

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群(在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

1. 配置各个节点无密码登陆

（a）在每个节点分别执行：

yum remove selinux* -y（预防 ssh-keygen 命令不成功）

ssh-keygen -t rsa(之后一路回车)

这将在 /root/.ssh/ 目录下生成一个私钥 id_rsa 和一个公钥 id_rsa.pub。

(b)将所有 datanode 节点的公钥 id_rsa.pub 传送到 namenode 上:

cp id_rsa.pub hw016.id_rsa.pub

scp hw016.id_rsa.pub “namenode 节点 ip 地址 ”:/root/.ssh

……

cp id_rsa.pub hw0XX.id_rsa.pub

scp hw0XX.id_rsa.pub namenode 节点 ip 地址:/root/.ssh

(c)namenode 节点上综合所有公钥 (包括自身) 并传送到所有节点上

cp id_rsa.pub authorized_keys 这是 namenode 自己的公钥

cat hw016.id_rsa.pub >> authorized_keys

……

cat hw0XX.id_rsa.pub >> authorized_keys

然后使用 SSH 协议将所有公钥信息 authorized_keys 复制到所有 DataNode 的.ssh 目录下

scp authorized_keys“data 节点 ip 地址”:/root/.ssh

这样配置过后，所有节点之间可以相互 SSH 无密码登陆，可以通过命令

“ssh 节点 ip 地址”来验证。

配置完毕，在 namenode 上执行“ssh 本机，所有数据节点”命令，因为 ssh 执行一次之后将不会再询问。

备注：用 scp 命令拷贝到所有节点时，可以放到脚本执行，脚本内容如下：

for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw024 hw025 hw026 hw027 hw028 hw029 hw030 hw031 hw032 hw033 hw034

do

echo cping to $dir

scp -r authorized_keys root@$dir:/root/.ssh/

done

2. 修改 hosts 并拷贝到所有节点

hosts 内容如下：

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

172.18.11.15 hw015

172.18.11.16 hw016

172.18.11.17 hw017

172.18.11.18 hw018

172.18.11.20 hw020

172.18.11.21 hw021

172.18.11.23 hw023

172.18.11.24 hw024

172.18.11.25 hw025

172.18.11.26 hw026

172.18.11.27 hw027

172.18.11.28 hw028

172.18.11.29 hw029

172.18.11.30 hw030

172.18.11.31 hw031

172.18.11.32 hw032

172.18.11.33 hw033

172.18.11.34 hw034

scp 到所有节点的 /etc/ 目录下

这一步是为了方便以后的操作，以后再拷贝其他文件，在脚本中就不用写 ip。

3. 拷贝所有需要安装的包到各个节点的对应目录下

#!/bin/bash

for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw029 hw030 hw031 hw032 hw033 hw034

do

echo cping to $dir

scp -r jdk-7-linux-x64.rpm root@$dir:/home/xxx

done

4. 分别登陆各个节点，安装 jdk1.7

进入每个节点的 /home/xxx, 执行命令：rpm -ivh jdk-7-linux-x64.rpm

其自动安装到 /usr/Java/jdk1.7.0

5. 安装 scala

解压 scala-2.9.3.tgz 到 /home/xxx 下，生成 scala-2.9.3 目录

拷贝 scala-2.9.3 到每个节点的 /usr/lib 下：

for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw029 hw030 hw031 hw032 hw033 hw034

do

echo cping to $dir

scp -r scala-2.9.3 root@$dir:/usr/lib

done

6. 安装 Spark

（1）解压 spark-0.8.0-incubating-bin-hadoop1.tgz 到每个节点的 /home/xxx 目录下

由于我们已经将解压好的 spark 目录拷贝到各个节点上（见步骤 3），故这里略去。

（2）设置环境变量

我们会在后面统一设置环境变量。

（3）设置 spark 的配置文件

设置 spark 源码目录下的 /conf/slaves 文件如下：

hw016

hw017

hw018

hw020

hw021

hw023

hw025

hw026

hw027

hw028

hw029

hw030

hw031

hw032

hw033

hw034

设置 spark-env.sh 文件，添加一行内容：

export SCALA_HOME=/usr/lib/scala-2.9.3

保存退出

（4）拷贝配置好的 spark 源码到所有 slaves 节点上：

#!/bin/bash

#for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw029 hw030 hw031 hw032 hw033 hw034

for dir in hw016 hw017 hw018 hw020 hw021 hw023 hw024 hw025 hw026 hw027 hw028 hw029 hw030 hw031 hw032 hw033 hw034

#for dir in hw025 hw026 hw027 hw028

do

echo cping to $dir

scp -r spark-0.8.0-incubating-bin-hadoop1 root@$dir:/home/xxx

done

保存退出，spark 配置完成