共计 4394 个字符，预计需要花费 11 分钟才能阅读完成。
一、下载资料
1. JDK 1.6 +
2. Scala 2.10.4
3. Hadoop 2.6.4
4. Spark 1.6
二、预先安装
1. 安装 JDK
2. 安装 Scala 2.10.4
解压安装包即可
3. 配置 sshd
ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
mac 启动 sshd
sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist
查看启动
sudo launchctl list | grep ssh
输出 - 0 com.openssh.sshd 表示启动成功
停止 sshd 服务
sudo launchctl unload -w /System/Library/LaunchDaemons/ssh.plist
三、安装 Hadoop
1. 创建 Hadoop 文件系统目录
mkdir -pv hadoop/workspace
cd hadoop/workspace
mkdir tmp
mkdir -pv hdfs/data
mkdir -pv hdfs/name
添加 hadoop 目录环境变量
vi ~/.bashrc
HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4
配置 hadoop，都在 $HADOOP_HOME/etc/hadoop 下
1. core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS URI</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/ysisl/app/hadoop/workspace/tmp</value>
<description>namenode temp dir</description>
</property>
</configuration>
2. hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/Users/ysisl/app/hadoop/workspace/hdfs/name</value>
<description>namenode 上存储 hdfs 名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/Users/ysisl/app/hadoop/workspace/hdfs/data</value>
<description>datanode 上数据块的物理存储位置 </description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description> 副本个数，配置默认是 3, 应小于 datanode 机器数量 </description>
</property>
</configuration>
3. copy mapred-site.xml.template to mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4. yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>localhost:8099</value>
</property>
</configuration>
5. 格式化 HDFS 文件系统
$HADOOP_HOME/bin/hdfs namenode -format
6. 进入 sbin/ 执行 start-all.sh
7. 执行 jps 查看是否正常启动
21472
30256 Jps
29793 DataNode
29970 SecondaryNameNode
29638 NameNode
30070 ResourceManager
30231 NodeManager
8. 打开 http://localhost:50070/explorer.html 网页查看 hadoop 目录结构，说明安装成功
四、安装 Spark
1. 解压 spark 压缩包
tar xvzf spark.1.6.tar.gz
2. 加入环境变量
vi ~/.bashrc
SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4
SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6
2. 设置配置文件
cd spar-1.6.1-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
vi spar-env.sh
添加如下内容
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home
export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4
export HADOOP_CONF_DIR=/Users/ysisl/app/hadoop/hadoop-2.6.4/etc/hadoop
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=2g
cp slaves.template slaves
默认 slaves 现在就主机一台
3. 启动 sbin/start-all.sh
jps 查看到多出一个 Master，worker 进程
21472
29793 DataNode
29970 SecondaryNameNode
30275 Master
30468 SparkSubmit
29638 NameNode
30070 ResourceManager
30231 NodeManager
30407 Worker
30586 Jps
4. 配置 scala、spark、hadoop 环境变量加入 PATH，方便执行
vi ~/.bashrc
export HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4
export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4
export SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6
export PATH=”${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH”
五. 测试运行
1. 准备一个 csv 文件，路径 /Users/ysisl/app/hadoop/test.csv
2. 查看 DFS 文件系统结构，执行 hadoop fs -lsr /
3. 新建目录，hadoop fs -mkdir /test
4. 上传文件到目录，hadoop fs -put /Users/ysisl/app/hadoop/test.csv /test/
5. hadoop fs -lsr / 查看已创建的目录文件
6. 执行 spark-shell
scala > val file=sc.textFile(“hdfs:/test/test.csv”)
scala > val count=file.flatMap(line=>line.split(” “)).map(word=>(word,1)).reduceByKey(_+_)
scala > count.collect
7. 查看执行状态
a. localhost:8080，查看 spark 集群运行情况。此端口一般与其他端口冲突
在 spark-env.sh 中加入 export SPARK_MASTER_WEBUI_PORT=98080 来指定
b. http://localhost:4040/jobs/，查看 spark task job 运行情况
c. http://localhost:50070/ hadoop 集群运行情况
下面关于 Hadoop 的文章您也可能喜欢，不妨看看：
Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm
CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 14.04 LTS 下安装 Hadoop 1.2.1（伪分布模式）http://www.linuxidc.com/Linux/2016-09/135406.htm
Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
Hadoop 2.6.0 HA 高可用集群配置详解 http://www.linuxidc.com/Linux/2016-08/134180.htm
Spark 1.5、Hadoop 2.7 集群环境搭建 http://www.linuxidc.com/Linux/2016-09/135067.htm
更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
本文永久更新链接地址：http://www.linuxidc.com/Linux/2016-10/136188.htm
