共计 4966 个字符，预计需要花费 13 分钟才能阅读完成。
安装环境：
虚拟机：VMware® Workstation 8.0.1（网络桥接）
OS：CentOS 7
JDK 版本：jdk-7u79-linux-x64.tar
Scala 版本：scala-2.11.7
Spark 版本：spark-1.4.0-bin-Hadoop2.4
用户：Hadoop 安装 Centos 时创建的，属于管理员组
第一步：配置 SSH
使用 hadoop 登录系统，在终端运行：
yum install openssh-server
如果提示：
则是因为 yum 服务被占用，需要强制解锁：
rm -rf /var/run/yum.pid
终端就会联网下载安装包并自行进行安装。安装完成后输入下面指令验证 22 端口是否打开：
netstat -nat
确定 22 端口是打开的，然后检查 SSH 安装正确否，输入
ssh localhost
输入当前用户名和密码按回车确认，说明安装成功，同时 ssh 登陆需要密码。
这里重点说明一下：
Ssh 配置实际上就是配置无密码访问，使用身份凭据代替密码验证，访问时只需要提供一个身份凭据即可，不需要输入密码。那么意思也就是说，每一个用户都有一个独一无二的凭据，要访问谁，就将这个凭据交给谁（即复制到人家的目录下即可）
接下来，在终端输入命令进入 Hadoop 账户目录：
cd /home/hadoop
再次输入：
ssh-keygen -t rsa
然后一路回车
然后我们再次进入.ssh 文件夹，然后将 id_rsa.pub 追加到 authorized_keys 文件，命令如下：
cd .ssh
顺便查看下本目录下都有什么文件。Id_rsa 是属于该账户的私钥，id_rsa.pub 是属于该账户的公钥，就是要交出去的。
这里需要多说一句，如果一个主服务器有多个账户要配置无密码访问怎么办？
主服务器下面应该有一个叫 authorized_keys 的文件，谁需要配置无密码访问，就把你的公钥追加在这个文件里即可。
cp id_rsa.pub authorized_keys
再次测试无密码登录
ssh localhost
最好是多打开几次终端，测试 ssh 登录，也可以重启服务测试：
service sshd restart 重启服务
service sshd start 启动服务
service sshd stop 停止服务
netstat -antp | grep sshd 查看是否启动 22 端口
任何时候遇到权限拒绝在命令前加上 sudo 即可，如下就被拒绝了：
chkconfig sshd on 设置开机启动
chkconfig sshd off 禁止 SSH 开机启动
————————————– 分割线 ————————————–
Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm
CentOS 6.2(64 位) 下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm
Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm
安装 Spark 集群 (在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm
Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm
Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm
Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm
————————————– 分割线 ————————————–
更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2015-08/122284p2.htm
第二步：配置 Java、Scala、Saprk
咱们一次性将需要的软件全部复制到 /home/data 目录下备用。需要注销使用 root 登录，其他用户权限不够。
Root 用户可以直接在 UI 下面操作，顺便解压好。
然后切换回 Hadoop 用户（* 重要）
配置 Java 路径：
sudo gedit /etc/profile
在最后一行回车加上：
#JAVA VARIABLES START
export JAVA_HOME=/home/data/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
#JAVA VARIABLES END
然后刷新系统配置，检查 Java 安装情况：
source /etc/profile
java -version
看到这个说明 Java 环境安装成功。
接下来配置 Scala 环境：
sudo gedit /etc/profile
在最后一行加上：
#SCALA VARIABLES START
export SCALA_HOME=/home/data/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
#SCALA VARIABLES END
然后刷新系统配置，检查 Java 安装情况：
source /etc/profile
scala -version
看到下图说明成功：
接下来配置 Spark 环境：
sudo gedit /etc/profile
在最后一行加上：
#SPARK VARIABLES START
export SPARK_HOME=/home/data/spark-1.4.0-bin-hadoop2.4
export PATH=$PATH:$SPARK_HOME/bin
#SPARK VARIABLES END
配置完成的 profile 文件应该如下图：
然后刷新系统配置：
source /etc/profile
进入 spark 的 conf 目录：
备份文件：
sudo mv spark-env.sh.template spark-env.sh
然后编辑新建的文件：
sudo gedit spark-env.sh
在文件最下面加入：
export SCALA_HOME=/home/data/scala-2.11.7
export JAVA_HOME=/home/data/jdk1.7.0_79
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=1024m
export master=spark://localhost 7070
最后还应该编辑该目录下的 slaves 中机器名，因为我机器名就叫 localhost，所以就不编辑了。
第三步：运行 Spark
启动 Spark 集群。
进入 sbin 目录：
然后在浏览器中访问：localhost:8080
从页面上可以看到一个 Worker 节点的信息。
我们进入 spark 的 bin 目录，使用“spark-shell”控制台：
应该无错出现下面界面：
测试下：
通过访问 ”http://localhost:4040″，进入 spark-shell web 控制台页面：
输入：
hello world
hello hadoop
pls say hello
然后在 Scala 命令行输入读取程序：
val readFile = sc.textFile(“file:///home/file/test1.txt”)
再执行：
readFile.collect
查看 spark-shell web 控制台：
Spark 的详细介绍 ：请点这里
Spark 的下载地址 ：请点这里
更多 CentOS 相关信息见 CentOS 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=14
本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2015-08/122284.htm
安装环境：
虚拟机：VMware® Workstation 8.0.1（网络桥接）
OS：CentOS 7
JDK 版本：jdk-7u79-linux-x64.tar
Scala 版本：scala-2.11.7
Spark 版本：spark-1.4.0-bin-Hadoop2.4
用户：Hadoop 安装 Centos 时创建的，属于管理员组
第一步：配置 SSH
使用 hadoop 登录系统，在终端运行：
yum install openssh-server
如果提示：
则是因为 yum 服务被占用，需要强制解锁：
rm -rf /var/run/yum.pid
终端就会联网下载安装包并自行进行安装。安装完成后输入下面指令验证 22 端口是否打开：
netstat -nat
确定 22 端口是打开的，然后检查 SSH 安装正确否，输入
ssh localhost
输入当前用户名和密码按回车确认，说明安装成功，同时 ssh 登陆需要密码。
这里重点说明一下：
Ssh 配置实际上就是配置无密码访问，使用身份凭据代替密码验证，访问时只需要提供一个身份凭据即可，不需要输入密码。那么意思也就是说，每一个用户都有一个独一无二的凭据，要访问谁，就将这个凭据交给谁（即复制到人家的目录下即可）
接下来，在终端输入命令进入 Hadoop 账户目录：
cd /home/hadoop
再次输入：
ssh-keygen -t rsa
然后一路回车
然后我们再次进入.ssh 文件夹，然后将 id_rsa.pub 追加到 authorized_keys 文件，命令如下：
cd .ssh
顺便查看下本目录下都有什么文件。Id_rsa 是属于该账户的私钥，id_rsa.pub 是属于该账户的公钥，就是要交出去的。
这里需要多说一句，如果一个主服务器有多个账户要配置无密码访问怎么办？
主服务器下面应该有一个叫 authorized_keys 的文件，谁需要配置无密码访问，就把你的公钥追加在这个文件里即可。
cp id_rsa.pub authorized_keys
再次测试无密码登录
ssh localhost
最好是多打开几次终端，测试 ssh 登录，也可以重启服务测试：
service sshd restart 重启服务
service sshd start 启动服务
service sshd stop 停止服务
netstat -antp | grep sshd 查看是否启动 22 端口
任何时候遇到权限拒绝在命令前加上 sudo 即可，如下就被拒绝了：
chkconfig sshd on 设置开机启动
chkconfig sshd off 禁止 SSH 开机启动
————————————– 分割线 ————————————–
Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm
CentOS 6.2(64 位) 下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm
Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm
安装 Spark 集群 (在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm
Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm
Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm
Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm
————————————– 分割线 ————————————–
更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2015-08/122284p2.htm
