阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS 7.0下安装并配置Spark

186次阅读
没有评论

共计 4966 个字符,预计需要花费 13 分钟才能阅读完成。

安装环境:
虚拟机:VMware® Workstation 8.0.1(网络桥接)
OS:CentOS 7
JDK 版本:jdk-7u79-linux-x64.tar
Scala 版本:scala-2.11.7
Spark 版本:spark-1.4.0-bin-Hadoop2.4
用户:Hadoop 安装 Centos 时创建的,属于管理员组

第一步:配置 SSH

使用 hadoop 登录系统,在终端运行:

yum install openssh-server

CentOS 7.0 下安装并配置 Spark

如果提示:

CentOS 7.0 下安装并配置 Spark

则是因为 yum 服务被占用,需要强制解锁:

rm -rf /var/run/yum.pid

CentOS 7.0 下安装并配置 Spark

终端就会联网下载安装包并自行进行安装。安装完成后输入下面指令验证 22 端口是否打开:

netstat -nat

CentOS 7.0 下安装并配置 Spark

CentOS 7.0 下安装并配置 Spark

确定 22 端口是打开的,然后检查 SSH 安装正确否,输入

ssh localhost

输入当前用户名和密码按回车确认,说明安装成功,同时 ssh 登陆需要密码。

CentOS 7.0 下安装并配置 Spark

这里重点说明一下:

Ssh 配置实际上就是配置无密码访问,使用身份凭据代替密码验证,访问时只需要提供一个身份凭据即可,不需要输入密码。那么意思也就是说,每一个用户都有一个独一无二的凭据,要访问谁,就将这个凭据交给谁(即复制到人家的目录下即可)

接下来,在终端输入命令进入 Hadoop 账户目录:

cd /home/hadoop

再次输入:

ssh-keygen -t rsa

然后一路回车

CentOS 7.0 下安装并配置 Spark

然后我们再次进入.ssh 文件夹,然后将 id_rsa.pub 追加到 authorized_keys 文件,命令如下:

cd .ssh

CentOS 7.0 下安装并配置 Spark

顺便查看下本目录下都有什么文件。Id_rsa 是属于该账户的私钥,id_rsa.pub 是属于该账户的公钥,就是要交出去的。

这里需要多说一句,如果一个主服务器有多个账户要配置无密码访问怎么办?

主服务器下面应该有一个叫 authorized_keys 的文件,谁需要配置无密码访问,就把你的公钥追加在这个文件里即可。

cp id_rsa.pub authorized_keys

CentOS 7.0 下安装并配置 Spark

再次测试无密码登录

ssh localhost

CentOS 7.0 下安装并配置 Spark

最好是多打开几次终端,测试 ssh 登录,也可以重启服务测试:

service sshd restart 重启服务

service sshd start 启动服务

service sshd stop 停止服务

netstat -antp | grep sshd 查看是否启动 22 端口

CentOS 7.0 下安装并配置 Spark

任何时候遇到权限拒绝在命令前加上 sudo 即可,如下就被拒绝了:

CentOS 7.0 下安装并配置 Spark

chkconfig sshd on 设置开机启动

chkconfig sshd off 禁止 SSH 开机启动

————————————– 分割线 ————————————–

Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64 位) 下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群 (在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

————————————– 分割线 ————————————–

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2015-08/122284p2.htm

第二步:配置 Java、Scala、Saprk

咱们一次性将需要的软件全部复制到 /home/data 目录下备用。需要注销使用 root 登录,其他用户权限不够。

Root 用户可以直接在 UI 下面操作,顺便解压好。

CentOS 7.0 下安装并配置 Spark

然后切换回 Hadoop 用户(* 重要)

配置 Java 路径:

sudo gedit /etc/profile

在最后一行回车加上:

#JAVA VARIABLES START

export JAVA_HOME=/home/data/jdk1.7.0_79

export PATH=$PATH:$JAVA_HOME/bin

#JAVA VARIABLES END

然后刷新系统配置,检查 Java 安装情况:

source /etc/profile

java -version

CentOS 7.0 下安装并配置 Spark

看到这个说明 Java 环境安装成功。

接下来配置 Scala 环境:

sudo gedit /etc/profile

在最后一行加上:

#SCALA VARIABLES START

export SCALA_HOME=/home/data/scala-2.11.7

export PATH=$PATH:$SCALA_HOME/bin

#SCALA VARIABLES END

然后刷新系统配置,检查 Java 安装情况:

source /etc/profile

scala -version

看到下图说明成功:

CentOS 7.0 下安装并配置 Spark

接下来配置 Spark 环境:

sudo gedit /etc/profile

在最后一行加上:

#SPARK VARIABLES START

export SPARK_HOME=/home/data/spark-1.4.0-bin-hadoop2.4

export PATH=$PATH:$SPARK_HOME/bin

#SPARK VARIABLES END

配置完成的 profile 文件应该如下图:

CentOS 7.0 下安装并配置 Spark

然后刷新系统配置:

source /etc/profile

进入 spark 的 conf 目录:

CentOS 7.0 下安装并配置 Spark

备份文件:

sudo mv spark-env.sh.template spark-env.sh

然后编辑新建的文件:

sudo gedit spark-env.sh

在文件最下面加入:

export SCALA_HOME=/home/data/scala-2.11.7

export JAVA_HOME=/home/data/jdk1.7.0_79

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=1024m

export master=spark://localhost 7070

最后还应该编辑该目录下的 slaves 中机器名,因为我机器名就叫 localhost,所以就不编辑了。

第三步:运行 Spark

启动 Spark 集群。

进入 sbin 目录:

CentOS 7.0 下安装并配置 Spark

然后在浏览器中访问:localhost:8080

CentOS 7.0 下安装并配置 Spark

从页面上可以看到一个 Worker 节点的信息。

我们进入 spark 的 bin 目录,使用“spark-shell”控制台:

应该无错出现下面界面:

CentOS 7.0 下安装并配置 Spark

测试下:

CentOS 7.0 下安装并配置 Spark

通过访问 ”http://localhost:4040″,进入 spark-shell web 控制台页面:

CentOS 7.0 下安装并配置 Spark

CentOS 7.0 下安装并配置 Spark

输入:

hello world

hello hadoop

pls say hello

然后在 Scala 命令行输入读取程序:

val readFile = sc.textFile(“file:///home/file/test1.txt”)

CentOS 7.0 下安装并配置 Spark

再执行:

readFile.collect

CentOS 7.0 下安装并配置 Spark

CentOS 7.0 下安装并配置 Spark

查看 spark-shell web 控制台:

CentOS 7.0 下安装并配置 Spark

CentOS 7.0 下安装并配置 Spark

Spark 的详细介绍 :请点这里
Spark 的下载地址 :请点这里

更多 CentOS 相关信息见 CentOS 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=14

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2015-08/122284.htm

安装环境:
虚拟机:VMware® Workstation 8.0.1(网络桥接)
OS:CentOS 7
JDK 版本:jdk-7u79-linux-x64.tar
Scala 版本:scala-2.11.7
Spark 版本:spark-1.4.0-bin-Hadoop2.4
用户:Hadoop 安装 Centos 时创建的,属于管理员组

第一步:配置 SSH

使用 hadoop 登录系统,在终端运行:

yum install openssh-server

CentOS 7.0 下安装并配置 Spark

如果提示:

CentOS 7.0 下安装并配置 Spark

则是因为 yum 服务被占用,需要强制解锁:

rm -rf /var/run/yum.pid

CentOS 7.0 下安装并配置 Spark

终端就会联网下载安装包并自行进行安装。安装完成后输入下面指令验证 22 端口是否打开:

netstat -nat

CentOS 7.0 下安装并配置 Spark

CentOS 7.0 下安装并配置 Spark

确定 22 端口是打开的,然后检查 SSH 安装正确否,输入

ssh localhost

输入当前用户名和密码按回车确认,说明安装成功,同时 ssh 登陆需要密码。

CentOS 7.0 下安装并配置 Spark

这里重点说明一下:

Ssh 配置实际上就是配置无密码访问,使用身份凭据代替密码验证,访问时只需要提供一个身份凭据即可,不需要输入密码。那么意思也就是说,每一个用户都有一个独一无二的凭据,要访问谁,就将这个凭据交给谁(即复制到人家的目录下即可)

接下来,在终端输入命令进入 Hadoop 账户目录:

cd /home/hadoop

再次输入:

ssh-keygen -t rsa

然后一路回车

CentOS 7.0 下安装并配置 Spark

然后我们再次进入.ssh 文件夹,然后将 id_rsa.pub 追加到 authorized_keys 文件,命令如下:

cd .ssh

CentOS 7.0 下安装并配置 Spark

顺便查看下本目录下都有什么文件。Id_rsa 是属于该账户的私钥,id_rsa.pub 是属于该账户的公钥,就是要交出去的。

这里需要多说一句,如果一个主服务器有多个账户要配置无密码访问怎么办?

主服务器下面应该有一个叫 authorized_keys 的文件,谁需要配置无密码访问,就把你的公钥追加在这个文件里即可。

cp id_rsa.pub authorized_keys

CentOS 7.0 下安装并配置 Spark

再次测试无密码登录

ssh localhost

CentOS 7.0 下安装并配置 Spark

最好是多打开几次终端,测试 ssh 登录,也可以重启服务测试:

service sshd restart 重启服务

service sshd start 启动服务

service sshd stop 停止服务

netstat -antp | grep sshd 查看是否启动 22 端口

CentOS 7.0 下安装并配置 Spark

任何时候遇到权限拒绝在命令前加上 sudo 即可,如下就被拒绝了:

CentOS 7.0 下安装并配置 Spark

chkconfig sshd on 设置开机启动

chkconfig sshd off 禁止 SSH 开机启动

————————————– 分割线 ————————————–

Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64 位) 下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群 (在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

————————————– 分割线 ————————————–

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2015-08/122284p2.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计4966字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中