阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Spark SSH配置

156次阅读
没有评论

共计 3031 个字符,预计需要花费 8 分钟才能阅读完成。

配置机器 hostname

vi /etc/hostname  增加 S1PA11

再执行 # hostname 
S1PA11  –– 修改成功

打开 hosts 文件 并修改关联关系:

127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

增加下面两行( 本地和另一台机器 IP 和 hostname
10.58.44.47 S1PA11
10.126.45.56 S1PA222

 ping S1PA222
PING S1PA222 (10.126.45.56) 56(84) bytes of data.
64 bytes from S1PA222 (10.126.45.56): icmp_seq=1 ttl=62 time=0.235 ms
64 bytes from S1PA222 (10.126.45.56): icmp_seq=2 ttl=62 time=0.216 ms
64 bytes from S1PA222 (10.126.45.56): icmp_seq=3 ttl=62 time=0.276 ms

 ping S1PA11
PING S1PA11 (10.58.44.47) 56(84) bytes of data.
64 bytes from S1PA11 (10.58.44.47): icmp_seq=1 ttl=62 time=0.268 ms
64 bytes from S1PA11 (10.58.44.47): icmp_seq=2 ttl=62 time=0.273 ms

目前 两台机器是可以通信的

ssh 免密码验证配置

首先在 S1PA11 机器配置(该机器是 master)

进去.ssh 文件:  [spark@S1PA11 sbin]$ cd ~/.ssh/

生成秘钥 ssh-keygen : ssh-keygen -t rsa , 一路狂按回车键就可以了

最终生成(id_rsa,id_rsa.pub 两个文件) 

生成 authorized_keys 文件:[spark@S1PA11 .ssh]$ cat id_rsa.pub >> authorized_keys 

在另一台机器 S1PA222(slave 机器)也生成公钥和秘钥

步骤跟 S1PA11 是类似的

进去.ssh 文件:  [spark@S1PA11 sbin]$ cd ~/.ssh/

生成秘钥 ssh-keygen :ssh-keygen -t rsa , 一路狂按回车键就可以了

最终生成(id_rsa,id_rsa.pub 两个文件)

将 S1PA222 机器的 id_rsa.pub 文件 copy 到 S1PA11 机器:[spark@S1PA222 .ssh]$ scp id_rsa.pub  spark@10.58.44.47:~/.ssh/id_rsa.pub_sl

此切换到机器 S1PA11 合并 authorized_keys; [spark@S1PA11 .ssh]$ cat id_rsa.pub_sl >> authorized_keys 

将 authorized_keyscopy 到 S1PA222 机器(/home/spark/.ssh):[spark@S1PA11 .ssh]$ scp authorized_keys  spark@10.126.45.56:~/.ssh/

现在讲两台机器 .ssh/ 文件夹权限改为 700,authorized_keys 文件权限改为 600(or 644)

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

OK 完成以上操作后 可以开始 ssh 验证了

S1PA11j 机器 sshS1PA222

[spark@S1PA11 .ssh]$ ssh S1PA222
Last login: Mon Jan  5 15:18:58 2015 from s1pa11
[spark@S1PA222 ~]$ exit
logout
Connection to S1PA222 closed.
[spark@S1PA11 .ssh]$ ssh S1PA222
Last login: Mon Jan  5 15:46:00 2015 from s1pa11

S1PA222 机器 ssh S1PA11

Connection to S1PA11 closed.
[spark@S1PA222 .ssh]$ ssh S1PA11
Last login: Mon Jan  5 15:46:43 2015 from s1pa222
[spark@S1PA11 ~]$ exit

顺利完成 ssh 免密码验证

PS:异常问题处理

1、ssh localhost:publickey 授权失败

sudo vi /etc/ssh/sshd_config
 
RSAAuthentication yes 
PubkeyAuthentication yes 
AuthorizedKeysFile     .ssh/authorized_keys
 
service sshd restart
 
注:ssh 可同时支持 publickey 和 password 两种授权方式,publickey 默认不开启,需要配置为 yes。
如果客户端不存在.ssh/id_rsa,则使用 password 授权;存在则使用 publickey 授权;
如果 publickey 授权失败,依然会继续使用 password 授权。
不要设置 PasswordAuthentication no,它的意思是禁止密码登录,这样就只能本机登录了!

2、vi /etc/selinux/config 
SELINUX=disabled  
 
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
 
最后重启你的 linux 执行 ssh localhost

3、ssh ip 或 hostname 均提示:connection refused
目标主机的 ssh server 端程序是否安装、服务是否启动,是否在侦听 22 端口;
是否允许该用户登录;
本机是否设置了 iptables 规则,禁止了 ssh 的连入 / 连出;

————————————– 分割线 ————————————–

Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64 位) 下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群 (在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

————————————– 分割线 ————————————–

Spark 的详细介绍 :请点这里
Spark 的下载地址 :请点这里

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计3031字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中