阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop主从节点之间建立SSH无密码登录

138次阅读
没有评论

共计 2100 个字符,预计需要花费 6 分钟才能阅读完成。

Hadoop 使用 ssh 来通信。所以操作系统上必须安装 ssh,本人采用的是 Ubuntu 14,安装 ssh 后要保证 sshd 处于运行状态,如果没有安装 ssh 的话,

结点信息:(分布式集群架构:master 为主节点,其余四个为从节点)

机器名

IP

作用

master

122.205.135.53

NameNode and JobTracker 

hadoop

122.205.135.212

DataNode and TaskTracker 

hadoop1

122.205.135.213

DataNode and TaskTracker

hadoop2

122.205.135.214

DataNode and TaskTracker

hadoop3

122.205.135.215

DataNode and TaskTracker

使用以下命令来安装:

$ sudo apt-get install ssh

$ sudo apt-get install rsync

这里注意:如果提示安装不了,说明我们的 apt-get 需要更新下,更新的命令如下:

sudo apt-get update

安装完成后出现如下图:

Hadoop 主从节点之间建立 SSH 无密码登录

在 Hadoop 启动以后,namenode 是通过 SSH(Secure Shell)来启动和停止各个节点上的各种守护进程的,这就需要在节点之间执行指令的时候是不需要输入密码的方式,故我们需要配置 SSH 使用无密码公钥认证的方式。

namenode 生成密钥:

$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

执行上述命令后会出现如下图:

Hadoop 主从节点之间建立 SSH 无密码登录

这时候会在~/.ssh/ 目录下生成 id_dsa.pub 文件,如果我们希望 master 结点不需要密码就能使用 ssh 连接到 slave 结点,我们需要将 master 结点上的~/.ssh/id_dsa.pub 的内容,添加到 slave 结点的~/.ssh/authorized_keys 这个文件中。

如果 slave 结点的~/.ssh/authorized_keys 这个文件不存在,可以直接将~/.ssh/id_dsa.pub 文件复制过去并重命名为 authorized_keys:

$ scp ~/.ssh/id_dsa.pub hadoop@122.205.135.212:~/.ssh/authorized_keys

Hadoop 主从节点之间建立 SSH 无密码登录

这时,我们在 122.205.135.212 这个 slave 的机器中登陆进去看下,这个文件是否复制过去了,命令如下:

cd  ~/ssh

ls

Hadoop 主从节点之间建立 SSH 无密码登录

也可以先将 master 结点的~/.ssh/id_dsa.pub 文件复制到 slave 结点的~/.ssh/ 目录下,例如:

$ scp ~/.ssh/id_dsa.pub hadoop@122.205.135.212:~/.ssh

或用

$ scp ~/.ssh/id_dsa.pub hadoop@hadoop:~/.ssh

        然后在 slave 结点上执行下面的命令:

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

        最后,我们验证是否可以无密码登陆:在 master 结点上使用 ssh 连接 slave 结点,例如:

$ ssh hadoop@hadoop

      如果未提示输入密码直接登录,则表明设置成功。

Hadoop 主从节点之间建立 SSH 无密码登录

CentOS 6.0 下 SSH 免密码登录配置 http://www.linuxidc.com/Linux/2013-03/80488.htm

提高 Ubuntu 的 SSH 登陆认证速度的办法 http://www.linuxidc.com/Linux/2014-09/106810.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

Hadoop 集群搭建之 SSH 无密码登录配置  http://www.linuxidc.com/Linux/2012-09/70116.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2100字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中