共计 2100 个字符,预计需要花费 6 分钟才能阅读完成。
Hadoop 使用 ssh 来通信。所以操作系统上必须安装 ssh,本人采用的是 Ubuntu 14,安装 ssh 后要保证 sshd 处于运行状态,如果没有安装 ssh 的话,
结点信息:(分布式集群架构:master 为主节点,其余四个为从节点)
机器名 | IP | 作用 |
master | 122.205.135.53 | NameNode and JobTracker |
hadoop | 122.205.135.212 | DataNode and TaskTracker |
hadoop1 | 122.205.135.213 | DataNode and TaskTracker |
hadoop2 | 122.205.135.214 | DataNode and TaskTracker |
hadoop3 | 122.205.135.215 | DataNode and TaskTracker |
使用以下命令来安装:
$ sudo apt-get install ssh
$ sudo apt-get install rsync
这里注意:如果提示安装不了,说明我们的 apt-get 需要更新下,更新的命令如下:
sudo apt-get update
安装完成后出现如下图:
在 Hadoop 启动以后,namenode 是通过 SSH(Secure Shell)来启动和停止各个节点上的各种守护进程的,这就需要在节点之间执行指令的时候是不需要输入密码的方式,故我们需要配置 SSH 使用无密码公钥认证的方式。
namenode 生成密钥:
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
执行上述命令后会出现如下图:
这时候会在~/.ssh/ 目录下生成 id_dsa.pub 文件,如果我们希望 master 结点不需要密码就能使用 ssh 连接到 slave 结点,我们需要将 master 结点上的~/.ssh/id_dsa.pub 的内容,添加到 slave 结点的~/.ssh/authorized_keys 这个文件中。
如果 slave 结点的~/.ssh/authorized_keys 这个文件不存在,可以直接将~/.ssh/id_dsa.pub 文件复制过去并重命名为 authorized_keys:
$ scp ~/.ssh/id_dsa.pub hadoop@122.205.135.212:~/.ssh/authorized_keys
这时,我们在 122.205.135.212 这个 slave 的机器中登陆进去看下,这个文件是否复制过去了,命令如下:
cd ~/ssh
ls
也可以先将 master 结点的~/.ssh/id_dsa.pub 文件复制到 slave 结点的~/.ssh/ 目录下,例如:
$ scp ~/.ssh/id_dsa.pub hadoop@122.205.135.212:~/.ssh
或用
$ scp ~/.ssh/id_dsa.pub hadoop@hadoop:~/.ssh
然后在 slave 结点上执行下面的命令:
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
最后,我们验证是否可以无密码登陆:在 master 结点上使用 ssh 连接 slave 结点,例如:
$ ssh hadoop@hadoop
如果未提示输入密码直接登录,则表明设置成功。
CentOS 6.0 下 SSH 免密码登录配置 http://www.linuxidc.com/Linux/2013-03/80488.htm
提高 Ubuntu 的 SSH 登陆认证速度的办法 http://www.linuxidc.com/Linux/2014-09/106810.htm
CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm
Hadoop 集群搭建之 SSH 无密码登录配置 http://www.linuxidc.com/Linux/2012-09/70116.htm
更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
