阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop2.2.0版本多节点集群及Eclipse开发环境搭建

100次阅读
没有评论

共计 6466 个字符,预计需要花费 17 分钟才能阅读完成。

鉴于部分网友在搭建 Hadoop2.2.0 过程中遇到各种各样的问题,特记录本人搭建集群环境,以作参考。

环境:

1、虚拟机:VMware® Workstation,版本:10.0.0

2、操作系统:Ubuntu-13.10

3、hadoop 版本:hadoop-2.2.0 下载地址

4、jdk1.6.0_45

5、本文所用两台机器分工如下:

hostnameuseripfunctions
masterhadoop192.168.234.128NameNode/SecondaryNameNode/ResouceManager
slave1hadoop192.168.234.129DataNode/NodeManager

 

6、登陆工具:SecureCRT Version 6.2.0

7、开发工具:eclipse-kepler

环境配置步骤:

1、安装 jdk,并配置环境变量:

vi /etc/profile

加入下列几行(本文 java 安装路径为:/usr/local/java/):

export JAVA_HOME=/usr/local/java/jdk1.6.0_45
export CLASSPATH=.:$JAVA_HOME/lib.tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

保存后输入:source /etc/profile 以使其生效。

Hadoop2.2.0 版本多节点集群及 Eclipse 开发环境搭建

验证:输入:java -version

2、安装 ssh

sudo apt-get install ssh

设置 local 无密码登陆

安装完成后会在当前用户主目录,即这里的 /home/hadoop 下产生一个隐藏文件夹.ssh(ll 或者 ls -a 命令可以查看隐藏文件)。如果没有这个文件,自己新建即可,命令为:mkdir .ssh。

具体步骤如下:

2.1、进入.ssh 文件夹

2.2、ssh-keygen -t rsa 之后一路回 车(产生秘钥)

2.3、把 id_rsa.pub 追加到授权的 key 里面去(cat id_rsa.pub >> authorized_keys)

2.4、重启 SSH 服 务命令使其生效 :service sshd restart(这里 RedHat 下为 sshdUbuntu 下为 ssh)

此时已经可以进行 ssh localhost 的无密码登陆

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

3、修改主机名(hostname)、hosts

vi /etc/hostname

改为:master

vi /etc/hosts

如下图所示:

Hadoop2.2.0 版本多节点集群及 Eclipse 开发环境搭建

4、关闭防火墙:

ufw disable

5、安装 Hadoop2.2.0

本文将下载的 hadoop-2.2.tar.gz 解压到了 /home/hadoop 路径下
5.1 在 master 本地文件系统创建以下文件夹:

~/dfs/name

~/dfs/data

~/temp

5.2 修改 hadoop 配置文件

1)hadoop-env.sh

修改 JAVA_HOME 值:

export JAVA_HOME=/usr/local/java/jdk1.6.0_45

Hadoop2.2.0 版本多节点集群及 Eclipse 开发环境搭建

2)、yarn-env.sh

修改 JAVA_HOME 值:

export JAVA_HOME=/usr/local/java/jdk1.6.0_45

Hadoop2.2.0 版本多节点集群及 Eclipse 开发环境搭建

3)、slaves

加入:slave1

4)、core-site.xml

<configuration>
 <property>
        <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
    </property>

    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/temp</value>
        <description>Abase for other temporary directories.</description>
    </property>

    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>

    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>

</configuration>

鉴于部分网友在搭建 Hadoop2.2.0 过程中遇到各种各样的问题,特记录本人搭建集群环境,以作参考。

环境:

1、虚拟机:VMware® Workstation,版本:10.0.0

2、操作系统:Ubuntu-13.10

3、hadoop 版本:hadoop-2.2.0 下载地址

4、jdk1.6.0_45

5、本文所用两台机器分工如下:

hostnameuseripfunctions
masterhadoop192.168.234.128NameNode/SecondaryNameNode/ResouceManager
slave1hadoop192.168.234.129DataNode/NodeManager

 

6、登陆工具:SecureCRT Version 6.2.0

7、开发工具:eclipse-kepler

环境配置步骤:

1、安装 jdk,并配置环境变量:

vi /etc/profile

加入下列几行(本文 java 安装路径为:/usr/local/java/):

export JAVA_HOME=/usr/local/java/jdk1.6.0_45
export CLASSPATH=.:$JAVA_HOME/lib.tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

保存后输入:source /etc/profile 以使其生效。

Hadoop2.2.0 版本多节点集群及 Eclipse 开发环境搭建

验证:输入:java -version

2、安装 ssh

sudo apt-get install ssh

设置 local 无密码登陆

安装完成后会在当前用户主目录,即这里的 /home/hadoop 下产生一个隐藏文件夹.ssh(ll 或者 ls -a 命令可以查看隐藏文件)。如果没有这个文件,自己新建即可,命令为:mkdir .ssh。

具体步骤如下:

2.1、进入.ssh 文件夹

2.2、ssh-keygen -t rsa 之后一路回 车(产生秘钥)

2.3、把 id_rsa.pub 追加到授权的 key 里面去(cat id_rsa.pub >> authorized_keys)

2.4、重启 SSH 服 务命令使其生效 :service sshd restart(这里 RedHat 下为 sshdUbuntu 下为 ssh)

此时已经可以进行 ssh localhost 的无密码登陆

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

5)、hdfs-site.xml

<configuration>
 <property>
 <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
 </property>

 <property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/home/Hadoop/dfs/name</value>
    </property>

 <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/hadoop/dfs/data</value>
    </property>

    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>

    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
 </property>
</configuration>

Hadoop2.2.0 版本多节点集群及 Eclipse 开发环境搭建

6)、mapred-site.xml

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

Hadoop2.2.0 版本多节点集群及 Eclipse 开发环境搭建

7)、yarn-site.xml

<configuration>

<!– Site specific YARN configuration properties –>
 <property>
  <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>

    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>

    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>

    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>

</configuration>

6、克隆
Hadoop 集群中每个机器上面的配置基本相同,所以我们先在 namenode 上面进行配置部署,然后再复制到其他机器,然后稍作修改即可。

Hadoop2.2.0 版本多节点集群及 Eclipse 开发环境搭建

 修改 slave1 的 hostname:slave1

7、启动验证

7.1 启动 hadoop

进入安装目录:cd  ~/hadoop-2.2.0/

格式化 namenode:./bin/hdfs namenode –format

启动 hdfs: ./sbin/start-dfs.sh

查看 java 进程命令:jps

此时在 master 上面运行的进程有:

namenode

secondarynamenode

slave1 上面运行的进程有:datanode

启动 yarn: ./sbin/start-yarn.sh

此时在 master 上面运行的进程有:

namenode

secondarynamenode

resourcemanager

slave1 上面运行的进程有:

datanode

nodemanaget

查看集群状态:./bin/hdfs dfsadmin –report
查看文件块组成:./bin/hdfsfsck / -files -blocks

查看 HDFS:    http://master:50070

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计6466字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中