阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop2.2 伪分布式配置

113次阅读
没有评论

共计 7612 个字符,预计需要花费 20 分钟才能阅读完成。

上一篇描述了如何在 Ubuntu 64 位环境下编译 Hadoop2.2,http://www.linuxidc.com/Linux/2014-01/95569.htm 这里描述一下如何进行单机伪分布部署。

部署上,很简单,就是分成两部分:修改配置文件盒启动脚本。

一:修改配置文件:

hadoop2.2 的配置文件在 /opt/hadoop-2.2.0/etc/hadoop 文件夹下,具体配置文件修改如下:

1、修改 /etc/hosts 文件(sudo gedit /etc/hosts)

192.168.222.154 hd2-single

2、修改 core-site.xml

<configuration>

    <property> 
      <name>hadoop.tmp.dir</name> 
      <value>/home/sujx/hadoop/tmp</value> 
    </property> 
    <property> 
      <name>fs.defaultFS</name> 
      <value>hdfs://hd2-single:9000</value> 
      <final>true</final> 
    </property> 

</configuration>

fs.defaultFS:HDFS 文件系统的 URL

3.  修改 hdfs-site.xml

<configuration>

    <property> 
      <name>dfs.namenode.name.dir</name> 
      <value>file:/home/sujx/hadoop/dfs/name</value> 
      <final>true</final> 
    </property> 
     
    <property> 
      <name>dfs.datanode.data.dir</name> 
      <value>file:/home/sujx/hadoop/dfs/data</value> 
      <final>true</final> 
    </property> 
     
    <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
    </property> 
     
    <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
    </property> 
</configuration>

4.  修改 mapred-site.xml

<configuration>

    <property> 
      <name>mapreduce.framework.name</name> 
      <value>yarn</value> 
    </property> 
     
    <property> 
      <name>mapred.system.dir</name> 
      <value>file:/home/sujx/hadoop/mapred/system</value> 
      <final>true</final> 
    </property> 
     
    <property> 
      <name>mapred.local.dir</name> 
      <value>file:/home/sujx/hadoop/mapred/local</value> 
      <final>true</final> 
    </property> 

</configuration>

 

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

5.  修改 yarn-site.xml

<configuration>

    <property> 
      <name>yarn.nodemanager.aux-services</name> 
      <value>mapreduce_shuffle</value> 
      <description>shuffle service that needsto be set for Map Reduce to run </description> 
    </property> 
     
    <property> 
      <name>yarn.resourcemanager.hostname</name> 
      <value>hd2-single</value> 
      <description>hostanem of RM</description> 
    </property> 

</configuration>

6.  修改 slave

hd2-single

至此,配置文件修改完毕,比较多,挺麻烦的。

二:启动 Hadoop 脚本。

启动 hadoop 脚本,需呀用到一些环境变量,所以需要先修改 Ubuntu 的 profile 文件。

使用命令:sudo /etc/profile

export HADOOP_HOME=/opt/hadoop-2.2.0 
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在初次运行 Hadoop 的时候需要初始化 Hadoop 文件系统,命令如下:

hdfs namenode -format

1.  启动脚本一:

sujx@ubuntu:~$ hadoop-daemon.sh start namenode
starting namenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-namenode-ubuntu.out
sujx@ubuntu:~$ hadoop-daemon.sh start datanode
starting datanode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-datanode-ubuntu.out
sujx@ubuntu:~$ hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-secondarynamenode-ubuntu.out
sujx@ubuntu:~$ jps
9310 SecondaryNameNode
9345 Jps
9140 NameNode
9221 DataNode
sujx@ubuntu:~$ yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-resourcemanager-ubuntu.out
sujx@ubuntu:~$ yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-nodemanager-ubuntu.out
sujx@ubuntu:~$ jps
9310 SecondaryNameNode
9651 NodeManager
9413 ResourceManager
9140 NameNode
9709 Jps
9221 DataNode
sujx@ubuntu:~$

2.  启动脚本二:

sujx@ubuntu:~$ start-dfs.sh
Starting namenodes on [hd2-single]
hd2-single: starting namenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-namenode-ubuntu.out
hd2-single: starting datanode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-datanode-ubuntu.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-secondarynamenode-ubuntu.out
sujx@ubuntu:~$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-resourcemanager-ubuntu.out
hd2-single: starting nodemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-nodemanager-ubuntu.out
sujx@ubuntu:~$ jps
11414 SecondaryNameNode
10923 NameNode
11141 DataNode
12038 Jps
11586 ResourceManager
11811 NodeManager
sujx@ubuntu:~$

3.  启动脚本三:

sujx@ubuntu:~$ start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [hd2-single]
hd2-single: starting namenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-namenode-ubuntu.out
hd2-single: starting datanode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-datanode-ubuntu.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /opt/hadoop-2.2.0/logs/hadoop-sujx-secondarynamenode-ubuntu.out
starting yarn daemons
starting resourcemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-resourcemanager-ubuntu.out
hd2-single: starting nodemanager, logging to /opt/hadoop-2.2.0/logs/yarn-sujx-nodemanager-ubuntu.out
sujx@ubuntu:~$ jps
14156 NodeManager
14445 Jps
13267 NameNode
13759 SecondaryNameNode
13485 DataNode
13927 ResourceManager
sujx@ubuntu:~$

其实这三种方式最终效果都是相同,他们内部也都是相互调用关系。对应的结束脚本也简单:
 1. 结束脚本一:
sujx@ubuntu:~$ hadoop-daemon.sh stop nodemanager
sujx@ubuntu:~$ hadoop-daemon.sh stop resourcemanager
sujx@ubuntu:~$ hadoop-daemon.sh stop secondarynamenode
sujx@ubuntu:~$ hadoop-daemon.sh stop datanode
sujx@ubuntu:~$ hadoop-daemon.sh stop namenode
 2. 结束脚本二:
sujx@ubuntu:~$ stop-yarn.sh
sujx@ubuntu:~$ stop-dfs.sh
  3. 结束脚本三:
sujx@ubuntu:~$ stop-all.sh
 至此,单机伪分布就已经部署完毕。

上一篇描述了如何在 Ubuntu 64 位环境下编译 Hadoop2.2,http://www.linuxidc.com/Linux/2014-01/95569.htm 这里描述一下如何进行单机伪分布部署。

部署上,很简单,就是分成两部分:修改配置文件盒启动脚本。

一:修改配置文件:

hadoop2.2 的配置文件在 /opt/hadoop-2.2.0/etc/hadoop 文件夹下,具体配置文件修改如下:

1、修改 /etc/hosts 文件(sudo gedit /etc/hosts)

192.168.222.154 hd2-single

2、修改 core-site.xml

<configuration>

    <property> 
      <name>hadoop.tmp.dir</name> 
      <value>/home/sujx/hadoop/tmp</value> 
    </property> 
    <property> 
      <name>fs.defaultFS</name> 
      <value>hdfs://hd2-single:9000</value> 
      <final>true</final> 
    </property> 

</configuration>

fs.defaultFS:HDFS 文件系统的 URL

3.  修改 hdfs-site.xml

<configuration>

    <property> 
      <name>dfs.namenode.name.dir</name> 
      <value>file:/home/sujx/hadoop/dfs/name</value> 
      <final>true</final> 
    </property> 
     
    <property> 
      <name>dfs.datanode.data.dir</name> 
      <value>file:/home/sujx/hadoop/dfs/data</value> 
      <final>true</final> 
    </property> 
     
    <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
    </property> 
     
    <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
    </property> 
</configuration>

4.  修改 mapred-site.xml

<configuration>

    <property> 
      <name>mapreduce.framework.name</name> 
      <value>yarn</value> 
    </property> 
     
    <property> 
      <name>mapred.system.dir</name> 
      <value>file:/home/sujx/hadoop/mapred/system</value> 
      <final>true</final> 
    </property> 
     
    <property> 
      <name>mapred.local.dir</name> 
      <value>file:/home/sujx/hadoop/mapred/local</value> 
      <final>true</final> 
    </property> 

</configuration>

 

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计7612字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中