阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

分布式Hadoop1.2.1集群的安装

120次阅读
没有评论

共计 1855 个字符,预计需要花费 5 分钟才能阅读完成。

安装其实很简单,把下载下来的 Hadoop 文件拷贝到相应的目录下,然后接压缩即可,关键是先要安装好 JDK, 前期的 Linux 要配置好。

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

 下面我把我的操作过程记录如下,供大家参考:
 
登录到 HadoopSrv01 机器上,进行如下操作:
 1:su – grid
 2:tar -xvf hadoop-1.2.1-bin.tar.gz
 3:解压缩后,会在 /home/grid 目录下 增加一个 hadoop-1.2.1 目录
 4:cd hadoop-1.2.1 创建 tmp 目录 mkdir tmp
 5:cd conf 目录,对 hadoop-env.sh, core-site.xml,hdfs-site.xml,mapred-site.xml,masters,slaves 文件进行配置
 
6:修改 hadoop-env.sh 文件,只需要设置 export JAVA_HOME=/usr/java/jdk1.8.0 即可,其他不需要修改。
 7:修改 core-site.xml 文件,增加以下内容
 <property>
 <name>fs.default.name</name>
 <value>hdfs://HadoopSrv01:9000</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/home/grid/hadoop-1.2.1/tmp</value>
 </property>
 

8:修改 hdfs-site.xml, 根据你自己的 datanode 节点数,设置复制因子。
 
<property>
 <name>dfs.replication</name>
 <value>2</value>
 </property>
 

9:修改 mapred-site.xml 文件
 <property>
 <name>mapred.job.tracker</name>
 <value>HadoopSrv01:9001</value>
 </property>
 
10:修改 masters,slaves 增加 namenode,datanode 节点配置。
 masters:
 HadoopSrv01
 slaves:
 HadoopSrv02
 HadoopSrv03
 
以上操作完毕后,就可以对 Hadoop 集群进行格式化,格式化的命令如下:
 
11:bin/hadoop namenode -format  记得要看清楚是否格式化成功
 
12:启动集群 bin/start-all.sh

13:检查各个节点 后台进程是否 OK /usr/java/jdk1.8.0/bin/jps  正常应该包括以下后台进程:
 
NameNode,JobTracker,DataNode,TaskTracker
 
如果以上都能看到,就说明 Hadoop 分布式环境已经搭建 OK。

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计1855字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中