阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop 1.x升级至Hadoop-2.2.0经验分享

132次阅读
没有评论

共计 2275 个字符,预计需要花费 6 分钟才能阅读完成。

一、概述

公司 Hadoop 集群从 1.2.1 升级到 2.2.0 已经有一段时间,这篇 blog 将总结一下我前段时间在升级至 Hadoop2.2.0 版本过程中遇到的一些问题,以及具体的升级步骤。

二、升级过程

(1) 停掉 hadoop1.x 集群。

(2) 备份 namenode 原数据,即备份 dfs.namenode.name.dir 指向的路径。以免造成由于升级版本带来的风险。

(3) 下载 hadoop-2.2.0 解压,用 scp 将解压后的 hadoop-2.2.0 复制到各个子节点。修改各个子节点的 hadoop 用户的配置文件,如果是 ubumtu 这编辑~/.bash_profile 文件,将 $HADOOP_HOME 指向新版 本 hadoop-2.2.0, 以及更新相应的环境变量。

(4) 将 Hadoop2.2.0 的 ${HADOOP_HOMOE}/etc/hadoop/hdfs-site.xml 中 dfs.namenode.name.dir 和 dfs.datanode.data.di 属性的值分别指向 hadoop1.x 的 ${HADOOP_HOME}/conf/hdfs-site.xml 中 dfs.name.dir 和 dfs.data.dir 的值。

(5) 启动相关进程。

启动 namenode,直接执行启动命令:$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode 会被提示版本不一致,这个时候就可以直接采用 upgrade 方式启动 namenode:$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode -upgrade  执行命令过后,如果你集群之前升级过,而且没有最经 commit,那么就会残留有之前版本的信息,看 dfs.namenode.name.dir 路径信息存在 previous.checkpoint 文件夹:

Hadoop 1.x 升级至 Hadoop-2.2.0 经验分享

这个时候你 upgrade 是会出错的,错误信息如下:

Hadoop 1.x 升级至 Hadoop-2.2.0 经验分享

要想升级成功必须将你之前升级过程中的版本信息删除掉,这里执行 $HADOOP_HOME/bin/hdfs dfsadmin -finalizeUpgrade 之前的版本信息就会被删掉,但是删掉以后你不能 rollback 回到之前的版本。这样删除旧版信息后,就可以 $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode -upgrade 进行升级了。当升级完成之后,又会生成一个旧版办备份信息,存在在 dfs.namenode.name.dir 路径中的 previous.checkpoint 文件夹中,用于之后的版本 rollback 操作。

(6)Hadoop2.2.0 升级到这里已经完毕并且 namenode 进程已经启动。现在将其他进程启动起来,依次启动 ResourceManager、WebAppProxyServer、JobHistoryServer、启动各个 slave 节点的 nodeManager 和 datanode 进程。这个要主要两个进程的,一个是 JobHistoryServer,这个进程主要是保存和处理作业的日志信息,这个进程必须启动,不然看不到 job 的日志信息。另外,WebAppProxyServer 这个进程主要作用是作为 HADOOP web 页面的一个代理,主要是为了安全考虑,也一定要启动。

另外,关于 Hadoop2.x 的 JournalNodes、active NN 和 standby NN 等 HA 方式,及如何部署和各自的原理,请看:http://www.linuxidc.com/Linux/2014-10/107933.htm

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop 中 HDFS 和 MapReduce 节点基本简介 http://www.linuxidc.com/Linux/2013-09/89653.htm

《Hadoop 实战》中文版 + 英文文字版 + 源码【PDF】http://www.linuxidc.com/Linux/2012-10/71901.htm

Hadoop: The Definitive Guide【PDF 版】http://www.linuxidc.com/Linux/2012-01/51182.htm

————————————– 分割线 ————————————–

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计2275字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中