阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CDH升级(5.11.0 -> 5.12.0)

129次阅读
没有评论

共计 2937 个字符,预计需要花费 8 分钟才能阅读完成。

集群环境

mimo41 mimo42 mimo56

mimo41 为主节点

1.CM 升级

  • 下载 cm 安装包:cloudera-manager-CentOS7-cm5.12.0_x86_64.tar.gz

当前版本下载地址:https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz

所有版本下载地址:https://www.cloudera.com/documentation/enterprise/release-notes/topics/cm_vd.html

  • 解压安装包

    [root@mimo41 ~]# tar -zxvf cloudera-manager-centos7-cm5.12.0\_x86\_64.tar.gz

    解压得两个文件夹 cm-5.12.0cloudera, 后者不需要修改,当前需要所有核心的东西都在这,此时我们只需要更新cm-5.12.0

    [root@mimo41 ~]# cd /root/cm-5.12.0/etc/cloudera-scm-agent
    [root@mimo41 cloudera-scm-agent]# vim config.ini

    修改 server_hostserver_port两个属性值,此处端口使用的默认端口,只需要修改 server_host=mimo41 即可, 将目录移到 /opt

    [root@mimo41 ~]# mv cm-5.12.0/ /opt

    cm-5.12.0 拷贝到集群的其他两台机器上

    [root@mimo41 opt]# scp -r cm-5.12.0/ mimo42:/opt/
    [root@mimo41 opt]# scp -r cm-5.12.0/ mimo56:/opt/
  • 基本工作准备完毕,下一步需要将老集群 CM 的配置信息同步到新集群 CM, 两部分信息需要同步:

    • server 的数据库信息

      覆盖默认的 db.properties 文件

      [root@mimo41 opt]# cp ./cm-5.11.0/etc/cloudera-scm-server/db.properties ./cm-5.12.0/etc/cloudera-scm-server/
    • agent 的 uuid 信息

      拷贝 uuidcm_guid(cm_guid 文件还不确定作用) 文件

      [root@mimo41 opt]# cp /opt/cm-5.11.0/lib/cloudera-scm-agent/*uid /opt/cm-5.12.0/lib/cloudera-scm-agent
      [root@mimo42 opt]# cp /opt/cm-5.11.0/lib/cloudera-scm-agent/*uid /opt/cm-5.12.0/lib/cloudera-scm-agent
      [root@mimo56 opt]# cp /opt/cm-5.11.0/lib/cloudera-scm-agent/*uid /opt/cm-5.12.0/lib/cloudera-scm-agent
  • 关闭集群服务和 CM 的 server 和 agent 服务

    • 通过 cm 界面关闭集群服务和 CM 服务

      [root@mimo41 init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-server stop
      [root@mimo41 init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent stop
      [root@mimo42 init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent stop
      [root@mimo56 init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent stop

      验证服务都已经正常关闭

      ps -ef | grep cloudera-scm-server | grep -v grep
      ps -ef | grep cloudera-scm-agent | grep -v grep
    • unmount 进程挂载点

      CDH 升级(5.11.0 -> 5.12.0)

       

      [root@mimo41 init.d]# umount /opt/cm-5.11.0/run/cloudera-scm-agent/process
      [root@mimo42 init.d]# umount /opt/cm-5.11.0/run/cloudera-scm-agent/process
      [root@mimo56 init.d]# umount /opt/cm-5.11.0/run/cloudera-scm-agent/process
    • 通过新版本 CM 启动 server 和 agent 服务

      [root@mimo41 ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-server start
      [root@mimo41 ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start
      [root@mimo42 ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start
      [root@mimo56 ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start
    • 打开 CM 管理网址,登录进去

      网页右上角,点击 关于 ,显示 5.12.0 版本,表示 CM 升级成功

      CDH 升级(5.11.0 -> 5.12.0)CDH 升级(5.11.0 -> 5.12.0)

2.CDH 升级

  • 准备工作(如果网速不是特别好的话,提前下载好 Parcel 文件,放到 /opt/cloudera/parcel-repo 目录下),下载方式:

CDH 升级(5.11.0 -> 5.12.0)

 

CDH 升级(5.11.0 -> 5.12.0)

 


具体安装步骤如下:

CDH 升级(5.11.0 -> 5.12.0)

 


本次升级由于集群中没什么数据,所以就没备份数据库,强烈建议在生产环境中一定要备份数据库,要不然出问题就 SB 了,备份数据库步骤请参考附录

CDH 升级(5.11.0 -> 5.12.0)

 


CDH 升级(5.11.0 -> 5.12.0)

 


CDH 升级(5.11.0 -> 5.12.0)

 


CDH 升级(5.11.0 -> 5.12.0)

 


CDH 升级(5.11.0 -> 5.12.0)

 


CDH 升级(5.11.0 -> 5.12.0)

 


CDH 升级(5.11.0 -> 5.12.0)

 


升级集群的时候发生错误,查看日志,原来是原来 HDFS 上已经有 spark-assembly.jar,删除之

[root@mimo41 parcel-repo]# sudo -u spark Hadoop fs -rm -f /user/spark/location/spark-assembly.jar

 


后面一路绿灯

CDH 升级(5.11.0 -> 5.12.0)

 


CDH 升级(5.11.0 -> 5.12.0)

 


CDH 升级(5.11.0 -> 5.12.0)

 

最后在 CM 管理界面启动服务,至此,CDH 升级完毕。


附录:

CM 升级(官网)

https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_ag_ug_cm5_tarballs.html

CDH 升级(官网)

https://www.cloudera.com/documentation/enterprise/5-10-x/topics/install_upgrade_to_cdh5x_parcels.html

mysql 数据库备份:

https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_ag_backup_dbs.html#concept_tyh_rmq_bl

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-12/149560.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计2937字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中