CDH升级详解

共计 2336 个字符，预计需要花费 6 分钟才能阅读完成。

升级主要分为两部分 1.CM 的升级、2.CDH 的升级

CM 的升级

两种升级方法

• 1. 使用 package

• 2. 使用 Tarballs 升级方法，参照官方升级指引，Tarball 中包含了 Cloudera Manager Server 和Cloudera Manager Agent
  通常情况下升级 CM 和升级 CDH 是两个独立的过程，可以在不关闭 CDH 服务的情况下升级 CM，然后再升级 CDH，升级 CM 主要分为以下几个步骤

  1. 收集升级信息

  在升级之前收集与 CM 相关的信息，包括账户、密码、数据库 URLs 等。

• 1. 有 root 用户权限或者起码有 sudo 权限

• 2. 查看 CM、JDK 的版本
  
  

• 3.CDH 的版本
  进入 CM 主页面
  

• 4. 所安装的服务
  

• 5. 查看系统版本
  hosts->All Hosts 随便点击一个主机
  

2. 完成升级前的准备

• 1. 本次要升级到的版本为 5.13.X，支持的 OS 版本
  

• 2. 查看用户自定义的服务
  Administration->setting->Custom Service Descriptors

  3. 升级 JDK

  升级 JDK 到 1.8.
  在页面设置 Java 的目录: 主机(Hosts)-> 所有主机(All Hosts)-> 配置(Configuration)-> 类别(CATEGORY)-> 高级(Advanced)。这样做仅仅修改了 CM 和 CDH 依赖的 JDK，并不会影响要其他的进程

  4. 升级 CM

• 1. 停止 CM server、DB 和 agent
  • a. 关闭 CM 服务 Cluster->Cloudera Managent service->Action->Stop，
  • b. 在 server 上面运行sudo service cloudera-scm-server stop
  • c. 在 agent 上面运行sudo service cloudera-scm-agent stop

• 2. 下载 CM 文件网址,5.13x 的 tarballs 链接。rpm 安装包路径

  方法一 4.1 package 升级 CM

• 1. 确保所有主机上进程服务都关闭

  sudo service cloudera-scm-agent status # 查看状态
  sudo service cloudera-scm-server-db stop # 关闭内嵌数据库，如果没有这个服务可跳过
  sudo service cloudera-scm-server stop  # 关闭 server
  sudo service cloudera-scm-agent stop  # 关闭 agent

• 2. 备份 CM 数据库
  在 CM 的 server 机器上 /etc/cloudera-scm-server 文件

  [Hadoop@175-45-5-195 cloudera-scm-server]$ sudo cat db.properties
  # Auto-generated by initialize_embedded_db.sh
  com.cloudera.cmf.db.type=postgresql
  com.cloudera.cmf.db.host=localhost:7432
  com.cloudera.cmf.db.name=scm
  com.cloudera.cmf.db.user=scm
  com.cloudera.cmf.db.password=3Emd1VtlcK

  根据上面的内容备份 postgresql 数据库

  pg_dump -hlocalhost -p 7432 -U scm > /tmp/scm_server_db_backup.$(date +%Y%m%d)

  如果使用 rpm 安装，需要配置 /etc/yum.repos.d/cloudera-manager.repo 的源

  sudo yum clean all
  sudo yum upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-server-db-2  cloudera-manager-agent

  上面是自动下载组件，CM 的安装包比较的大不到 1G，如果网速不够好可以下载到本地

  sudo  yum localinstall cloudera-manager-*

在 Agent 上面安装成功之后, 在 /etc/cloudera-scm-agent 下面生成了、config.ini.rpmnew文件，这个是一些比较新的配置，你需要将原来 config.ini 文件中的一些用户配置添加到 config.ini.rpmnew 中，并将其修改为 config.ini，删掉老的 config.ini 文件。
需要在 server 和 agent 上面开启相关服务

sudo service cloudera-scm-server-db start
sudo service cloudera-scm-server start
sudo service cloudera-scm-agent start

方法二 4.2 tarball 升级 CM

• 1. 解压 Tarball 包
  解压文件到 /opt/ 目录
  sudo tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
• 2. 默认情况下 tarball 安装方式会有一个 var 子目录用来存储状态文件，非 tarball 安装方式的状态存储在 /var 目录下，CM 建议使用 /var 或者 tarball 外部的目录，这样在升级的过程中新的 tarball 就可以访问这些状态文件，那么该如何设置这个目录呢？修改 \cm-5.13.0\etc\default\ 下面 cloudera-scm-agent 文件，设置 CMF_VAR 的值。

CDH 的升级

使用 parcels 方法升级参照官网
备份数据库,parcels 目录

接下来就是根据提示进行选择。

本文永久更新链接地址：http://www.linuxidc.com/Linux/2017-12/149559.htm