阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CM (Cloudera Manager) 的安装,便于CDH的离线部署

168次阅读
没有评论

共计 2954 个字符,预计需要花费 8 分钟才能阅读完成。

一、准备工作

主机个数:n 台

操作系统:CentOS 6.5

安装所需软件包:

CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz             

CDH parcel: CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel                           

                  CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha    #将下载的 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1 重命名为 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

                  manifest.json

JDK: jdk-7u67-linux-x64.rpm                 

MySql driver: mysql-connector-Java-5.1.26-bin.jar

软件下载地址:

CDH 下载地址:http://archive.cloudera.com/cdh5/

              其中 parcels 地址:http://archive.cloudera.com/cdh5/parcels/5.4.0

CM 下载地址:http://www.cloudera.com/downloads/manager/5-4-3.html

CM 安装官方文档说明:

http://www.cloudera.com/documentation/enterprise/5-4-x/topics/installation_installation.html

二、系统环境配置

1、配置网络环境

  • 将主机修改为静态 IP
  • 修改主机名及对应的 IP

2、SHH 设置免密码登录

              ssh-keygen -t rsa        #生成密钥文件

              ssh-copy-id  主机名  #将生成的公钥文件 copy 到指定主机

3、关闭防火墙

              service iptables stop        #关闭防火墙

              chkconfig iptables off      #关闭开机启动

4、关闭 SELinux

              setenforce 0  #临时关闭

              vi /etc/selinux/config  修改 SELINUX=disabled      #永久生效

5、配置时间同步

              yun install ntp   

              chkconfig ntp on

              ntpdate -u ntp.sjtu.edu.cn  #如果此时间服务器无效,可网上找寻其他时间服务器

6、安装 JDK

Jdk 版本官网要求:1.7.0_67  1.7.0_75  1.8.0_60 

安装准备好的 rpm 包:rpm –ivh jdk-7u67-linux-x64.rpm

配置环境变量

vi ~/.bash_profile

#JAVA

export JAVA_HOME=/usr/java/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

source ~/.bash_profile

7、安装 mysql

官网推荐 5.1、5.5、5.6 版本

安装:yum install mysql-server

修改权限:

GRANT ALL PRIVILEGES ON *.* TO ‘root’@’%’ IDENTIFIED BY ‘root’ WITH GRANT OPTION;

flush privileges;

8、下载第三方依赖包

yum install chkconfig Python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs RedHat-lsb –y

三、安装 CM 

1、安装 CM Agent 和 Server

    在 agent 和 server 主机上创建目录

    mkdir /opt/cloudera-manager

    将安装包解压到指定目录

    tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户 cloudera-scm

在所有节点上执行

useradd –system –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm

3、配置 CM Agent

修改配置文件 /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中的 server_host 和 server_port。server_port 默认为 7182。

4、配置 CM Server 数据库

拷贝 mysql 驱动

cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

执行 mysql 命令

grant all on *.* to ‘temp’@’%’ identified by ‘temp’ with grant option;

配置库

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp –scm-host node1 scm scm scm

其中 node1 为 server 主机名

5、创建 parcel 目录

Server 节点

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent 节点

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、上传 CDH 本地源

上传 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

          CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

          manifest.json

文件到 /opt/cloudera/parcel-repo

7、启动 CM Server 和 Agent

 cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/

./cloudera-scm-server start

运行很慢,可通过 log 跟踪启动过程。

./cloudera-scm-agent start

在所有 agent 节点上,都要启动

8、访问 CM

地址:http://node1:7180

用户名、密码:admin

接下来就可以安装想要的 CDH 服务了。

CM 安装服务的配置文件存放位置:/etc/

CM 安装服务的运行日志位置:/var/log/

CM 安装服务的包文件存放位置:/opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2016-07/133354.htm

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-21发表,共计2954字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中