阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CM (Cloudera Manager) 的安装,便于CDH的离线部署

454次阅读
没有评论

共计 2954 个字符,预计需要花费 8 分钟才能阅读完成。

一、准备工作

主机个数:n 台

操作系统:CentOS 6.5

安装所需软件包:

CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz             

CDH parcel: CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel                           

                  CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha    #将下载的 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1 重命名为 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

                  manifest.json

JDK: jdk-7u67-linux-x64.rpm                 

MySql driver: mysql-connector-Java-5.1.26-bin.jar

软件下载地址:

CDH 下载地址:http://archive.cloudera.com/cdh5/

              其中 parcels 地址:http://archive.cloudera.com/cdh5/parcels/5.4.0

CM 下载地址:http://www.cloudera.com/downloads/manager/5-4-3.html

CM 安装官方文档说明:

http://www.cloudera.com/documentation/enterprise/5-4-x/topics/installation_installation.html

二、系统环境配置

1、配置网络环境

  • 将主机修改为静态 IP
  • 修改主机名及对应的 IP

2、SHH 设置免密码登录

              ssh-keygen -t rsa        #生成密钥文件

              ssh-copy-id  主机名  #将生成的公钥文件 copy 到指定主机

3、关闭防火墙

              service iptables stop        #关闭防火墙

              chkconfig iptables off      #关闭开机启动

4、关闭 SELinux

              setenforce 0  #临时关闭

              vi /etc/selinux/config  修改 SELINUX=disabled      #永久生效

5、配置时间同步

              yun install ntp   

              chkconfig ntp on

              ntpdate -u ntp.sjtu.edu.cn  #如果此时间服务器无效,可网上找寻其他时间服务器

6、安装 JDK

Jdk 版本官网要求:1.7.0_67  1.7.0_75  1.8.0_60 

安装准备好的 rpm 包:rpm –ivh jdk-7u67-linux-x64.rpm

配置环境变量

vi ~/.bash_profile

#JAVA

export JAVA_HOME=/usr/java/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

source ~/.bash_profile

7、安装 mysql

官网推荐 5.1、5.5、5.6 版本

安装:yum install mysql-server

修改权限:

GRANT ALL PRIVILEGES ON *.* TO ‘root’@’%’ IDENTIFIED BY ‘root’ WITH GRANT OPTION;

flush privileges;

8、下载第三方依赖包

yum install chkconfig Python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs RedHat-lsb –y

三、安装 CM 

1、安装 CM Agent 和 Server

    在 agent 和 server 主机上创建目录

    mkdir /opt/cloudera-manager

    将安装包解压到指定目录

    tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户 cloudera-scm

在所有节点上执行

useradd –system –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm

3、配置 CM Agent

修改配置文件 /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中的 server_host 和 server_port。server_port 默认为 7182。

4、配置 CM Server 数据库

拷贝 mysql 驱动

cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

执行 mysql 命令

grant all on *.* to ‘temp’@’%’ identified by ‘temp’ with grant option;

配置库

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp –scm-host node1 scm scm scm

其中 node1 为 server 主机名

5、创建 parcel 目录

Server 节点

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent 节点

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、上传 CDH 本地源

上传 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

          CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

          manifest.json

文件到 /opt/cloudera/parcel-repo

7、启动 CM Server 和 Agent

 cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/

./cloudera-scm-server start

运行很慢,可通过 log 跟踪启动过程。

./cloudera-scm-agent start

在所有 agent 节点上,都要启动

8、访问 CM

地址:http://node1:7180

用户名、密码:admin

接下来就可以安装想要的 CDH 服务了。

CM 安装服务的配置文件存放位置:/etc/

CM 安装服务的运行日志位置:/var/log/

CM 安装服务的包文件存放位置:/opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2016-07/133354.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计2954字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7995833
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...
星哥带你玩飞牛NAS-2:飞牛配置RAID磁盘阵列

星哥带你玩飞牛NAS-2:飞牛配置RAID磁盘阵列

星哥带你玩飞牛 NAS-2:飞牛配置 RAID 磁盘阵列 前言 大家好,我是星哥之前星哥写了《星哥带你玩飞牛 ...
飞牛NAS玩转Frpc并且配置,随时随地直连你的私有云

飞牛NAS玩转Frpc并且配置,随时随地直连你的私有云

飞牛 NAS 玩转 Frpc 并且配置,随时随地直连你的私有云 大家好,我是星哥,最近在玩飞牛 NAS。 在数...
星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的NAS中!

星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的NAS中!

星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的 NAS 中! 大家对「数据安全感」的需求越来越高 ...
【开源神器】微信公众号内容单篇、批量下载软件

【开源神器】微信公众号内容单篇、批量下载软件

【开源神器】微信公众号内容单篇、批量下载软件 大家好,我是星哥,很多人都希望能高效地保存微信公众号的文章,用于...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
手把手教你,购买云服务器并且安装宝塔面板

手把手教你,购买云服务器并且安装宝塔面板

手把手教你,购买云服务器并且安装宝塔面板 前言 大家好,我是星哥。星哥发现很多新手刚接触服务器时,都会被“选购...
星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

  星哥带你玩飞牛 NAS-16:飞牛云 NAS 换桌面,fndesk 图标管理神器上线! 引言 哈...
如何安装2026年最强个人助理ClawdBot、完整安装教程

如何安装2026年最强个人助理ClawdBot、完整安装教程

如何安装 2026 年最强个人助理 ClawdBot、完整安装教程 一、前言 学不完,根本学不完!近期,一款名...
星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛 NAS-12:开源笔记的进化之路,效率玩家的新选择 前言 如何高效管理知识与笔记,已经成为技术...
浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍 前言 在 AI 自动化快速发展的当下,浏览器早已不再只是...