阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CDH5.9.0集群部署与搭建

393次阅读
没有评论

共计 5510 个字符,预计需要花费 14 分钟才能阅读完成。

最近新购了一台工作站,急切的想试一下手,就搭建个 CDH 集群吧,练练手,顺便了解一下最新版的 CDH 长成什么样子了……
工作站的配置:Thinkpad P50,Intel(R)Xeon E3 1505M v5@2.80GHz 2.81GHz ; 内存 48G; 显卡 4G……

1 下载 CDH 各种 RPM 包

1.1 下载 cloudera-manager-installer.bin

  • 这个地址可以选择最新的 CM 的安装文件进行下载,此处,我选择的是 5.9.0 版本

http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

http://archive.cloudera.com/cm5/installer/5.9.0/cloudera-manager-installer.bin(我选择下载的版本)
CDH5.9.0 集群部署与搭建

1.2 下载对应平台 / 架构的 RPMS

对应我的平台的 RPMS 包下载地址如下:

http://archive.cloudera.com/cm5/RedHat/6/x86_64/cm/5.9.0/RPMS/x86_64/
CDH5.9.0 集群部署与搭建

2 设置 IP 地址(所有节点)

2.1 设置 IP 地址和网关

Master:IP 192.168.1.100    网关 192.168.1.254
Worker1:IP 192.168.1.101    网关 192.168.1.254
Worker2:IP 192.168.1.102    网关 192.168.1.254
Worker3:IP 192.168.1.103    网关 192.168.1.254
Worker4:IP 192.168.1.104    网关 192.168.1.254

2.2 设置主机名

修改系统的网络配置文件

vim /etc/sysconfig/network

例如:修改 HOSTNAME=Master
CDH5.9.0 集群部署与搭建
各个节点的主机名配置如下

192.168.1.100 主机名: Master
192.168.1.101 主机名: Worker1
192.168.1.102 主机名: Worker2
192.168.1.103 主机名: Worker3
192.168.1.104 主机名: Worker4

(注:此处集群的各个节点的主机名字就是用安装系统时的设置的主机名,所以我就不用修改了)

3 设置 hosts 文件(所有节点)

绑定 IP 地址与 HostName

vim /etc/hosts
192.168.1.100   Master
192.168.1.101   Worker1
192.168.1.102   Worker2
192.168.1.103   Worker3
192.168.1.104   Worker4

CDH5.9.0 集群部署与搭建

4 关闭防火墙(所有节点)

4.1 检查防火墙状态

service iptables status

4.2 关闭防火墙

chkconfig iptables off        // 永远关闭 - 重启后生效
service iptables off      // 临时关闭 - 不用重启

系统重启后,查看防火墙状态如下
CDH5.9.0 集群部署与搭建

5 关闭 SELinux(所有节点)

使用 getenforce 查看是否关闭:
CDH5.9.0 集群部署与搭建
显示的是在强制执行,接下来我们需要关掉它
修改 /etc/selinux/config 文件,将 SELINUX=enforcing 改为 SELINUX=disabled,修改完成后重启机器生效。
CDH5.9.0 集群部署与搭建
(将 SELINUX=enforcing 改为 disabled)
CDH5.9.0 集群部署与搭建

reboot -h now

重启之后,查看是否生效
CDH5.9.0 集群部署与搭建
已经生效,注意每个节点都要关闭 SElinux 哟

6 配置 SSH(可选)

6.1 修改 sshd 配置文件

vim /etc/ssh/sshd_config

CDH5.9.0 集群部署与搭建
去掉注释,放开这几个配置项
CDH5.9.0 集群部署与搭建
重启 sshd 服务

service sshd restart

CDH5.9.0 集群部署与搭建

6.2 生成私钥和公钥(所有节点)

ssh-keygen -t rsa

Master:
CDH5.9.0 集群部署与搭建
Worker1:
CDH5.9.0 集群部署与搭建
Worker2:
CDH5.9.0 集群部署与搭建
Worker3:
CDH5.9.0 集群部署与搭建
Worker4:
CDH5.9.0 集群部署与搭建

6.3 重命名节点的公钥(所有节点)

cp id_rsa.pub authorized_keys_Master

CDH5.9.0 集群部署与搭建

cp id_rsa.pub authorized_keys_Worker1

CDH5.9.0 集群部署与搭建

cp id_rsa.pub authorized_keys_Worker2

CDH5.9.0 集群部署与搭建

cp id_rsa.pub authorized_keys_Worker3

CDH5.9.0 集群部署与搭建

cp id_rsa.pub authorized_keys_Worker4

CDH5.9.0 集群部署与搭建

6.4 把从节点(Worker)的公钥拷贝到主节点(Master)的.ssh 目录下

scp authorized_keys_Worker1 hjr@Master:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys_Worker2 hjr@Master:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys_Worker3 hjr@Master:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys_Worker4 hjr@Master:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

最后在 Master 的.ssh 目录下面查看以下:
CDH5.9.0 集群部署与搭建

6.5 将所有节点的公钥信息保存到主节点下的 authorized_keys(新生成的)文件中

cat authorized_keys_Master >> authorized_keys
cat authorized_keys_Worker1 >> authorized_keys
cat authorized_keys_Worker2 >> authorized_keys
cat authorized_keys_Worker3 >> authorized_keys
cat authorized_keys_Worker4 >> authorized_keys

CDH5.9.0 集群部署与搭建
查看一下 authorized_keys 文件内容:
CDH5.9.0 集群部署与搭建

6.6 把 authorized_keys 文件拷贝到从节点上去

scp authorized_keys hjr@Worker1:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys hjr@Worker2:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys hjr@Worker3:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys hjr@Worker4:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

6.7 设置.SSH 目录权限

设置 .ssh 目录权限:chmod 700 -R .ssh

6.8 测试 SSH

CDH5.9.0 集群部署与搭建
(这样 Master 和各个 Worker 之间就能够相互通信了—Master 可以通过 ssh 连接到 Worker1,Worker2,Worker3,Worker4; Worker1,Worker2,Worker3,Worker4 可以通过 ssh 连接到 Master)

7 MySQL 5.6.4 安装(可选)

7.1 检查 MySQL 及相关 RPM 包,是否安装,如果有安装,则移除

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

7.2 下载 MySQL 包:MySQL-5.6.34-1.linux_glibc2.5.x86_64.rpm-bundle.tar

CDH5.9.0 集群部署与搭建

7.3 解压

CDH5.9.0 集群部署与搭建

7.4 安装 MySQL5.6

rpm -ivh MySQL-server-5.6.34-1.linux_glibc2.5.x86_64.rpm 

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

rpm -ivh MySQL-devel-5.6.34-1.linux_glibc2.5.x86_64.rpm

CDH5.9.0 集群部署与搭建

rpm -ivh MySQL-client-5.6.34-1.linux_glibc2.5.x86_64.rpm

CDH5.9.0 集群部署与搭建

修改配置文件位置

cp /usr/share/mysql/my-default.cnf /etc/my.cnf

CDH5.9.0 集群部署与搭建

7.5 初始化 MySQL 及设置密码

/usr/bin/mysql_install_db

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

service mysql start

CDH5.9.0 集群部署与搭建

cat /root/.mysql_secret  # 查看 root 账号密码

CDH5.9.0 集群部署与搭建

mysql -uroot -pawSDoqAX24LERoPA

CDH5.9.0 集群部署与搭建

SET PASSWORD = PASSWORD('124077');    #设置密码为 124077

CDH5.9.0 集群部署与搭建

7.6 允许远程登陆

use mysql;
select host,user,password from user;

CDH5.9.0 集群部署与搭建

update user set password=password('124077') where user='root';
update user set host='%' where user='root' and host='localhost';
flush privileges;
exit

CDH5.9.0 集群部署与搭建

7.7 设置开机自启动

chkconfig mysql on
chkconfig --list | grep mysql

CDH5.9.0 集群部署与搭建

7.8 MySQL 的默认安装位置(*)

/var/lib/mysql/               # 数据库目录
/usr/share/mysql              # 配置文件目录
/usr/bin                      # 相关命令目录
/etc/init.d/mysql             # 启动脚本

7.9 修改字符集和数据存储路径

配置 /etc/my.cnf文件, 修改数据存放路径、mysql.sock路径以及默认编码 utf-8.

CDH5.9.0 集群部署与搭建

查看字符集

show variables like '%collation%';

show variables like '%char%';

CDH5.9.0 集群部署与搭建

7 卸载 CentOS 自带的 JDK (所有节点)

7.1 查看系统自带 java 版本

java –version

7.2 查看 OpenJDK 相关包

rpm –qa | grep java

7.3 移除 OpenJDK 相关包

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
rpm -e --nodeps tzdata-java-2013g-1.el6.noarch

Master 节点操作如下:
CDH5.9.0 集群部署与搭建

8 执行 cloudera-manager-installer.bin

8.1 安装 Oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm 包

rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm 

8.2 安装 cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm 包

rpm -ivh cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

CDH5.9.0 集群部署与搭建

8.3 安装 cloudera-manager-server-5.9.0-1.cm590.p0.249.el6.x86_64.rpm 包

rpm -ivh cloudera-manager-server-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

CDH5.9.0 集群部署与搭建

8.4 安装 cloudera-manager-server-db-2-5.9.0-1.cm590.p0.249.el6.x86_64.rpm 包

rpm -ivh cloudera-manager-server-db-2-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

CDH5.9.0 集群部署与搭建

8.5 各个节点安装 cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

rpm -ivh cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm
rpm -ivh cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

这边会有几个依赖找不到,需要联网,通过 yum 下载安装:

warning: cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY
error: Failed dependencies:
    mod_ssl is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64
    openssl-devel is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64
    python-psycopg2 is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64
    MySQL-python is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64

依次安装如下:

yum install MySQL-python

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

yum install python-psycopg2

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

yum install openssl-devel

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

yum install mod_ssl

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建
这里需要网络哟
CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

9 Cloudera-Manager 服务配置

浏览器运行 192.168.1.100:7180 打开 CM 的 web 界面如下,默认的用户名和密码都是 admin

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

10 完成安装

集群正常运行界面
CDH5.9.0 集群部署与搭建

几个主要服务如下:
CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-01/139615.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计5510字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7982248
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
免费领取huggingface的2核16G云服务器,超简单教程

免费领取huggingface的2核16G云服务器,超简单教程

免费领取 huggingface 的 2 核 16G 云服务器,超简单教程 前言 HuggingFace.co...
恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击 PHP-FPM(FastCGl Process M...
飞牛NAS玩转Frpc并且配置,随时随地直连你的私有云

飞牛NAS玩转Frpc并且配置,随时随地直连你的私有云

飞牛 NAS 玩转 Frpc 并且配置,随时随地直连你的私有云 大家好,我是星哥,最近在玩飞牛 NAS。 在数...
升级自动部署更新SSL证书系统、申请godaddy的APIKEY

升级自动部署更新SSL证书系统、申请godaddy的APIKEY

升级自动部署更新 SSL 证书系统、申请 godaddy 的 APIKEY 公司之前花钱购买的 ssl 证书快...
三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

  三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Andr...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare 也瘫了连监控都挂,根因藏在哪? 最近两天的互联网堪称“故障...
浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍 前言 在 AI 自动化快速发展的当下,浏览器早已不再只是...
星哥带你玩飞牛NAS硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话?

星哥带你玩飞牛NAS硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话?

星哥带你玩飞牛 NAS 硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话? 前言 在选择 NAS 用预...
每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站 - 手机博物馆 -CHAZ 3D Experience 一句话介绍:一个用 3D 方式重温...
星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

  星哥带你玩飞牛 NAS-16:不再错过公众号更新,飞牛 NAS 搭建 RSS 对于经常关注多个微...