阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Cloudera Manager 5和CDH5离线安装

176次阅读
没有评论

共计 5485 个字符,预计需要花费 14 分钟才能阅读完成。

CDH (Cloudera’s Distribution, including Apache Hadoop),是 Hadoop 众多分支中的一种,由 Cloudera 维护,基于稳定版本的 Apache Hadoop 构建,并集成了很多补丁,可直接用于生产环境。
Cloudera Manager 则是为了便于在集群中进行 Hadoop 等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark 等服务的安装配置管理做了极大简化。
相关包的下载地址:
Cloudera Manager 地址:http://archive.cloudera.com/cm5/cm/5/
CDH 安装包地址:http://archive.cloudera.com/cdh5/parcels/latest/
由于我们的操作系统为 CentOS6.5,需要下载以下文件:
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1
manifest.json
JDBC:http://download.softagency.net/MySQL/Downloads/Connector-J/

准备工作:系统环境搭建(阿里云平台)

以下操作均需要 (root) 管理员权限
1. 网络配置 (所有节点)
修改主机名:vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=cdh1
NETWORKING_IPV6=no
PEERNTP=no

通过 service network restart 重启网络服务
修改 ip 与主机名的对应关系:vim /etc/hosts

192.168.1.101   cdh1
192.168.1.102   cdh2
192.168.1.103   cdh3

2. 打通 SSH,设置 ssh 无密码登陆(所有节点)
执行 ssh-keygen -t rsa,一路回车,生成无密码的密钥对。
将公钥添加到认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,并设置 authorized_keys 的访问权限:chmod 600 ~/.ssh/authorized_keys
通过 scp 命令将各节点的认证文件拷贝到所有其他节点使得各节点能够相互访问。
3. 安装 Oracle 的 Java(所有节点)
CentOS 自带 OpenJdk,不过运行 CDH5 需要使用 Oracle 的 JDK,需要 Java 7 的支持。
卸载自带的 OpenJdk,使用 rpm -qa | grep java 查询 java 相关的包,使用 rpm -e --nodeps 包名 卸载之。
去 Oracle 的官网下载 jdk 的 rpm 安装包,并使用 rpm -ivh 包名 安装,最后配置环境变量。
4. 安装配置 MySql(主节点)
通过 yum install mysql-server 安装 mysql 服务器。chkconfig mysqld on设置开机启动,并 service mysqld start 启动 mysql 服务,并根据提示设置 root 的初试密码:mysqladmin -u root password 'xxxx'
mysql -uroot -pxxxx进入 mysql 命令行,创建以下数据库:

#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

设置 root 授权访问以上所有的数据库:

# 授权 root 用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'cdh1' identified by 'xxxx' with grant option;flush privileges;

5. 关闭防火墙和 SELinux
注意:需要在所有的节点上执行,因为涉及到的端口太多了,临时关闭防火墙是为了安装起来更方便,安装完毕后可以根据需要设置防火墙策略,保证集群安全。
关闭防火墙:

service iptables stop(临时关闭)chkconfig iptables off(重启后生效)

关闭 SELINUX(实际安装过程中发现没有关闭也是可以的,不知道会不会有问题,还需进一步进行验证):

setenforce 0(临时生效)修改 /etc/selinux/config 下的 SELINUX=disabled(重启后永久生效)

6. 所有节点配置 NTP 服务
集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。具体思路如下:
master 节点作为 ntp 服务器与外界对时中心同步时间,随后对所有 datanode 节点提供时间同步服务。
所有 datanode 节点以 master 节点为基础同步时间。
所有节点安装相关组件:yum install ntp。完成后,配置开机启动:chkconfig ntpd on, 检查是否设置成功:chkconfig --list ntpd其中 2 - 5 为 on 状态就代表成功。
主节点配置
在配置之前,先使用 ntpdate 手动同步一下时间,免得本机与对时中心时间差距太大,使得 ntpd 不能正常同步。这里选用 65.55.56.206 作为对时中心,ntpdate -u 65.55.56.206
ntp 服务只有一个配置文件,配置好了就 OK。这里只给出有用的配置,不需要的配置都用 #注掉,这里就不在给出:

driftfile /var/lib/ntp/drift
restrict 127.0.0.1restrict -6 ::1
restrict default nomodify notrap 
server 65.55.56.206 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

配置文件完成,保存退出,启动服务,执行如下命令:service ntpd start
检查是否成功,用 ntpstat 命令查看同步状态,出现以下状态代表启动成功:

synchronised to NTP server () at stratum 2time correct to within 74 mspolling server every 128 s

如果出现异常请等待几分钟,一般等待 5 -10 分钟才能同步。
配置 ntp 客户端(所有 datanode 节点)

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
# 这里是主节点的主机名或者 ip
server cdh1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

ok 保存退出,请求服务器前,请先使用 ntpdate 手动同步一下时间:ntpdate -u cdh1 (主节点 ntp 服务器)
这里可能出现同步失败的情况,请不要着急,一般是本地的 ntp 服务器还没有正常启动,一般需要等待 5 -10 分钟才可以正常同步。启动服务:service ntpd start
因为是连接内网,这次启动等待的时间会比 master 节点快一些,但是也需要耐心等待一会儿。

正式开工

安装 Cloudera Manager Server 和 Agent
主节点解压安装
cloudera manager 的目录默认位置在 /opt 下,解压:tar xzvf cloudera-manager*.tar.gz将解压后的 cm-5.3.3 和 cloudera 目录放到 /opt 目录下。
为 Cloudera Manager 5 建立数据库
首先需要去 MySql 的官网下载 JDBC 驱动,http://dev.mysql.com/downloads/connector/j/,解压后,找到 mysql-connector-java-5.1.35-bin.jar,放到/opt/cm-5.3.3/share/cmf/lib/ 中。
在主节点初始化 CM5 的数据库:

/opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

Agent 配置
修改 /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini 中的 server_host 为主节点的主机名。
同步 Agent 到其他节点

scp -r /opt/cm-5.3.3 root@n2:/opt/

在所有节点创建 cloudera-scm 用户

useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备 Parcels,用以安装 CDH5
将 CHD5 相关的 Parcel 包放到主节点的 /opt/cloudera/parcel-repo/ 目录中(parcel-repo 需要手动创建)。
相关的文件如下:

CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1
manifest.json

最后将 CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1,重命名为CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha,这点必须注意,否则,系统会重新下载 CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1 文件。
相关启动脚本
通过 /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start 启动服务端。
通过 /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start 启动 Agent 服务。
我们启动的其实是个 service 脚本,需要停止服务将以上的 start 参数改为 stop 就可以了,重启是 restart。
CDH5 的安装配置
Cloudera Manager Server 和 Agent 都启动以后,就可以进行 CDH5 的安装配置了。
这时可以通过浏览器访问主节点的 7180 端口测试一下了(由于 CM Server 的启动需要花点时间,这里可能要等待一会才能访问),默认的用户名和密码均为 admin:

Cloudera Manager 5 和 CDH5 离线安装
Cloudera Manager 5 和 CDH5 离线安装
Cloudera Manager 5 和 CDH5 离线安装

各个 Agent 节点正常启动后,可以在当前管理的主机列表中看到对应的节点。选择要安装的节点,点继续。

Cloudera Manager 5 和 CDH5 离线安装

接下来,出现以下包名,说明本地 Parcel 包配置无误,直接点继续就可以了。

Cloudera Manager 5 和 CDH5 离线安装

点击,继续,如果配置本地 Parcel 包无误,那么下图中的已下载,应该是瞬间就完成了,然后就是耐心等待分配过程就行了。

Cloudera Manager 5 和 CDH5 离线安装

接下来是服务器检查,可能会遇到以下问题:
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:
通过 echo 0 > /proc/sys/vm/swappiness 即可解决。

Cloudera Manager 5 和 CDH5 离线安装

接下来是选择安装服务:

Cloudera Manager 5 和 CDH5 离线安装

服务配置,一般情况下保持默认就可以了(Cloudera Manager 会根据机器的配置自动进行配置,如果需要特殊调整,自行进行设置就可以了):

Cloudera Manager 5 和 CDH5 离线安装

接下来是数据库的设置,检查通过后就可以进行下一步的操作了:

Cloudera Manager 5 和 CDH5 离线安装

下面是集群设置的审查页面,全部保持默认配置即可:

Cloudera Manager 5 和 CDH5 离线安装

终于到安装各个服务的地方了,注意,这里安装 Hive 的时候可能会报错,因为我们使用了 MySql 作为 hive 的元数据存储,hive 默认没有带 mysql 的驱动,通过以下命令拷贝一个就行了:

cp /opt/cm-5.3.3/share/cmf/lib/mysql-connector-java-5.1.35-bin.jar /opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel/lib/hive/lib/

Cloudera Manager 5 和 CDH5 离线安装

接下静静地等待即可。

Cloudera Manager 5 和 CDH5 离线安装

安装完成后,就可以进入集群界面看一下集群的当前状况了。
这里可能会出现无法发出查询:对 Service Monitor 的请求超时的错误提示,如果各个组件安装没有问题,一般是因为服务器比较卡导致的,过一会刷新一下页面就好了:

Cloudera Manager 5 和 CDH5 离线安装

参考资料如下:

http://www.linuxidc.com/Linux/2016-06/132131.htm

http://www.linuxidc.com/Linux/2016-07/133356.htm

http://www.linuxidc.com/Linux/2016-07/133359.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-07/133360.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计5485字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中