Hadoop项目之基于CentOS7的Cloudera 5.10.1（CDH）的安装部署

共计 17891 个字符，预计需要花费 45 分钟才能阅读完成。

1 前言

笔者之前发表过一篇关于 Cloudera 的配置文档，感觉还算受欢迎，旧文请参阅。

http://www.linuxidc.com/Linux/2016-06/132597.htm

现在借着做项目的机会在 CentOS 7.3 环境中再次部署了一套比较新的版本。基于共享的精神，本文给有需要的人参阅。

2 实践部分

2.1 基本信息

Hostname=HD0[1-5].cmdschool.org

Ipaddress=10.168.0.2[4-8]

OS Version=CentOS 7.3

2.2 环境配置

2.2.1 配置 IP 地址

In HD01-05:

注：第五行的“XX”部分是主机号

2.2.2 配置主机名称

In HD01-05:

hostnamectl set-hostname HDXX.sae.com.hk

注：“XX”部分是主机名称编号

2.2.3 关闭 SELinux

In HD01-05:

如果显示如下：

则执行：

2.2.4 配置名称解析

In HD01-05:

2.2.5 配置时区

In HD01-05:

2.2.6 关闭防火墙并设置开机不启动

In HD01-05:

2.2.7 优化虚拟内存需求率

In HD01-05：

1) 检查虚拟内存需求率

显示如下：

2) 临时降低虚拟内存需求率

3) 永久降低虚拟内存需求率

并运行如下命令使生效

2.2.8 解决透明大页面问题

In HD01-05：

1) 检查透明大页面问题

如果显示为：

2) 临时关闭透明大页面问题

确认配置生效：

应该显示为：

3) 配置开机自动生效

2.2.9 安装 JDK

In HD01-05：

1) 查询是否存在 yum 安装的 Java 包

注意：存在 yum 安装的 rpm 包可能导致 Sqoop 无法启动

2) 安装 jdk1.8

2) 配置 jdk 变量环境

3) 导入 java 环境变量

4) 测试 jdk 的配置

2.3 yum 源的安装配置

In HD01-05：

2.3.1 yum 源配置

1) 增加 yum 源

注：此出隐含条件是有系统默认的 yum 源并可在线更新

2) 开启 5.6 版的源

开启 5.6 的源并修改如下：

注：修改 enabled 选项等于 1 表示开启，0 表示关闭（其他源都配置为 0）

2.3.2 安装基本的工具

In HD02-05：

1) 安装配置工具

2) 安装 Python

3) 安装 ntpd

2.3.3 Cloudera Manager 端 yum 源配置

In HD01：

1) 安装 Cloudera Manager 包

2) 安装 mysql

2.3.4 Cloudera Manager Agent 端 yum 源配置

In HD01-05：

安装 Cloudera Manager Agent 包

2.4 配置前的准备配置

2.4.1 权限检查 (单用户模式适用, 可选)

In HD01-05：

检查以下目录 cloudera-scm 用户具有完全的权限

检查当前目录权限：

显示如下：

检查子目录权限：

显示如下

同样，检查服务器或客户端目录权限

2.4.2 检查线程限制配置

In HD01-05：

修改配置如下：

2.4.3 指定运行单用户模式的用户名 (单用户模式适用，不配置)

In HD01-05：

并取消以下行的注释

2.4.4 创建压缩包存放目录

2.4.5 配置无密码的 sudo 访问 (非默认单用户模式适用, 可选)

In HD01-05:

增加如下组：

确认包含如下行：

2.4.6 配置 su 的 limit

In HD01-05：

加入如下配置：

2.4.7 NTP 的配置

In HD01-5:

1) 确认包含如下配置：

应该包含如下配置：

2) 启动并配置 ntpd 服务自动启动

3) 触发时间同步

2.4.8 安装 MySQL JDBC Driver

In HD01-05:

2.4.9 配置公钥认证

In HD01:

1) 生成秘钥

ssh-keygen -t rsa

注：以上一路回车

2) 复制公钥到各个被登录的服务器

3) 测试免密码登录

注：以上如果无需密码登记即成功

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2017-04/143095p2.htm

2.5 Cloudera Manager 安装配置

In HD01：

2.5.1 修改 mysql 参数

1) 关闭数据库

2) 备份 ib_logfile 文件

3) 修改 MySQL 配置

修改参数如下：

2.5.2 启动并设置开机自动启动

2.5.3 初始化数据库

向导如下：

2.5.4 准备 scm 库

数据库配置：

修改数据库连接参数：

修改如下参数：

2.5.5 创建附加数据库 (可选)

1) 附加数据库列表

2) 创建数据库并配置管理账号密码

2.5.6 配置 Oozie 库 (可选)

1) 数据库权限配置

2) 配置 Oozie 库所需软连接

2.5.7 启动服务并配置开机启动

2.5.8 故障排除

2.6 Cloudera Manager Agent 安装

In HD01-05：

2.6.1 创建压缩包存放目录

2.6.2 指定管理服务器和指定包存放目录

确保参数如下并启用：

2.6.3 指定运行单用户模式的用户名 (仅用于单用户模式，不配置

取消以下行的注释

2.6.4 启动服务并配置服务器开机启动

2.6.5 故障排除

如下命令监控启动服务的错误输出

2.7 登陆配置

In HD01：

http://10.168.0.24:7180/cmf/login

注：界面部分请跟着向导走，相对容易，这是不再详述。

参阅文档

============================

Overview：

https://www.cloudera.com/documentation/enterprise/latest/topics/installation_installation.html

Managed Service Database：

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_installing_configuring_dbs.html

系统地址：

https://www.centos.org/download/mirrors/

CDH 地址：

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/

Java 地址：

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

支持信息参考：

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html

本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2017-04/143095.htm

1 前言

笔者之前发表过一篇关于 Cloudera 的配置文档，感觉还算受欢迎，旧文请参阅。

http://www.linuxidc.com/Linux/2016-06/132597.htm

现在借着做项目的机会在 CentOS 7.3 环境中再次部署了一套比较新的版本。基于共享的精神，本文给有需要的人参阅。

2 实践部分

2.1 基本信息

Hostname=HD0[1-5].cmdschool.org

Ipaddress=10.168.0.2[4-8]

OS Version=CentOS 7.3

2.2 环境配置

2.2.1 配置 IP 地址

In HD01-05:

注：第五行的“XX”部分是主机号

2.2.2 配置主机名称

In HD01-05:

hostnamectl set-hostname HDXX.sae.com.hk

注：“XX”部分是主机名称编号

2.2.3 关闭 SELinux

In HD01-05:

如果显示如下：

则执行：

2.2.4 配置名称解析

In HD01-05:

2.2.5 配置时区

In HD01-05:

2.2.6 关闭防火墙并设置开机不启动

In HD01-05:

2.2.7 优化虚拟内存需求率

In HD01-05：

1) 检查虚拟内存需求率

显示如下：

2) 临时降低虚拟内存需求率

3) 永久降低虚拟内存需求率

并运行如下命令使生效

2.2.8 解决透明大页面问题

In HD01-05：

1) 检查透明大页面问题

如果显示为：

2) 临时关闭透明大页面问题

确认配置生效：

应该显示为：

3) 配置开机自动生效

2.2.9 安装 JDK

In HD01-05：

1) 查询是否存在 yum 安装的 Java 包

注意：存在 yum 安装的 rpm 包可能导致 Sqoop 无法启动

2) 安装 jdk1.8

2) 配置 jdk 变量环境

3) 导入 java 环境变量

4) 测试 jdk 的配置

2.3 yum 源的安装配置

In HD01-05：

2.3.1 yum 源配置

1) 增加 yum 源

注：此出隐含条件是有系统默认的 yum 源并可在线更新

2) 开启 5.6 版的源

开启 5.6 的源并修改如下：

注：修改 enabled 选项等于 1 表示开启，0 表示关闭（其他源都配置为 0）

2.3.2 安装基本的工具

In HD02-05：

1) 安装配置工具

2) 安装 Python

3) 安装 ntpd

2.3.3 Cloudera Manager 端 yum 源配置

In HD01：

1) 安装 Cloudera Manager 包

2) 安装 mysql

2.3.4 Cloudera Manager Agent 端 yum 源配置

In HD01-05：

安装 Cloudera Manager Agent 包

2.4 配置前的准备配置

2.4.1 权限检查 (单用户模式适用, 可选)

In HD01-05：

检查以下目录 cloudera-scm 用户具有完全的权限

检查当前目录权限：

显示如下：

检查子目录权限：

显示如下

同样，检查服务器或客户端目录权限

2.4.2 检查线程限制配置

In HD01-05：

修改配置如下：

2.4.3 指定运行单用户模式的用户名 (单用户模式适用，不配置)

In HD01-05：

并取消以下行的注释

2.4.4 创建压缩包存放目录

2.4.5 配置无密码的 sudo 访问 (非默认单用户模式适用, 可选)

In HD01-05:

增加如下组：

确认包含如下行：

2.4.6 配置 su 的 limit

In HD01-05：

加入如下配置：

2.4.7 NTP 的配置

In HD01-5:

1) 确认包含如下配置：

应该包含如下配置：

2) 启动并配置 ntpd 服务自动启动

3) 触发时间同步

2.4.8 安装 MySQL JDBC Driver

In HD01-05:

2.4.9 配置公钥认证

In HD01:

1) 生成秘钥

ssh-keygen -t rsa

注：以上一路回车

2) 复制公钥到各个被登录的服务器

3) 测试免密码登录

注：以上如果无需密码登记即成功

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2017-04/143095p2.htm