Ambari 2.4 安装教程及 Haodoop lzo 配置

383次阅读

共计 6453 个字符，预计需要花费 17 分钟才能阅读完成。

准备工作

1. MySQL 配置

 创建 ambari-server 的数据库以及连接用户，且授权
# mysql -u root -p
CREATE DATABASE ambari DEFAULT CHARSET=utf8;
CREATE USER '<AMBARIUSER>'@'%' IDENTIFIED BY '<AMBARIPASSWORD>';
GRANT ALL PRIVILEGES ON ambari.* TO '<AMBARIUSER>'@'%';
# 删除 MySQL 默认的匿名账户，此处省略。FLUSH PRIVILEGES;

2. 连接测试 MySQL 且创建结构表

# mysql -u ambari -p
SHOW DATABASES;
SHOW GRANTS;

# 导入结构表
SOURCE /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

3. 配置 `mysql-jdbc` 连接器

wget http://java.com/****/mysql-connector-java-5.1.40.tar.gz
tar xf mysql-connector-java-5.1.40.tar.gz
cd mysql-connector-java-5.1.40
mkdir /usr/share/java
cp mysql-connector-java-5.1.40-bin.jar /usr/share/java/
cd /usr/share/java   
ln -s mysql-connector-java-5.1.40-bin.jar  mysql-connector-java.jar

或者直接 yum 安装 mysql-connector-java 即可。

#VERSION_NUMBER=2.4.2.0-136

[Updates-ambari-2.4.2.0]
name=ambari-2.4.2.0 - Updates
baseurl=http://172.17.20.21/ambari/
gpgcheck=1
gpgkey=http://172.17.20.21/ambari/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-2.5.3.0]
name=HDP Version - HDP-2.5.3.0
baseurl=http://172.17.20.21/HDP/CentOS6/
gpgcheck=1
gpgkey=http://172.17.20.21/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-2.5.3.0]
name=HDP-UTILS Version - HDP-UTILS-2.5.3.0
baseurl=http://172.17.20.21/HDP-UTILS-1.1.0.21/repos/centos6/
gpgcheck=1
gpgkey=http://172.17.20.21/HDP-UTILS-1.1.0.21/repos/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

yum install ambari-server

yum 安装 ambari-server 需要依赖安装 postgresql，ambari-server 是需要数据库支持的，默认为 PostgreSQL，也可以选择 MySQL（这里因为依赖关系，先安装 PostgreSQL，后续不用，改用安装 MySQL 即可）。

yum install ambari-agent

在集群内所有的成员主机上手动安装 ambari-agent

使用命令：

ambari-server  setup

Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)?  # ambari-server 以 root 身份运行
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle jdk 1.8 + java cryptography extension (jce) policy files 8
[2] oracle jdk 1.7 + java cryptography extension (jce) policy files 7
[3] custom jdk  # 如果本地已经安装有 jdk，那么选择这一项，否则 ambari 初始化的时候会通过 yum 源安装 jdk
==============================================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please makesure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /opt/java/jdk        # 指定本地已经安装好的 jdk 路径，也就是环境变量 JAVA_HOME 的值。Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y  # 是否需要自定义数据库配置
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)     # 默认使用 PostgreSQL
[2] - Oracle
[3] - MySQL / MariaDB           # 我们这里选择本地安装的 MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3
Hostname (localhost):
Port (3306):        # 是否需要指定数据库端口，默认 3306
Database name (ambari):     # 是否需要指定 ambari 的数据库，默认 ambari 库
Username (ambari):      # 是否需要指定 ambari-server 的数据库用户，默认 ambari
Enter Database Password (bigdata):  # 是否需要使用默认的数据库连接密码，默认为 bigdata
Re-enter password:
Configuring ambari database...
Copying JDBC drivers to server resources...
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema:/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y     # 初始化数据库连接数据
Extracting system views...
.............
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.       # successfully 配置完成

启动 ambari-server 服务：

service ambari-server start

Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
No errors were found.
Ambari database consistency check finished
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start....................
Ambari Server 'start' completed successfully.

配置完成后 web 页面打开 http://HOST_IP:8080 即可，安装完成后默认登录密码为 admin Ambari 2.4 安装教程及 Haodoop lzo 配置

Ambari 2.4 安装教程及 Haodoop lzo 配置

点击 Launch install Wizard 开始安装和配置集群。

-1. 集群命名

-2. 选择 HDP 版本 Ambari 2.4 安装教程及 Haodoop lzo 配置我这里由于本地源的版本是 2.5，就选择默认的 2.5 版本

Ambari 2.4 安装教程及 Haodoop lzo 配置

选择 Use Local Repository（各集群主机均要从 yum 源安装角色包，默认为官方源）。

删除其余无关的系统类别

填入 HDP 源以及 HDP-UTILS 的 Base URL

-3. 填入集群所有主机的 FQDN 名称。上传或粘贴私钥（集群内所有主机均信任的 ssh 私钥）。 Ambari 2.4 安装教程及 Haodoop lzo 配置

点击注册和确认按钮过后，ambari-server 会通过上一步指定的本地源地址，使用该 ssh 私钥连接到所有的集群内主机安装必要的 ambari-agent 等包，以及创建各服务运行的系统用户。

-4. 提交集群初始化配置 Ambari 2.4 安装教程及 Haodoop lzo 配置

这一步就是检测集群内各成员主机是否安装有 ambari-agent , 如果没有安装，那么程序会自动通过 yum 安装，前提是得事先配置好 yum 源。

需要配置好集群内各成员主机的 ntpd 服务，并启动服务。
推荐关闭内核的 Transparent Huge Pages (THP) 功能，方法是在 grub.conf 的 kenel 启动参数中追加配置 transparent_hugepage=never 重启即可。

-5. 选择需要安装的服务 Ambari 2.4 安装教程及 Haodoop lzo 配置

-6. 分配集群内各主机的 master 角色 Ambari 2.4 安装教程及 Haodoop lzo 配置

-7. 分配集群内各主机的 Slave 角色 Ambari 2.4 安装教程及 Haodoop lzo 配置

-8. 自定义配置各服务的参数 Ambari 2.4 安装教程及 Haodoop lzo 配置可以配置 DataNode DataNode 的存储目录，存储空间大小，内存分配大小等。

-9. 之前的配置汇总预览 Ambari 2.4 安装教程及 Haodoop lzo 配置

-10. 开始部署 Ambari 2.4 安装教程及 Haodoop lzo 配置

如遇错误提示，可以点击 Message 查看报错详情。

yum -y install lzo lzo-devel Hadooplzo hadooplzo-native

Web 端的配置： Ambari 2.4 安装教程及 Haodoop lzo 配置找到 Advanced core-site 项，在 io.compression.codecs 的原有 value 值中添加 com.hadoop.compression.lzo.LzoCodec

找到 Custom core-site 项，添加 key 为 io.compression.codec.lzo.class 且值为 com.hadoop.compression.lzo.LzoCodec。

保存配置。重启集群服务即可。

测试 lzo：执行

hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://mycluster/test_lzo lzo

Hadoop 集群监控工具 Ambari 安装 http://www.linuxidc.com/Linux/2014-06/103208.htm

使用 Ambari 快速部署 Hadoop 大数据环境 http://www.linuxidc.com/Linux/2014-05/101531.htm

Ambari 服务配置以及 Alert 详解 http://www.linuxidc.com/Linux/2016-12/138149.htm

Ubuntu 14.04 上搭建 Ambari 清晰 PDF http://www.linuxidc.com/Linux/2016-01/126965.htm

CentOS 7 安装 Ambari2.4.0 图文详解 http://www.linuxidc.com/Linux/2016-12/138142.htm

Ambari + HDP 升级（Ambari 2.2.2 – 2.4.1 + HDP 2.4.2 – 2.5.0）http://www.linuxidc.com/Linux/2017-03/141303.htm

CentOS 6.5 下使用 Ambari 安装 Hadoop 集群 http://www.linuxidc.com/Linux/2014-12/110824.htm

Ambari 安装指南图文详解 http://www.linuxidc.com/Linux/2017-03/141295.htm

CentOS 6.5+Ambari+HDP 集群安装 http://www.linuxidc.com/Linux/2017-03/141297.htm

本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2017-04/143153.htm

正文完

星哥玩云-微信公众号

发表至：服务器应用

2022年1月21日

0

转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。

分布式的任务分发框架-Gearman

搭建Eclipse+Maven+Scala-IDE的Scala Web开发环境

Nginx高级应用之Location Url 配置

Cacti安装与部署案例

Nginx 1.9 安装 ngx_pagespeed 模块

CentOS7.2下源码搭建Samba文件服务器[原创]

高性能Web服务器Nginx使用指南

Mesos+Marathon管理Docker集群

SSH非交互式密码授权远程执行脚本

Ambari 2.4 安装教程及 Haodoop lzo 配置

1. 安装 JDK，集群内各成员主机安装 JDK 的路径和版本必须统一。

2. 在集群内主机安装一台 MySQL Server （MySQL 为选装，Ambari 默认的数据库为 PostgreSQL）

1. MySQL 配置

2. 连接测试 MySQL 且创建结构表

3. 配置 mysql-jdbc 连接器

1. 配置 ambari repo 本地源

2. 配置 HDP 本地源

3. 安装 ambari-server

4. 初始化 ambari

5. ambari-server 的 web 端配置

6. HDP 配置 lzo

免费图片视频管理工具让灵感库告别混乱

星哥玩云

免费图片视频管理工具让灵感库告别混乱

3. 配置 `mysql-jdbc` 连接器