阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ambari 2.4 安装教程及 Haodoop lzo 配置

112次阅读
没有评论

共计 6453 个字符,预计需要花费 17 分钟才能阅读完成。

准备工作

1. 安装 JDK,集群内各成员主机安装 JDK 的路径和版本必须统一。

2. 在集群内主机安装一台 MySQL Server (MySQL 为选装,Ambari 默认的数据库为 PostgreSQL)

1. MySQL 配置
 创建 ambari-server 的数据库以及连接用户,且授权
# mysql -u root -p
CREATE DATABASE ambari DEFAULT CHARSET=utf8;
CREATE USER '<AMBARIUSER>'@'%' IDENTIFIED BY '<AMBARIPASSWORD>';
GRANT ALL PRIVILEGES ON ambari.* TO '<AMBARIUSER>'@'%';
# 删除 MySQL 默认的匿名账户,此处省略。FLUSH PRIVILEGES;
2. 连接测试 MySQL 且创建结构表
# mysql -u ambari -p
SHOW DATABASES;
SHOW GRANTS;

# 导入结构表
SOURCE /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
3. 配置 mysql-jdbc 连接器
wget http://java.com/****/mysql-connector-java-5.1.40.tar.gz
tar xf mysql-connector-java-5.1.40.tar.gz
cd mysql-connector-java-5.1.40
mkdir /usr/share/java
cp mysql-connector-java-5.1.40-bin.jar /usr/share/java/
cd /usr/share/java   
ln -s mysql-connector-java-5.1.40-bin.jar  mysql-connector-java.jar

或者直接 yum 安装 mysql-connector-java 即可。

1. 配置 ambari repo 本地源

#VERSION_NUMBER=2.4.2.0-136

[Updates-ambari-2.4.2.0]
name=ambari-2.4.2.0 - Updates
baseurl=http://172.17.20.21/ambari/
gpgcheck=1
gpgkey=http://172.17.20.21/ambari/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

2. 配置 HDP 本地源

[HDP-2.5.3.0]
name=HDP Version - HDP-2.5.3.0
baseurl=http://172.17.20.21/HDP/CentOS6/
gpgcheck=1
gpgkey=http://172.17.20.21/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-2.5.3.0]
name=HDP-UTILS Version - HDP-UTILS-2.5.3.0
baseurl=http://172.17.20.21/HDP-UTILS-1.1.0.21/repos/centos6/
gpgcheck=1
gpgkey=http://172.17.20.21/HDP-UTILS-1.1.0.21/repos/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

3. 安装 ambari-server

yum install ambari-server

yum 安装 ambari-server 需要依赖安装 postgresql,ambari-server 是需要数据库支持的,默认为 PostgreSQL,也可以选择 MySQL(这里因为依赖关系,先安装 PostgreSQL,后续不用,改用安装 MySQL 即可)。

yum install ambari-agent

在集群内所有的成员主机上手动安装 ambari-agent

4. 初始化 ambari

使用命令:

ambari-server  setup

Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)?  # ambari-server 以 root 身份运行
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle jdk 1.8 + java cryptography extension (jce) policy files 8
[2] oracle jdk 1.7 + java cryptography extension (jce) policy files 7
[3] custom jdk  # 如果本地已经安装有 jdk,那么选择这一项,否则 ambari 初始化的时候会通过 yum 源安装 jdk
==============================================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please makesure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /opt/java/jdk        # 指定本地已经安装好的 jdk 路径,也就是环境变量 JAVA_HOME 的值。Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y  # 是否需要自定义数据库配置
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)     # 默认使用 PostgreSQL
[2] - Oracle
[3] - MySQL / MariaDB           # 我们这里选择本地安装的 MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3
Hostname (localhost):
Port (3306):        # 是否需要指定数据库端口,默认 3306
Database name (ambari):     # 是否需要指定 ambari 的数据库,默认 ambari 库
Username (ambari):      # 是否需要指定 ambari-server 的数据库用户,默认 ambari
Enter Database Password (bigdata):  # 是否需要使用默认的数据库连接密码,默认为 bigdata
Re-enter password:
Configuring ambari database...
Copying JDBC drivers to server resources...
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema:/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y     # 初始化数据库连接数据
Extracting system views...
.............
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.       # successfully 配置完成 

启动 ambari-server 服务:

service ambari-server start

Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
No errors were found.
Ambari database consistency check finished
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start....................
Ambari Server 'start' completed successfully.

配置完成后 web 页面打开 http://HOST_IP:8080 即可,安装完成后默认登录密码为 admin Ambari 2.4 安装教程及 Haodoop lzo 配置

5. ambari-server 的 web 端配置

Ambari 2.4 安装教程及 Haodoop lzo 配置

点击 Launch install Wizard 开始安装和配置集群。

-1. 集群命名

-2. 选择 HDP 版本 Ambari 2.4 安装教程及 Haodoop lzo 配置 我这里由于本地源的版本是 2.5,就选择默认的 2.5 版本

Ambari 2.4 安装教程及 Haodoop lzo 配置

选择 Use Local Repository(各集群主机均要从 yum 源安装角色包,默认为官方源)。

删除其余无关的系统类别

填入 HDP 源 以及 HDP-UTILS 的 Base URL

-3. 填入集群所有主机的 FQDN 名称。上传或粘贴私钥(集群内所有主机均信任的 ssh 私钥)。Ambari 2.4 安装教程及 Haodoop lzo 配置

点击注册和确认按钮过后,ambari-server 会通过上一步指定的本地源地址,使用该 ssh 私钥 连接到所有的集群内主机安装必要的 ambari-agent 等包,以及创建各服务运行的系统用户。

-4. 提交集群初始化配置 Ambari 2.4 安装教程及 Haodoop lzo 配置

这一步就是检测集群内各成员主机是否安装有 ambari-agent , 如果没有安装,那么程序会自动通过 yum 安装,前提是得事先配置好 yum 源。

  • 需要配置好集群内各成员主机的 ntpd 服务,并启动服务。

  • 推荐关闭内核的 Transparent Huge Pages (THP) 功能,方法是在 grub.conf 的 kenel 启动参数中追加配置 transparent_hugepage=never 重启即可。

-5. 选择需要安装的服务 Ambari 2.4 安装教程及 Haodoop lzo 配置

-6. 分配集群内各主机的 master 角色 Ambari 2.4 安装教程及 Haodoop lzo 配置

-7. 分配集群内各主机的 Slave 角色 Ambari 2.4 安装教程及 Haodoop lzo 配置

-8. 自定义配置各服务的参数 Ambari 2.4 安装教程及 Haodoop lzo 配置 可以配置 DataNode DataNode 的存储目录,存储空间大小,内存分配大小等。

-9. 之前的配置汇总预览 Ambari 2.4 安装教程及 Haodoop lzo 配置

-10. 开始部署 Ambari 2.4 安装教程及 Haodoop lzo 配置

如遇错误提示,可以点击 Message 查看报错详情。

6. HDP 配置 lzo

yum -y install lzo lzo-devel Hadooplzo hadooplzo-native

Web 端的配置:Ambari 2.4 安装教程及 Haodoop lzo 配置 找到 Advanced core-site 项,在 io.compression.codecs 的原有 value 值中添加 com.hadoop.compression.lzo.LzoCodec

找到 Custom core-site 项,添加 key 为 io.compression.codec.lzo.class 且值为 com.hadoop.compression.lzo.LzoCodec

保存配置。重启集群服务即可。

测试 lzo:执行

hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://mycluster/test_lzo lzo

Hadoop 集群监控工具 Ambari 安装 http://www.linuxidc.com/Linux/2014-06/103208.htm

使用 Ambari 快速部署 Hadoop 大数据环境 http://www.linuxidc.com/Linux/2014-05/101531.htm

Ambari 服务配置以及 Alert 详解  http://www.linuxidc.com/Linux/2016-12/138149.htm

Ubuntu 14.04 上搭建 Ambari 清晰 PDF  http://www.linuxidc.com/Linux/2016-01/126965.htm

CentOS 7 安装 Ambari2.4.0 图文详解 http://www.linuxidc.com/Linux/2016-12/138142.htm

Ambari + HDP 升级(Ambari 2.2.2 – 2.4.1 + HDP 2.4.2 – 2.5.0)http://www.linuxidc.com/Linux/2017-03/141303.htm

CentOS 6.5 下使用 Ambari 安装 Hadoop 集群  http://www.linuxidc.com/Linux/2014-12/110824.htm

Ambari 安装指南图文详解 http://www.linuxidc.com/Linux/2017-03/141295.htm

CentOS 6.5+Ambari+HDP 集群安装  http://www.linuxidc.com/Linux/2017-03/141297.htm

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2017-04/143153.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计6453字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中