阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS 7.5安装Azkaban详解

499次阅读
没有评论

共计 8393 个字符,预计需要花费 21 分钟才能阅读完成。

1、软件介绍

Azkaban Web 服务器:azkaban-web-server-2.5.0.tar.gz

Azkaban Excutor 执行服务器:azkaban-executor-server-2.5.0.tar.gz

Azkaban 初始化脚本文件:azkaban-sql-script-2.5.0.tar.gz

2、软件下载

下载地址:http://azkaban.github.io/downloads.html

3、安装说明

将安装文件上传到集群, 最好上传到安装 hive、sqoop 的机器上, 方便命令的执行。并最好同 一存放在 apps 目录下, 用于存放源安装文件. 新建 azkaban-2.5.0 目录, 用于存放 azkaban 运行程序

[Hadoop@hadoop3 ~]$ cd apps/
[hadoop@hadoop3 apps]$ mkdir azkaban-2.5.0

4、安装步骤

(1)上传安装包并解压缩到指定目录

[hadoop@hadoop3 ~]$ tar -zxvf azkaban-web-server-2.5.0.tar.gz -C apps/azkaban-2.5.0/
[hadoop@hadoop3 ~]$ tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C apps/azkaban-2.5.0/

(2)解压初始化脚本

[hadoop@hadoop3 ~]$ tar -zxvf azkaban-sql-script-2.5.0.tar.gz
[hadoop@hadoop3 ~]$ cd azkaban-2.5.0/
[hadoop@hadoop3 azkaban-2.5.0]$ ll
总用量 88
-rwxr-xr-x 1 hadoop hadoop  129 4 月  22 2014 create.active_executing_flows.sql
-rwxr-xr-x 1 hadoop hadoop  216 4 月  22 2014 create.active_sla.sql
-rwxr-xr-x 1 hadoop hadoop 4694 4 月  22 2014 create-all-sql-2.5.0.sql
-rwxr-xr-x 1 hadoop hadoop  610 4 月  22 2014 create.execution_flows.sql
-rwxr-xr-x 1 hadoop hadoop  519 4 月  22 2014 create.execution_jobs.sql
-rwxr-xr-x 1 hadoop hadoop  358 4 月  22 2014 create.execution_logs.sql
-rwxr-xr-x 1 hadoop hadoop  224 4 月  22 2014 create.project_events.sql
-rwxr-xr-x 1 hadoop hadoop  227 4 月  22 2014 create.project_files.sql
-rwxr-xr-x 1 hadoop hadoop  280 4 月  22 2014 create.project_flows.sql
-rwxr-xr-x 1 hadoop hadoop  285 4 月  22 2014 create.project_permissions.sql
-rwxr-xr-x 1 hadoop hadoop  294 4 月  22 2014 create.project_properties.sql
-rwxr-xr-x 1 hadoop hadoop  380 4 月  22 2014 create.projects.sql
-rwxr-xr-x 1 hadoop hadoop  325 4 月  22 2014 create.project_versions.sql
-rwxr-xr-x 1 hadoop hadoop  155 4 月  22 2014 create.properties.sql
-rwxr-xr-x 1 hadoop hadoop  498 4 月  22 2014 create.schedules.sql
-rwxr-xr-x 1 hadoop hadoop  189 4 月  22 2014 create.triggers.sql
-rwxr-xr-x 1 hadoop hadoop  22 4 月  22 2014 database.properties
-rwxr-xr-x 1 hadoop hadoop  671 4 月  22 2014 update-all-sql-2.1.sql
-rwxr-xr-x 1 hadoop hadoop  156 4 月  22 2014 update-all-sql-2.2.sql
-rwxr-xr-x 1 hadoop hadoop  395 4 月  22 2014 update.execution_logs.2.1.sql
-rwxr-xr-x 1 hadoop hadoop  59 4 月  22 2014 update.project_properties.2.1.sql
[hadoop@hadoop3 azkaban-2.5.0]$

(3)在 MySQL 中执行脚本create-all-sql-2.5.0.sql(在 MySQL 所在的服务器上执行)

mysql> create database azkaban;
Query OK, 1 row affected (0.01 sec)

mysql> use azkaban;
Database changed
mysql> source /home/hadoop/azkaban-2.5.0/create-all-sql-2.5.0.sql

CentOS 7.5 安装 Azkaban 详解

CentOS 7.5 安装 Azkaban 详解

(4)创建 SSL 配置

参考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL

最好是在 /home/hadoop/apps/azkaban-2.5.0 目录下:执行命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA

[hadoop@hadoop3 azkaban-2.5.0]$ keytool -keystore keystore -alias jetty -genkey –keyalg RSA
输入密钥库口令: 
再次输入新口令:
您的名字与姓氏是什么?
  [Unknown]: 
您的组织单位名称是什么?
  [Unknown]: 
您的组织名称是什么?
  [Unknown]: 
您所在的城市或区域名称是什么?
  [Unknown]: 
您所在的省 / 市 / 自治区名称是什么?
  [Unknown]: 
该单位的双字母国家 / 地区代码是什么?
  [Unknown]:  CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 是否正确?
  [否]:  是

输入 <jetty> 的密钥口令
    (如果和密钥库口令相同, 按回车): 
[hadoop@hadoop3 azkaban-2.5.0]$

CentOS 7.5 安装 Azkaban 详解

完成上述工作后, 将在当前目录生成 keystore 证书文件, 将 keystore 拷贝到 azkaban web 服务 器根目录中. 如:

hadoop@hadoop3 azkaban-2.5.0]$ mv keystore azkaban-web-2.5.0/

(5)修改时区

注:先配置好服务器节点上的时区

1、先生成时区配置文件 Asia/Shanghai,用交互式命令 tzselect 即可

2、拷贝该时区文件,覆盖系统本地时区配置

[hadoop@hadoop3 azkaban-2.5.0]$ sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

(6)修改 azkaban web 服务器配置

进入 azkaban web 服务器安装目录 conf 目录 

[hadoop@hadoop3 ~]$ cd apps/azkaban-2.5.0/azkaban-web-2.5.0/conf/

修改 azkaban.properties 文件

[hadoop@hadoop3 conf]$ vi azkaban.properties

内容说明如下:

#Azkaban Personalization Settings

azkaban.name=MyTestAzkaban #服务器 UI 名称, 用于服务器上方显示的名字

azkaban.label=My Local Azkaban #描述

azkaban.color=#FF3601 #UI 颜色

azkaban.default.servlet.path=/index

web.resource.dir=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/web/ #默认根 web 目录

default.timezone.id=Asia/Shanghai #默认时区, 已改为亚洲 / 上海 默认为美国

#Azkaban UserManager class

user.manager.>

user.manager.xml.file=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/conf/azkaban-users.xml #用户配置, 具体配置参加下文

#Loader for projects # global 配置文件所在位置

executor.global.properties=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/global.properties

azkaban.project.dir=projects

database.type=mysql #数据库类型

mysql.port=3306 #端口号

mysql.host=hadoop03 #数据库连接 IP

mysql.database=azkaban #数据库实例名

mysql.user=root #数据库用户名

mysql.password=root #数据库密码

mysql.numconnections=100 #最大连接数

 

# Velocity dev mode

velocity.dev.mode=false # Jetty 服务器属性.

jetty.maxThreads=25 #最大线程数

jetty.ssl.port=8443 #Jetty SSL 端口

jetty.port=8081 #Jetty 端口

jetty.keystore=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/keystore #SSL 文件名

jetty.password=hadoop #SSL 文件密码

jetty.keypassword=hadoop #Jetty 主密码 与 keystore 文件相同

jetty.truststore=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/keystore #SSL 文件名

jetty.trustpassword=hadoop # SSL 文件密码

 

# 执行服务器属性

executor.port=12321 #执行服务器端口

 

# 邮件设置(可选项)

mail.sender=xxxxxxxx@163.com #发送邮箱

mail.host=smtp.163.com #发送邮箱 smtp 地址

mail.user=xxxxxxxx #发送邮件时显示的名称

mail.password=********** #邮箱密码

job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址

job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址

lockdown.create.projects=false # cache.directory=cache #缓存目录

修改 azkaban-users.xml配置文件

用户配置 进入 azkaban web 服务器 conf 目录, 修改 azkaban-users.xml vi azkaban-users.xml 增加 管理员用户

<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
<user username="metrics" password="metrics" roles="metrics"/>
<user username="admin" password="admin" roles="admin,metrics" />
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>

(6)修改 azkaban executor 服务器配置

进入 azkaban executor 服务器安装目录 conf 目录 

[hadoop@hadoop3 ~]$ cd apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/

修改 azkaban.properties 文件

[hadoop@hadoop3 conf]$ vi azkaban.properties 

#Azkaban

default.timezone.id=Asia/Shanghai #时区

 

# Azkaban JobTypes 插件配置,插件所在位置

azkaban.jobtype.plugin.dir=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0/plugins/jobtypes

 

#Loader for projects

executor.global.properties=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/global.properties

azkaban.project.dir=projects

 

# 数据库设置

database.type=mysql #数据库类型(目前只支持 mysql)

mysql.port=3306 #数据库端口号

mysql.host=hadoop03 #数据库 IP 地址

mysql.database=azkaban #数据库实例名

mysql.user=root #数据库用户名

mysql.password=root #数据库密码

mysql.numconnections=100 #最大连接数

 

# 执行服务器配置

executor.maxThreads=50 #最大线程数

executor.port=12321 #端口号(如修改, 请与 web 服务中一致)

executor.flow.threads=30 #线程数

(7)配置环境变量

[hadoop@hadoop3 ~]$ vi .bashrc 
#Azkban
export AZKABAN_WEB_HOME=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0
export AZKABAN_EXE_HOME=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0
export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin

保存之后使其立即生效

[hadoop@hadoop3 ~]$ source .bashrc 

5、启动

(1)启动 web 服务器

[hadoop@hadoop3 ~]$ azkaban-web-start.sh

后台启动方式

nohup azkaban-web-start.sh 1>/home/hadoop/azwebstd.out 2>/home/hadoop/azweberr.out &

报错信息:

Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class org.apache.derby.jdbc.AutoloadedDriver40
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at java.sql.DriverManager.isDriverAllowed(DriverManager.java:556)
    at java.sql.DriverManager.isDriverAllowed(DriverManager.java:548)
    at java.sql.DriverManager.getDrivers(DriverManager.java:446)
    at org.apache.commons.dbcp.BasicDataSource.<clinit>(BasicDataSource.java:57)
    at azkaban.database.DataSourceUtils.getMySQLDataSource(DataSourceUtils.java:98)
    at azkaban.database.DataSourceUtils.getDataSource(DataSourceUtils.java:76)
    at azkaban.database.AbstractJdbcLoader.<init>(AbstractJdbcLoader.java:63)
    at azkaban.executor.JdbcExecutorLoader.<init>(JdbcExecutorLoader.java:59)
    at azkaban.webapp.AzkabanWebServer.loadExecutorManager(AzkabanWebServer.java:247)
    at azkaban.webapp.AzkabanWebServer.<init>(AzkabanWebServer.java:185)
    at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:726)

CentOS 7.5 安装 Azkaban 详解

需要将 derby-10.11.1.1.jar 放到 /home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/lib 和 /home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0/lib 目录中

[hadoop@hadoop3 ~]$ cp derby-10.11.1.1.jar apps/azkaban-2.5.0/azkaban-web-2.5.0/lib/
[hadoop@hadoop3 ~]$ cp derby-10.11.1.1.jar apps/azkaban-2.5.0/azkaban-executor-2.5.0/lib/

此时在重新启动 azkaban 仍旧报错

Exception in thread "main" java.lang.IllegalArgumentException: The datetime zone id 'Asia/Shanghai' is not recognised
    at org.joda.time.DateTimeZone.forID(DateTimeZone.java:223)
    at azkaban.webapp.AzkabanWebServer.<init>(AzkabanWebServer.java:208)
    at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:726)

CentOS 7.5 安装 Azkaban 详解

排查发现是 Azkaban 的配置文件azkaban-web-2.5.0/conf/azkaban.properties 中的时区配置后面多了一个空格导致

注意:Azkaban 的配置文件中不能有空格

CentOS 7.5 安装 Azkaban 详解

去掉空格之后再次启动 azkaban,启动成功

CentOS 7.5 安装 Azkaban 详解

(2)启动 executor 服务器

[hadoop@hadoop3 ~]$ azkaban-executor-start.sh

后台启动方式

nohup azkaban-executor-start.sh 1>/home/hadoop/azexstd.out 2>/home/hadoop/azexerr.out &

CentOS 7.5 安装 Azkaban 详解

6、验证

打开谷歌或是火狐浏览器输入 https://IP:8443,此处测试的地址是 https://hadoop3:8443,此时可能会出现以下界面,点击高级

CentOS 7.5 安装 Azkaban 详解

点击继续前往 hadoop3(不安全)

CentOS 7.5 安装 Azkaban 详解

此时会跳到登录界面,输入在配置文件azkaban-users.xml,中配置的用户名密码admin/admin,点击登录

CentOS 7.5 安装 Azkaban 详解

登录成功

CentOS 7.5 安装 Azkaban 详解

 

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计8393字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7998267
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

  免费无广告!这款跨平台 AI RSS 阅读器,拯救你的信息焦虑 在算法推荐主导信息流的时代,我们...
开发者福利:免费 .frii.site 子域名,一分钟申请即用

开发者福利:免费 .frii.site 子域名,一分钟申请即用

  开发者福利:免费 .frii.site 子域名,一分钟申请即用 前言 在学习 Web 开发、部署...
如何安装2026年最强个人助理ClawdBot、完整安装教程

如何安装2026年最强个人助理ClawdBot、完整安装教程

如何安装 2026 年最强个人助理 ClawdBot、完整安装教程 一、前言 学不完,根本学不完!近期,一款名...
安装并使用谷歌AI编程工具Antigravity(亲测有效)

安装并使用谷歌AI编程工具Antigravity(亲测有效)

  安装并使用谷歌 AI 编程工具 Antigravity(亲测有效) 引言 Antigravity...
还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手! 前言 对于个人开发者、建站新手或是想搭建测试站点的从业者...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛 NAS 硬件 02:某鱼 6 张左右就可拿下 5 盘位的飞牛圣体 NAS 前言 大家好,我是星...
多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞定

多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞定

多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞...
Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集 在云原生体系中,Prometheus 已成为最主流的监控与报警...
4盘位、4K输出、J3455、遥控,NAS硬件入门性价比之王

4盘位、4K输出、J3455、遥控,NAS硬件入门性价比之王

  4 盘位、4K 输出、J3455、遥控,NAS 硬件入门性价比之王 开篇 在 NAS 市场中,威...
手把手教你,购买云服务器并且安装宝塔面板

手把手教你,购买云服务器并且安装宝塔面板

手把手教你,购买云服务器并且安装宝塔面板 前言 大家好,我是星哥。星哥发现很多新手刚接触服务器时,都会被“选购...