阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

RedHat Linux 5.5下安装Oozie4.1.0-CDH5.5.2

430次阅读
没有评论

共计 8946 个字符,预计需要花费 23 分钟才能阅读完成。

安装 oozie 经历了好长的时间,先是源码包,但是放弃了。然后就是安装的这个 CDH 版本的,弄了好久,经常报各种错误。最后整理出来这篇。

先对文件进行下载:

这里使用的是 CDH 版本的,免编译,看着编译的过程就够了。下载地址:

http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.5.2.tar.gz

文件较大,1.6G

还需要下载 ExjJS,这是扩展的 JavaScript 的 UI 桌面框架。必须是 2.2 版本的,这是官网指定的,已经写死在 oozied.sh 中。下载地址见这篇 http://www.linuxidc.com/Linux/2017-10/147654.htm 

安装环境:

RedHat Linux 5.5,64 位虚拟机

Hadoop2.6.0-cdh5.5.2

jdk1.8.0_11 

一、解压安装 oozie

[hadoop@fa01 ~]$ tar -zxvf oozie-4.1.0-cdh5.5.2.tar.gz

[hadoop@fa01 ~]$ cd oozie-4.1.0-cdh5.5.2

二、配置环境变量

[hadoop@fa01 ~]$ vim .bash_profile

export OOZIE_HOME=/home/hadoop/oozie-4.1.0-cdh5.5.2

[hadoop@fa01 ~]$ source .bash_profile

三、还需要配置一下 hadoop 的 core-site 文件。

我这里因为之前安 hive 的时候修改过一次这个内容了,所以没做修改。

如果修改的话,需要重新启动一下 hadoop 集群。

[hadoop@fa01 hadoop]$ vim core-site.xml

<property>

<name>hadoop.proxyuser.hadoop.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hadoop.groups</name>

<value>*</value>

</property>

四、创建 libext 目录

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ mkdir libext

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

五、解压包中的 hadooplibs 的 tar 包,并把 hadooplibs 目录下的内容拷贝到刚刚创建的目录下

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ tar -zxvf oozie-hadooplibs-4.1.0-cdh5.5.2.tar.gz

解压后多了一个 oozie-4.1.0-cdh5.5.2,这个名字与 oozie 本身名称是一样的,容易混乱~~~

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ cd oozie-4.1.0-cdh5.5.2/hadooplibs/

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

[hadoop@fa01 hadooplibs]$ cp hadooplib-2.6.0-cdh5.5.2.oozie-4.1.0-cdh5.5.2/* /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/

[hadoop@fa01 hadooplibs]$ cp hadooplib-2.6.0-mr1-cdh5.5.2.oozie-4.1.0-cdh5.5.2/* /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

官网说了,如果用的是不同的 hadoop 版本,则需要拷贝 hadoop 的 jar 文件到 libext/ 下

六、将之前下载好的 ext2.2.zip 同样解压到 libext/ 目录下

[hadoop@fa01 ~]$ unzip ExtJS-2.2.zip -d /home/hadoop/oozie-4.1.0-cdh5.5.2/libext

到解压目录看看有没有。

[hadoop@fa01 ~]$ cd oozie-4.1.0-cdh5.5.2/libext/

[hadoop@fa01 libext]$ ls

七、生成 war 包

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/addtowar.sh -inputwar $OOZIE_HOME/oozie.war -outputwar $OOZIE_HOME/oozie-server/webapps/oozie.war -hadoop 2.6.0  $HADOOP_HOME -extjs /home/hadoop/ExtJS-2.2.zip

显示下面这样就成功了。

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2 

八、放置 JDBC 驱动,三个地方

将 mysql 的 JDBC 驱动,放到之前创建的libext/ 目录下,还有 lib/ 目录下

下载的这个版本的:mysql-connector-java-5.1.43-bin.jar

可以到 Linux 公社资源站下载:

—————————————— 分割线 ——————————————

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2017 年资料 /10 月 /15 日 /RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2/

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

—————————————— 分割线 ——————————————

同时还要修改下权限:

[hadoop@fa01 libext]$ chmod 777 /home/hadoop/oozie-4.1.0-cdh5.5.2/lib/mysql-connector-java-5.1.43-bin.jar

[hadoop@fa01 libext]$ chmod 777 /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/mysql-connector-java-5.1.43-bin.jar

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

最后!还得配置一个地方!

就是这个目录下 /home/hadoop/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie/WEB-INF/lib

[hadoop@fa01 lib]$ cd /home/hadoop/oozie-4.1.0-cdh5.5.2/lib

[hadoop@fa01 lib]$ cp mysql-connector-java-5.1.43-bin.jar /home/hadoop/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie/WEB-INF/lib

[hadoop@fa01 lib]$ ls |grep mysql

mysql-connector-java-5.1.43-bin.jar

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2017-10/147655p2.htm

九、配置 conf/oozie-site.xml 文件

主要是配置数据库保存源文件。

[Hadoop@fa01 conf]$ vim oozie-site.xml

在文件底部添加下面这些内容:

   <property>

       <name>oozie.db.schema.name</name>

       <value>oozie</value>

       <description>

           Oozie DataBase Name

       </description>

   </property>

   <property>

       <name>oozie.service.JPAService.create.db.schema</name>

       <value>false</value>

       <description>

           Creates Oozie DB.

           If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.

           If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.

       </description>

   </property>

   <property>

       <name>oozie.service.JPAService.jdbc.driver</name>

       <value>com.mysql.jdbc.Driver</value>

       <description>

           JDBC driver class.

       </description>

   </property>

   <property>

       <name>oozie.service.JPAService.jdbc.url</name>

       <value>jdbc:mysql://192.168.20.32:3306/oozie?createDatabaseIfNotExist=true</value>

       <description>

           JDBC URL.

       </description>

   </property>

   <property>

       <name>oozie.service.JPAService.jdbc.username</name>

       <value>oozie</value>

       <description>

           DB user name.

       </description>

   </property>

   <property>

       <name>oozie.service.JPAService.jdbc.password</name>

       <value>mysql</value>

       <description>

           DB user password.

           IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,

                      if empty Configuration assumes it is NULL.

       </description>

   </property>

   <property>

   <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>

   <value>*=/home/hadoop/hadoop-2.6.0-cdh5.5.2/etc/hadoop</value>

   <description>

       Comma separated AUTHORITY=HADOOP_CONF_DIR, where AUTHORITY is the HOST:PORT of

       the Hadoop service (JobTracker, HDFS). The wildcard ‘*’ configuration is

       used when there is no exact match for an authority. The HADOOP_CONF_DIR contains

       the relevant Hadoop *-site.xml files. If the path is relative is looked within

       the Oozie configuration directory; though the path can be absolute (i.e. to point

       to Hadoop client conf/ directories in the local filesystem.

   </description>

</property>

 

同时,要在 MySQL 中,创建好用户名和密码。

mysql> create user ‘oozie‘ identified by ‘mysql‘;

mysql> grant all privileges on *.* to ‘oozie‘@’%‘ with grant option;

由于版本 5 不识别 %,所以需要重新声明一下主机的地址

mysql> grant all privileges on *.* to oozie@fa01 identified by ‘mysql‘;

mysql> flush privileges;

十、在 hdfs 上创建包

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ pwd

/home/hadoop/oozie-4.1.0-cdh5.5.2

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/oozie-setup.sh sharelib create -fs hdfs://192.168.20.32:9000 -locallib oozie-sharelib-4.1.0-cdh5.5.2-yarn.tar.gz

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

十一、给 oozie-server 赋予权限

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ chmod 777 oozie-server -R

[hadoop@fa01 libext]$ chmod 777 ext-2.2 -R

十二、创建数据库脚本,并初始化数据库

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection

之后的显示:

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2 

十三、开启 oozie 的实例

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/oozied.sh start

十四、运行 oozie

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/oozied.sh run &

十五、测试、查看

jps 一下,出现 Bootstrap 就对了 三分之一

继续:出现 NORMAL 就对了 三分之二。

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/oozie admin -oozie http://192.168.20.32:11000/oozie -status

System mode: NORMAL

再继续:

登录页面 http://192.168.20.32:11000/oozie/,可以正常显示如下页面,就 百分之百 了。

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

 

 

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-10/147655.htm

安装 oozie 经历了好长的时间,先是源码包,但是放弃了。然后就是安装的这个 CDH 版本的,弄了好久,经常报各种错误。最后整理出来这篇。

先对文件进行下载:

这里使用的是 CDH 版本的,免编译,看着编译的过程就够了。下载地址:

http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.5.2.tar.gz

文件较大,1.6G

还需要下载 ExjJS,这是扩展的 JavaScript 的 UI 桌面框架。必须是 2.2 版本的,这是官网指定的,已经写死在 oozied.sh 中。下载地址见这篇 http://www.linuxidc.com/Linux/2017-10/147654.htm 

安装环境:

RedHat Linux 5.5,64 位虚拟机

Hadoop2.6.0-cdh5.5.2

jdk1.8.0_11 

一、解压安装 oozie

[hadoop@fa01 ~]$ tar -zxvf oozie-4.1.0-cdh5.5.2.tar.gz

[hadoop@fa01 ~]$ cd oozie-4.1.0-cdh5.5.2

二、配置环境变量

[hadoop@fa01 ~]$ vim .bash_profile

export OOZIE_HOME=/home/hadoop/oozie-4.1.0-cdh5.5.2

[hadoop@fa01 ~]$ source .bash_profile

三、还需要配置一下 hadoop 的 core-site 文件。

我这里因为之前安 hive 的时候修改过一次这个内容了,所以没做修改。

如果修改的话,需要重新启动一下 hadoop 集群。

[hadoop@fa01 hadoop]$ vim core-site.xml

<property>

<name>hadoop.proxyuser.hadoop.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hadoop.groups</name>

<value>*</value>

</property>

四、创建 libext 目录

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ mkdir libext

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

五、解压包中的 hadooplibs 的 tar 包,并把 hadooplibs 目录下的内容拷贝到刚刚创建的目录下

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ tar -zxvf oozie-hadooplibs-4.1.0-cdh5.5.2.tar.gz

解压后多了一个 oozie-4.1.0-cdh5.5.2,这个名字与 oozie 本身名称是一样的,容易混乱~~~

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ cd oozie-4.1.0-cdh5.5.2/hadooplibs/

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

[hadoop@fa01 hadooplibs]$ cp hadooplib-2.6.0-cdh5.5.2.oozie-4.1.0-cdh5.5.2/* /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/

[hadoop@fa01 hadooplibs]$ cp hadooplib-2.6.0-mr1-cdh5.5.2.oozie-4.1.0-cdh5.5.2/* /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

官网说了,如果用的是不同的 hadoop 版本,则需要拷贝 hadoop 的 jar 文件到 libext/ 下

六、将之前下载好的 ext2.2.zip 同样解压到 libext/ 目录下

[hadoop@fa01 ~]$ unzip ExtJS-2.2.zip -d /home/hadoop/oozie-4.1.0-cdh5.5.2/libext

到解压目录看看有没有。

[hadoop@fa01 ~]$ cd oozie-4.1.0-cdh5.5.2/libext/

[hadoop@fa01 libext]$ ls

七、生成 war 包

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/addtowar.sh -inputwar $OOZIE_HOME/oozie.war -outputwar $OOZIE_HOME/oozie-server/webapps/oozie.war -hadoop 2.6.0  $HADOOP_HOME -extjs /home/hadoop/ExtJS-2.2.zip

显示下面这样就成功了。

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2 

八、放置 JDBC 驱动,三个地方

将 mysql 的 JDBC 驱动,放到之前创建的libext/ 目录下,还有 lib/ 目录下

下载的这个版本的:mysql-connector-java-5.1.43-bin.jar

可以到 Linux 公社资源站下载:

—————————————— 分割线 ——————————————

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2017 年资料 /10 月 /15 日 /RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2/

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

—————————————— 分割线 ——————————————

同时还要修改下权限:

[hadoop@fa01 libext]$ chmod 777 /home/hadoop/oozie-4.1.0-cdh5.5.2/lib/mysql-connector-java-5.1.43-bin.jar

[hadoop@fa01 libext]$ chmod 777 /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/mysql-connector-java-5.1.43-bin.jar

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

最后!还得配置一个地方!

就是这个目录下 /home/hadoop/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie/WEB-INF/lib

[hadoop@fa01 lib]$ cd /home/hadoop/oozie-4.1.0-cdh5.5.2/lib

[hadoop@fa01 lib]$ cp mysql-connector-java-5.1.43-bin.jar /home/hadoop/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie/WEB-INF/lib

[hadoop@fa01 lib]$ ls |grep mysql

mysql-connector-java-5.1.43-bin.jar

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2017-10/147655p2.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计8946字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7983376
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
免费领取huggingface的2核16G云服务器,超简单教程

免费领取huggingface的2核16G云服务器,超简单教程

免费领取 huggingface 的 2 核 16G 云服务器,超简单教程 前言 HuggingFace.co...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
开发者福利:免费 .frii.site 子域名,一分钟申请即用

开发者福利:免费 .frii.site 子域名,一分钟申请即用

  开发者福利:免费 .frii.site 子域名,一分钟申请即用 前言 在学习 Web 开发、部署...
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸

一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸

一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸 前言 作为天天跟架构图、拓扑图死磕的...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集 在云原生体系中,Prometheus 已成为最主流的监控与报警...
星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

  星哥带你玩飞牛 NAS-16:不再错过公众号更新,飞牛 NAS 搭建 RSS 对于经常关注多个微...
星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛 NAS 硬件 02:某鱼 6 张左右就可拿下 5 盘位的飞牛圣体 NAS 前言 大家好,我是星...
星哥带你玩飞牛NAS-11:咪咕视频订阅部署全攻略

星哥带你玩飞牛NAS-11:咪咕视频订阅部署全攻略

星哥带你玩飞牛 NAS-11:咪咕视频订阅部署全攻略 前言 在家庭影音系统里,NAS 不仅是存储中心,更是内容...
星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛 NAS-14:解锁公网自由!Lucky 功能工具安装使用保姆级教程 作为 NAS 玩家,咱们最...