阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

RedHat Linux 5.5下安装Oozie4.1.0-CDH5.5.2

156次阅读
没有评论

共计 8946 个字符,预计需要花费 23 分钟才能阅读完成。

安装 oozie 经历了好长的时间,先是源码包,但是放弃了。然后就是安装的这个 CDH 版本的,弄了好久,经常报各种错误。最后整理出来这篇。

先对文件进行下载:

这里使用的是 CDH 版本的,免编译,看着编译的过程就够了。下载地址:

http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.5.2.tar.gz

文件较大,1.6G

还需要下载 ExjJS,这是扩展的 JavaScript 的 UI 桌面框架。必须是 2.2 版本的,这是官网指定的,已经写死在 oozied.sh 中。下载地址见这篇 http://www.linuxidc.com/Linux/2017-10/147654.htm 

安装环境:

RedHat Linux 5.5,64 位虚拟机

Hadoop2.6.0-cdh5.5.2

jdk1.8.0_11 

一、解压安装 oozie

[hadoop@fa01 ~]$ tar -zxvf oozie-4.1.0-cdh5.5.2.tar.gz

[hadoop@fa01 ~]$ cd oozie-4.1.0-cdh5.5.2

二、配置环境变量

[hadoop@fa01 ~]$ vim .bash_profile

export OOZIE_HOME=/home/hadoop/oozie-4.1.0-cdh5.5.2

[hadoop@fa01 ~]$ source .bash_profile

三、还需要配置一下 hadoop 的 core-site 文件。

我这里因为之前安 hive 的时候修改过一次这个内容了,所以没做修改。

如果修改的话,需要重新启动一下 hadoop 集群。

[hadoop@fa01 hadoop]$ vim core-site.xml

<property>

<name>hadoop.proxyuser.hadoop.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hadoop.groups</name>

<value>*</value>

</property>

四、创建 libext 目录

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ mkdir libext

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

五、解压包中的 hadooplibs 的 tar 包,并把 hadooplibs 目录下的内容拷贝到刚刚创建的目录下

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ tar -zxvf oozie-hadooplibs-4.1.0-cdh5.5.2.tar.gz

解压后多了一个 oozie-4.1.0-cdh5.5.2,这个名字与 oozie 本身名称是一样的,容易混乱~~~

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ cd oozie-4.1.0-cdh5.5.2/hadooplibs/

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

[hadoop@fa01 hadooplibs]$ cp hadooplib-2.6.0-cdh5.5.2.oozie-4.1.0-cdh5.5.2/* /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/

[hadoop@fa01 hadooplibs]$ cp hadooplib-2.6.0-mr1-cdh5.5.2.oozie-4.1.0-cdh5.5.2/* /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

官网说了,如果用的是不同的 hadoop 版本,则需要拷贝 hadoop 的 jar 文件到 libext/ 下

六、将之前下载好的 ext2.2.zip 同样解压到 libext/ 目录下

[hadoop@fa01 ~]$ unzip ExtJS-2.2.zip -d /home/hadoop/oozie-4.1.0-cdh5.5.2/libext

到解压目录看看有没有。

[hadoop@fa01 ~]$ cd oozie-4.1.0-cdh5.5.2/libext/

[hadoop@fa01 libext]$ ls

七、生成 war 包

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/addtowar.sh -inputwar $OOZIE_HOME/oozie.war -outputwar $OOZIE_HOME/oozie-server/webapps/oozie.war -hadoop 2.6.0  $HADOOP_HOME -extjs /home/hadoop/ExtJS-2.2.zip

显示下面这样就成功了。

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2 

八、放置 JDBC 驱动,三个地方

将 mysql 的 JDBC 驱动,放到之前创建的libext/ 目录下,还有 lib/ 目录下

下载的这个版本的:mysql-connector-java-5.1.43-bin.jar

可以到 Linux 公社资源站下载:

—————————————— 分割线 ——————————————

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2017 年资料 /10 月 /15 日 /RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2/

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

—————————————— 分割线 ——————————————

同时还要修改下权限:

[hadoop@fa01 libext]$ chmod 777 /home/hadoop/oozie-4.1.0-cdh5.5.2/lib/mysql-connector-java-5.1.43-bin.jar

[hadoop@fa01 libext]$ chmod 777 /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/mysql-connector-java-5.1.43-bin.jar

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

最后!还得配置一个地方!

就是这个目录下 /home/hadoop/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie/WEB-INF/lib

[hadoop@fa01 lib]$ cd /home/hadoop/oozie-4.1.0-cdh5.5.2/lib

[hadoop@fa01 lib]$ cp mysql-connector-java-5.1.43-bin.jar /home/hadoop/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie/WEB-INF/lib

[hadoop@fa01 lib]$ ls |grep mysql

mysql-connector-java-5.1.43-bin.jar

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2017-10/147655p2.htm

九、配置 conf/oozie-site.xml 文件

主要是配置数据库保存源文件。

[Hadoop@fa01 conf]$ vim oozie-site.xml

在文件底部添加下面这些内容:

   <property>

       <name>oozie.db.schema.name</name>

       <value>oozie</value>

       <description>

           Oozie DataBase Name

       </description>

   </property>

   <property>

       <name>oozie.service.JPAService.create.db.schema</name>

       <value>false</value>

       <description>

           Creates Oozie DB.

           If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.

           If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.

       </description>

   </property>

   <property>

       <name>oozie.service.JPAService.jdbc.driver</name>

       <value>com.mysql.jdbc.Driver</value>

       <description>

           JDBC driver class.

       </description>

   </property>

   <property>

       <name>oozie.service.JPAService.jdbc.url</name>

       <value>jdbc:mysql://192.168.20.32:3306/oozie?createDatabaseIfNotExist=true</value>

       <description>

           JDBC URL.

       </description>

   </property>

   <property>

       <name>oozie.service.JPAService.jdbc.username</name>

       <value>oozie</value>

       <description>

           DB user name.

       </description>

   </property>

   <property>

       <name>oozie.service.JPAService.jdbc.password</name>

       <value>mysql</value>

       <description>

           DB user password.

           IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,

                      if empty Configuration assumes it is NULL.

       </description>

   </property>

   <property>

   <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>

   <value>*=/home/hadoop/hadoop-2.6.0-cdh5.5.2/etc/hadoop</value>

   <description>

       Comma separated AUTHORITY=HADOOP_CONF_DIR, where AUTHORITY is the HOST:PORT of

       the Hadoop service (JobTracker, HDFS). The wildcard ‘*’ configuration is

       used when there is no exact match for an authority. The HADOOP_CONF_DIR contains

       the relevant Hadoop *-site.xml files. If the path is relative is looked within

       the Oozie configuration directory; though the path can be absolute (i.e. to point

       to Hadoop client conf/ directories in the local filesystem.

   </description>

</property>

 

同时,要在 MySQL 中,创建好用户名和密码。

mysql> create user ‘oozie‘ identified by ‘mysql‘;

mysql> grant all privileges on *.* to ‘oozie‘@’%‘ with grant option;

由于版本 5 不识别 %,所以需要重新声明一下主机的地址

mysql> grant all privileges on *.* to oozie@fa01 identified by ‘mysql‘;

mysql> flush privileges;

十、在 hdfs 上创建包

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ pwd

/home/hadoop/oozie-4.1.0-cdh5.5.2

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/oozie-setup.sh sharelib create -fs hdfs://192.168.20.32:9000 -locallib oozie-sharelib-4.1.0-cdh5.5.2-yarn.tar.gz

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

十一、给 oozie-server 赋予权限

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ chmod 777 oozie-server -R

[hadoop@fa01 libext]$ chmod 777 ext-2.2 -R

十二、创建数据库脚本,并初始化数据库

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection

之后的显示:

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2 

十三、开启 oozie 的实例

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/oozied.sh start

十四、运行 oozie

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/oozied.sh run &

十五、测试、查看

jps 一下,出现 Bootstrap 就对了 三分之一

继续:出现 NORMAL 就对了 三分之二。

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/oozie admin -oozie http://192.168.20.32:11000/oozie -status

System mode: NORMAL

再继续:

登录页面 http://192.168.20.32:11000/oozie/,可以正常显示如下页面,就 百分之百 了。

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

 

 

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-10/147655.htm

安装 oozie 经历了好长的时间,先是源码包,但是放弃了。然后就是安装的这个 CDH 版本的,弄了好久,经常报各种错误。最后整理出来这篇。

先对文件进行下载:

这里使用的是 CDH 版本的,免编译,看着编译的过程就够了。下载地址:

http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.5.2.tar.gz

文件较大,1.6G

还需要下载 ExjJS,这是扩展的 JavaScript 的 UI 桌面框架。必须是 2.2 版本的,这是官网指定的,已经写死在 oozied.sh 中。下载地址见这篇 http://www.linuxidc.com/Linux/2017-10/147654.htm 

安装环境:

RedHat Linux 5.5,64 位虚拟机

Hadoop2.6.0-cdh5.5.2

jdk1.8.0_11 

一、解压安装 oozie

[hadoop@fa01 ~]$ tar -zxvf oozie-4.1.0-cdh5.5.2.tar.gz

[hadoop@fa01 ~]$ cd oozie-4.1.0-cdh5.5.2

二、配置环境变量

[hadoop@fa01 ~]$ vim .bash_profile

export OOZIE_HOME=/home/hadoop/oozie-4.1.0-cdh5.5.2

[hadoop@fa01 ~]$ source .bash_profile

三、还需要配置一下 hadoop 的 core-site 文件。

我这里因为之前安 hive 的时候修改过一次这个内容了,所以没做修改。

如果修改的话,需要重新启动一下 hadoop 集群。

[hadoop@fa01 hadoop]$ vim core-site.xml

<property>

<name>hadoop.proxyuser.hadoop.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hadoop.groups</name>

<value>*</value>

</property>

四、创建 libext 目录

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ mkdir libext

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

五、解压包中的 hadooplibs 的 tar 包,并把 hadooplibs 目录下的内容拷贝到刚刚创建的目录下

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ tar -zxvf oozie-hadooplibs-4.1.0-cdh5.5.2.tar.gz

解压后多了一个 oozie-4.1.0-cdh5.5.2,这个名字与 oozie 本身名称是一样的,容易混乱~~~

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ cd oozie-4.1.0-cdh5.5.2/hadooplibs/

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

[hadoop@fa01 hadooplibs]$ cp hadooplib-2.6.0-cdh5.5.2.oozie-4.1.0-cdh5.5.2/* /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/

[hadoop@fa01 hadooplibs]$ cp hadooplib-2.6.0-mr1-cdh5.5.2.oozie-4.1.0-cdh5.5.2/* /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

官网说了,如果用的是不同的 hadoop 版本,则需要拷贝 hadoop 的 jar 文件到 libext/ 下

六、将之前下载好的 ext2.2.zip 同样解压到 libext/ 目录下

[hadoop@fa01 ~]$ unzip ExtJS-2.2.zip -d /home/hadoop/oozie-4.1.0-cdh5.5.2/libext

到解压目录看看有没有。

[hadoop@fa01 ~]$ cd oozie-4.1.0-cdh5.5.2/libext/

[hadoop@fa01 libext]$ ls

七、生成 war 包

[hadoop@fa01 oozie-4.1.0-cdh5.5.2]$ bin/addtowar.sh -inputwar $OOZIE_HOME/oozie.war -outputwar $OOZIE_HOME/oozie-server/webapps/oozie.war -hadoop 2.6.0  $HADOOP_HOME -extjs /home/hadoop/ExtJS-2.2.zip

显示下面这样就成功了。

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2 

八、放置 JDBC 驱动,三个地方

将 mysql 的 JDBC 驱动,放到之前创建的libext/ 目录下,还有 lib/ 目录下

下载的这个版本的:mysql-connector-java-5.1.43-bin.jar

可以到 Linux 公社资源站下载:

—————————————— 分割线 ——————————————

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2017 年资料 /10 月 /15 日 /RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2/

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

—————————————— 分割线 ——————————————

同时还要修改下权限:

[hadoop@fa01 libext]$ chmod 777 /home/hadoop/oozie-4.1.0-cdh5.5.2/lib/mysql-connector-java-5.1.43-bin.jar

[hadoop@fa01 libext]$ chmod 777 /home/hadoop/oozie-4.1.0-cdh5.5.2/libext/mysql-connector-java-5.1.43-bin.jar

RedHat Linux 5.5 下安装 Oozie4.1.0-CDH5.5.2

最后!还得配置一个地方!

就是这个目录下 /home/hadoop/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie/WEB-INF/lib

[hadoop@fa01 lib]$ cd /home/hadoop/oozie-4.1.0-cdh5.5.2/lib

[hadoop@fa01 lib]$ cp mysql-connector-java-5.1.43-bin.jar /home/hadoop/oozie-4.1.0-cdh5.5.2/oozie-server/webapps/oozie/WEB-INF/lib

[hadoop@fa01 lib]$ ls |grep mysql

mysql-connector-java-5.1.43-bin.jar

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2017-10/147655p2.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计8946字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中