阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Pig 0.12.1安装和使用

84次阅读
没有评论

共计 5325 个字符,预计需要花费 14 分钟才能阅读完成。

Pig 0.12.1 安装和使用

1 : 安装

解压,配置环境变量,验证 pig 安装是否成功

[linuxidc@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz
[linuxidc@jifeng02 ~]$ vi .bash_profile
# .bash_profile

# Get the aliases and functions
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH
export JAVA_HOME=$HOME/jdk1.7.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export Hadoop_HOME=$HOME/hadoop/hadoop-1.2.1
export ANT_HOME=$HOME/apache-ant-1.9.4

export HIVE_HOME=$HOME/hadoop/hive-0.12.0-bin
export HBASE_HOME=$HOME/hbase-0.94.21
export PIG_HOME=$HOME/pig-0.12.1

export PATH=$PATH:$ANT_HOME/bin:$HIVE_HOME/bin::$HBASE_HOME/bin:$PIG_HOME/bin
~
~
~
“.bash_profile” 23L, 591C 已写入                                                                                 
[linuxidc@jifeng02 ~]$ source .bash_profile

[linuxidc@jifeng02 ~]$ pig -helpwhich: no hadoop in (/home/linuxidc/jdk1.7.0_45/bin:/home/linuxidc/jdk1.7.0_45/bin:/home/linuxidc/jdk1.7.0_45/bin:/usr/lib/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/linuxidc/bin:/home/linuxidc/apache-ant-1.9.4/bin:/home/linuxidc/hadoop/hive-0.12.0-bin/bin::/home/linuxidc/hbase-0.94.21/bin:/home/linuxidc/bin:/home/linuxidc/apache-ant-1.9.4/bin:/home/linuxidc/hadoop/hive-0.12.0-bin/bin::/home/linuxidc/hbase-0.94.21/bin:/home/linuxidc/pig-0.12.1/bin:/home/linuxidc/bin:/home/linuxidc/apache-ant-1.9.4/bin:/home/linuxidc/hadoop/hive-0.12.0-bin/bin::/home/linuxidc/hbase-0.94.21/bin:/home/linuxidc/pig-0.12.0/bin)Warning: $HADOOP_HOME is deprecated.Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14

2.Pig 执行模式
Pig 有两种执行模式,分别为:
1)本地模式(Local)
本地模式下,Pig 运行在单一的 JVM 中,可访问本地文件。该模式适用于处理小规模数据或学习之用。
运行以下命名设置为本地模式:

[linuxidc@jifeng02 ~]$ pig -x local
which: no hadoop in (/home/linuxidc/jdk1.7.0_45/bin:/home/linuxidc/jdk1.7.0_45/bin:/home/linuxidc/jdk1.7.0_45/bin:/usr/lib/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/linuxidc/bin:/home/linuxidc/apache-ant-1.9.4/bin:/home/linuxidc/hadoop/hive-0.12.0-bin/bin::/home/linuxidc/hbase-0.94.21/bin:/home/linuxidc/bin:/home/linuxidc/apache-ant-1.9.4/bin:/home/linuxidc/hadoop/hive-0.12.0-bin/bin::/home/linuxidc/hbase-0.94.21/bin:/home/linuxidc/pig-0.12.1/bin:/home/linuxidc/bin:/home/linuxidc/apache-ant-1.9.4/bin:/home/linuxidc/hadoop/hive-0.12.0-bin/bin::/home/linuxidc/hbase-0.94.21/bin:/home/linuxidc/pig-0.12.0/bin)
Warning: $HADOOP_HOME is deprecated.

2015-08-16 22:57:09,716 [main] INFO  org.apache.pig.Main – Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14
2015-08-16 22:57:09,717 [main] INFO  org.apache.pig.Main – Logging error messages to: /home/linuxidc/pig_1439737029715.log
2015-08-16 22:57:09,735 [main] INFO  org.apache.pig.impl.util.Utils – Default bootup file /home/linuxidc/.pigbootup not found
2015-08-16 22:57:09,828 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine – Connecting to hadoop file system at: file:///
grunt>

2)MapReduce 模式

在 MapReduce 模式下,Pig 将查询转换为 MapReduce 作业提交给 Hadoop(可以说群集,也可以说伪分布式)。

应该检查当前 Pig 版本是否支持你当前所用的 Hadoop 版本。某一版本的 Pig 仅支持特定版本的 Hadoop,你可以通过访问 Pig 官网获取版本支持信息。

Pig 会用到 HADOOP_HOME 环境变量。如果该变量没有设置,Pig 也可以利用自带的 Hadoop 库,但是这样就无法保证其自带肯定库和你实际使用的 HADOOP 版本是否兼容,所以建议显式设置 HADOOP_HOME 变量。且还需要设置 PIG_CLASSPATH 变量:

[linuxidc@jifeng02 ~]$ vi .bash_profile

# .bash_profile

# Get the aliases and functions
if [-f ~/.bashrc]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH
export JAVA_HOME=$HOME/jdk1.7.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=$HOME/hadoop/hadoop-1.2.1
export ANT_HOME=$HOME/apache-ant-1.9.4

export HIVE_HOME=$HOME/hadoop/hive-0.12.0-bin
export HBASE_HOME=$HOME/hbase-0.94.21
export PIG_HOME=$HOME/pig-0.12.0
export PIG_CLASSPATH=$HOME/hadoop/hadoop-1.2.1/conf/

export PATH=$PATH:$ANT_HOME/bin:$HIVE_HOME/bin::$HBASE_HOME/bin:$PIG_HOME/bin:$HADOOP_HOME/bin
~
~
~
“.bash_profile” 24L, 661C 已写入                                                                                 
[linuxidc@jifeng02 ~]$ source .bash_profile
[linuxidc@jifeng02 ~]$ pig
Warning: $HADOOP_HOME is deprecated.

2015-08-16 23:06:24,122 [main] INFO  org.apache.pig.Main – Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14
2015-08-16 23:06:24,123 [main] INFO  org.apache.pig.Main – Logging error messages to: /home/linuxidc/pig_1439737584121.log
2015-08-16 23:06:24,142 [main] INFO  org.apache.pig.impl.util.Utils – Default bootup file /home/linuxidc/.pigbootup not found
2015-08-16 23:06:24,281 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine – Connecting to hadoop file system at: hdfs://linuxidc01:9000
2015-08-16 23:06:24,463 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine – Connecting to map-reduce job tracker at: linuxidc01:9001
grunt>

3. 运行 Pig 程序
Pig 程序执行方式有三种:

1)脚本方式
直接运行包含 Pig 脚本的文件,比如以下命令将运行本地 scripts.pig 文件中的所有命令:
pig scripts.pig

2)Grunt 方式
Grunt 提供了交互式运行环境,可以在命令行编辑执行命令。
Grund 同时支持命令的历史记录,通过上下方向键访问。
Grund 支持命令的自动补全功能。比如当你输入 a = foreach b g 时,按下 Tab 键,则命令行自动变成 a = foreach b generate。你甚至可以自定义命令自动补全功能的详细方式。具体请参阅相关文档。

3)嵌入式方式
可以在 java 中运行 Pig 程序,类似于使用 JDBC 运行 SQL 程序。
Pig Latin 编辑器
PigPen 是一个 Ecliipse 插件,它提供了在 Eclipse 中开发运行 Pig 程序的常用功能,比如脚本编辑、运行等。下载地址:http://wiki.apache.org/pig/PigPen
其他一些编辑器也提供了编辑 Pig 脚本的功能,比如 vi 等。

Pig 的安装与测试 http://www.linuxidc.com/Linux/2014-07/104039.htm

Pig 安装与配置教程 http://www.linuxidc.com/Linux/2013-04/82785.htm

Pig 安装部署及 MapReduce 模式下测试 http://www.linuxidc.com/Linux/2013-04/82786.htm

Pig 安装及本地模式测试, 体验 http://www.linuxidc.com/Linux/2013-04/82783.htm

Pig 的安装配置与基本使用 http://www.linuxidc.com/Linux/2013-02/79928.htm

Hadoop Pig 进阶语法 http://www.linuxidc.com/Linux/2013-02/79462.htm

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计5325字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中