阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Pig 的安装与测试

446次阅读
没有评论

共计 2108 个字符,预计需要花费 6 分钟才能阅读完成。

下载 Pig 链接: pig.apache.org

目前最新版本 0.12.1,我使用的版本是 0.12.0

准备工作:

1.安装 Pig 前,要安装部署好 Hadoop 分布式集群。

2.下载好 pig,版本自选

3.安装位置,我选择的是 Namenode 主机

Pig 安装与配置教程 http://www.linuxidc.com/Linux/2013-04/82785.htm

Pig 安装部署及 MapReduce 模式下测试 http://www.linuxidc.com/Linux/2013-04/82786.htm

Pig 安装及本地模式测试, 体验 http://www.linuxidc.com/Linux/2013-04/82783.htm

Pig 的安装配置与基本使用 http://www.linuxidc.com/Linux/2013-02/79928.htm

Hadoop Pig 进阶语法 http://www.linuxidc.com/Linux/2013-02/79462.htm

Hadoop 搭建教程学习笔记 http://www.linuxidc.com/Linux/2013-03/81669.htm

安装步骤

(一) 下载并解压 pig 安装包

Pig 的安装与测试

(二) 编辑环境变量

1. 设置 PATH,增加指向 hadoop/bin

2. 这是 PIG_CLASSPATH 环境变量

3. 设置 PATH,增加指向 pig/bin

4. 添加 JAVA_HOME 环境变量

Pig 的安装与测试

编辑好后重新登陆,使得环境变量生效。

(三) 测试启动 grunt shell

Pig 的安装与测试

执行一些命令行,检测部署成功

Pig 的安装与测试

测试 Pig latin 语句

常用语句:

LOAD : 指出载入数据的方法

FOREACH:逐行扫描进行某种处理

FILTER:过滤行

DUMP:把结果显示到屏幕

STORE:把结果保存到文件

通常书写执行顺序:

LOAD ——〉FOREACH——〉STORE

测试文件内容如下:词条组,词条

Pig 的安装与测试

Setp1. LOAD 格式化装载数据

A =LOAD ‘/user/criss/in/pig_test.txt’ USING PigStorage(‘,’) as (code_group,work);

Pig 的安装与测试

DUMP A;

Pig 的安装与测试

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-07/104039p2.htm

Step2. FOREACH 求词组词条数

B =FOREACH(GROUP A BY code_group) GENERATE group AS code_group,COUNT(A);

Pig 的安装与测试

DUMP B;

Pig 的安装与测试

Step3. 把结果保存到文件

STORE B INTO ‘/user/criss/out/pig_B_res.txt’ USING PigStorage(‘ ‘);

Pig 的安装与测试

关于更多的 Pig 语法:可参考:http://www.linuxidc.com/Linux/2013-02/79462.htm

下载 Pig 链接: pig.apache.org

目前最新版本 0.12.1,我使用的版本是 0.12.0

准备工作:

1.安装 Pig 前,要安装部署好 Hadoop 分布式集群。

2.下载好 pig,版本自选

3.安装位置,我选择的是 Namenode 主机

Pig 安装与配置教程 http://www.linuxidc.com/Linux/2013-04/82785.htm

Pig 安装部署及 MapReduce 模式下测试 http://www.linuxidc.com/Linux/2013-04/82786.htm

Pig 安装及本地模式测试, 体验 http://www.linuxidc.com/Linux/2013-04/82783.htm

Pig 的安装配置与基本使用 http://www.linuxidc.com/Linux/2013-02/79928.htm

Hadoop Pig 进阶语法 http://www.linuxidc.com/Linux/2013-02/79462.htm

Hadoop 搭建教程学习笔记 http://www.linuxidc.com/Linux/2013-03/81669.htm

安装步骤

(一) 下载并解压 pig 安装包

Pig 的安装与测试

(二) 编辑环境变量

1. 设置 PATH,增加指向 hadoop/bin

2. 这是 PIG_CLASSPATH 环境变量

3. 设置 PATH,增加指向 pig/bin

4. 添加 JAVA_HOME 环境变量

Pig 的安装与测试

编辑好后重新登陆,使得环境变量生效。

(三) 测试启动 grunt shell

Pig 的安装与测试

执行一些命令行,检测部署成功

Pig 的安装与测试

测试 Pig latin 语句

常用语句:

LOAD : 指出载入数据的方法

FOREACH:逐行扫描进行某种处理

FILTER:过滤行

DUMP:把结果显示到屏幕

STORE:把结果保存到文件

通常书写执行顺序:

LOAD ——〉FOREACH——〉STORE

测试文件内容如下:词条组,词条

Pig 的安装与测试

Setp1. LOAD 格式化装载数据

A =LOAD ‘/user/criss/in/pig_test.txt’ USING PigStorage(‘,’) as (code_group,work);

Pig 的安装与测试

DUMP A;

Pig 的安装与测试

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-07/104039p2.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2108字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19350
评论数
4
阅读量
7964612
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
开发者福利:免费 .frii.site 子域名,一分钟申请即用

开发者福利:免费 .frii.site 子域名,一分钟申请即用

  开发者福利:免费 .frii.site 子域名,一分钟申请即用 前言 在学习 Web 开发、部署...
三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

  三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Andr...
【开源神器】微信公众号内容单篇、批量下载软件

【开源神器】微信公众号内容单篇、批量下载软件

【开源神器】微信公众号内容单篇、批量下载软件 大家好,我是星哥,很多人都希望能高效地保存微信公众号的文章,用于...
我用AI做了一个1978年至2019年中国大陆企业注册的查询网站

我用AI做了一个1978年至2019年中国大陆企业注册的查询网站

我用 AI 做了一个 1978 年至 2019 年中国大陆企业注册的查询网站 最近星哥在 GitHub 上偶然...
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

  星哥带你玩飞牛 NAS-16:飞牛云 NAS 换桌面,fndesk 图标管理神器上线! 引言 哈...
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸

一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸

一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸 前言 作为天天跟架构图、拓扑图死磕的...
星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛 NAS-14:解锁公网自由!Lucky 功能工具安装使用保姆级教程 作为 NAS 玩家,咱们最...
12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换,告别多工具切换

12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换,告别多工具切换

12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换...
浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍 前言 在 AI 自动化快速发展的当下,浏览器早已不再只是...