阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hive与HBase集成

442次阅读
没有评论

共计 2670 个字符,预计需要花费 7 分钟才能阅读完成。

1 安装准备

下载最新稳定版的 Hive,资源库 http://mirror.esocc.com/apache/hive/

本文以当前的稳定版本 0.11 为例子,介绍基本的安装步骤。

$>tar -xvf hive-0.11.0.tar.gz
$>mv hive-0.11.0hive
# 移动到指定的目录下
$>mvhive /opt/
这个教程的软件版本信息:
Hadoop-2.2.0 集群
HBase-0.94.14 集群
Zookeeper-3.4.5 集群
Hive-0.11

2 配置

将 Hive 配置到环境变量中,hive 用户下,输入下列命令:

$ vim~/.bashrc
exportJAVA_HOME=/usr/lib/jvm/jdk1.6.0_43
exportHADOOP_HOME=/opt/hadoop
exportHADOOP_MAPARED_HOME=${HADOOP_HOME}
exportHADOOP_COMMON_HOME=${HADOOP_HOME}
exportHADOOP_HDFS_HOME=${HADOOP_HOME}
exportYARN_HOME=${HADOOP_HOME}
exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
exportHDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
exportYARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
 
exportHBASE_HOME=/opt/hbase
exportZOOKEEPER_HOME=/opt/zookeeper
 
#eclipsehome
exportE_HOME=/opt/eclipse
 
#hive
export HIVE_HOME=/opt/hive
 
exportPATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$E_HOME:$HIVE_HOME/bin:

将当前运行的 HBase 和 Zookeeper 的 jar 包复制到 Hive 目录 lib 下,比如 hbase-0.94.14.jar、zookeeper-3.4.5.jar。删除原来版本的 jar 包,请一定保持 hbase 版本一致。

将 hadoop 和 hbase 配置文件复制到 hive 目录下,比如 core-site.xml,hdfs-site.xml,yarn-site.xml,hbase-site.xml 等(有的配置文件可能没有什么用,也可以不用添加到 hive 的 conf 下)。

3 测试

假设要创建一个外部表 hbasehive_table,实现查询 HBase 中的数据。测试过程可以按照下面的步骤:

3.1 HBase 表的创建和初始化

在 HBase shell 命令下,执行下列脚本:

create’hivehbase’, ‘ratings’
put’hivehbase’, ‘row1’, ‘ratings:userid’, ‘user1’
put’hivehbase’, ‘row1’, ‘ratings:bookid’, ‘book1’
put’hivehbase’, ‘row1’, ‘ratings:rating’, ‘1’
 
put’hivehbase’, ‘row2’, ‘ratings:userid’, ‘user2’
put’hivehbase’, ‘row2’, ‘ratings:bookid’, ‘book1’
put’hivehbase’, ‘row2’, ‘ratings:rating’, ‘3’
 
put’hivehbase’, ‘row3’, ‘ratings:userid’, ‘user2’
put’hivehbase’, ‘row3’, ‘ratings:bookid’, ‘book2’
put’hivehbase’, ‘row3’, ‘ratings:rating’, ‘3’
 
put’hivehbase’, ‘row4’, ‘ratings:userid’, ‘user2’
put’hivehbase’, ‘row4’, ‘ratings:bookid’, ‘book4’
put’hivehbase’, ‘row4’, ‘ratings:rating’, ‘1’

3.2 创建 Hive 外部表

在 Hive shell 命令下,执行下列脚本:

$ CREATE EXTERNAL TABLE hbasehive_table
(key string, userid string,bookid string,ratingint)
STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
WITH SERDEPROPERTIES
(“hbase.columns.mapping” =”:key,ratings:userid,ratings:bookid,ratings:rating”)
TBLPROPERTIES(“hbase.table.name” =”hivehbase”);

如果执行成功,并且没有出现任何的异常信息。执行 Hive 查询,出现下列结果就证明安装 Hive 成功。

hive>select * from hbasehive_table;   

OK
row1  user1  book1  1
row2  user2  book1  3
row3  user2  book2  3
row4  user2  book4  1
Time taken: 0.254 seconds, Fetched: 4 row(s)

HBase 的详细介绍:请点这里
HBase 的下载地址:请点这里

相关阅读

Hadoop+HBase 搭建云存储总结 PDF http://www.linuxidc.com/Linux/2013-05/83844.htm

HBase 结点之间时间不一致造成 regionserver 启动失败 http://www.linuxidc.com/Linux/2013-06/86655.htm

Hadoop+ZooKeeper+HBase 集群配置 http://www.linuxidc.com/Linux/2013-06/86347.htm

Hadoop 集群安装 &HBase 实验环境搭建 http://www.linuxidc.com/Linux/2013-04/83560.htm

基于 Hadoop 集群的 HBase 集群的配置 http://www.linuxidc.com/Linux/2013-03/80815.htm‘

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2670字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7995056
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

  星哥带你玩飞牛 NAS-16:飞牛云 NAS 换桌面,fndesk 图标管理神器上线! 引言 哈...
星哥带你玩飞牛NAS-4:飞牛NAS安装istore旁路由,家庭网络升级的最佳实践

星哥带你玩飞牛NAS-4:飞牛NAS安装istore旁路由,家庭网络升级的最佳实践

星哥带你玩飞牛 NAS-4:飞牛 NAS 安装 istore 旁路由,家庭网络升级的最佳实践 开始 大家好我是...
支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare 也瘫了连监控都挂,根因藏在哪? 最近两天的互联网堪称“故障...
星哥带你玩飞牛NAS-8:有了NAS你可以干什么?软件汇总篇

星哥带你玩飞牛NAS-8:有了NAS你可以干什么?软件汇总篇

星哥带你玩飞牛 NAS-8:有了 NAS 你可以干什么?软件汇总篇 前言 哈喽各位玩友!我是是星哥,不少朋友私...
亚马逊云崩完,微软云崩!当全球第二大云“摔了一跤”:Azure 宕机背后的配置风险与警示

亚马逊云崩完,微软云崩!当全球第二大云“摔了一跤”:Azure 宕机背后的配置风险与警示

亚马逊云崩完,微软云崩!当全球第二大云“摔了一跤”:Azure 宕机背后的配置风险与警示 首先来回顾一下 10...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

  开源 MoneyPrinterTurbo 利用 AI 大模型,一键生成高清短视频! 在短视频内容...
星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

  星哥带你玩飞牛 NAS-16:不再错过公众号更新,飞牛 NAS 搭建 RSS 对于经常关注多个微...
颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

  颠覆 AI 开发效率!开源工具一站式管控 30+ 大模型 ApiKey,秘钥付费 + 负载均衡全...
仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

还在忍受动辄数百兆的“全家桶”监控软件?后台偷占资源、界面杂乱冗余,想查个 CPU 温度都要层层点选? 今天给...
星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛 NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手! 作为动漫爱好者,你是否还在为...