HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系

共计 9686 个字符，预计需要花费 25 分钟才能阅读完成。

HBase1.2.2 伪分布式安装 (HDFS)+ZooKeeper-3.4.8 安装配置 +HBase 表和数据操作 +HBase 的架构体系 + 单例安装, 记录了在 Ubuntu 下对 HBase1.2.2 的实践操作,HBase 的安装到数据库表的操作. 包含内容 1.HBase 单例安装 2.HBase 伪分布式安装(基于 Hadoop 的 HDFS) 过程,3.HBase 的 shell 编程, 对 HBase 表的创建, 删除等的命令,HBase 对数据的增删查等操作.4. 简单概述了 Hbase 的架构体系.5.zookeeper 的单例安装和常用操作.

1.HBase 单例安装

1.1 下载

1.2. 解压并放置特定路径如 /opt

wxl@wxl-pc:~/Downloads$ sudo mv hbase /opt/

1.3. 设置 Java_HOME 环境变量

(注意, 如果本机已经设置好 JAVA_HOME 系统变量则此不步骤不是必须的)进入到 hbase 路径下

/opt/hbase

wxl@wxl-pc:/opt/hbase$ vim conf/hbase-env.sh

# 增加 JAVA_HOME 路径, 根据自己 jdk 安装位稍有不同
export JAVA_HOME=/opt/java/

1.4. 编辑 conf/hbase-site.xml

HBase 默认存储在 /tmp 路径下, 可是每次机器重启,/tmp 下的数据会被清除, 所以首席那应该更改存储路径, 如存在 /home/wxl 路径下, 并且会创建新的 hbase 文件夹(如果没有安装 zookeeper, 没关系, 不影响在开发和测试环境下的 HBase 使用)

wxl@wxl-pc:/opt/hbase$ vim conf/hbase-site.xml

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///home/wxl/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/wxl/zookeeper</value>
  </property>
</configuration>

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

1.5. 启动 HBase

wxl@wxl-pc:/opt/hbase$ bin/start-hbase.sh

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

2.HBase 的 shell 命令操作

2.1 连接 HBase shell

wxl@wxl-pc:/opt/hbase$ ./bin/hbase shell

HBase 伪分布式安装 (HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系
可以通过输入 help 命令, 来大致了解可以输入命令和 Hbase 存储的数据结构

2.2. 创建表

必须输入表名和列族名(ColumnFamily name)

hbase(main):002:0> create 'test','cf'

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

2.3. 查看表

hbase(main):003:0> list 'test'
TABLE                                                                           
test                                                                            
1 row(s) in 0.0320 seconds

=> ["test"]

2.4. 给表赋值

hbase(main):004:0> put 'test', 'wangxiaolei', 'cf:a', 'wov@outlook.com'
0 row(s) in 0.2010 seconds

hbase(main):005:0> put 'test', '王小雷','cf:b;','bio get it done'
0 row(s) in 0.0120 seconds

hbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0240 seconds

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

2.5. 对列表计数

使用 scan 关键字
HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

2.6. 查询列表中某行

如查询第二行, 输入

hbase(main):009:0> get 'test','王小雷'

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

2.7. 更改表(删除, 修改表)

在更改表之前需要将表的状态更改为disable, 在更改完之后可以enable

hbase(main):009:0> disable 'test'
0 row(s) in 2.5870 seconds

hbase(main):010:0> enable 'test'
0 row(s) in 1.2680 seconds

hbase(main):011:0> disable 'test'
0 row(s) in 2.2370 seconds

在 test 表为 disable 状态下, 删除 test 表

hbase(main):012:0> drop 'test'
0 row(s) in 1.2590 seconds

2.8. 退出 shell 并停止 HBase

在 shell 中使用 quit 命令 (或者 exit), 可以退出 hbase shell, 但是 hbase 仍在运行
输入 jps 可以查看 HMaseter 守护程序还在
HBase 伪分布式安装 (HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系
使用 stop-hbase.sh 退出 hbase

wxl@wxl-pc:/opt/hbase$ ./bin/stop-hbase.sh
stopping hbase.......

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

Hadoop+HBase 搭建云存储总结 PDF http://www.linuxidc.com/Linux/2013-05/83844.htm

HBase 结点之间时间不一致造成 regionserver 启动失败 http://www.linuxidc.com/Linux/2013-06/86655.htm

Hadoop+ZooKeeper+HBase 集群配置 http://www.linuxidc.com/Linux/2013-06/86347.htm

Hadoop 集群安装 &HBase 实验环境搭建 http://www.linuxidc.com/Linux/2013-04/83560.htm

基于 Hadoop 集群的 HBase 集群的配置 http://www.linuxidc.com/Linux/2013-03/80815.htm‘

Hadoop 安装部署笔记之 -HBase 完全分布模式安装 http://www.linuxidc.com/Linux/2012-12/76947.htm

单机版搭建 HBase 环境图文教程详解 http://www.linuxidc.com/Linux/2012-10/72959.htm

HBase 的详细介绍：请点这里
HBase 的下载地址：请点这里

3.HBase 伪分布式安装

如果没有安装 Hadoop 请安装伪分布式的 Hadoop 教程如下 Ubuntu 16.04 安装 Hadoop2.6+Spark1.6+ 开发实例

首先停止 2HBase(2.8. 退出 shell 并停止 HBase)

3.1. 配置伪分布式的 hbase-site.xml 文件

设置 distributed 为 true, 是为了让 jvm 模拟集群, 再者是修改数据保存路径, 放置到 HDFS 上, 配置 rootdir, 其中 hdfs://localhost:9000 根据自己 hadoop 配置指定(也可能是 hdfs://localhost:8020/hbase)(但是可以不配至,HBase 会自动寻找 HDFS 路径)

<configuration>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>


  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
  </property>

3.2. 启动 HBase

wxl@wxl-pc:/opt/hbase$ ./bin/start-hbase.sh

3.3. 在 HDFS 上查看 HBase 文件

wxl@wxl-pc:/opt/hbase$ hadoop fs -ls /hbase

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

3.4.HBase 上的数据操作, 创建表, 赋值, 删除表等见步骤 1.2-1.5

4.HBase 的 HRegionServer 和 HMaster 及架构体系图

4.1 此时使用 jps(我开启来 hadoop,spark,hbase)

可见,HBase 的 HRegionServer 和 HMaster 已经开启.

wxl@wxl-pc:/opt/hbase$ jps
18065 Master
17795 NodeManager
19379 HRegionServer
17331 DataNode
17669 ResourceManager
17511 SecondaryNameNode
19255 HMaster
19991 Jps
17177 NameNode
19181 HQuorumPeer
18206 Worker
18607 SparkSubmit

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

4.2. 关于 HBase 的 HRegionServer 和 HMaster 是什么, 什么样的体系结构, 如下图.

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2016-08/134130p2.htm

5.1 ZooKeeper-3.4.8 安装 + 常用操作实践

版本 ZooKeeper-3.4.8 系统 Ubuntu16.04
5.1. 创建 conf/zoo.cfg

wxl@wxl-pc:/opt/zookeeper$ cp conf/zoo_sample.cfg conf/zoo.cfg
查看 zookeeper 配置信息
(注意此处为了测试所以 dataDir=/tmp/zookeeper, 这里每次重启计算机数据就会丢失, 如果保留可以放入其他路径, 如 /home/wxl/zookeeper)

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181

其中,
– tickTime
– tickTime 是 ZooKeeper 的毫秒级计量单位, 表示正常的会话时间, 如果超过设置值的两倍就会连接超时.
– dataDir
– 设置 HBase 的路径用于保存内存数据快照和更新数据库事务的日志.
– clientPort
– 设置监听连接客户端的接口

5.2. 执行 zookeeper

开启 zookeeper

wxl@wxl-pc:/opt/zookeeper$ bin/zkServer.sh start

HBase 伪分布式安装 (HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系
连接 zookeeper

wxl@wxl-pc:/opt/zookeeper$ bin/zkCli.sh -server 127.0.0.1:2181

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

5.3. zookeeper 基本命令

[zk: 127.0.0.1:2181(CONNECTED) 0] help
ZooKeeper -server host:port cmd args
    stat path [watch]
    set path data [version]
    ls path [watch]
    delquota [-n|-b] path
    ls2 path [watch]
    setAcl path acl
    setquota -n|-b val path
    history
    redo cmdno
    printwatches on|off
    delete path [version]
    sync path
    listquota path
    rmr path
    get path [watch]
    create [-s] [-e] path data acl
    addauth scheme auth
    quit
    getAcl path
    close
    connect host:port

5.3.1. ls 查看路径下有那些文件(在 zoo.cfg 设置的的参数 datadir)

查看

# 如果没安装 HBase 此处只显示 zookeeper
[zk: 127.0.0.1:2181(CONNECTED) 1] ls /

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系
5.3.2.HBase 创建 Znode 为 zk_test_wangxiaolei

[zk: 127.0.0.1:2181(CONNECTED) 2] create /zk_test_wangxiaolei my_data

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

5.3.3. 验证(查看)zk_test_wangxiaolei 节点下数据

[zk: 127.0.0.1:2181(CONNECTED) 3] get /zk_test_wangxiaolei
my_data
cZxid = 0x66
ctime = Mon Aug 01 22:06:36 CST 2016
mZxid = 0x66
mtime = Mon Aug 01 22:06:36 CST 2016
pZxid = 0x66
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

5.3.4.set 命令来改变某 (如 zk_test_wangxiaolei) 节点下的数据

[zk: 127.0.0.1:2181(CONNECTED) 4] set /zk_test_wangxiaolei junk
cZxid = 0x66
ctime = Mon Aug 01 22:06:36 CST 2016
mZxid = 0x69
mtime = Mon Aug 01 22:29:46 CST 2016
pZxid = 0x66
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 0

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

再次 get 节点 zk_test_wangxiaolei 可以看到数据已经改变

5.3.5. 最后删除测试节点

[zk: 127.0.0.1:2181(CONNECTED) 5] delete /zk_test_wangxiaolei      
[zk: 127.0.0.1:2181(CONNECTED) 6] ls /
[zookeeper, hbase]
[zk: 127.0.0.1:2181(CONNECTED) 7]

Ubuntu 14.04 安装分布式存储 Sheepdog+ZooKeeper http://www.linuxidc.com/Linux/2014-12/110352.htm

CentOS 6 安装 sheepdog 虚拟机分布式储存 http://www.linuxidc.com/Linux/2013-08/89109.htm

ZooKeeper 集群配置 http://www.linuxidc.com/Linux/2013-06/86348.htm

使用 ZooKeeper 实现分布式共享锁 http://www.linuxidc.com/Linux/2013-06/85550.htm

分布式服务框架 ZooKeeper — 管理分布式环境中的数据 http://www.linuxidc.com/Linux/2013-06/85549.htm

ZooKeeper 集群环境搭建实践 http://www.linuxidc.com/Linux/2013-04/83562.htm

ZooKeeper 服务器集群环境配置实测 http://www.linuxidc.com/Linux/2013-04/83559.htm

ZooKeeper 集群安装 http://www.linuxidc.com/Linux/2012-10/72906.htm

Zookeeper3.4.6 的安装 http://www.linuxidc.com/Linux/2015-05/117697.htm

本文永久更新链接地址：http://www.linuxidc.com/Linux/2016-08/134130.htm

1.HBase 单例安装

1.1 下载

1.2. 解压并放置特定路径如 /opt

wxl@wxl-pc:~/Downloads$ sudo mv hbase /opt/

1.3. 设置 Java_HOME 环境变量

(注意, 如果本机已经设置好 JAVA_HOME 系统变量则此不步骤不是必须的)进入到 hbase 路径下

/opt/hbase

wxl@wxl-pc:/opt/hbase$ vim conf/hbase-env.sh

# 增加 JAVA_HOME 路径, 根据自己 jdk 安装位稍有不同
export JAVA_HOME=/opt/java/

1.4. 编辑 conf/hbase-site.xml

wxl@wxl-pc:/opt/hbase$ vim conf/hbase-site.xml

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///home/wxl/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/wxl/zookeeper</value>
  </property>
</configuration>

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

1.5. 启动 HBase

wxl@wxl-pc:/opt/hbase$ bin/start-hbase.sh

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

2.HBase 的 shell 命令操作

2.1 连接 HBase shell

wxl@wxl-pc:/opt/hbase$ ./bin/hbase shell

HBase 伪分布式安装 (HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系
可以通过输入 help 命令, 来大致了解可以输入命令和 Hbase 存储的数据结构

2.2. 创建表

必须输入表名和列族名(ColumnFamily name)

hbase(main):002:0> create 'test','cf'

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

2.3. 查看表

hbase(main):003:0> list 'test'
TABLE                                                                           
test                                                                            
1 row(s) in 0.0320 seconds

=> ["test"]

2.4. 给表赋值

hbase(main):004:0> put 'test', 'wangxiaolei', 'cf:a', 'wov@outlook.com'
0 row(s) in 0.2010 seconds

hbase(main):005:0> put 'test', '王小雷','cf:b;','bio get it done'
0 row(s) in 0.0120 seconds

hbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0240 seconds

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

2.5. 对列表计数

使用 scan 关键字
HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

2.6. 查询列表中某行

如查询第二行, 输入

hbase(main):009:0> get 'test','王小雷'

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

2.7. 更改表(删除, 修改表)

在更改表之前需要将表的状态更改为disable, 在更改完之后可以enable

hbase(main):009:0> disable 'test'
0 row(s) in 2.5870 seconds

hbase(main):010:0> enable 'test'
0 row(s) in 1.2680 seconds

hbase(main):011:0> disable 'test'
0 row(s) in 2.2370 seconds

在 test 表为 disable 状态下, 删除 test 表

hbase(main):012:0> drop 'test'
0 row(s) in 1.2590 seconds

2.8. 退出 shell 并停止 HBase

wxl@wxl-pc:/opt/hbase$ ./bin/stop-hbase.sh
stopping hbase.......

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

Hadoop+HBase 搭建云存储总结 PDF http://www.linuxidc.com/Linux/2013-05/83844.htm

HBase 结点之间时间不一致造成 regionserver 启动失败 http://www.linuxidc.com/Linux/2013-06/86655.htm

Hadoop+ZooKeeper+HBase 集群配置 http://www.linuxidc.com/Linux/2013-06/86347.htm

Hadoop 集群安装 &HBase 实验环境搭建 http://www.linuxidc.com/Linux/2013-04/83560.htm

基于 Hadoop 集群的 HBase 集群的配置 http://www.linuxidc.com/Linux/2013-03/80815.htm‘

Hadoop 安装部署笔记之 -HBase 完全分布模式安装 http://www.linuxidc.com/Linux/2012-12/76947.htm

单机版搭建 HBase 环境图文教程详解 http://www.linuxidc.com/Linux/2012-10/72959.htm

HBase 的详细介绍：请点这里
HBase 的下载地址：请点这里

3.HBase 伪分布式安装

如果没有安装 Hadoop 请安装伪分布式的 Hadoop 教程如下 Ubuntu 16.04 安装 Hadoop2.6+Spark1.6+ 开发实例

首先停止 2HBase(2.8. 退出 shell 并停止 HBase)

3.1. 配置伪分布式的 hbase-site.xml 文件

<configuration>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>


  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
  </property>

3.2. 启动 HBase

wxl@wxl-pc:/opt/hbase$ ./bin/start-hbase.sh

3.3. 在 HDFS 上查看 HBase 文件

wxl@wxl-pc:/opt/hbase$ hadoop fs -ls /hbase

HBase 伪分布式安装(HDFS)+ZooKeeper 安装 +HBase 数据操作 +HBase 架构体系

3.4.HBase 上的数据操作, 创建表, 赋值, 删除表等见步骤 1.2-1.5

4.HBase 的 HRegionServer 和 HMaster 及架构体系图

4.1 此时使用 jps(我开启来 hadoop,spark,hbase)

可见,HBase 的 HRegionServer 和 HMaster 已经开启.

wxl@wxl-pc:/opt/hbase$ jps
18065 Master
17795 NodeManager
19379 HRegionServer
17331 DataNode
17669 ResourceManager
17511 SecondaryNameNode
19255 HMaster
19991 Jps
17177 NameNode
19181 HQuorumPeer
18206 Worker
18607 SparkSubmit