阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop2.2.0对应HBase安装说明

138次阅读
没有评论

共计 9057 个字符,预计需要花费 23 分钟才能阅读完成。

HBase0.96.0 安装说明

注:安装配套 Hadoop2.2.0 版本的 HBase, 需要 hbase-0.96.2-hadoop2-bin.tar.gz

1.1 下载安装包

下载地址:
http://mirror.esocc.com/apache/hbase/
hbase-0.96.2/hbase-0.96.2-hadoop2-bin.tar.gz

安装:

$ tar -zxf hbase-0.96.2-hadoop2-bin.tar.gz
$ cd hbase-0.96.2-hadoop2

 

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

配置:

conf/hbase-site.xml 去配置 hbase.rootdir,来选择 Hbase 将数据写到哪个目录 .

单机配置,只需要如下配置 hbase-site.xml

<property>

<name>hbase.rootdir</name>

<value>hdfs://hadoop1:49002/hbase</value>

<description>The directory sharedbyRegionServers.

</description>

</property>

 

默认 hbase.rootdir 是指向 /tmp/hbase-${user.name},也就说你会在重启后丢失数据(重启的时候操作系统会清理 /tmp 目录)

1.2. 启动 HBase

现在启动 Hbase:

$ ./bin/start-hbase.sh

starting Master, logging tologs/hbase-user-master-example.org.out

现在你运行的是单机模式的 Hbaes。所以的服务都运行在一个 JVM 上,包括 Hbase 和 Zookeeper。Hbase 的日志放在 logs 目录, 当你启动出问题的时候,可以检查这个日志。

1.3. Hbase Shell

shell 连接你的 Hbase

$ ./bin/hbase shell

HBase Shell; enter’help<RETURN>’ for list of supported commands.

Type”exit<RETURN>” to leave the HBase Shell

Version: 0.90.0, r1001068, FriSep 24 13:55:42 PDT 2010

 

hbase(main):001:0>

输入 help 然后 <RETURN> 可以看到一列 shell 命令。这里的帮助很详细,要注意的是表名,行和列需要加引号。

创建一个名为 test 的表,这个表只有一个 column family 为 cf。可以列出所有的表来检查创建情况,然后插入些值。

hbase(main):003:0> create ‘myhbase_table’,’cf’

0 row(s) in 1.2200 seconds

hbase(main):003:0> list’table’

myhbase_table

1 row(s) in 0.0550 seconds

hbase(main):004:0> put ‘myhbase_table’,’row1′, ‘cf:a’, ‘value1’

0 row(s) in 0.0560 seconds

hbase(main):005:0> put ‘myhbase_table’,’row2′, ‘cf:b’, ‘value2’

0 row(s) in 0.0370 seconds

hbase(main):006:0> put ‘myhbase_table’,’row3′, ‘cf:c’, ‘value3’

0 row(s) in 0.0450 seconds

以上我们分别插入了 3 行。第一个行 key 为 row1, 列为 cf:a,值是 value1。Hbase 中的列是由 column family 前缀和列的名字组成的,以冒号间隔。例如这一行的列名就是 a.

检查插入情况.

Scan 这个表,操作如下

hbase(main):007:0> scan ‘myhbase_table’

ROW COLUMN+CELL

row1 column=cf:a, timestamp=1288380727188, value=value1

row2 column=cf:b, timestamp=1288380738440, value=value2

row3 column=cf:c, timestamp=1288380747365, value=value3

3 row(s) in 0.0590 seconds

Get 一行,操作如下

hbase(main):008:0> get ‘myhbase_table’,’row1′

COLUMN CELL

cf:a timestamp=1288380727188, value=value1

1 row(s) in 0.0400 seconds

disable 再 drop 这张表,可以清除你刚刚的操作

hbase(main):012:0> disable ‘myhbase_table’

0 row(s) in 1.0930 seconds

hbase(main):013:0> drop ‘myhbase_table’

0 row(s) in 0.0770 seconds

关闭 shell

hbase(main):014:0> exit

1.4. 停止 HBase

运行停止脚本来停止 HBase.

$./bin/stop-hbase.sh

stoppinghbase…………...

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2014-04/100384p2.htm

2. Hbase集群安装

安装条件:

1)jdk和 Hadoop2.2.0 已正确安装。

2检查ssh 是否打通。

3)NTP:集群的时钟要保证基本的一致,看每台机器的时间是否一样。

如果你查询的时候或者是遇到奇怪的故障,可以检查一下系统时间是否正确!

设置集群各个节点时钟:date -s“2014-04-18 15:00:00”

4)ulimitnproc:

Base 是数据库,会在同一时间使用很多的文件句柄。

大多数 linux 系统使用的默认值 1024 是不能满足

可以先查看当前用户 ulimit:

ulimit -n

设置 ulimit:

Ø vi /etc/security/limits.conf

hadoop – nofile 32768

hadoop soft/hard nproc 32000

5 )修改 Hadoop HDFS Datanode同时处理文件的上dfs.datanode.max.xcievers

一个 Hadoop HDFS Datanode 有一个同时处理文件的上限,配置 conf/hdfs-site.xml 里面的 xceivers 参数,至少要有 4096:

<property>

<name>dfs.datanode.max.xcievers</name>

<value>4096</value>

</property>

对于 HDFS 修改配置要记得重启.

3. 分布式模式配置

3.1 配置 conf/hbase-env.sh

# exportJAVA_HOME=/usr/java/jdk1.7.0_04/

exportJAVA_HOME=/usr/java/jdk1.7.0_04/

# Tell HBase whether it should manage it’sowninstance of Zookeeper or not.

export HBASE_MANAGES_ZK=true

一个分布式运行的 Hbase 依赖一个 zookeeper 集群。所有的节点和客户端都必须能够访问 zookeeper。默认的情况下 Hbase 会管理 一个 zookeep 集群。这个集群会随着 Hbase 的启动而启动。当然,你也可以自己管理一个 zookeeper 集群,但需要配置 Hbase。你需要修改 conf/hbase-env.sh 里面的 HBASE_MANAGES_ZK 来切换。这个值默认是 true 的,作用是让 Hbase 启动的时候同时也启动 zookeeper.

3.2 配置 conf/hbase-site.xml

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop1:49002/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop1,hadoop2,hadoop3</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/hadoop/zookeeper</value>
</property>
< /configuration>

 

hbase.rootdir这个目 录是 region server 的共享目录,用来持久化 Hbase。URL 需要是 ’ 完全正确 ’ 的,还要包含文件系统的 scheme。例如,要表示 hdfs 中的 ’/hbase’ 目录,namenode 运行在 node1 的 49002 端口。则需要设置为 hdfs://node1:49002/hbase。默认情况下 Hbase 是写到 /tmp 的。不改这个配 置,数据会在重启的时候丢失。默认: file:///tmp/hbase-${user.name}/hbase

hbase.cluster.distributedHbase 的运行模式。false 是单机模式,true 是分布式模式。若为 false,Hbase 和 Zookeeper 会运行在同一个 JVM 里面。

默认: false

在 hbase-site.xml配置 zookeeper:

当 Hbase 管理 zookeeper 的时候,你可以通过修改 zoo.cfg 来配置 zookeeper,

一个更加简单的方法是在 conf/hbase-site.xml 里面修改 zookeeper 的配置。Zookeeer 的配置是作为 property 写在 hbase-site.xml 里面的。

对于 zookeepr 的配置,你至少要在 hbase-site.xml 中列出 zookeepr 的ensemble servers,具体的字段是 hbase.zookeeper.quorum. 该这个字段的默认值是 localhost,这个值对于分布式应用显然是不可以的. (远程连接无法使用)。

 

hbase.zookeeper.property.clientPort:ZooKeeper 的 zoo.conf 中的配置。客户端连接的端口。

hbase.zookeeper.quorumZookeeper 集群的地址列表,用逗号分割。例 如:”host1.mydomain.com,host2.mydomain.com,host3.mydomain.com”. 默认是 localhost, 是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在 hbase-env.sh 设置了 HBASE_MANAGES_ZK,这些 ZooKeeper 节点就会和 Hbase 一起启动。

默认: localhost

运行一个 zookeeper 也是可以的,但是在生产环境中,你最好部署 3,5,7 个节点。部署的越多,可靠性就 越高,当然只能部署奇数个,偶数个是不可以的。你需要给每个 zookeeper 1G 左右的内存,如果可能的话,最好有独立的磁盘。(独立磁盘可以确保 zookeeper 是高性能的。). 如果你的集群负载很重,不要把 Zookeeper 和 RegionServer 运行在同一台机器上 面。就像 DataNodes 和 TaskTrackers 一样

3.3 配置 conf/regionservers

hadoop2

hadoop3

完全分布式模式的还需要修改 conf/regionservers. 在这里列出了你希望运行的全部 HRegionServer,一行写一个 host (就像 Hadoop 里面的 slaves 一样). 列在这里的 server 会随着集群的启动而启动,集群的停止而停止.

HBase0.96.0 安装说明

注:安装配套 Hadoop2.2.0 版本的 HBase, 需要 hbase-0.96.2-hadoop2-bin.tar.gz

1.1 下载安装包

下载地址:
http://mirror.esocc.com/apache/hbase/
hbase-0.96.2/hbase-0.96.2-hadoop2-bin.tar.gz

安装:

$ tar -zxf hbase-0.96.2-hadoop2-bin.tar.gz
$ cd hbase-0.96.2-hadoop2

 

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

配置:

conf/hbase-site.xml 去配置 hbase.rootdir,来选择 Hbase 将数据写到哪个目录 .

单机配置,只需要如下配置 hbase-site.xml

<property>

<name>hbase.rootdir</name>

<value>hdfs://hadoop1:49002/hbase</value>

<description>The directory sharedbyRegionServers.

</description>

</property>

 

默认 hbase.rootdir 是指向 /tmp/hbase-${user.name},也就说你会在重启后丢失数据(重启的时候操作系统会清理 /tmp 目录)

1.2. 启动 HBase

现在启动 Hbase:

$ ./bin/start-hbase.sh

starting Master, logging tologs/hbase-user-master-example.org.out

现在你运行的是单机模式的 Hbaes。所以的服务都运行在一个 JVM 上,包括 Hbase 和 Zookeeper。Hbase 的日志放在 logs 目录, 当你启动出问题的时候,可以检查这个日志。

1.3. Hbase Shell

shell 连接你的 Hbase

$ ./bin/hbase shell

HBase Shell; enter’help<RETURN>’ for list of supported commands.

Type”exit<RETURN>” to leave the HBase Shell

Version: 0.90.0, r1001068, FriSep 24 13:55:42 PDT 2010

 

hbase(main):001:0>

输入 help 然后 <RETURN> 可以看到一列 shell 命令。这里的帮助很详细,要注意的是表名,行和列需要加引号。

创建一个名为 test 的表,这个表只有一个 column family 为 cf。可以列出所有的表来检查创建情况,然后插入些值。

hbase(main):003:0> create ‘myhbase_table’,’cf’

0 row(s) in 1.2200 seconds

hbase(main):003:0> list’table’

myhbase_table

1 row(s) in 0.0550 seconds

hbase(main):004:0> put ‘myhbase_table’,’row1′, ‘cf:a’, ‘value1’

0 row(s) in 0.0560 seconds

hbase(main):005:0> put ‘myhbase_table’,’row2′, ‘cf:b’, ‘value2’

0 row(s) in 0.0370 seconds

hbase(main):006:0> put ‘myhbase_table’,’row3′, ‘cf:c’, ‘value3’

0 row(s) in 0.0450 seconds

以上我们分别插入了 3 行。第一个行 key 为 row1, 列为 cf:a,值是 value1。Hbase 中的列是由 column family 前缀和列的名字组成的,以冒号间隔。例如这一行的列名就是 a.

检查插入情况.

Scan 这个表,操作如下

hbase(main):007:0> scan ‘myhbase_table’

ROW COLUMN+CELL

row1 column=cf:a, timestamp=1288380727188, value=value1

row2 column=cf:b, timestamp=1288380738440, value=value2

row3 column=cf:c, timestamp=1288380747365, value=value3

3 row(s) in 0.0590 seconds

Get 一行,操作如下

hbase(main):008:0> get ‘myhbase_table’,’row1′

COLUMN CELL

cf:a timestamp=1288380727188, value=value1

1 row(s) in 0.0400 seconds

disable 再 drop 这张表,可以清除你刚刚的操作

hbase(main):012:0> disable ‘myhbase_table’

0 row(s) in 1.0930 seconds

hbase(main):013:0> drop ‘myhbase_table’

0 row(s) in 0.0770 seconds

关闭 shell

hbase(main):014:0> exit

1.4. 停止 HBase

运行停止脚本来停止 HBase.

$./bin/stop-hbase.sh

stoppinghbase…………...

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2014-04/100384p2.htm

4. 运行和确认安装

4.1 当 Hbase 托管 ZooKeeper 的时候

当 Hbase 托管 ZooKeeper 的时候 Zookeeper 集群的启动是 Hbase 启动脚本的一部分

首先确认你的 HDFS 是运行着的。你可以运行 Hadoop_HOME 中的 bin/start-hdfs.sh 来启动 HDFS. 你可以通过 put 命令来测试放一个文件,然后有 get 命令来读这个文件。通常情况下 Hbase 是不会运行 mapreduce 的。所以比不需要检查这些。

用如下命令启动 Hbase:

bin/start-hbase.sh

这个脚本在 HBASE_HOME 目录里面。

你现在已经启动 Hbase 了。Hbase 把 log 记在 logs 子目录里面. 当 Hbase 启动出问题的时候,可以看看 Log.

Hbase 也有一个界面,上面会列出重要的属性。默认是在 Master 的 60010 端口上 H (HBase RegionServers 会默认绑定 60020 端口,在端口 60030 上有一个展示信息的界面). 如果 Master 运行在 node1,端口是默认的话,你可以用浏览器在 http://hadoop1:60010 看到主界面. .

一旦 Hbase 启动,可以看到如何建表,插入数据,scan 你的表,还有 disable 这个表,最后把它删掉。

可以在 Hbase Shell 停止 Hbase

$./bin/stop-hbase.sh

stoppinghbase……………

停止操作需要一些时间,你的集群越大,停的时间可能会越长。如果你正在运行一个分布式的操作,要确认在 Hbase 彻底停止之前,Hadoop 不能停.

5. 测试

可以使用 jps 查看进程:在 master 上:

在 hadoop2,hadoop3(slave 节点)上

通过浏览器查看 60010 端口:

http://hadoop1:60010/master-status

 

注:遇到问题时,先查看 logs,很有帮助。

HBase 官方文档,全面介绍 hbase 安装配置:

http://www.yankay.com/wp-content/hbase/book.html#hbase_default_configurations

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计9057字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中