共计 7138 个字符，预计需要花费 18 分钟才能阅读完成。
一、安装 zookeeper
在安装好分布式 Hadoop 的环境下，继续安装 zookeeper-3.4.5。
- $ wget http://124.202.164.9/download/32878722/41763290/4/gz/165/152/1353566847397_152/zookeeper-3.4.5.tar.gz
- $ tar -xf zookeeper-3.4.5.tar.gz
- $ cp zookeeper-3.4.5/conf/zoo_sample.cfg zookeeper-3.4.5/conf/zoo.cfg
修改 zookeeper 配置文件：
$ vim zookeeper-3.4.5/conf/zoo.cfg
做如下修改：
- tickTime=2000
- dataDir=/home/ruifeng.shan/zookeeper
- clientPort=2181
- initLimit=5
- syncLimit=2
- server.1=master:2888:3888
- server.2=node:2888:3888
- server.3=slave:2888:3888
在你指定的 dataDir 目录下新建一个文件 myid，在里面添加你指定的 server 编号。例如，你为 hostname 名为 master 的指定了如下配置
server.1=master:2888:3888，所以它的编号应该是 1.
将 zookeeper-3.4.5 分发到其他机器。然后修改对应的 myid 文件内容为之前给其指定的编号。如 node 为 2，slave 为 3.
分别启动 zookeeper 服务。在每台机器上切换到 zookeeper-3.4.5 目录，执行
$bin/zkServer.sh start
就可以启动 zookeeper 服务。
二、安装 hbase-0.96.0
为了和 hadoop-2.2.0 匹配，选择的 hbase 版本为 0.96.0
- $ wget http://mirror.bit.edu.cn/apache/hbase/hbase-0.96.0/hbase-0.96.0-hadoop2-bin.tar.gz
- $ tar -xf hbase-0.96.0-hadoop2-bin.tar.gz
- $ cd hbase-0.96.0
修改 conf 下的配置：
- vim conf/hbase-env.sh
修改 JAVA_HOME：
- # The java implementation to use. Java 1.6 required.
- export JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_37
修改 HBase 使用 zookeeper 的方式：
- # Tell HBase whether it should manage it’s own instance of Zookeeper or not.
- export HBASE_MANAGES_ZK=false
这个参数默认是 true。意思是是否让 hbase 单独管理 zookeeper
如果安装的机器上已经安装了 zookeeper，并且这个 zookeeper 是多个平台共用的，那么这个参数应该设置为 false
如果集群上没有安装 zookeeper，并且只有 hbase 自己使用 zookeeper，那么这个参数应该设置为 true。
修改其 conf 目录下的 hbase-site.xml 文件。内容如下：
- <configuration>
- <property>
- <name>hbase.rootdir</name>
- <value>hdfs://master:8089/hbase</value>
- </property>
- <property>
- <name>hbase.master</name>
- <value>hdfs://master:60000</value>
- </property>
- <property>
- <name>hbase.cluster.distributed</name>
- <value>true</value>
- </property>
- <property>
- <name>hbase.zookeeper.property.clientPort</name>
- <value>2181</value>
- </property>
- <property>
- <name>hbase.zookeeper.quorum</name>
- <value>master,node,slave</value>
- </property>
- <property>
- <name>hbase.zookeeper.property.dataDir</name>
- <value>/home/aaron/zookeeper</value>
- </property>
- <property>
- <name>hbase.client.scanner.caching</name>
- <value>200</value>
- </property>
- <property>
- <name>hbase.balancer.period</name>
- <value>300000</value>
- </property>
- <property>
- <name>hbase.client.write.buffer</name>
- <value>10485760</value>
- </property>
- <property>
- <name>hbase.hregion.majorcompaction</name>
- <value>7200000</value>
- </property>
- <property>
- <name>hbase.hregion.max.filesize</name>
- <value>67108864</value>
- <description>
- Maximum HStoreFile size. If any one of a column families’ HStoreFiles has
- grown to exceed this value, the hosting HRegion is split in two.</description>
- </property>
- <property>
- <name>hbase.hregion.memstore.flush.size</name>
- <value>1048576</value>
- <description>
- Memstore will be flushed to disk if size of the memstore
- exceeds this number of bytes. Value is checked by a thread that runs
- every hbase.server.thread.wakefrequency.</description>
- </property>
- <property>
- <name>hbase.server.thread.wakefrequency</name>
- <value>30000</value>
- <description>Time to sleep in between searches for work (in milliseconds).
- Used as sleep interval by service threads such as log roller.</description>
- </property>
- </configuration>
其中 hbase.rootdir 要保持与 hadoop 的 core-site.xml 文件中的 fs.default.name 中的值一致。
hbase 的 master 和 regionserver 的时钟要保持一致，否则启动 regionserver 的时候会报如下错误：
org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server hadoop02,60020,1374576225508 has been rejected; Reported time is too far out of sync with master. Time difference of 62062623ms > max allowed of 30000ms
这是由于 master 和 regionserver 之间的时间误差太大造成的。
解决方法 1：修改下面的参数
- <name>hbase.master.maxclockskew</name>
- <value>180000</value>
- <description>Time difference of regionserver from master</description>
该参数默认值为 30 000（30 秒）
解决方法 2：使用 ntpdate 同步集群的时钟
修改 regionservers 文件配置：
这个文件是用来指定 regionserver 的机器的，一行一个，一般使用 datanode 作为 regionserver：
$ vim conf/regionservers
master
node
slave
配置 backup-masters：
$ vim conf/backup-masters
master-backup
配置 backup-masters 可以在 master 挂掉之后自动启动 backup masters
注意：为了兼容 Hadoop-2.2.0，需要将 hbase 的 lib 包中的内容 lib 包中的 hadoop-common-2.1.0-beta.jar 替换成 hadoop-2.2.0/share/hadoop/common 目录下的 hadoop-common-2.2.0.jar。
启动 hbase：
如果集群各个机器都有 ssh 无密码登陆，可以直接使用 start-hbase.sh 启动整个集群。
或者到每个机器上使用 daemon 脚本启动（切换到 hbase 目录下）：
到 master 机器上：bin/hbase-daemon.sh start master
到 regionserver 机器上：bin/hbase-daemon.sh start regionserver
查看集群是否正常：
查看 master 的监控页面：
http://master:60010
HBase 的详细介绍 ：请点这里
HBase 的下载地址 ：请点这里
相关阅读 ：
Hadoop+HBase 搭建云存储总结 PDF http://www.linuxidc.com/Linux/2013-05/83844.htm
HBase 结点之间时间不一致造成 regionserver 启动失败 http://www.linuxidc.com/Linux/2013-06/86655.htm
Hadoop+ZooKeeper+HBase 集群配置 http://www.linuxidc.com/Linux/2013-06/86347.htm
Hadoop 集群安装 &HBase 实验环境搭建 http://www.linuxidc.com/Linux/2013-04/83560.htm
基于 Hadoop 集群的 HBase 集群的配置 http://www.linuxidc.com/Linux/2013-03/80815.htm‘
Hadoop 安装部署笔记之 -HBase 完全分布模式安装 http://www.linuxidc.com/Linux/2012-12/76947.htm
单机版搭建 HBase 环境图文教程详解 http://www.linuxidc.com/Linux/2012-10/72959.htm
更多 CentOS 相关信息见 CentOS 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=14
正文完
星哥玩云-微信公众号
