HBase无法创建带有snappy压缩属性的表

共计 2339 个字符，预计需要花费 6 分钟才能阅读完成。

一、要求

在 Hbase 数据库中创建带有 snappy 压缩属性的表。

二、登陆到 hbase 数据库执行建表操作

hbase(main):016:0> create ‘dcs:t_dev_history’,{NAME => ‘f’, DATA_BLOCK_ENCODING => ‘PREFIX_TREE’, BLOOMFILTER => ‘ROW’, REPLICATION_SCOPE => ‘0’, VERSIONS => ‘1’, COMPRESSION => ‘SNAPPY’, MIN_VERSIONS => ‘0’, TTL => ‘2678400’, KEEP_DELETED_CELLS => ‘FALSE’, BLOCKSIZE => ‘65536’, IN_MEMORY => ‘false’, BLOCKCACHE => ‘true’}

channel 6: open failed: administratively prohibited: open failed

之前创建的表都没有使用 snappy 压缩，怀疑是 snappy 没有安装

三、检查所有 hbase 节点

Master1 节点 snappy 安装正确

[Hadoop@hadoop-test-Master1 lib]$ cd $HBASE_HOME/lib/native/Linux-amd64-64/

[hadoop@hadoop-test-Master1 Linux-amd64-64]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so         libsnappy.so

Master2 节点 snappy 安装错误，猜测当时安装的时候 scp 的路径错误

[hadoop@hadoop-test-Master2 ~]$ cd /var/lib/hbase/lib/native/ – 发现没有 Linux-amd64-64 目录

[hadoop@hadoop-test-Master2 native]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so  

       libsnappy.so        

四、处理过程

1. 把文件传输到指定节点

 scp -rp Linux-amd64-64 hadoop-test-Master2:/var/lib/hbase/lib/native/

 scp -rp Linux-amd64-64 hadoop-test-Node1:/var/lib/hbase/lib/native/

2. 然后重启 hbase 集群

./stop-hbase.sh 

./start-hbase.sh 

3. 重新创建表成功。

五、小结

1. 作为一名 dba，做完相关的操作一定要验证，一定要验证，要有严谨的态度。
2. 遇到很多问题根本不是技术问题，而是有些人从来都不用心，得过且过。
3. 压缩在 hadoop 和 hbase 中是一个很好的节约空间的方式，值得提倡，尤其是在经费紧张的情况下。
4. snappy 需要单独安装，并不是安装 hadoop 自带的，需要注意。

Hadoop+HBase 搭建云存储总结 PDF http://www.linuxidc.com/Linux/2013-05/83844.htm

Ubuntu Server 14.04 下 Hbase 数据库安装  http://www.linuxidc.com/Linux/2016-05/131499.htm

HBase 结点之间时间不一致造成 regionserver 启动失败 http://www.linuxidc.com/Linux/2013-06/86655.htm

深入理解 HBase 架构原理 http://www.linuxidc.com/Linux/2017-01/139173.htm

Hadoop 集群安装 &HBase 实验环境搭建 http://www.linuxidc.com/Linux/2013-04/83560.htm

基于 Hadoop 集群的 HBase 集群的配置 http://www.linuxidc.com/Linux/2013-03/80815.htm‘

Hadoop 安装部署笔记之 -HBase 完全分布模式安装 http://www.linuxidc.com/Linux/2012-12/76947.htm

CentOS 6.4 下 HBase 集群安装  http://www.linuxidc.com/Linux/2016-11/137303.htm

HBase 的详细介绍 ：请点这里
HBase 的下载地址 ：请点这里

本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2017-04/142712.htm