阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ubuntu 14.04安装分布式存储Sheepdog+ZooKeeper

113次阅读
没有评论

共计 2735 个字符,预计需要花费 7 分钟才能阅读完成。

牧羊犬 (Sheepdog) 是由 NTT 的 3 名日本研究员开发的开源项目,提供分布式存储管理功能。牧羊犬提供高可用性的 KVM 提供块级存储卷类似亚马逊电子交易系统(弹性块存储虚拟机)的客户机。目前国内阿里等一些大公司在使用。

一、Sheepdog 架构图

Ubuntu 14.04 安装分布式存储 Sheepdog+ZooKeeper

如上图:

采用无中心节点的全对称架构,无单点故障,存储容量和性能可线性扩展;

新增节点通过简单配置可自动加入(IP:PORT),数据自动实现负载均衡;

节点故障时,数据可自动恢复;

直接支持 QEMU/KVM 应用;

二、数据具体存储方式

Ubuntu 14.04 安装分布式存储 Sheepdog+ZooKeeper

如上图:

以 VDI Object 存储 VM 数据,向用户暴露的是一个块设备;

包含 4 种数据对象:VDI、Data Object、属性对象和用于快照的 VM 实时状态数据对象;

以 4M 的小文件方式实现 OBS,但很容易基于此扩展,如使用使用库替代 4M 的小文件;

下面我们来具体搭建下,我们将采用 Sheepdog+Zookeeper 方式。

环境介绍:

系统:Ubuntu 14.04

软件:Sheepdog,Zookeeper

我们这次采用的是 github 上的源码下来直接编译制作成 deb 包来进行安装的。

1. 获取 sheepdog 源码:

root@node1:~# git clone https://github.com/sheepdog/sheepdog.git sheepdog-github

2. 切换到最稳定版本 0.7.6:

root@node1:~# cd sheepdog-github/

root@node1:~# git checkout v0.7.6

4. 执行 autogen.sh 生成 configure,在此之前,可能需要安装依赖:

root@node1:~# apt-get install autoconf libtool make pkg-config

root@node1:~# ./autogen.sh

5. 开始编译,sheepdog 本身依赖于 corosync、zookeeper 等集群管理工具,由于我们制作 deb 包,还依赖于 debian 的一些工具:

root@node1:~# apt-get install liburcu-dev corosync corosync-dev zookeeper zookeeperd libzookeeper-mt-dev

root@node1:~# ./configure –enable-zookeeper

root@node1:~# apt-get install debhelper dh-autoreconf devscripts

root@node1:~# make deb

6. 开始安装 sheepdog:

root@node1:~# cd ..

root@node1:~# dpkg -i sheepdog_0.7.6-1_amd64.deb

7. 至此 sheepdog 已经安装完成,如果你要把这个 deb 包拷贝到别的机器(node2)进行安装那么就必须在那台机器上安装相应的依赖包:

root@node1:~# apt-get install zookeeperd libcfg4 libcfg6 libcpg4 libzookeeper-mt2 libcoroipcc4

特别注意:在 ubuntu14.04 上找不到 libcfg4 的包,因为 libcfg4 是 12.04 上的包,需要在 /etc/apt/sources.list 里面添加一条

deb http://cz.archive.ubuntu.com/ubuntu precise main

8. 配置 zookeeper:

一般正式环境使用 zookeeper 作为 sheepdog 集群的管理工具,需要相关配置。如果只是单节点试用,可以不配置 zookeeper。

先修改 myid 文件,你配置第几个节点就写几,内容是 1 -255;

root@node1:~# vi /etc/zookeeper/conf/myid

9. 然后修改 zoo.cfg 文件,主要填写各个 zookeeper 节点的信息:

root@node1:~# vi /etc/zookeeper/conf/zoo.cfg

server.1=10.0.0.18:2888:3888

server.2=10.0.0.19:2889:3889

我有两个节点所有就只有两个,这格式就是 server.myid=ip+ 端口号;

其中第一个端口用来集群成员的信息交换,第二个端口是在 leader 挂掉时专门用来进行选举 leader 所用。

10. 重启下 zookeeper;

root@node1:~# service zookeeper restart

11. 启动 sheepdog 并挂载磁盘;

root@node1:~# mkdir /mnt/sheepdog

root@node1:~# mount -t ext4 -o noatime,barrier=0,user_xattr,data=writeback /dev/sdb1 /mnt/sheepdog

root@node1:~# useradd sheepdog

root@node1:~# chown -R sheepdog:sheepdog /mnt/sheepdog

root@node1:~# sheep /mnt/sheepdog -c zookeeper:10.0.0.18:2181,10.0.0.19:2181

Sheepdog 常用命令

设置副本数:

dog cluster format –copies=3    //copies 副本数

查看 sheepdog 节点:两种方式都可以

Ubuntu 14.04 安装分布式存储 Sheepdog+ZooKeeper

CentOS 6 安装 sheepdog 虚拟机分布式储存  http://www.linuxidc.com/Linux/2013-08/89109.htm

ZooKeeper 集群配置 http://www.linuxidc.com/Linux/2013-06/86348.htm

使用 ZooKeeper 实现分布式共享锁 http://www.linuxidc.com/Linux/2013-06/85550.htm

分布式服务框架 ZooKeeper — 管理分布式环境中的数据 http://www.linuxidc.com/Linux/2013-06/85549.htm

ZooKeeper 集群环境搭建实践 http://www.linuxidc.com/Linux/2013-04/83562.htm

ZooKeeper 服务器集群环境配置实测 http://www.linuxidc.com/Linux/2013-04/83559.htm

ZooKeeper 集群安装 http://www.linuxidc.com/Linux/2012-10/72906.htm

更多 Ubuntu 相关信息见 Ubuntu 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=2

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计2735字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中