分布式文件系统MooseFS综述

191次阅读

共计 9261 个字符，预计需要花费 24 分钟才能阅读完成。

MogileFS 是一种分布式文件存储系统。可支持文件自动备份的功能，提高可用性和高扩展性。MogileFS 不支持对一个文件内部的随机或顺序读写，因此只适合做一部分应用，如图片服务，静态 HTML 服务等，这些应用在文件写入后基本上不需要对文件进行修改，但是可以生成一个新的文件覆盖原有文件。
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，分布式文件系统的实际基于客户机 / 服务器模式。一个经典型的系统扮演客户和服务器双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样。
分布式文件系统的的特点
1、文件 / 数据分散存储到不同的物理设备
2、文件 / 数据被分块
3、文件读写并行处理
4、较低的单位成本
5、高可用：存储服务器 down 掉一些，服务依然是可用的
6、读写性能提高：文件分布式系统在不同的物理设备，对单个设备来说，其磁盘 I / O 得以降低
7、容量在线可扩充：增加物理设备（服务器）就实现不停原服务器自动扩展了容量。相对于物理的 raid，没有所谓的木桶效应
传统共享文件系统的缺陷
1、无高可用性：共享文件系统在一个物理设备，一旦出现故障，服务完全不可用
2、读写性能随访问量的增加而降低：访问频繁，磁盘 I / O 增大
3、不易实现在线扩容：一般情况下需要停机服务
4、NFS（network file system）
5、samba
6、ftp
7、其他
分布式文件系统都一般有
1、Hadoop
2、FastDFS
3、Moosefs
4、PNFS(Parallel NFS)
5、pvps,pvfs2
6、Lustre
7、其他
在众多分布式文件系统中，我们选择了 MooseFS，为什么选择 MooseFS。
第一、实施起来简单。MFS 的安装，部署、配置对于其他几种工具来说，要简单和容易的多。lustre 700 多页的 PDF 文档。
第二、不停服务扩容。MFS 框架做好后，随时增加服务器容量；扩充和减少容量皆不会影响现有的服务。
第三、回复服务器容易。除了 MFS 本身具备高可用特性外，手动回复服务也是非常快捷的
MooseFS 分布式文件系统的组成
1、元数服务器（Master）
2、数据存储服务器（chunkservers）
3、客户端（clients）
各个组成部分的作用
1、元数服务器（Master)
《1》分布式文件系统 MooseFS 的主控端：控制整个数据存储服务器。
《2》目前只有一个 master 存在单点故障。
《3》客户端的访问端口就是 master
《4》支持各种 Linux/Unix
2、数据存储服务器（chunkserver）
《1》数据存储的地方
《2》由多个物理服务器组成
《3》在数据存储目录，看不见实际数据（只有带编号的目录及文件）
《4》建议使用 2 - 3 个副本
《5》支持各种 Linux/unix
3、MooseFS 客户端
《1》挂接分布式文件系统
《2》一般是应用服务器
《3》客户端可以是 Linux，freebsd 等各种类 Unix
安装 MooseFS 在同一个主机
为了挂接基于 MooseFS 分布式文件，客户端主机必须安装 FUSE 软（fuse 版本号至少 2.6，推荐使用版本号大于 2.7.2 的 fuse）。如果系统没有安装 fuse，你必须手动对其进行安装。
安装环境:
Master Server
master 10.10.1.10 CentOS6.4(64X)
*************************************
Metalogger Server
metalogger 10.10.1.20 Centos6.4(64X)
*************************************

Chunk Servers
chunk01 10.10.1.30 Centos6.4(64X)
chunk02 10.10.1.40 Centos6.4(64X)
*************************************

Client Server
client01 10.10.1.50 Centos6.4(64X)
client02 10.10.1.60 Centos6.4(64X)
###############################master 安装 ################################
wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd mfs-1.6.26
./configure \
–prefix=/usr/local/mfs \
–sysconfdir=/usr/local/mfs/etc \
–localstatedir=/usr/local/mfs/lib \
–with-default-user=mfs \
–with-default-group=mfs \
–disable-mfschunkserver \
–disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cp mfsexports.cfg.dist mfsexports.cfg
vim mfsexports.cfg
10.10.1.0/24 / rw,alldirs,maproot=0
保存退出
cd /usr/local/mfs/lib/mfs
cp metadata.mfs.empty metadata.mfs
vim /etc/hosts
10.10.1.10 mfsmaster
保存退出
运行 mfs 服务
/usr/local/mfs/sbin/mfsmaster start
master metaloggers module: listen on *:9419
master chunkservers module: listen on *:9420
main master server module: listen on *:9421
运行监控平台
/usr/local/mfs/sbin/mfscgiserv
starting simple cgi server (host: any , port: 9425 , rootpath: /elain/apps/mfs/share/mfscgi)
这时，可通过浏览器访问：http://10.10.1.10:9425/ 查看 master 的运行情况

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2013-11/92430p2.htm

相关阅读：

分布式文件系统 MooseFS http://www.linuxidc.com/Linux/2012-06/62008.htm

在 CentOS 上安装部署 MooseFS 分布式文件系统 http://www.linuxidc.com/Linux/2013-06/85753.htm

MooseFS 分布式文件系统安装配置常见问题集 http://www.linuxidc.com/Linux/2013-06/85752.htm

MooseFS 分布式文件系统安装向导 PDF http://www.linuxidc.com/Linux/2013-06/85751.htm

DRBD+Heartbeat+Pacemaker 实现 MFS(MooseFS)的高可用 http://www.linuxidc.com/Linux/2012-05/60699.htm

##########################metalogger 安 (10.10.1.20)###############################
wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd mfs-1.6.26
./configure \
–prefix=/usr/local/mfs \
–sysconfdir=/usr/local/mfs/etc \
–localstatedir=/usr/local/mfs/lib \
–with-default-user=mfs \
–with-default-group=mfs \
–disable-mfschunkserver \
–disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
vim /etc/hosts
10.10.1.10 mfsmaster
保存退出
运行 mfsmetalogger 服务
/usr/local/mfs/sbin/mfsmetalogger start

#######################Chunk01/02 安装 (10.10.1.30/40)###############################
wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd mfs-1.6.26
./configure \
–prefix=/usr/local/mfs \
–sysconfdir=/usr/local/mfs/etc \
–localstatedir=/usr/local/mfs/lib \
–with-default-user=mfs \
–with-default-group=mfs \
–disable-mfsmaster\
–disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
vi /etc/hosts
10.10.1.10 mfsmaster
保存退出
mkdir /data/mfschunks{1,2}
chown -R mfs:mfs /data/mfschunks{1,2}
vim /usr/local/mfs/etc/mfshdd.cfg
/data/mfschunks1
/data/mfschunks2
启动服务
/usr/local/mfs/sbin/mfschunkserver start

chunk02 跟 01 一样的安装步骤
##############################client01/02（10.10.1.50/60）#########################
wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
wget http://sourceforge.net/projects/fuse/files/fuse-2.X/2.9.2/fuse-2.9.2.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd mfs-1.6.26
./configure \
–prefix=/usr/local/mfs \
–sysconfdir=/usr/local/mfs/etc \
–localstatedir=/usr/local/mfs/lib \
–with-default-user=mfs \
–with-default-group=mfs \
–disable-mfschunkserver \
–disable-mfschunkserver \
–enable-mfsmount
make && make install
cd ..
tar -zxf fuse-2.9.2.tar.gz
cd fuse-2.9.2
./configure
make && make install
cd /user/local/mfs/etc/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
vi /etc/hosts
10.10.1.10 mfsmaster
保存退出

挂接操作
mkdir -p /date
/usr/local/mfs/bin/mfsmount /data/ -H 10.10.1.10
umount -l /data

服务启动跟停止操作
停止 MooseFS
为了安全停止 MooseFS 集群, 建议执行如下的步骤:
umount -l /mnt/mfs #客户端卸载 MooseFS 文件系统
/elain/apps/mfs/sbin/mfschunkserver stop #停止 chunk server 进程
/elain/apps/mfs/sbin/mfsmetalogger stop #停止 metalogger 进程
/elain/apps/mfs/sbin/mfsmaster stop #停止主控 master server 进程
安全的启动 MooseFS 集群
/usr/local/mfs/sbin/mfsmaster start #启动 master 进程
/usr/local/mfs/sbin/mfschunkserver start #启动 chunkserver 进程
/usr/local/mfs/sbin/mfsmetalogger start #启动 metalogger 进程
/usr/local/mfs/bin/mfsmount /mnt/mfs -H master #客户端挂载 MooseFS 文件系统

现在在浏览器中输入：10.10.1.10:9425 看看情况如下图：

分布式文件系统 MooseFS

MogileFS 是一种分布式文件存储系统。可支持文件自动备份的功能，提高可用性和高扩展性。MogileFS 不支持对一个文件内部的随机或顺序读写，因此只适合做一部分应用，如图片服务，静态 HTML 服务等，这些应用在文件写入后基本上不需要对文件进行修改，但是可以生成一个新的文件覆盖原有文件。
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，分布式文件系统的实际基于客户机 / 服务器模式。一个经典型的系统扮演客户和服务器双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样。
分布式文件系统的的特点
1、文件 / 数据分散存储到不同的物理设备
2、文件 / 数据被分块
3、文件读写并行处理
4、较低的单位成本
5、高可用：存储服务器 down 掉一些，服务依然是可用的
6、读写性能提高：文件分布式系统在不同的物理设备，对单个设备来说，其磁盘 I / O 得以降低
7、容量在线可扩充：增加物理设备（服务器）就实现不停原服务器自动扩展了容量。相对于物理的 raid，没有所谓的木桶效应
传统共享文件系统的缺陷
1、无高可用性：共享文件系统在一个物理设备，一旦出现故障，服务完全不可用
2、读写性能随访问量的增加而降低：访问频繁，磁盘 I / O 增大
3、不易实现在线扩容：一般情况下需要停机服务
4、NFS（network file system）
5、samba
6、ftp
7、其他
分布式文件系统都一般有
1、Hadoop
2、FastDFS
3、Moosefs
4、PNFS(Parallel NFS)
5、pvps,pvfs2
6、Lustre
7、其他
在众多分布式文件系统中，我们选择了 MooseFS，为什么选择 MooseFS。
第一、实施起来简单。MFS 的安装，部署、配置对于其他几种工具来说，要简单和容易的多。lustre 700 多页的 PDF 文档。
第二、不停服务扩容。MFS 框架做好后，随时增加服务器容量；扩充和减少容量皆不会影响现有的服务。
第三、回复服务器容易。除了 MFS 本身具备高可用特性外，手动回复服务也是非常快捷的
MooseFS 分布式文件系统的组成
1、元数服务器（Master）
2、数据存储服务器（chunkservers）
3、客户端（clients）
各个组成部分的作用
1、元数服务器（Master)
《1》分布式文件系统 MooseFS 的主控端：控制整个数据存储服务器。
《2》目前只有一个 master 存在单点故障。
《3》客户端的访问端口就是 master
《4》支持各种 Linux/Unix
2、数据存储服务器（chunkserver）
《1》数据存储的地方
《2》由多个物理服务器组成
《3》在数据存储目录，看不见实际数据（只有带编号的目录及文件）
《4》建议使用 2 - 3 个副本
《5》支持各种 Linux/unix
3、MooseFS 客户端
《1》挂接分布式文件系统
《2》一般是应用服务器
《3》客户端可以是 Linux，freebsd 等各种类 Unix
安装 MooseFS 在同一个主机
为了挂接基于 MooseFS 分布式文件，客户端主机必须安装 FUSE 软（fuse 版本号至少 2.6，推荐使用版本号大于 2.7.2 的 fuse）。如果系统没有安装 fuse，你必须手动对其进行安装。
安装环境:
Master Server
master 10.10.1.10 CentOS6.4(64X)
*************************************
Metalogger Server
metalogger 10.10.1.20 Centos6.4(64X)
*************************************

Chunk Servers
chunk01 10.10.1.30 Centos6.4(64X)
chunk02 10.10.1.40 Centos6.4(64X)
*************************************

Client Server
client01 10.10.1.50 Centos6.4(64X)
client02 10.10.1.60 Centos6.4(64X)
###############################master 安装 ################################
wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd mfs-1.6.26
./configure \
–prefix=/usr/local/mfs \
–sysconfdir=/usr/local/mfs/etc \
–localstatedir=/usr/local/mfs/lib \
–with-default-user=mfs \
–with-default-group=mfs \
–disable-mfschunkserver \
–disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cp mfsexports.cfg.dist mfsexports.cfg
vim mfsexports.cfg
10.10.1.0/24 / rw,alldirs,maproot=0
保存退出
cd /usr/local/mfs/lib/mfs
cp metadata.mfs.empty metadata.mfs
vim /etc/hosts
10.10.1.10 mfsmaster
保存退出
运行 mfs 服务
/usr/local/mfs/sbin/mfsmaster start
master metaloggers module: listen on *:9419
master chunkservers module: listen on *:9420
main master server module: listen on *:9421
运行监控平台
/usr/local/mfs/sbin/mfscgiserv
starting simple cgi server (host: any , port: 9425 , rootpath: /elain/apps/mfs/share/mfscgi)
这时，可通过浏览器访问：http://10.10.1.10:9425/ 查看 master 的运行情况