阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

分布式文件系统MooseFS综述

211次阅读
没有评论

共计 9261 个字符,预计需要花费 24 分钟才能阅读完成。

MogileFS 是一种分布式文件存储系统。可支持文件自动备份的功能,提高可用性和高扩展性。MogileFS 不支持对一个文件内部的随机或顺序读写,因此只适合做一部分应用,如图片服务,静态 HTML 服务等,这些应用在文件写入后基本上不需要对文件进行修改,但是可以生成一个新的文件覆盖原有文件。
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,分布式文件系统的实际基于客户机 / 服务器模式。一个经典型的系统扮演客户和服务器双重角色。例如,用户可以“发表”一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就像使用本地驱动器一样。
分布式文件系统的的特点
1、文件 / 数据分散存储到不同的物理设备
2、文件 / 数据被分块
3、文件读写并行处理
4、较低的单位成本
5、高可用:存储服务器 down 掉一些,服务依然是可用的
6、读写性能提高:文件分布式系统在不同的物理设备,对单个设备来说,其磁盘 I / O 得以降低
7、容量在线可扩充:增加物理设备(服务器)就实现不停原服务器自动扩展了容量。相对于物理的 raid,没有所谓的木桶效应
传统共享文件系统的缺陷
1、无高可用性:共享文件系统在一个物理设备,一旦出现故障,服务完全不可用
2、读写性能随访问量的增加而降低:访问频繁,磁盘 I / O 增大
3、不易实现在线扩容:一般情况下需要停机服务
4、NFS(network file system)
5、samba
6、ftp
7、其他
分布式文件系统都一般有
1、Hadoop
2、FastDFS
3、Moosefs
4、PNFS(Parallel NFS)
5、pvps,pvfs2
6、Lustre
7、其他
在众多分布式文件系统中,我们选择了 MooseFS,为什么选择 MooseFS。
第一、实施起来简单。MFS 的安装,部署、配置对于其他几种工具来说,要简单和容易的多。lustre 700 多页的 PDF 文档。
第二、不停服务扩容。MFS 框架做好后,随时增加服务器容量;扩充和减少容量皆不会影响现有的服务。
第三、回复服务器容易。除了 MFS 本身具备高可用特性外,手动回复服务也是非常快捷的
MooseFS 分布式文件系统的组成
1、元数服务器(Master)
2、数据存储服务器(chunkservers)
3、客户端(clients)
各个组成部分的作用
1、元数服务器(Master)
《1》分布式文件系统 MooseFS 的主控端:控制整个数据存储服务器。
《2》目前只有一个 master 存在单点故障。
《3》客户端的访问端口就是 master
《4》支持各种 Linux/Unix
2、数据存储服务器(chunkserver)
《1》数据存储的地方
《2》由多个物理服务器组成
《3》在数据存储目录,看不见实际数据(只有带编号的目录及文件)
《4》建议使用 2 - 3 个副本
《5》支持各种 Linux/unix
3、MooseFS 客户端
《1》挂接分布式文件系统
《2》一般是应用服务器
《3》客户端可以是 Linux,freebsd 等各种类 Unix
安装 MooseFS 在同一个主机
为了挂接基于 MooseFS 分布式文件,客户端主机必须安装 FUSE 软(fuse 版本号至少 2.6,推荐使用版本号大于 2.7.2 的 fuse)。如果系统没有安装 fuse,你必须手动对其进行安装。
安装环境:
Master Server
master 10.10.1.10 CentOS6.4(64X)
*************************************
Metalogger Server
metalogger 10.10.1.20 Centos6.4(64X)
*************************************

Chunk Servers
chunk01 10.10.1.30 Centos6.4(64X)
chunk02 10.10.1.40 Centos6.4(64X)
*************************************

Client Server
client01 10.10.1.50 Centos6.4(64X)
client02 10.10.1.60 Centos6.4(64X)
###############################master 安装 ################################
wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd  mfs-1.6.26
./configure \
–prefix=/usr/local/mfs \
–sysconfdir=/usr/local/mfs/etc \
–localstatedir=/usr/local/mfs/lib \
–with-default-user=mfs \
–with-default-group=mfs \
–disable-mfschunkserver \
–disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cp mfsexports.cfg.dist mfsexports.cfg
vim mfsexports.cfg
10.10.1.0/24 / rw,alldirs,maproot=0
保存退出
cd /usr/local/mfs/lib/mfs
cp metadata.mfs.empty metadata.mfs
vim /etc/hosts
10.10.1.10 mfsmaster
保存退出
运行 mfs 服务
/usr/local/mfs/sbin/mfsmaster start
master metaloggers module: listen on *:9419
master chunkservers module: listen on *:9420
main master server module: listen on *:9421
运行监控平台
/usr/local/mfs/sbin/mfscgiserv
starting simple cgi server (host: any , port: 9425 , rootpath: /elain/apps/mfs/share/mfscgi)
这时,可通过浏览器访问:http://10.10.1.10:9425/ 查看 master 的运行情况

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2013-11/92430p2.htm

相关阅读

分布式文件系统 MooseFS    http://www.linuxidc.com/Linux/2012-06/62008.htm

在 CentOS 上安装部署 MooseFS 分布式文件系统  http://www.linuxidc.com/Linux/2013-06/85753.htm

MooseFS 分布式文件系统安装配置常见问题集 http://www.linuxidc.com/Linux/2013-06/85752.htm

MooseFS 分布式文件系统安装向导 PDF  http://www.linuxidc.com/Linux/2013-06/85751.htm

DRBD+Heartbeat+Pacemaker 实现 MFS(MooseFS)的高可用  http://www.linuxidc.com/Linux/2012-05/60699.htm

##########################metalogger 安 (10.10.1.20)###############################
wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd  mfs-1.6.26
./configure \
–prefix=/usr/local/mfs \
–sysconfdir=/usr/local/mfs/etc \
–localstatedir=/usr/local/mfs/lib \
–with-default-user=mfs \
–with-default-group=mfs \
–disable-mfschunkserver \
–disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
vim /etc/hosts
10.10.1.10 mfsmaster
保存退出
运行 mfsmetalogger 服务
/usr/local/mfs/sbin/mfsmetalogger start

#######################Chunk01/02 安装 (10.10.1.30/40)###############################
wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd  mfs-1.6.26
./configure \
–prefix=/usr/local/mfs \
–sysconfdir=/usr/local/mfs/etc \
–localstatedir=/usr/local/mfs/lib \
–with-default-user=mfs \
–with-default-group=mfs \
–disable-mfsmaster\
–disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
vi /etc/hosts
10.10.1.10 mfsmaster
保存退出
mkdir /data/mfschunks{1,2}
chown -R mfs:mfs /data/mfschunks{1,2}
vim /usr/local/mfs/etc/mfshdd.cfg
/data/mfschunks1
/data/mfschunks2
启动服务
/usr/local/mfs/sbin/mfschunkserver start

chunk02 跟 01 一样的安装步骤
##############################client01/02(10.10.1.50/60)#########################
wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
wget http://sourceforge.net/projects/fuse/files/fuse-2.X/2.9.2/fuse-2.9.2.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd  mfs-1.6.26
./configure \
–prefix=/usr/local/mfs \
–sysconfdir=/usr/local/mfs/etc \
–localstatedir=/usr/local/mfs/lib \
–with-default-user=mfs \
–with-default-group=mfs \
–disable-mfschunkserver \
–disable-mfschunkserver \
–enable-mfsmount
make && make install
cd ..
tar -zxf fuse-2.9.2.tar.gz
cd fuse-2.9.2
./configure
make && make install
cd /user/local/mfs/etc/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
vi /etc/hosts
10.10.1.10 mfsmaster
保存退出

挂接操作
mkdir -p /date
/usr/local/mfs/bin/mfsmount /data/ -H 10.10.1.10
umount -l /data

服务启动跟停止操作
停止 MooseFS
为了安全停止 MooseFS 集群, 建议执行如下的步骤:
umount -l /mnt/mfs #客户端卸载 MooseFS 文件系统
/elain/apps/mfs/sbin/mfschunkserver stop #停止 chunk server 进程
/elain/apps/mfs/sbin/mfsmetalogger stop #停止 metalogger 进程
/elain/apps/mfs/sbin/mfsmaster stop #停止主控 master server 进程
安全的启动 MooseFS 集群
/usr/local/mfs/sbin/mfsmaster start #启动 master 进程
/usr/local/mfs/sbin/mfschunkserver start #启动 chunkserver 进程
/usr/local/mfs/sbin/mfsmetalogger start #启动 metalogger 进程
/usr/local/mfs/bin/mfsmount /mnt/mfs -H master #客户端挂载 MooseFS 文件系统

现在在浏览器中输入:10.10.1.10:9425 看看情况如下图:

分布式文件系统 MooseFS

MogileFS 是一种分布式文件存储系统。可支持文件自动备份的功能,提高可用性和高扩展性。MogileFS 不支持对一个文件内部的随机或顺序读写,因此只适合做一部分应用,如图片服务,静态 HTML 服务等,这些应用在文件写入后基本上不需要对文件进行修改,但是可以生成一个新的文件覆盖原有文件。
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,分布式文件系统的实际基于客户机 / 服务器模式。一个经典型的系统扮演客户和服务器双重角色。例如,用户可以“发表”一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就像使用本地驱动器一样。
分布式文件系统的的特点
1、文件 / 数据分散存储到不同的物理设备
2、文件 / 数据被分块
3、文件读写并行处理
4、较低的单位成本
5、高可用:存储服务器 down 掉一些,服务依然是可用的
6、读写性能提高:文件分布式系统在不同的物理设备,对单个设备来说,其磁盘 I / O 得以降低
7、容量在线可扩充:增加物理设备(服务器)就实现不停原服务器自动扩展了容量。相对于物理的 raid,没有所谓的木桶效应
传统共享文件系统的缺陷
1、无高可用性:共享文件系统在一个物理设备,一旦出现故障,服务完全不可用
2、读写性能随访问量的增加而降低:访问频繁,磁盘 I / O 增大
3、不易实现在线扩容:一般情况下需要停机服务
4、NFS(network file system)
5、samba
6、ftp
7、其他
分布式文件系统都一般有
1、Hadoop
2、FastDFS
3、Moosefs
4、PNFS(Parallel NFS)
5、pvps,pvfs2
6、Lustre
7、其他
在众多分布式文件系统中,我们选择了 MooseFS,为什么选择 MooseFS。
第一、实施起来简单。MFS 的安装,部署、配置对于其他几种工具来说,要简单和容易的多。lustre 700 多页的 PDF 文档。
第二、不停服务扩容。MFS 框架做好后,随时增加服务器容量;扩充和减少容量皆不会影响现有的服务。
第三、回复服务器容易。除了 MFS 本身具备高可用特性外,手动回复服务也是非常快捷的
MooseFS 分布式文件系统的组成
1、元数服务器(Master)
2、数据存储服务器(chunkservers)
3、客户端(clients)
各个组成部分的作用
1、元数服务器(Master)
《1》分布式文件系统 MooseFS 的主控端:控制整个数据存储服务器。
《2》目前只有一个 master 存在单点故障。
《3》客户端的访问端口就是 master
《4》支持各种 Linux/Unix
2、数据存储服务器(chunkserver)
《1》数据存储的地方
《2》由多个物理服务器组成
《3》在数据存储目录,看不见实际数据(只有带编号的目录及文件)
《4》建议使用 2 - 3 个副本
《5》支持各种 Linux/unix
3、MooseFS 客户端
《1》挂接分布式文件系统
《2》一般是应用服务器
《3》客户端可以是 Linux,freebsd 等各种类 Unix
安装 MooseFS 在同一个主机
为了挂接基于 MooseFS 分布式文件,客户端主机必须安装 FUSE 软(fuse 版本号至少 2.6,推荐使用版本号大于 2.7.2 的 fuse)。如果系统没有安装 fuse,你必须手动对其进行安装。
安装环境:
Master Server
master 10.10.1.10 CentOS6.4(64X)
*************************************
Metalogger Server
metalogger 10.10.1.20 Centos6.4(64X)
*************************************

Chunk Servers
chunk01 10.10.1.30 Centos6.4(64X)
chunk02 10.10.1.40 Centos6.4(64X)
*************************************

Client Server
client01 10.10.1.50 Centos6.4(64X)
client02 10.10.1.60 Centos6.4(64X)
###############################master 安装 ################################
wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd  mfs-1.6.26
./configure \
–prefix=/usr/local/mfs \
–sysconfdir=/usr/local/mfs/etc \
–localstatedir=/usr/local/mfs/lib \
–with-default-user=mfs \
–with-default-group=mfs \
–disable-mfschunkserver \
–disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cp mfsexports.cfg.dist mfsexports.cfg
vim mfsexports.cfg
10.10.1.0/24 / rw,alldirs,maproot=0
保存退出
cd /usr/local/mfs/lib/mfs
cp metadata.mfs.empty metadata.mfs
vim /etc/hosts
10.10.1.10 mfsmaster
保存退出
运行 mfs 服务
/usr/local/mfs/sbin/mfsmaster start
master metaloggers module: listen on *:9419
master chunkservers module: listen on *:9420
main master server module: listen on *:9421
运行监控平台
/usr/local/mfs/sbin/mfscgiserv
starting simple cgi server (host: any , port: 9425 , rootpath: /elain/apps/mfs/share/mfscgi)
这时,可通过浏览器访问:http://10.10.1.10:9425/ 查看 master 的运行情况

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2013-11/92430p2.htm

相关阅读

分布式文件系统 MooseFS    http://www.linuxidc.com/Linux/2012-06/62008.htm

在 CentOS 上安装部署 MooseFS 分布式文件系统  http://www.linuxidc.com/Linux/2013-06/85753.htm

MooseFS 分布式文件系统安装配置常见问题集 http://www.linuxidc.com/Linux/2013-06/85752.htm

MooseFS 分布式文件系统安装向导 PDF  http://www.linuxidc.com/Linux/2013-06/85751.htm

DRBD+Heartbeat+Pacemaker 实现 MFS(MooseFS)的高可用  http://www.linuxidc.com/Linux/2012-05/60699.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计9261字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中