阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

MooseFS分布式文件系统部署安装与简单使用

124次阅读
没有评论

共计 4902 个字符,预计需要花费 13 分钟才能阅读完成。

简单介绍:

MooseFS 是一款网络分布式文件系统。它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。MFS 也像其他类 unix 文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时间),可以创建特殊的文件(块设备,字符设备,管道,套接字),符号链接,硬链接。

MooseFS 角色:

1 管理服务器 managing server (master):管理服务器: 负责各个数据存储服务器的管理, 文件读写调度, 文件空间回收以及恢复. 多节点拷贝。

2 元数据日志服务器 Metalogger server(Metalogger):元数据日志服务器: 负责备份 master 服务器的变化日志文件,文件类型为 changelog_ml.*.mfs,以便于在 master server 出问题的时候接替其进行工作。

3 数据存储服务器 data servers (chunkservers):数据存储服务器: 负责连接管理服务器, 听从管理服务器调度, 提供存储空间,并为客户提供数据传输。

4 客户机挂载使用 client computers:通过 fuse 内核接口挂接远程管理服务器上所管理的数据存储服务器,. 看起来共享的文件系统和本地 unix 文件系统使用一样的效果。

部署安装:

角色分配:

      192.168.1.225       mfsmaster

      192.168.1.226       mfsmetalogger

      192.168.1.227       mfschunkserver

      192.168.1.228       mfsclient

需要资源包:MooseFS、FUSE
MooseFS 下载:http://sourceforge.net/projects/moosefs/
FUSE 下载:http://sourceforge.net/projects/fuse/

一:mfsmaster 安装
创建 mfs 组与用户。
# groupadd mfs
# useradd -g mfs mfs -s /sbin/nologin

上传 MooseFS 安装包,解压,编译,安装。
# tar -zxvf moosefs-ce-2.0.43-1.tar.gz
# cd moosefs-ce-2.0.43
# ./configure –prefix=/usr/local/mfs –sysconfdir=/usr/local/mfs/etc –localstatedir=/usr/local/mfs/lib –with-default-user=mfs –with-default-group=mfs –disable-mfschunkserver –disable-mfsmount 
# make 
# make install

metadata 二进制文件后缀修改。
# mv /usr/local/mfs/lib/mfs/metadata.mfs.empty /usr/local/mfs/lib/mfs/metadata.mfs

示例配置文件后缀修改,使之成为我们所需的 mfsmaster 配置文件。
# mv /usr/local/mfs/etc/mfs/mfsmaster.cfg.dist /usr/local/mfs/etc/mfs/mfsmaster.cfg
# mv /usr/local/mfs/etc/mfs/mfsexports.cfg.dist /usr/local/mfs/etc/mfs/mfsexports.cfg

配置修改:
mfsmaster.cfg 为 master 服务器配置文件,可以使用默认配置。
mfsexports.cfg 配置了客户端的挂载权限,这里配置为 192.168.1.0 网段的客户端可挂载 mfs 磁盘。
# grep -v”^#” mfsexports.cfg | grep -v “^$”
192.168.1.0/24

修改 hosts 解析,配置文件中 MASTER_HOST 的默认配置是“mfsmaster”。
# vi /etc/hosts
192.168.1.225  mfsmaster

二:mfsmetalogger 安装(安装步骤类似 mfsmaster)
# groupadd mfs
# useradd -g mfsmfs -s /sbin/nologin
# tar -zxvf moosefs-ce-2.0.43-1.tar.gz
# cd moosefs-ce-2.0.43
# ./configure –prefix=/usr/local/mfs –sysconfdir=/usr/local/mfs/etc –localstatedir=/usr/local/mfs/lib –with-default-user=mfs –with-default-group=mfs –disable-mfschunkserver –disable-mfsmount 
# make 
# make install
# mv /usr/local/mfs/lib/mfs/metadata.mfs.empty /usr/local/mfs/lib/mfs/metadata.mfs
# vi /etc/hosts
 192.168.1.225  mfsmaster

示例配置文件后缀修改,使之成为我们所需的 mfsmetalogger 配置文件。
# mv /usr/local/mfs/etc/mfs/mfsmetalogger.cfg.dist /usr/local/mfs/etc/mfs/mfsmetalogger.cfg

配置 mfsmetalogger.cfg 文件。(配置与 master 的连接参数)
# vi mfsmetalogger.cfg
 MASTER_HOST = mfsmaster
 MASTER_PORT = 9419

三:mfschunkserver 安装(安装步骤类似 mfsmaster)
# groupadd mfs
# useradd -g mfsmfs -s /sbin/nologin
# tar -zxvf moosefs-ce-2.0.43-1.tar.gz
# cd moosefs-ce-2.0.43
# ./configure –prefix=/usr/local/mfs –sysconfdir=/usr/local/mfs/etc –localstatedir=/usr/local/mfs/lib –with-default-user=mfs –with-default-group=mfs –disable-mfsmaster
# make 
# make install
# vi /etc/hosts
 192.168.1.225  mfsmaster

示例配置文件后缀修改,使之成为我们所需的 mfschunkserver 配置文件。
# mv /usr/local/mfs/etc/mfs/mfschunkserver.cfg.dist /usr/local/mfs/etc/mfs/mfschunkserver.cfg
# mv /usr/local/mfs/etc/mfs/mfshdd.cfg.dist /usr/local/mfs/etc/mfs/mfshdd.cfg

mfschunkserver.cfg 为 chunkserver.cfg 的配置文件,主要配置与 master 的连接参数。
# vi /usr/local/mfs/etc/mfs/mfshdd.cfg
 MASTER_HOST = mfsmaster
 MASTER_PORT = 9420

mfshdd.cfg 定义了 chunkserver 的数据存放目录。
# grep -v”^#” mfshdd.cfg | grep -v “^$”
 /data/mfs

创建数据目录:
# mkdir -p /data/mfs
# chown -R mfs.mfs /data/mfs

四:mfsClient 部署
FUSE 包安装,为后续安装 mfsmount 工具做准备。
# tar -zxvffuse-2.8.3.tar.gz
# cd fuse-2.8.3
# ./configure
# make&&make install
# echo ‘export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH’ >>/etc/profile
# source /etc/profile

mfsmount 工具安装:
# tar -zxvf moosefs-ce-2.0.43-1.tar.gz
# cd moosefs-ce-2.0.43
# ./configure –prefix=/usr/local/mfs –sysconfdir=/usr/local/mfs/etc –localstatedir=/usr/local/mfs/lib –disable-mfsmaster –disable-mfschunkserver –enable-mfsmount
# make&&make install

修改 hosts 解析:
# vi /etc/hosts
192.168.1.225  mfsmaster

启动服务:
Mfsmaster:
#/usr/local/mfs/sbin/mfsmaster start
查看端口信息:
MooseFS 分布式文件系统部署安装与简单使用
 
Mfsmetalogger:
#/usr/local/mfs/sbin/mfsmetalogger start
查看与 master 的连接:
MooseFS 分布式文件系统部署安装与简单使用
 
Mfschunkserver:
#/usr/local/mfs/sbin/mfschunkserver start
查看与 master 的连接:
MooseFS 分布式文件系统部署安装与简单使用
 
客户端挂载:
#/usr/local/mfs/bin/mfsmount /mnt/mfs/ -H mfsmaster
查看挂载信息:
MooseFS 分布式文件系统部署安装与简单使用
若挂载时报以下错误:
/bin/mount:unrecognized option `–no-canonicalize’
……..
……..
errorin fuse_mount
这是 mount 工具版本太低导致,升级 mount 工具即可:
下载 util-linux-ng-2.17.tar.bz2, 然后安装, 替换原来的 mount.

# tar jxvf util-linux-ng-2.17.tar.bz2
# cd util-linux-ng-2.17
# ./configure –prefix=/usr/local/util-linux-ng
# make&& make install
# mv /bin/mount /bin/mount.old
# ln -s /usr/local/util-linux-ng/bin/mount /bin

mfs 自带 cgi 监控工具:
#/usr/local/mfs/sbin/mfscgiserv
lockfilecreated and locked
startingsimple cgi server (host: any , port: 9425 , rootpath:/usr/local/mfs/share/mfscgi)
这时会开启 9425 端口,直接使用 http://192.168.1.225:9425 访问即可访问 moose 的相关监控信息:

MooseFS 分布式文件系统部署安装与简单使用

相关阅读

分布式文件系统 MooseFS http://www.linuxidc.com/Linux/2012-06/62008.htm

在 CentOS 上安装部署 MooseFS 分布式文件系统 http://www.linuxidc.com/Linux/2013-06/85753.htm

MooseFS 分布式文件系统安装配置常见问题集 http://www.linuxidc.com/Linux/2013-06/85752.htm

MooseFS 分布式文件系统安装向导 PDF http://www.linuxidc.com/Linux/2013-06/85751.htm

DRBD+Heartbeat+Pacemaker 实现 MFS(MooseFS)的高可用 http://www.linuxidc.com/Linux/2012-05/60699.htm

MooseFS 的详细介绍:请点这里
MooseFS 的下载地址:请点这里

本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-07/133058.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计4902字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中