分布式文件系统FastDFS部署

106次阅读

共计 5649 个字符，预计需要花费 15 分钟才能阅读完成。

一、简介

FastDFS 是一款类 Google FS 的开源分布式文件系统，它用纯 C 语言实现，支持 Linux、FreeBSD、AIX 等 UNIX 系统。它只能通过专有 API 对文件进行存取访问，不支持 POSIX 接口方式，不能 mount 使用。准确地讲，Google FS 以及 FastDFS、mogileFS、HDFS、TFS 等类 Google FS 都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。

二、FastDFS 的架构

分布式文件系统 FastDFS 部署

图 1 展示的是 FastDFS 的系统架构。

图 1 FastDFS 的系统架构

从图 1 可以看出，Tracker server 之间相互独立，不存在直接联系。

客户端和 Storage server 主动连接 Tracker server。Storage server 主动向 Tracker server 报告其状态信息，包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。Storage server 会连接集群中所有的 Tracker server，向他们报告自己的状态。Storage server 启动一个单独的线程来完成对一台 Tracker server 的连接和定时报告。需要说明的是，一个组包含的 Storage server 不是通过配置文件设定的，而是通过 Tracker server 获取到的。

不同组的 Storage server 之间不会相互通信，同组内的 Storage server 之间会相互连接进行文件同步。

Storage server 采用 binlog 文件记录文件上传、删除等更新操作。binlog 中只记录文件名，不记录文件内容。

文件同步只在同组内的 Storage server 之间进行，采用 push 方式，即源头服务器同步给目标服务器。只有源头数据才需要同步，备份数据并不需要再次同步，否则就构成环路了。有个例外，就是新增加一台 Storage server 时，由已有的一台 Storage server 将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。

Storage server 中由专门的线程根据 binlog 进行文件同步。为了最大程度地避免相互影响以及出于系统简洁性考虑，Storage server 对组内除自己以外的每台服务器都会启动一个线程来进行文件同步。

文件同步采用增量同步方式，系统记录已同步的位置（binlog 文件偏移量）到标识文件中。标识文件名格式：{dest storage IP}_{port}.mark，例如：192.168.1.14_23000.mark。

三、文件上传和下载的交互过程

接下来我们一起看一下文件上传和下载的交互过程。文件上传和下载流程分别如图 2、图 3 所示。文件上传流程的步骤如下：

分布式文件系统 FastDFS 部署

图 2 文件上传流程

分布式文件系统 FastDFS 部署

图 3 文件下载流程

1. Client 询问 Tracker server 上传到的 Storage server；

2. Tracker server 返回一台可用的 Storage server，返回的数据为该 Storage server 的 IP 地址和端口；

3. Client 直接和该 Storage server 建立连接，进行文件上传，Storage server 返回新生成的文件 ID，文件上传结束。

文件下载流程的步骤如下：

1. Client 询问 Tracker server 可以下载指定文件的 Storage server，参数为文件 ID（包含组名和文件名）；

2. Tracker server 返回一台可用的 Storage server；

3. Client 直接和该 Storage server 建立连接，完成文件下载。

四、ip 地址分配（本文默认关闭防火墙）

1.172.16.8.8 nginx tracker

2.172.16.8.9 storage1

3.172.168.8.10 storage2

备注：所有的下载地址为 http://sourceforge.net/projects/fastdfs/files/?source=navbar

五、安装 tracker

1. 安装

# wget

# tar xf download

# cd FastDFS/

# ./make.sh 运行文件

有报错信息

compilation terminated.

make: *** [../common/fdfs_global.o] Error 1

2. 查看官方文档，需要安装 libfastcommon

# wget https://github.com/happyfish100/libfastcommon/archive/master.zip

# unzip master.zip

# cd libfastcommon-master/

# ./make.sh

# ./make.sh install

3. 继续安装 FastDFS

# cd FastDFS/

# ./make.sh

# ./make.sh install

4. 配置

# cd /etc/fdfs/

# cp tracker.conf.sample tracker.conf

修改配置文件

disabled=false #启用配置文件

port=22122 #设置 tracker 的端口号

base_path=/data/fastdfs/trackerd #设置 tracker 的数据文件和日志目录（需预先创建）

http.server_port=18080 #设置 http 端口号

5. 启动

# mkdir -p /data/fastdfs/trackerd

# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

设置开机启动

# echo ‘/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart’ >> /etc/rc.d/rc.local

六、安装 storage（两台都一样，本出给出一台配置）

1. 安装与 tracker 安装步骤相同

2. 配置

disabled=false #启用配置文件

group_name=group1 #组名，根据实际情况修改

port=23000 #设置 storage 的端口号

base_path=/data/fastdfs/storage #设置 storage 的日志目录（需预先创建）

store_path_count=1 #存储路径个数，需要和 store_path 个数匹配

store_path0=/data/fastdfs/storage #存储路径

tracker_server=172.16.8.8:22122 #tracker 服务器的 IP 地址和端口号

http.server_port=18888 #设置 http 端口号

3. 启动

# mkdir -p /data/fastdfs/storage

# /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

设置开机启动

# echo ‘/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart’ >> /etc/rc.d/rc.local

4. 查看状态

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

七、在 storage 安装 nginx

在 storage 上安装 nginx 主要为了提高 http 的访问服务，同时解决 group 中的 storage 服务的同步延迟问题

1.nginx 安装，可以使用源码编译，源码编译请移步这篇 http://www.linuxidc.com/Linux/2015-11/125096.htm，在编译安装时添加 –add-module=/root/fastdfs-nginx-module/src/

2. 配置

# wget

# tar xf download.1

3. 解决报错

make 的时候会报一下错误，

root/fastdfs-nginx-module/src//common.c:21:25: fatal error: fdfs_define.h: No such file or directory

#include “fdfs_define.h”

^

compilation terminated.

make[1]: *** [objs/addon/src/ngx_http_fastdfs_module.o] Error 1

解决办法：

vim /root/fastdfs-nginx-module/src/config

CORE_INCS=”$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/”

CORE_LIBS=”$CORE_LIBS -L/usr/lib -lfastcommon -lfdfsclient”

重新编译，安装即可

4. 配置

# cp /root/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/.

# cp /root/FastDFS/conf/http.conf /etc/fdfs/.

/root/FastDFS/conf/mime.types /etc/fdfs/.

修改 nginx 的配置文件

server {

listen 18888;

server_name localhost;

location ~/group1/M00 {

root /fdfs/storage/data;

ngx_fastdfs_module;

}

error_page 500 502 503 504 /50x.html;

location = /50x.html {

root /usr/share/nginx/html;

}

6. 启动 nginx

八、在 tracker 安装 nginx

在 tracker 上安装的 nginx 主要为了提供 http 访问的反向代理、负载均衡已经缓存服务

1. 安装配置与 storage 上相同

2. 配置负载功能

upstream fdfs_group3 {

server 172.16.1.207:8080 weight=1 max_fails=2 fail_timeout=30s;

server 172.16.1.208:8080 weight=1 max_fails=2 fail_timeout=30s;

}

server {

#

设置服务器端口

listen 8080;

#

设置

group1

的负载均衡参数

location /group1/M00 {

proxy_next_upstream http_502 http_504 error timeout invalid_header;

proxy_cache http-cache;

proxy_cache_valid 200 304 12h;

proxy_cache_key $uri$is_args$args;

proxy_pass http://fdfs_group1;

expires 30d;

九。测试

cd /etc/fdfs/

cp client.conf.sample client.conf

base_path=/data/fdfs/tracker #

日志存放路径

tracker_server=172.16.8.8:22122 #tracker

服务器

IP

地址和端口号

http.tracker_server_port=8080 #tracker

服务器的

http

端口号

上传文件

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/install3.sh

group1/M00/00/00/rBAIClZB6ySAYFbtAAAGpOjLUVA6601.sh

日志报错

[2015-11-10 21:04:04] ERROR – file: ../common/fdfs_global.c, line: 52, the format of filename “group1/M00/00/00/rBAIClZB6ySAYFbtAAAGpOjLUVA6601.sh” is invalid

vi /etc/fdfs/mod_fastdfs.conf

url_have_group_name = true

再次测试上传

[root@vrvap2 fdfs]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/new.jpg

group1/M00/00/00/rBAIClZB7fWAF2BmAADCkWSm8AA128.jpg

分布式文件系统 FastDFS 部署

测试成功，终于完成了

CentOS 6.2 下 fastDFS 的完整安装和配置步骤 http://www.linuxidc.com/Linux/2012-12/75989.htm

FastDFS 在 Ubuntu 下的安装，PHP 客户端 http://www.linuxidc.com/Linux/2012-09/71459.htm

FastDFS 分布式文件服务器安装，及配置，测试 http://www.linuxidc.com/Linux/2012-09/71458.htm

FastDFS 整合 Nginx 问题整理 http://www.linuxidc.com/Linux/2012-09/71232.htm

CentOS 下搭建 FastDFS http://www.linuxidc.com/Linux/2012-09/70995.htm