阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

FastDFS之文件服务器集群部署详解

109次阅读
没有评论

共计 15896 个字符,预计需要花费 40 分钟才能阅读完成。

FastDFS 是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。在生成环境 FastDFS 一般都是用集群配置,以提高 FastDFS 的可用性,并发能力。

部署架构:

FastDFS 之文件服务器集群部署详解

环境 IP 地址(关闭所有环境的防火墙):
Tracker 192.168.18.178
Group 1:
  S1:192.168.110.71
  S2:192.168.110.91

Group 2:
  S3:192.168.100.90
  S4:192.168.100.194
注:Tracker 可以部署多台,提供负载,这里资源有限,就部署一台。
由于需要安装 nginx,每台机器都安装依赖:
yum -y install  zlib pcre pcre-devel zlib-devel

所用的安装软件 到 Linux 公社资源站下载:

—————————————— 分割线 ——————————————

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2017 年资料 / 1 月 /23 日 /FastDFS 之文件服务器集群部署详解 /

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

—————————————— 分割线 ——————————————

一、安装 tracker
1. 安装依赖 libfastcommon
unzip libfastcommon-master.zip

cd libfastcommon

./make.sh
./make.sh  install

2. 安装 FastDFS
unzip fastdfs.zip

cd fastdfs

./make.sh

./make.sh install

默认安装目录:/usr/bin
将原安装文件夹下的配置文件复制到 /etc/fdfs 目下:cp ./conf/*  /etc/fdfs/
3. 配置
编辑配置文件目录下的 tracker.conf
一般只需改动以下几个参数即可:
disabled=false            #启用配置文件
port=22122                #设置 tracker 的端口号
base_path=/home/fastdfs  #设置 tracker 的数据文件和日志目录(需预先创建)
http.server_port=8080    #设置 http 端口号
4. 启动
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start

二、安装 tracker 代理 nginx
在 tracker 上安装的 nginx 主要为了提供 http 访问的反向代理、负载均衡以及缓存服务。
1. 安装 nginx
tar -zxvf nginx-1.8.0.tar.gz
tar -zxvf ngx_cache_purge-2.3.tar.gz
cd nginx-1.8.0
./configure –prefix=/usr/local/nginx –add-module=/root/ngx_cache_purge-2.3

make
make install

如果提示错误,可能缺少依赖的软件包,需先安装依赖包,再次运行./configure
nginx 以及 nginx cache purge 插件模块安装完成,安装目录 /usr/local/nginx

2. 配置 nginx
user  root; 
worker_processes  1; 
   
#error_log  logs/error.log; 
#error_log  logs/error.log  notice; 
error_log  logs/error.log  info; 
   
#pid        logs/nginx.pid; 
   
   
events {
    worker_connections  1024; 

   
   
http {
    include      mime.types; 
    default_type  application/octet-stream; 
    #设置缓存参数 
    server_names_hash_bucket_size 128; 
    client_header_buffer_size 32k; 
    large_client_header_buffers 4 32k; 
    client_max_body_size 300m; 
    sendfile        on; 
    tcp_nopush    on; 
    proxy_redirect off; 
    proxy_set_header Host $http_host; 
    proxy_set_header X-Real-IP $remote_addr; 
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 
    proxy_connect_timeout 90; 
    proxy_send_timeout 90; 
    proxy_read_timeout 90; 
    proxy_buffer_size 16k; 
    proxy_buffers 4 64k; 
    proxy_busy_buffers_size 128k; 
    proxy_temp_file_write_size 128k; 
    #设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限 
    proxy_cache_path /var/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:500m max_size=10g inactive=30d; 
       
    proxy_temp_path /var/cache/nginx/proxy_cache/tmp; 
   
    keepalive_timeout  65; 
   
    #设置 group 服务器 
    upstream fdfs_group1 {
        server 192.168.110.71:8090 weight=1 max_fails=2 fail_timeout=30s; 
        server 192.168.110.91:8090 weight=1 max_fails=2 fail_timeout=30s; 
    } 
    upstream fdfs_group2 {
        server 192.168.100.90:8090 weight=1 max_fails=2 fail_timeout=30s; 
        server 192.168.100.194:8090 weight=1 max_fails=2 fail_timeout=30s; 
    } 
   
    server {
        listen      80; 
        server_name  localhost; 
        charset utf-8; 
        #access_log  /usr/local/nginx/logs/localhost.access.log  main; 
   
        location /group1/M00 {
                proxy_next_upstream http_502 http_504 error timeout invalid_header; 
                proxy_cache http-cache; 
                proxy_cache_valid  200 304 12h; 
                proxy_cache_key $uri$is_args$args; 
                proxy_pass http://fdfs_group1; 
                expires 30d; 
        } 
        location /group2/M00 {
                proxy_next_upstream http_502 http_504 error timeout invalid_header; 
                proxy_cache http-cache; 
                proxy_cache_valid  200 304 12h; 
                proxy_cache_key $uri$is_args$args; 
                proxy_pass http://fdfs_group2; 
                expires 30d; 
        } 
        #设置清除缓存的访问权限 
        location ~ /purge(/.*) {
                allow 127.0.0.1; 
                allow 172.16.1.0/24; 
                deny all; 
                proxy_cache_purge http-cache  $1$is_args$args; 
        } 
    } 
   
}

创建缓存目录:/var/cache/nginx/proxy_cache/tmp
3. 启动
/usr/local/nginx/sbin/nginx

三、安装 storage
1. 安装
参考安装 tracker 前 2 步骤。
2. 配置
编辑配置文件目录下的 storage.conf

只需改动以下几个参数即可:
disabled=false    #启用配置文件
group_name=group1 #组名,根据实际情况修改
port=23000 #设置 storage 的端口号
base_path=/home/fastdfs #设置 storage 的日志目录(需预先创建)
store_path_count=1 #存储路径个数,需要和 store_path 个数匹配
store_path0=/home/fastdfs# 存储路径
tracker_server=192.168.18.178:22122#tracker 服务器的 IP 地址和端口号
http.server_port=8080  #设置 http 端口号

创建目录 mkdir /home/fastdfs
3. 运行
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start

另外:
分别在其他机器上全部安装 storage 并确认运行正常。注意配置文件中 group 名参数需要根据实际情况调整:
group1:192.168.110.71,192.168.110.91
group2:192.168.100.90,192.168.100.194
另外每个 group 中所有 storage 的端口号必须一致。

四、在 storage 上安装 nginx
在 storage 上安装的 nginx 主要为了提供 http 的访问服务,同时解决 group 中 storage 服务器的同步延迟问题。
1. 解压 fastdfs-nginx-module 插件
unzip  fastdfs-nginx-module.zip
2. 安装 nginx
tar -zxvf nginx-1.8.0.tar.gz
cd nginx-1.8.0
./configure –prefix=/usr/local/nginx –add-module=../fastdfs-nginx-module/src
make
make install
安装目录:/usr/local/nginx
若安装报错:[emerg] 13513#0: eventfd() failed (38: Function not implemented)
原因是:编译时带了 –with-file-aio 模块,这个要 Linux 2.6.22 以后内核才支持.服务器是 2.6.18。也可以下载低版本的 nginx 版本
3. 配置
1)配置 FastDFS 的 nginx 插件
将 FastDFS 的 nginx 插件模块的配置文件 copy 到 FastDFS 配置文件目录
fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
编辑 /etc/fdfs 配置文件目录下的 mod_fastdfs.conf,设置 storage 信息并保存。
一般只需改动以下几个参数即可:
base_path=/home/fastdfs #保存日志目录
tracker_server=192.168.18.178:22122 #tracker 服务器的 IP 地址以及端口号
storage_server_port=23000#storage 服务器的端口号
group_name=group1# 当前服务器的 group 名
url_have_group_name = true        #文件 url 中是否有 group 名
store_path_count=1                #存储路径个数,需要和 store_path 个数匹配
store_path0=/home/fastdfs        #存储路径
http.need_find_content_type=true# 从文件扩展名查找文件类型(nginx 时为 true)
group_count = 2                  #设置组的个数
在末尾增加 2 个组的具体信息:
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs

[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs
建立 M00 至存储目录的符号连接:
ln -s /home/fastdfs/data /home/fastdfs/data/M00
2)配置 nginx
vi nginx.conf
user root;

location ~/group[1-3]/M00 {
    root /home/fastdfs/data;
    ngx_fastdfs_module;
}
4. 启动
/usr/local/nginx/sbin/nginx

另外:
分别在其他机器 storage 上全部安装 nginx 并确认运行正常。注意配置文件中 group 名参数需要根据实际情况调整:
group1:192.168.110.71,192.168.110.91
group2:192.168.100.90,192.168.100.194
另外 nginx 的端口号 8090。

至此所有配置完毕。

五、测试
配置 /etc/fdfs/client.conf
base_path=/home/fastdfs #日志存放路径

tracker_server=192.168.18.43:22122 #tracker 服务器 IP 地址和端口号

http.tracker_server_port=8080  #tracker 服务器的 http 端口号

通过 fdfs_upload_file 上传一个文件到 FastDFS,程序会自动返回文件的 URL,
#fdfs_upload_file /etc/fdfs/client.conf 40-15052PZK5.jpg
group1/M00/00/00/wKhuR1Vmh_2ADmdfAAF1dmVtk4w934.jpg
然后使用浏览器访问,访问正常
http://192.168.18.43/group1/M00/00/00/wKhuR1Vmh_2ADmdfAAF1dmVtk4w934.jpg

注:可以使用 fdfs_monitor 查看 tracker 和所有 group 的运行情况
# fdfs_monitor /etc/fdfs/client.conf   
[2015-05-27 20:19:59] DEBUG – base_path=/home/fastdfs, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0 
   
server_count=1, server_index=0 
   
tracker server is 192.168.18.43:22122 
   
group count: 2 
   
Group 1: 
group name = group1 
disk total space = 45438 MB 
disk free space = 33920 MB 
trunk free space = 0 MB 
storage server count = 2 
active server count = 2 
storage server port = 23000 
storage HTTP port = 8080 
store path count = 1 
subdir count per path = 256 
current write server index = 1 
current trunk file id = 0 
   
        Storage 1: 
                id = 192.168.110.71 
                ip_addr = 192.168.110.71 (localhost)  ACTIVE 
                http domain =   
                version = 5.06 
                join time = 2015-05-27 01:37:04 
                up time =   
                total storage = 95217 MB 
                free storage = 47563 MB 
                upload priority = 10 
                store_path_count = 1 
                subdir_count_per_path = 256 
                storage_port = 23000 
                storage_http_port = 8080 
                current_write_path = 0 
                source storage id =   
                if_trunk_server = 0 
                connection.alloc_count = 256 
                connection.current_count = 1 
                connection.max_count = 2 
                total_upload_count = 1 
                success_upload_count = 1 
                total_append_count = 0 
                success_append_count = 0 
                total_modify_count = 0 
                success_modify_count = 0 
                total_truncate_count = 0 
                success_truncate_count = 0 
                total_set_meta_count = 0 
                success_set_meta_count = 0 
                total_delete_count = 0 
                success_delete_count = 0 
                total_download_count = 0 
                success_download_count = 0 
                total_get_meta_count = 0 
                success_get_meta_count = 0 
                total_create_link_count = 0 
                success_create_link_count = 0 
                total_delete_link_count = 0 
                success_delete_link_count = 0 
                total_upload_bytes = 95606 
                success_upload_bytes = 95606 
                total_append_bytes = 0 
                success_append_bytes = 0 
                total_modify_bytes = 0 
                success_modify_bytes = 0 
                stotal_download_bytes = 0 
                success_download_bytes = 0 
                total_sync_in_bytes = 0 
                success_sync_in_bytes = 0 
                total_sync_out_bytes = 0 
                success_sync_out_bytes = 0 
                total_file_open_count = 1 
                success_file_open_count = 1 
                total_file_read_count = 0 
                success_file_read_count = 0 
                total_file_write_count = 1 
                success_file_write_count = 1 
                last_heart_beat_time = 2015-05-27 20:19:49 
                last_source_update = 2015-05-27 20:14:04 
                last_sync_update = 1969-12-31 16:00:00 
                last_synced_timestamp = 1969-12-31 16:00:00   
        Storage 2: 
                id = 192.168.110.91 
                ip_addr = 192.168.110.91 (localhost)  ACTIVE 
                http domain =   
                version = 5.06 
                join time = 2015-05-27 19:35:36 
                up time = 2015-05-27 19:35:36 
                total storage = 45438 MB 
                free storage = 33920 MB 
                upload priority = 10 
                store_path_count = 1 
                subdir_count_per_path = 256 
                storage_port = 23000 
                storage_http_port = 8080 
                current_write_path = 0 
                source storage id = 192.168.110.71 
                if_trunk_server = 0 
                connection.alloc_count = 256 
                connection.current_count = 1 
                connection.max_count = 1 
                total_upload_count = 0 
                success_upload_count = 0 
                total_append_count = 0 
                success_append_count = 0 
                total_modify_count = 0 
                success_modify_count = 0 
                total_truncate_count = 0 
                success_truncate_count = 0 
                total_set_meta_count = 0 
                success_set_meta_count = 0 
                total_delete_count = 0 
                success_delete_count = 0 
                total_download_count = 0 
                success_download_count = 0 
                total_get_meta_count = 0 
                success_get_meta_count = 0 
                total_create_link_count = 0 
                success_create_link_count = 0 
                total_delete_link_count = 0 
                success_delete_link_count = 0 
                total_upload_bytes = 0 
                success_upload_bytes = 0 
                total_append_bytes = 0 
                success_append_bytes = 0 
                total_modify_bytes = 0 
                success_modify_bytes = 0 
                stotal_download_bytes = 0 
                success_download_bytes = 0 
                total_sync_in_bytes = 95606 
                success_sync_in_bytes = 95606 
                total_sync_out_bytes = 0 
                success_sync_out_bytes = 0 
                total_file_open_count = 1 
                success_file_open_count = 1 
                total_file_read_count = 0 
                success_file_read_count = 0 
                total_file_write_count = 1 
                success_file_write_count = 1 
                last_heart_beat_time = 2015-05-27 20:19:51 
                last_source_update = 1969-12-31 16:00:00 
                last_sync_update = 2015-05-27 20:14:07 
                last_synced_timestamp = 2015-05-27 20:14:05 (-1s delay) 
   
Group 2: 
group name = group2 
disk total space = 9916 MB 
disk free space = 7434 MB 
trunk free space = 0 MB 
storage server count = 2 
active server count = 2 
storage server port = 23000 
storage HTTP port = 8080 
store path count = 1 
subdir count per path = 256 
current write server index = 0 
current trunk file id = 0 
   
        Storage 1: 
                id = 192.168.100.194 
                ip_addr = 192.168.100.194 (localhost)  ACTIVE 
                http domain =   
                version = 5.06 
                join time = 2015-05-27 20:03:37 
                up time = 2015-05-27 20:03:37 
                total storage = 47368 MB 
                free storage = 37371 MB 
                upload priority = 10 
                store_path_count = 1 
                subdir_count_per_path = 256 
                storage_port = 23000 
                storage_http_port = 8080 
                current_write_path = 0 
                source storage id = 192.168.100.90 
                if_trunk_server = 0 
                connection.alloc_count = 256 
                connection.current_count = 1 
                connection.max_count = 1 
                total_upload_count = 0 
                success_upload_count = 0 
                total_append_count = 0 
                success_append_count = 0 
                total_modify_count = 0 
                success_modify_count = 0 
                total_truncate_count = 0 
                success_truncate_count = 0 
                total_set_meta_count = 0 
                success_set_meta_count = 0 
                total_delete_count = 0 
                success_delete_count = 0 
                total_download_count = 0 
                success_download_count = 0 
                total_get_meta_count = 0 
                success_get_meta_count = 0 
                total_create_link_count = 0 
                success_create_link_count = 0 
                total_delete_link_count = 0 
                success_delete_link_count = 0 
                total_upload_bytes = 0 
                success_upload_bytes = 0 
                total_append_bytes = 0 
                success_append_bytes = 0 
                total_modify_bytes = 0 
                success_modify_bytes = 0 
                stotal_download_bytes = 0 
                success_download_bytes = 0 
                total_sync_in_bytes = 0 
                success_sync_in_bytes = 0 
                total_sync_out_bytes = 0 
                success_sync_out_bytes = 0 
                total_file_open_count = 0 
                success_file_open_count = 0 
                total_file_read_count = 0 
                success_file_read_count = 0 
                total_file_write_count = 0 
                success_file_write_count = 0 
                last_heart_beat_time = 2015-05-27 20:19:44 
                last_source_update = 1969-12-31 16:00:00 
                last_sync_update = 1969-12-31 16:00:00 
                last_synced_timestamp = 1969-12-31 16:00:00   
        Storage 2: 
                id = 192.168.100.90 
                ip_addr = 192.168.100.90 (localhost)  ACTIVE 
                http domain =   
                version = 5.06 
                join time = 2015-05-27 19:50:27 
                up time = 2015-05-27 19:50:27 
                total storage = 9916 MB 
                free storage = 7434 MB 
                upload priority = 10 
                store_path_count = 1 
                subdir_count_per_path = 256 
                storage_port = 23000 
                storage_http_port = 8080 
                current_write_path = 0 
                source storage id =   
                if_trunk_server = 0 
                connection.alloc_count = 256 
                connection.current_count = 1 
                connection.max_count = 1 
                total_upload_count = 0 
                success_upload_count = 0 
                total_append_count = 0 
                success_append_count = 0 
                total_modify_count = 0 
                success_modify_count = 0 
                total_truncate_count = 0 
                success_truncate_count = 0 
                total_set_meta_count = 0 
                success_set_meta_count = 0 
                total_delete_count = 0 
                success_delete_count = 0 
                total_download_count = 0 
                success_download_count = 0 
                total_get_meta_count = 0 
                success_get_meta_count = 0 
                total_create_link_count = 0 
                success_create_link_count = 0 
                total_delete_link_count = 0 
                success_delete_link_count = 0 
                total_upload_bytes = 0 
                success_upload_bytes = 0 
                total_append_bytes = 0 
                success_append_bytes = 0 
                total_modify_bytes = 0 
                success_modify_bytes = 0 
                stotal_download_bytes = 0 
                success_download_bytes = 0 
                total_sync_in_bytes = 0 
                success_sync_in_bytes = 0 
                total_sync_out_bytes = 0 
                success_sync_out_bytes = 0 
                total_file_open_count = 0 
                success_file_open_count = 0 
                total_file_read_count = 0 
                success_file_read_count = 0 
                total_file_write_count = 0 
                success_file_write_count = 0 
                last_heart_beat_time = 2015-05-27 20:19:48 
                last_source_update = 1969-12-31 16:00:00 
                last_sync_update = 1969-12-31 16:00:00 
                last_synced_timestamp = 1969-12-31 16:00:00

CentOS6 环境单服务器 FastDFS+Nginx+fastdfs-nginx-module 安装配置 http://www.linuxidc.com/Linux/2015-01/111889.htm

Ubuntu 14.04 下部署 FastDFS 5.08+Nginx 1.9.14 http://www.linuxidc.com/Linux/2016-07/133485.htm

CentOS 6.2 下 fastDFS 的完整安装和配置步骤 http://www.linuxidc.com/Linux/2012-12/75989.htm

FastDFS 在 Ubuntu 下的安装,PHP 客户端 http://www.linuxidc.com/Linux/2012-09/71459.htm

FastDFS 分布式文件服务器安装,及配置,测试 http://www.linuxidc.com/Linux/2012-09/71458.htm

CentOS 7 安装配置分布式文件系统 FastDFS 5.0.5  http://www.linuxidc.com/Linux/2016-09/135537.htm

FastDFS 分布式存储服务器安装过程详解 http://www.linuxidc.com/Linux/2016-10/136544.htm

FastDFS 的详细介绍:请点这里
FastDFS 的下载地址:请点这里

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-01/139891.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计15896字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中