FastDFS 分布式系统需求分析

负载均衡性很重要的就是哈希，例如，在 PHP 中常用的 md5，其返回一个 32 个字符，即 16 字节的输出，即 128 位。哈希后要变成桶，才能够分布，自然就有了如下的问题：
1- 如何得到哈希值？md5 还是 SHA1
2- 哈希值得到后，如何构造哈希桶
3- 根据文件名称如何定位哈希桶

首先来回答第 3 个问题，根据文件名称如何定位哈希桶。很简单，此时我们只有一个文件名称作为输入，首先要计算哈希值，只有一个办法了，就是根据文件名称来得到哈希值。这个函数可以用整个文件名称作为哈希的输入，也可以根据文件名称的一部分来完成。结合上面说的两级目录，而且每级目录不要超过 1000. 很简单，如果用 32 位的字符输出后，可以取出实现上来说，由于文件上传是防止唯一性，所以如果根据文件内容来产生哈希，则比较好的办法就是截取其中的 4 位，例如：

md5sum fdfs_storaged.pid
52edc4a5890adc59cec82cb60f8af691 fdfs_storaged.pid

这样的话，上面的第 2 和第 3 个问题就解决了，根据文件名称来得到 md5，然后取 4 个字符，前面的 2 个字符作为一级目录名称，后面的 2 个字符作为二级目录的名称。服务器上，使用一个专门的目录来作为我们的存储根目录，然后下面建立这么多子目录，自然就很简单了。

这些目录可以在初始化的时候创建出来，而不用在存储文件的时候才建立。

也许你会问，一个目录应该不够吧，实际上很多的廉价机器一般都配置 2 块硬盘，一块是操作系统盘，一块是数据盘。然后这个数据盘挂在一个目录下面，以这个目录作为我们的存储根目录就好了。这样也可以很大程度上减少运维的难度。

现在就剩下最后一个问题了，就是上传文件时候，如何分配一个唯一的文件名称，避免同以前的文件产生覆盖。

如果没有变量作为输入，很显然，只能够采用类似于计数器的方式，即一个 counter，每次加一个文件就增量。但这样的方式会要求维护一个持久化的 counter，这样比较麻烦。最好不要有历史状态的纪录。

string md5 (string $str [, bool $raw_output = false] )
Calculates the MD5 hash of str using the » RSA Data Security, Inc. MD5 Message-Digest Algorithm, and returns that hash.

raw_output
If the optional raw_output is set to TRUE, then the md5 digest is instead returned in raw binary format with a length of 16.
Return Values 

Returns the hash as a 32-character hexadecimal number.

为了尽可能地生成唯一的文件名称，可以使用文件长度(假如是 100MB 的话，相应的整型可能会是 4 个字节，即不超过 2^32, 即 uint32_t，只要程序代码中检查一下即可）。但是长度并不能够保证唯一，为了填充尽可能有用的信息，CRC32 也是很重要的，这样下载程序后，不用做额外的交互就可以知道文件的内容是否正确。一旦发现有问题，立马要报警，并且想办法修复。这样的话，上传的时候也要注意带上 CRC32，以防止在网络传输和实际的硬盘存储过程中出现问题（文件的完整性至关重要）。再加上时间戳，即 long 型的 64 位，8 个字节。最后再加上计数器，因为这个计数器由 storage 提供，这样的话，整个结构就是：len + crc32 + timestamp + uint32_t = 4 + 4 + 8 + 4 = 20 个字节，这样生成的文件名就算做 base64 计算出来，也就不是什么大问题了。而且，加上计数器，每秒内只要单机不上传超过 1 万的文件，就都不是问题了。这个还是非常好解决的。