用FreeBSD10搭建基于ZFS的iSCSI服务

145次阅读

共计 7977 个字符，预计需要花费 20 分钟才能阅读完成。

概述

对于 ZFS 我是一直在强烈推荐的，因为实在太好用了。但是直到现在，它还是只能运行于 Oracle 的 Solaris 和 FreeBSD 两个系统上，为了将它分享给别的系统只能通过 NAS 或 SAN 的方式。

NAS 的方式很简单，我一直在用 Samba 实现，当然 NFS 也是可以的，SAN 的话之前还没试过。使用上当然是 SAN 更好一些，而且现在网速也够快。虽然对于存储来说，NAS 和 SAN 都是外部存储，但对于客户机来说，它知道 NAS 是网络设备，而 SAN 则会被视同本地设备，这是二者的主要区别。之所以会这样，是因为 NAS 走的是网络层的协议，SAN 走的是更底层的块设备协议。

传统上 SAN 都是比较高大上的，因为都是走光纤通道（FC），直到后来有了 iSCSI 这个大救星——使用 iSCSI 的 SAN 又被称为 IP-SAN。而且有了 iSCSI 以后，NAS 和 SAN 的区别已经不那么明显了，因为现在有一些 NAS 设备也提供 iSCSI 支持。

不过要注意一点：正因为 NAS 是走网络协议，所以对客户机来说，是以通用的网络文件系统方式访问，不需要关注服务端是用什么具体的文件系统，这也就意味着在不同系统中可以共享 NAS 中的文件。比如我现在就是在服务端用 ZFS 格式存放文件，通过 SAMBA 共享给 Linux、Mac 和 Windows，在四个完全不同的系统中访问共享文件都没有问题。但是 SAN 是走底层块设备协议，所以是客户机独用的，Linux 用的 target 不能与 Windows 共用（格式化后的文件系统不同），同样在服务端也无法直接看到相应 target 里的具体内容（可以通过服务端的本地 Initiator 连接后 mount 为指定文件系统操作，但也仅限于服务端本身支持的文件系统格式）。

之前版本的 FreeBSD 虽然也支持 iSCSI，但是是一个用户级的应用，个人感觉不好，所以没试过。在最新的 FreeBSD 10 中，iSCSI 被集成到系统中去了，这真是个喜大普奔的好消息，最近试了一下感觉还不错。

关于 iSCSI 的基本原理大致是这样：iSCSI 本身是一个协议，是一个在 IP 网络上的虚拟 SCSI 实现。客户端能过 iSCSI Initiator 模拟一个本地的块设备（可以理解为一个虚拟的 SCSI 硬盘），然后由 iSCSI Initiator 把收到的 SCSI 指令通过 IP 网络传递到服务端，服务端的再将相应的指令转为对实际硬盘的操作。

在服务端（即存储端）有一些物理或逻辑硬盘，被组织成所谓的 LUN（逻辑单元号），可以理解为一种逻辑卷，比如一块硬盘，一个分区，一组 RAID，或是一个 ZFS。当这个存储端把这些 LUN 通过 iSCSI 对外提供存储服务的时候，我们叫它 iSCSI target。同时，在存储端上可以通过多种途径对外提供服务，比如通过不同的 IP，不同的网卡，不同的身份认证方式等，每一种途径叫做一个 portal group。portal group 和 target 可以自由组合，以满足客户端的各种存储需求。

在客户端，则是通过前面所说的 iSCSI Initiator 实现，它在本地表现为一个虚拟硬盘（在 /dev 下有设备名，但没有实际的物理设备），对它的所有操作都会被通过 iSCSI 传递到对应的 iSCSI target 上去。

FreeBSD 8 上的 Rsync 同步简易教程 http://www.linuxidc.com/Linux/2013-07/86849.htm

FreeBSD8.2 系统安装 Salt http://www.linuxidc.com/Linux/2013-02/80024.htm

制作 FreeBSD 系统定制安装 ISO http://www.linuxidc.com/Linux/2012-12/76350.htm

FreeBSD 搭建 NAT 并在单网卡上配置多个 VLAN http://www.linuxidc.com/Linux/2012-12/75507.htm

iSCSI target

首先在服务端创建一个 ZFS 供 target 之用：

zfs create -s -V 4G -b 4k tank/testtarget

注意需要 - V 参数才能在 /dev/zvol 下创建相应的块设备供 iSCSI 之用。- V 表示创建 ZFS 卷，- s 表示不在创建时分配空间，不加此参数则会创建一个实际占用指定容量的卷。- b 指定块大小（即传统意义上的扇区大小，一般用 4096 或 512）。

然后在 /etc/rc.conf 里加入以下一行启用 ctld（iSCSI 服务）：

ctld_enable=”YES”

接着是配置 ctld，创建 /etc/ctl.conf 文件，内容为：

portal-group san {
discovery-auth-group no-authentication
listen 192.168.x.x
}

target iqn.2014-05.com.example:target0 {
auth-group no-authentication
portal-group san
lun 0 {
path /dev/zvol/tank/testtarget
blocksize 4096
size 4G
}
}

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-06/102743p2.htm

这是最简单的配置，只有一个 target 和一个 portal group。没有使用用户认证。作为测试已经足够了。

然后就可以启动这个 target 了：

chmod 600 /etc/ctl.conf

service ctld start

注意那个 chmod 的步骤是必须的，否则服务无法启动，因为一个全局可读的配置文件是不安全的。

启动完可以看一下日志，以确定没有出错。

tail /var/log/messages

iSCSI initiator

一般不拿 FreeBSD 做客户端，只是有时会需要在服务端测试一下 target 的配置，所以可能还是会用到 FreeBSD 下的 Initiator 的，所以记录了一下配置方法附后供参考。本节以实际的桌面环境配置为例。

我的桌面是 Linux Mint 16，以下供参考。不过不同的 Linux 发行版应该都差不多。Mac 貌似需要商业软件支持，没法介绍。微软有为 Windows 免费提供相关的 Initiator 软件（高版本 Windows 已内置），配置方法附后。

首先需要安装软件：

sudo apt-get install open-iscsi open-iscsi-utils

然后启动服务：

sudo service open-iscsi start

然后搜索一下 target :

sudo iscsiadm -m discovery -t sendtargets -p 192.168.x.x

在结果中可以看到之前配置好的 target。

登录连接 target：

sudo iscsiadm -m node -T iqn.2014-05.com.example:target0 -p 192.168.x.x -l

现在打开系统首选项 - 磁盘（或你的发行版上的相关工具，或者你习惯用命令行也行），即可看到一个新增的磁盘（在我的电脑上，它的设备名叫 /dev/sdc），磁盘名叫做 FREEBSD CTLDISK，处于未格式化状态。用 EXT4 格式化，再 mount 即可像本地盘一样直接使用了。

至此一个基本的基于 ZFS 的 iSCSI 服务就算搭建完成。

更复杂的应用

前面说的 target 配置是全开放的，整个网段内所有客户端都可以自由连接，为了安全起见，需要加入用户认证。

最简单的方法就是在 target 配置里加入用户名密码：

target iqn.2014-05.com.example:target0 {
portal-group san
chap user password1234
lun 0 {
path /dev/zvol/tank/testtarget
blocksize 4096
size 4G
}
}

注意，其中密码默认需要不少于 12 位。但是如果有多个用户需要使用的话，这样就不方便了，这时就需要使用 auth-group：

auth-group ag0 {
chap user1 password1234
chap user2 password1234
}

target iqn.2014-05.com.example:target0 {
auth-group ag0
portal-group san
lun 0 {
path /dev/zvol/tank/testtarget
blocksize 4096
size 4G
}
}