Docker存储驱动之ZFS简介

99次阅读

共计 5363 个字符，预计需要花费 14 分钟才能阅读完成。

ZFS 是下一代的文件系统，支持了很多存储高级特性，如卷管理、快照、和校验、压缩和重复删除技术、拷贝等。
ZFS 由 Sun 公司创建，现属于 Oracle，ZFS 是开源的，并基于 CDDL license。因为 CDDL 和 GPL 不兼容，ZFS 不能加入 Linux kernel 主线。然而，ZFS On Linux（ZoL）项目提供 kernel 模块和用户空间程序，这些都可以单独的安装。
ZFS on Linux（ZoL）是一项成熟的技术，但是，现在却不建议在产品中使用 zfs 存储驱动，当然，除非你对 ZoL 有着丰富的经验。
注意：在 Linux 平台上，有 ZFS 的 FUSE 实现，它可以和 Docker 结合起来使用，但是却不推荐这样使用。原生的 ZFS 驱动（ZoL）被测试得更多，更有效率，也更广泛地被使用。下面的内容也指的是原生的 ZFS 驱动。

镜像分层和共享

Docker 的 zfs 存储驱动使用了 ZFS 驱动的三个组件：
●文件系统
●快照
●克隆
ZFS 系统提供超配特性，通过按需分配操作从 ZFS 池（zpool）分配空间。快照和克隆是 ZFS 系统某个时间点的拷贝，较节省空间。快照是只读的，而克隆是读写的，克隆只能通过快照来创建。下图显示了它们之间这种简单地关系。
Docker 存储驱动之 ZFS 简介
图中的实线显示了创建了克隆的过程。第一步创建了一个文件系统的快照，第二步通过快照创建了一份克隆。虚线显示了克隆、文件系统和快照之间的关系。这三个 ZFS 组件都从同一个下层的 zpool 申请空间。
在 Docker host 上使用 zfs 存储驱动。镜像的基础层就是一个 ZFS 文件系统，每个子层都是底层 ZFS 快照的一个 ZFS 克隆，容器就是一个 ZFS 克隆，它基于其镜像最顶层的 ZFS 快照。所有的 ZFS 组件都从同一个 zpool 分配空间。下图显示了一个基于两层镜像的容器是如何使用这些 ZFS 组件的。
Docker 存储驱动之 ZFS 简介
结合上图，下面的过程解释了镜像是如何分层的，容器是如何创建的。
▶在 Docker host 中，镜像的基础层是一个 ZFS 文件系统。
文件系统从 zpool 中消耗空间。
▶附加的镜像层是其下层镜像的克隆。
图中，“Layer 1”是通过创建基础镜像的 ZFS 快照，然后再通过快照创建克隆来实现的。克隆是可读写的，并且从 zpool 按需分配空间；而快照是只读的。
▶当容器启动时，就会在镜像层上附加一个可读写层。
上图中，制造了一个镜像顶层的快照，然后再基于快照创建了一份克隆，而这份克隆就是容器的可读写层。
如果需要改变容器，那么久会从 zpool 按需分配空间给容器，ZFS 默认会分配 128K 大小的块。
这种从只读快照创建子层和容器的方法，使得镜像作为不可变对象来维护。

容器使用 ZFS 读写

容器从 zfs 存储驱动读数据的过程非常简单。新启动的容器基于 ZFS 克隆，这份克隆从初始化开始就共享它底层的所有数据。这意味着使用 zfs 的读操作非常快，即使正在读的数据并没有拷贝到容器。下图显示了数据块的共享情况。
Docker 存储驱动之 ZFS 简介
写新数据是通过按需分配操作来完成的。每次要向容器的一个新区域写数据时，就会从 zpool 中分配一个新块，也就是说写新数据时容器就会消耗额外的空间。分配给容器的新空间从底层的 zpool 分配。
想更新容器的新数据，就得分配新空间给容器，并将这些改变的信息保存在新的块中。原来的块没有改变，下面的镜像依然是不可变的。

Docker 中配置 ZFS 存储驱动

只有在 /var/lib/docker 被映射在一个 ZFS 文件系统上时，才能在 docker host 上使用 zfs 存储驱动。本节将介绍如何在 Ubuntu 上安装原生的 ZFS on Linux（ZoL)。

准备

如果你已经在 Docker host 上使用过 Docker daemon，并且有一些想保存的镜像，那么在执行下面的步骤之前，你需要将这些镜像保存到 Docker Hub 或者你的私有 Docker 镜像仓库中。
停止 Docker daemon。另外，确保你在 /dev/xvdb（这个设备名可能根据你的 OS 环境而不同，你需要换成适合你自己的设备名）上有一个空闲块设备。

在 Ubuntu16.04 LTS 上安装 ZFS

1) 停止 Docker daemon。

$ sudo systemctl stop docker.service

2) 安装 zfs 包。

 $ sudo apt-get install -y zfs

 Reading package lists... Done
 Building dependency tree
 <output truncated>

3) 确认你的 zfs 模块成功安装并加载。

$ lsmod | grep zfs

 zfs                  2813952  3
 zunicode              331776  1 zfs
 zcommon                57344  1 zfs
 znvpair                90112  2 zfs,zcommon
 spl                   102400  3 zfs,zcommon,znvpair
 zavl                   16384  1 zfs

在 Ubuntu 14.04 LTS 上安装 ZFS

1) 停止 Docker daemon。

$ sudo systemctl stop docker.service

2) 安装 software-properties-common 包。

$ sudo apt-get install -y software-properties-common

Reading package lists... Done
Building dependency tree
<output truncated>

3) 添加 zfs-native 包。

$ sudo add-apt-repository ppa:zfs-native/stable

The native ZFS filesystem for Linux. Install the ubuntu-zfs package.
<output truncated>
gpg: key F6B0FC61: public key "Launchpad PPA for Native ZFS for Linux" imported
gpg: Total number processed: 1
gpg:               imported: 1  (RSA: 1)
OK

4) 获取最新包的列表。

 $ sudo apt-get update

 Ign http://us-west-2.ec2.archive.ubuntu.com trusty InRelease
 Get:1 http://us-west-2.ec2.archive.ubuntu.com trusty-updates InRelease [64.4 kB]
 <output truncated>
 Fetched 10.3 MB in 4s (2,370 kB/s)
 Reading package lists... Done

5) 安装 ubuntu-zfs 包。

$ sudo apt-get install -y ubuntu-zfs

Reading package lists... Done
Building dependency tree
<output truncated>

6) 加载 zfs 模块。

$ sudo modprobe zfs

7) 确认模块是否正确加载。

$ lsmod | grep zfs

zfs                  2768247  0
zunicode              331170  1 zfs
zcommon                55411  1 zfs
znvpair                89086  2 zfs,zcommon
spl                    96378  3 zfs,zcommon,znvpair
zavl                   15236  1 zfs

在 Docker 中配置 ZFS

一旦安装和加载了 ZFS，就可以在 Docker 中配置 ZFS 了。
1) 创建一个新的 zpool。

$ sudo zpool create -f zpool-docker /dev/xvdb

上面命令创建了一个名为“zpool-docker”的 zpool。这个名称是随意的。
2) 检查 zpool 是否存在。

$ sudo zfs list

NAME            USED  AVAIL    REFER  MOUNTPOINT
zpool-docker    55K   3.84G    19K    /zpool-docker

3) 在 /var/lib/docker 上创建和映射一个新的 ZFS 文件系统。

$ sudo zfs create -o mountpoint=/var/lib/docker zpool-docker/docker

4) 检查前面的步骤是否正常工作。

$ sudo zfs list -t all

NAME                 USED  AVAIL  REFER  MOUNTPOINT
zpool-docker         93.K  3.4G    9K  /zpool-docker
zpool-docker/docker  9K    3.4G    9K  /var/lib/docker

可以看到，在 /var/lib/docker 上��射了一个 ZFS 文件系统，daemon 启动后会自动加载 zfs 存储驱动。
5) 启动 Docker daemon。

$ sudo service docker start

docker start/running, process 2315

6) 确认 daemon 正在使用 zfs 存储驱动。

$ sudo docker info

Containers: 0
Images: 0
Storage Driver: zfs
    Zpool: zpool-docker
    Zpool Health: ONLINE
    Parent Dataset: zpool-docker/docker
    Space Used By Parent: 27648
    Space Available: 4128139776
    Parent Quota: no
    Compression: off
    Execution Driver: native-0.2
[...]

Docker 中的 ZFS 性能

有以下一些因素会影响 zfs 存储驱动在 Docker 中的性能。
●内存。内存对 ZFS 性能影响很大，因为 ZFS 最初被设计成在拥有大量内存的 Sun Solaris 服务器上使用的。
●ZFS 特性。使用 ZFS 特性，如重复删除技术，会增加 ZFS 的内存使用。就内存使用和效率原因而言，建议关闭 FS 的重复删除特性。
●ZFS 缓存。ZFS 将磁盘块缓存在被称作 adaptive replacement cache（ARC）内存结构体中。ZFS 的 ARC 单拷贝特性使得块的单个缓存拷贝可以被多个文件系统的克隆共享，也就是说多个运行着的容器可以共享缓存块的单个拷贝。这意味着对于 PaaS 或其他高密度用例来说，ZFS 是一个不错的选择。
●存储碎片。碎片是诸如 ZFS 这种 copy-on-write 文件系统的副产品。不过，ZFS 写 128K 的块时，会分配 slab（多个 128K 的块）来进行 CoW 操作，从而尝试减少存储碎片。ZFS intent log（ZIL）和 coalescing of writes（delayed writes）也可以帮忙减少碎片。
●使用原生的 Linux ZFS 驱动。虽然 Docker zfs 存储驱动支持 ZFS FUSE 实现，但在高性能场景下不建议使用 ZFS FUSE。原生的 ZFS Linux 驱动有着更好的性能。
●使用 SSD。为了更好的性能，可以使用更快的存储介质（如 SSD）。不过，如果你的 SSD 存储很有限，那么建议你关闭 SSD 上的 ZIL 特性。