Linux的磁盘缓存和刷脏页

共计 2745 个字符，预计需要花费 7 分钟才能阅读完成。

我们讨论了 Linux 客户机上的内存如何用于操作系统本身（内核，缓冲区等），应用程序以及文件缓存。文件缓存是一项重要的性能改进，在大多数情况下，读取缓存是一个明显的胜利，与直接使用 RAM 的应用程序相比，这是平衡的。写入缓存更棘手。Linux 内核将磁盘写入暂存到缓存中，并随着时间的推移将它们异步刷新到磁盘。这在加速磁盘 I/O 方面有很好的效果，但存在风险。当数据未写入磁盘时，丢失数据的可能性会增加。也有可能大量 I/O 也会使缓存不堪重负。是否曾经一次将大量数据写入磁盘，并在尝试处理所有这些数据时看到系统上出现大量暂停？这些暂停是缓存决定有太多数据要异步写入（作为非阻塞后台操作，让应用程序进程继续）并切换到同步写入（阻塞并使进程等待 I/O 提交到磁盘）的结果。当然，文件系统还必须保留写入顺序，因此当它开始同步写入时，它首先必须转储缓存。因此长时间停顿。好消息是，这些都是可控的选项，根据您的工作负载和数据，您可以决定如何设置它们。一起来看看：

$ sysctl -a | grep dirty
vm.dirty_background_ratio = 10
vm.dirty_background_bytes = 0
vm.dirty_ratio = 20
vm.dirty_bytes = 0
vm.dirty_writeback_centisecs = 500
vm.dirty_expire_centisecs = 3000

​vm.dirty_background_ratio 是在 pdflush/flush/kdmflush 后台进程启动将其写入磁盘之前，可以用“脏”页（仍需要写入磁盘的内存页）填充的空闲内存和缓存和的百分比。我的例子是 10%，所以如果我的虚拟服务器有 32 GB 的内存，那就是 3.2 GB 的数据，可以在完成某些操作之前驻留在 RAM 中。vm.dirty_ratio 是在必须将所有内容提交到磁盘之前可以用脏页填充的绝对最大系统内存量。当系统到达此时，所有新的 I/O 块，直到脏页已写入磁盘。这通常是长时间 I/O 暂停的根源，但可以防止在内存中不安全地缓存过多数据。vm.dirty_background_bytes 和 vm.dirty_bytes 是指定这些参数的另一种方法。如果设置_bytes 版本，则_ratio 版本将变为 0，反之亦然。vm.dirty_expire_centisecs 是某些内容在需要写入之前可以在缓存中存在多长时间。在本例中为 30 秒。当 pdflush/flush/kdmflush 进程启动时，它们将检查脏页的年龄，如果它早于此值，它将异步写入磁盘。由于在内存中保存脏页是不安全的，这也是防止数据丢失的一种保护措施。vm.dirty_writeback_centisecs 是 pdflush/flush/kdmflush 进程唤醒并检查是否需要完成工作的频率。​您还可以在 /proc/vmstat 中查看有关页面缓存的统计信息：

$ cat /proc/vmstat | egrep "dirty|writeback"
nr_dirty 878
nr_writeback 0
nr_writeback_temp 0

就我而言，我有 878 个脏页等待写入磁盘。方法 1：减少缓存与计算机世界中的大多数事情一样，如何调整这些取决于您要做什么。在许多情况下，我们有快速磁盘子系统，它们有自己的大型电池备份 NVRAM 缓存，因此将内容保留在操作系统页面缓存中是有风险的。让我们尝试更及时地将 I/O 发送到阵列，并减少我们的本地操作系统（借用服务行业的一句话）“陷入困境”的可能性。为此，我们通过向 /etc/sysctl.conf 添加新数字并使用“sysctl –p”重新加载来降低 vm.dirty_background_ratio 和 vm.dirty_ratio：

vm.dirty_background_ratio = 5
vm.dirty_ratio = 10

这是虚拟机以及基于 Linux 的虚拟机管理程序的典型方法。我不建议将这些参数设置为零，因为某些后台 I/O 可以将应用程序性能与磁盘阵列和 SAN 上短时间的高延迟（“峰值”）分离。方法 2：增加缓存在某些情况下，显著提高缓存会对性能产生积极影响。在这些情况下，Linux 来宾上包含的数据并不重要并且可能会丢失，并且通常是应用程序重复或以可重复的突发方式写入相同的文件。从理论上讲，通过允许内存中存在更多的脏页，您将在缓存中一遍又一遍地重写相同的块，并且只需要每隔一段时间对实际磁盘进行一次写入。为此，我们提高了参数：

vm.dirty_background_ratio = 50
vm.dirty_ratio = 80

vm.dirty_background_ratio = 5
vm.dirty_ratio = 80

阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年，有高配

腾讯云新客低至 82 元 / 年，老客户 99 元 / 年

代金券：在阿里云专用满减优惠券