Redis中的压缩列表详解

408次阅读

共计 3640 个字符，预计需要花费 10 分钟才能阅读完成。

压缩列表 (ziplist) 是列表键和哈希键的底层实现之一。当一个列表键只包含少量列表项，并且每个列表项要么就是小整数值，要么就是长度比较短的字符串，那么 Redis 就会使用压缩列表来做列表键的底层实现。

例如，执行以下命令将创建一个压缩列表实现的列表键：

127.0.0.1:6379> RPUSH 1st 1 3 5 10086 "hello" "world"
(integer) 6
127.0.0.1:6379> OBJECT ENCODING 1st
"ziplist"

列表键里包含的都是 1、3、5、10086 这样的小整数值，以及 hello、world 这样的短字符串。

另外，当一个哈希键只包含少量键值对，并且每个键值对的键和值要么就是小整数值，要么就是长度比较短的字符串，那么 Redis 就会使用压缩列表来作为哈希键的底层实现。

举个例子，执行以下命令将创建一个压缩列表实现的哈希键：

127.0.0.1:6379> HMSET profile name Jack age 28 job Programmer
OK
127.0.0.1:6379> OBJECT ENCODING profile
"ziplist"

哈希键里面包含的所有键和值都是小整数值或者短字符串。

压缩列表的构成

压缩列表是 Redis 为了节约内存而开发的，是由一系列特殊编码的连续内存块组成的顺序型 (sequential) 数据结构。一个压缩列表可以包含任意多个节点(entry)，每个节点可以保存一个字节数组或者一个整数值。

下图展示了压缩列表的各个组成部分：

Redis 中的压缩列表详解

下表则记录了各个组成部分的类型、长度以及用途：

Redis 中的压缩列表详解

观察下面给出的压缩列表示例：

Redis 中的压缩列表详解

列表 zlbytes 属性的值为 0x50(十进制 80)，表示压缩列表的总长为 80 字节。
列表 zltail 属性的值为 0x3c(十进制 60)，这表示如果我们有一个指向压缩列表起始地址的指针 p，那么只要用指针 p 加上偏移量 60，就可以计算出表尾节点 entry3 的地址。
列表 zllen 属性的值为 0x3(十进制 3)，表示压缩列表包含三个节点。

再观察另一个压缩列表示例：

Redis 中的压缩列表详解

列表 zlbytes 属性的值为 0xd2(十进制 210)，表示压缩列表的总长为 210 字节。
列表 zltail 属性的值为 0xb3(十进制 179)，这表示如果我们有一个指向压缩列表起始地址的指针 p，那么只要用指针 p 加上偏移量 179，就可以计算出表尾节点 entry5 的地址。
列表 zllen 属性的值为 0x5(十进制 5)，表示压缩列表包含五个节点。

压缩列表节点的构成

每个压缩列表节点可以保存一个字节数组或者一个整数值，其中，字节数组可以是以下长度的其中一种：

长度小于等于 63(2^6 – 1)字节的字节数组；
长度小于等于 16383(2^14 – 1)字节的字节数组；
长度小于等于 4294967295(2^32 – 1)字节的字节数组；

而整数值则可以是以下六种长度的其中一种：

4 位长，介于 0 至 12 之间的无符号整数；
1 字节长的有符号；
3 字节长的有符号整数；
int16_t 类型整数；
int32_t 类型整数；
int64_t 类型整数。

每个压缩列表节点都由 previous_entry_length、encoding、content 三个部分组成：

Redis 中的压缩列表详解

previous_entry_length

节点的 previous_entry_length 属性以字节为单位，记录了压缩列表中前一个节点的长度。previous_entry_length 属性的长度可以是 1 字节或者 5 字节：

如果前一节点的长度小于 254 字节，那么 previous_entry_length 属性的长度为 1 字节：前一节点的长度就保存在这一个字节里面。
如果前一节点的长度大于等于 254 字节，那么 previous_entry_length 属性的长度为 5 字节：其中属性的第一字节会被设置为 0xFE(十进制 254)，而之后的四个字节则用于保存前一节点的长度。

下图展示了一个包含一字节长 previous_entry_length 属性的压缩列表节点，属性值为 0x05，表示前一节点的长度为 5 字节。

Redis 中的压缩列表详解

下图展示了一个包含五字节长 previous_entry_length 属性的压缩节点，属性的值为 0xFE00002766，其中值的最高位字节 0xFE 表示这是一个五字节长的 previous_entry_length 属性，而之后的四字节 0x00002766(十进制 10086)才是前一字节的实际长度。

Redis 中的压缩列表详解

因为节点的 previous_entry_length 属性记录了前一个节点的长度，所以程序可以通过指针运算，根据当前节点的起始地址来计算出前一节点的起始地址。

举个例子，如果我们有一个指向当前节点起始地址的指针 c，那么我们只要用指针 c 减去当前节点 previous_entry_length 属性的值，就可以得出一个指向前一个节点起始地址的指针 p，如下图所示：

Redis 中的压缩列表详解

压缩列表的从表尾向表头遍历操作就是使用这一原理实现的，只要我们拥有一个指向某个节点起始地址的指针，那么通过这个指针以及这个节点的 previous_entry_length 属性，程序就可以一直向前一个节点回溯，最终到达压缩列表的表头节点。

encoding

节点的 encoding 属性记录了节点的 content 属性所保存数据的类型以及长度：

一字节、两字节或者五字节长，值的最高位为 00、01 或者 10 的是字节数组编码：这种编码表示节点的 content 属性保存着字节数组，数组的长度由编码除去最高两位之后的其他位记录；
一字节长，值的最高位以 11 开头的是整数编码：这种编码表示节点的 content 属性保存着整数值，整数值的类型和长度由编码除去最高两位之后的其他位记录；

下表记录了所有可用的字节数组编码，表格中的下划线表示留空，而 b、x 等变量则代表实际的二进制数据，为了方便阅读，多个字节之间用空格隔开：

Redis 中的压缩列表详解

下表记录了所有可用的整数编码：

Redis 中的压缩列表详解