InnoDB启用大内存页

435次阅读

共计 5660 个字符，预计需要花费 15 分钟才能阅读完成。

在 Linux 操作系统上运行内存需求量较大的应用程序时，由于其采用的默认页面大小为 4KB，因而将会产生较多 TLB Miss 和缺页中断，从而大大影响应用程序的性能。当操作系统以 2MB 甚至更大作为分页的单位时，将会大大减少 TLB Miss 和缺页中断的数量，显著提高应用程序的性能。这也正是 Linux 内核引入大页面支持的直接原因。好处是很明显的，假设应用程序需要 2MB 的内存，如果操作系统以 4KB 作为分页的单位，则需要 512 个页面，进而在 TLB 中需要 512 个表项，同时也需要 512 个页表项，操作系统需要经历至少 512 次 TLB Miss 和 512 次缺页中断才能将 2MB 应用程序空间全部映射到物理内存；然而，当操作系统采用 2MB 作为分页的基本单位时，只需要一次 TLB Miss 和一次缺页中断，就可以为 2MB 的应用程序空间建立虚实映射，并在运行过程中无需再经历 TLB Miss 和缺页中断（假设未发生 TLB 项替换和 Swap）。

为了能以最小的代价实现大页面支持，Linux 操作系统采用了基于 hugetlbfs 特殊文件系统 2M 字节大页面支持。这种采用特殊文件系统形式支持大页面的方式，使得应用程序可以根据需要灵活地选择虚存页面大小，而不会被强制使用 2MB 大页面。

在 mysql 中，innodb 可以使用 large pages 来分配 buffer pool 跟 additional memory pool.
下面来看下 mysql 使用 large pages 具体的实现方法

1：查看系统是否支持 huge-pages

[root@localhost ~]# cat /proc/meminfo | grep -i huge
AnonHugePages:  47708160 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
[root@localhost ~]#

Hugepagesize 有值，说明系统支持 large pages（如不支持，系统需要重新编译来支持）

2. 修改预分配的 hugepages 大小

[root@localhost ~]# sysctl -w vm.nr_hugepages=512
vm.nr_hugepages = 512
[root@localhost ~]#

[root@localhost ~]# cat /proc/meminfo | grep -i huge
AnonHugePages:     79872 kB
HugePages_Total:     512
HugePages_Free:      505
HugePages_Rsvd:      229
HugePages_Surp:        0
Hugepagesize:       2048 kB
[root@localhost ~]#

3. 查看 mysql 用户的组信息

[root@localhost ~]# id mysql
uid=500(mysql) gid=501(mysql) groups=501(mysql)
[root@localhost ~]#

4. 配置使用大页内存的用户组

[root@localhost ~]# sysctl -w  vm.hugetlb_shm_group=501
vm.hugetlb_shm_group = 501
[root@localhost ~]#

5. 修改 ulimit

vim /etc/security/limits.conf
@mysql soft memlock unlimited
@mysql hard memlock unlimited

6. 修改 /etc/sysconfig.conf

# Increase the amount of shmem allowed per segment
# This depends upon your memory, remember your
kernel.shmmax = 68719476736
# Increase total amount of shared memory.
kernel.shmall = 4294967296

shmmax 是最大的共享内存段的大小，单位是字节，默认 32M，肯定是不够的，这个应该比 innodb_buffer_pool 要大。shmall 是共享内存的总大小，单位是页，默认 2097152（8G）。可以使用 sysctl - w 或者在 /etc/sysctl.conf 中设置。

sysctl - p 使其设置生效。

7. 修改 my.cnf

[mysqld]
large-pages

8. 重启 mysql

[root@localhost mysql]# /etc/init.d/mysqld restart
Shutting down MySQL.                                       [OK]
Starting MySQL....                                         [OK]
[root@localhost mysql]# cat localhost.localdomain.err 
140320 15:18:12 [Note] /usr/local/mysql/bin/mysqld: Normal shutdown

140320 15:18:12 [Note] Event Scheduler: Purging the queue. 0 events
140320 15:18:12  InnoDB: Starting shutdown...
140320 15:18:12  InnoDB: Shutdown completed; log sequence number 3629001490
140320 15:18:12 [Note] /usr/local/mysql/bin/mysqld: Shutdown complete

140320 15:18:12 mysqld_safe mysqld from pid file /data/mysql/localhost.localdomain.pid ended
140320 15:18:13 mysqld_safe Starting mysqld daemon with databases from /data/mysql
140320 15:18:13 InnoDB: The InnoDB memory heap is disabled
140320 15:18:13 InnoDB: Mutexes and rw_locks use GCC atomic builtins
140320 15:18:13 InnoDB: Compressed tables use zlib 1.2.3
140320 15:18:13 InnoDB: Initializing buffer pool, size = 256.0M
140320 15:18:13 InnoDB: Completed initialization of buffer pool
140320 15:18:13 InnoDB: highest supported file format is Barracuda.
140320 15:18:15  InnoDB: Waiting for the background threads to start
140320 15:18:16 InnoDB: 1.1.8 started; log sequence number 3629001490
140320 15:18:16 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306
140320 15:18:16 [Note]   - '0.0.0.0' resolves to '0.0.0.0';
140320 15:18:16 [Note] Server socket created on IP: '0.0.0.0'.
140320 15:18:16 [Note] Event Scheduler: Loaded 0 events
140320 15:18:16 [Note] /usr/local/mysql/bin/mysqld: ready for connections.
Version: '5.5.25a-log'  socket: '/tmp/mysqld.sock'  port: 3306  Source distribution

可以看见没有报错，假如我们调小 nr_hugepages 为 200 看看

[root@localhost mysql]# sysctl -w vm.nr_hugepages=200
vm.nr_hugepages = 200
[root@localhost mysql]# /etc/init.d/mysqld restart
Shutting down MySQL.                                       [OK]
Starting MySQL...                                          [OK]
[root@localhost mysql]# cat localhost.localdomain.err 
140320 15:20:08 [Note] /usr/local/mysql/bin/mysqld: Normal shutdown

140320 15:20:08 [Note] Event Scheduler: Purging the queue. 0 events
140320 15:20:08  InnoDB: Starting shutdown...
140320 15:20:08  InnoDB: Shutdown completed; log sequence number 3629001490
140320 15:20:08 [Note] /usr/local/mysql/bin/mysqld: Shutdown complete

140320 15:20:08 mysqld_safe mysqld from pid file /data/mysql/localhost.localdomain.pid ended
140320 15:20:09 mysqld_safe Starting mysqld daemon with databases from /data/mysql
140320 15:20:09 InnoDB: The InnoDB memory heap is disabled
140320 15:20:09 InnoDB: Mutexes and rw_locks use GCC atomic builtins
140320 15:20:09 InnoDB: Compressed tables use zlib 1.2.3
140320 15:20:09 InnoDB: Initializing buffer pool, size = 256.0M
InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool
140320 15:20:09 InnoDB: Completed initialization of buffer pool
140320 15:20:09 InnoDB: highest supported file format is Barracuda.
140320 15:20:11  InnoDB: Waiting for the background threads to start
140320 15:20:12 InnoDB: 1.1.8 started; log sequence number 3629001490
140320 15:20:12 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306
140320 15:20:12 [Note]   - '0.0.0.0' resolves to '0.0.0.0';
140320 15:20:12 [Note] Server socket created on IP: '0.0.0.0'.
140320 15:20:12 [Note] Event Scheduler: Loaded 0 events
140320 15:20:12 [Note] /usr/local/mysql/bin/mysqld: ready for connections.
Version: '5.5.25a-log'  socket: '/tmp/mysqld.sock'  port: 3306  Source distribution
[root@localhost mysql]#

上面出现了如下警告:

InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool

因为 hugepage 分配内存的时候，是一次性、且独占的, 一次性指在 mysqld 起来的时候，所有 buffer pool 需要的内存总和一次性的被分配，而且这些分配的内存不能被其他进程占用。所以就是一次性且独占。而当 buffer pool 所需要的内存被一次性的分配了之后，那么必然就不会使用 swap 了。
using conventional memory pool 是什么意思呢？因为你的 hugepage 内存不够你的 buffer pool 大小，所以就用常规内存了。

开启大页内存的好处：

1. 减少内存置换

2. 减少 TLB miss 次数

3. 减少 swap

在启动 mysql 的时候，最容易报的错误是：

InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool

这是由于上面配置的两点所致。
1）nr_hugepages 的值 *2M 应大于（innodb_buffer_pool_size+innodb_additional_mem_pool_size）因为以上谈到 innodb 可以使用 large pages 来分配 buffer pool 跟 additional memory pool.
2）memlock 的设置，在启动 mysql 时，一定要先查看用 ulimit -a 来查看 max locked memory 设置是否合理，可以尝试用以上两种方法来设置该值。还有一点，/etc/security/limits.conf 配置文件的修改.

本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2016-12/138159.htm

正文完

星哥玩云-微信公众号