阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

TokuDB存储引擎浅析

404次阅读
没有评论

共计 7040 个字符,预计需要花费 18 分钟才能阅读完成。

TokuDB 是 Tokutek 公司开发的基于 ft-index(Fractal Tree Index)键值对的存储引擎。

它使用索引加快查询速度,具有高扩展性,并支持 hot scheme modification,具有以下特点:

1. 插入性能快 20~80 倍;

2. 压缩数据减少存储空间;

3. 数据量可以扩展到几个 TB;

4. 不会产生索引碎片;

5. 支持 hot column addition,hot indexing,mvcc

适用场景:

1. 如果你要存储 blob,不要使用 TokuDB,因为它限制记录不能太大;

2. 如果你的记录数量过亿,使用 TokuDB;

3. 如果你注重 update 的性能,不要使用 TokuDB,它没有 Innodb 快;

4. 如果你要存储旧的记录,使用 TokuDB;

5. 如果你想要缩小数据占用的存储空间,使用 TokuDB;

下面看看 TokuDB 与 InnoDB 的对比情况,

TokuDB 存储引擎浅析

注:上述总结和性能数据来源于淘宝梁智超的《RethinkDB-&-TokuDB 调研测试报告.pptx》

关于 TokuDB 和 InnoDB 性能压测报告,可参考:

https://www.percona.com/blog/2016/02/01/innodb-and-tokudb-on-aws/

以下安装基于 Percona 5.6.31-77.0

安装 libjemalloc 库

该库在 EPEL 中有提供

# wget http://dl.Fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm

# rpm -ivh epel-release-latest-6.noarch.rpm 

# yum install jemalloc -y

 

通过 yum 安装,生成的库文件为 /usr/lib64/libjemalloc.so.1

TokuDB 存储引擎浅析
[root@localhost ~]# rpm -qa |grep jemalloc
jemalloc-3.6.0-1.el6.x86_64
[root@localhost ~]# rpm -ql jemalloc-3.6.0-1.el6.x86_64
/usr/bin/jemalloc.sh
/usr/lib64/libjemalloc.so.1
/usr/share/doc/jemalloc-3.6.0
/usr/share/doc/jemalloc-3.6.0/COPYING
/usr/share/doc/jemalloc-3.6.0/README
/usr/share/doc/jemalloc-3.6.0/VERSION
/usr/share/doc/jemalloc-3.6.0/jemalloc.html 

修改配置文件 my.cnf

在 [mysqld_safe] 下设置 malloc-lib 变量

malloc-lib=/usr/lib64/libjemalloc.so.1

重启 mysqld_safe 进程

启动过程中,会输出以下信息:

160810 20:11:46 mysqld_safe Adding '/usr/lib64/libjemalloc.so.1' to LD_PRELOAD for mysqld

如果不安装该库的话,则在加载 TokuDB 插件时会报如下错误:

mysql> INSTALL PLUGIN tokudb SONAME 'ha_tokudb.so';
2016-08-10 16:25:02 1861 [ERROR] TokuDB is not initialized because jemalloc is not loaded
2016-08-10 16:25:02 1861 [ERROR] Plugin 'TokuDB' init function returned error.
2016-08-10 16:25:02 1861 [ERROR] Plugin 'TokuDB' registration as a STORAGE ENGINE failed.
2016-08-10 16:25:02 1861 [Note] Shutting down plugin 'TokuDB'
ERROR 1123 (HY000): Can't initialize function 'tokudb'; Plugin initialization function failed.

禁用 Transparent huge pages

查看当前内核是否已启用 Transparent huge pages

# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never

always 代表已启用

如何禁用呢?

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

如果没有禁用的话,在后续安装插件的时候会报错:

mysql> INSTALL PLUGIN tokudb SONAME 'ha_tokudb.so';
ERROR 1123 (HY000): Can't initialize function 'tokudb'; Plugin initialization function failed.

并且,错误日志中打印如下信息:

2016-08-10 20:47:51 4764 [ERROR] TokuDB: Huge pages are enabled, disable them before continuing

2016-08-10 20:47:51 4764 [ERROR] ************************************************************
2016-08-10 20:47:51 4764 [ERROR]                                                             
2016-08-10 20:47:51 4764 [ERROR]                         @@@@@@@@@@@                         
2016-08-10 20:47:51 4764 [ERROR]                       @@'         '@@                       
2016-08-10 20:47:51 4764 [ERROR]                      @@    _     _  @@                      
2016-08-10 20:47:51 4764 [ERROR]                      |    (.)   (.)  |                      
2016-08-10 20:47:51 4764 [ERROR]                      |    (.)   (.)  |                      
2016-08-10 20:47:51 4764 [ERROR]                      |             ` |                      
2016-08-10 20:47:51 4764 [ERROR]                      |        >    ' |                      
2016-08-10 20:47:51 4764 [ERROR]                      |     .----.    |                      
2016-08-10 20:47:51 4764 [ERROR]                      ..   |.----.|  ..                      
2016-08-10 20:47:51 4764 [ERROR]                       ..  '      ' ..                       
2016-08-10 20:47:51 4764 [ERROR]                         .._______,.                         
2016-08-10 20:47:51 4764 [ERROR]                                                             
2016-08-10 20:47:51 4764 [ERROR] TokuDB will not run with transparent huge pages enabled.        
2016-08-10 20:47:51 4764 [ERROR] Please disable them to continue.                            
2016-08-10 20:47:51 4764 [ERROR] (echo never > /sys/kernel/mm/transparent_hugepage/enabled)  
2016-08-10 20:47:51 4764 [ERROR]                                                             
2016-08-10 20:47:51 4764 [ERROR] ************************************************************
2016-08-10 20:47:51 4764 [ERROR] Plugin 'TokuDB' init function returned error.
2016-08-10 20:47:51 4764 [ERROR] Plugin 'TokuDB' registration as a STORAGE ENGINE failed.
2016-08-10 20:47:51 4764 [Note] Shutting down plugin 'TokuDB'

启用 TokuDB

Percona 是 5.6.17-66.0 将 TokuDB 插件引入到自己的二进制版本中,5.6.19-67.0 起才能作为 GA 版本使用。5.6.22-72.0 起开发了一个脚本 ps_tokudb_admin 来简化 TokuDB 的安装工作。

首先,来看看 TokuDB 如何手动安装

主要是加载插件,TokuDB 插件名为 ha_tokudb.so,默认放到 plugin_dir 下。

登录 mysql 客户端,执行如下命令

INSTALL PLUGIN tokudb SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_file_map SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_fractal_tree_info SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_fractal_tree_block_map SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_trx SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_locks SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_lock_waits SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_background_job_status SONAME 'ha_tokudb.so'

查看插件是否加载成功

mysql> show engines;

| TokuDB             | YES     | Percona TokuDB Storage Engine with Fractal Tree(tm) Technology             | YES          | YES  | YES        |

mysql> show plugins;

 
| TokuDB                        | ACTIVE   | STORAGE ENGINE     | ha_tokudb.so | GPL     |
| TokuDB_file_map               | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_fractal_tree_info      | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_fractal_tree_block_map | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_trx                    | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_locks                  | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_lock_waits             | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_background_job_status  | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
TokuDB 存储引擎浅析

 

创建一张表,测试一下

mysql> create table test.test(id int) engine=tokudb;
Query OK, 0 rows affected (0.23 sec)

至此,TokuDB 手动安装完毕~

 

脚本安装

其实,Percona 官方在 5.6.22-72.0 版本中提供了一个脚本,可用于自动安装 TokuDB 插件,涉及的操作包括禁用透明大页,加载插件。

该脚本在二进制包的 bin 目录下。

TokuDB 存储引擎浅析
[root@localhost bin]# ./ps_tokudb_admin --help
This script is used for installing and uninstalling TokuDB plugin for Percona Server 5.6.
It can also be used to install or uninstall the Percona TokuBackup plugin (requires mysql server restart).
If transparent huge pages are enabled on the system it adds thp-setting=never option to my.cnf
to disable it on runtime.

Valid options are:
  --user=user_name, -u user_name     mysql admin username
  --password[=password], -p

  此处含有隐藏内容,需要正确输入密码后可见!

mysql admin password (on empty will prompt to enter)
--socket=path, -S path the socket file to use for connection --host=host_name, -h host_name connect to given host --port=port_num, -P port_num port number to use for connection --defaults-file=file specify defaults file instead of guessing --enable, -e enable TokuDB plugin and disable transparent huge pages in my.cnf --enable-backup, -b enable Percona TokuBackup and add preload-hotbackup option to my.cnf (this option includes --enable option) --disable, d disable TokuDB plugin and remove thp-setting=never option in my.cnf (this option includes --disable-backup option) --disable-backup, r disable Percona TokuBackup and remove preload-hotbackup option in my.cnf --help show this help For TokuDB requirements and manual steps for installation please visit this webpage: http://www.percona.com/doc/percona-server/5.6/tokudb/tokudb_installation.html

该脚本是用 shell 写的,参数也比较简单,其中,–enable-backup 还包括安装 TokuDB 在线热备插件。

脚本安装过程如下

./ps_tokudb_admin --enable --host=127.0.0.1 --port=3307 --user=root -p
Enter password:
Continuing without password...


Checking SELinux status...
INFO: SELinux is disabled.

Checking if Percona Server is running with jemalloc enabled...
INFO: Percona Server is running with jemalloc enabled.

Checking transparent huge pages status on the system...
INFO: Transparent huge pages are currently disabled on the system.

Checking if thp-setting=never option is already set in config file...
INFO: Option thp-setting=never is set in the config file.

Checking TokuDB engine plugin status...
INFO: TokuDB engine plugin is installed. 

总结

TokuDB 最新版本是 7.5.7,实际上现在是以插件的形式包含在 Percona 二进制发行版中。但该插件并不能直接在 MySQL 社区版中使用。

TokuDB 基于 MySQL 5.5.30 源码,重新打包了个二进制版本,mysql-5.5.30-tokudb-7.1.0-linux-x86_64.tar.gz,基于 TokuDB 7.1.0。

但也仅限如此,MySQL 5.6 和 5.7 的社区版中并不能直接使用 TokuDB 插件。

以后若要使用较新版本的 MySQL 和 TokuDB,只能使用 Percona 版本的。

下面是官档中的说明

Please note that Tokutek made some changes to the MySQL source that are required to either fix bugs or aid in performance, so if you are compiling from source you must use the Tokutek version of MySQL that is based on the MySQL 5.5.30 source.

 本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-08/134345.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-22发表,共计7040字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19348
评论数
4
阅读量
7802670
文章搜索
热门文章
开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南 大家好,我是星哥。之前介绍了腾讯云的 Code...
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板 1Panel:小白轻松构建 Web 服务与面板加固指南 哈喽,我是星哥,经常有人问我不...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
每年0.99刀,拿下你的第一个顶级域名,详细注册使用

每年0.99刀,拿下你的第一个顶级域名,详细注册使用

每年 0.99 刀,拿下你的第一个顶级域名,详细注册使用 前言 作为长期折腾云服务、域名建站的老玩家,星哥一直...
150元打造低成本NAS小钢炮,捡一块3865U工控板

150元打造低成本NAS小钢炮,捡一块3865U工控板

150 元打造低成本 NAS 小钢炮,捡一块 3865U 工控板 一块二手的熊猫 B3 工控板 3865U,搭...
星哥带你玩飞牛NAS-1:安装飞牛NAS

星哥带你玩飞牛NAS-1:安装飞牛NAS

星哥带你玩飞牛 NAS-1:安装飞牛 NAS 前言 在家庭和小型工作室场景中,NAS(Network Atta...
飞牛NAS玩转Frpc并且配置,随时随地直连你的私有云

飞牛NAS玩转Frpc并且配置,随时随地直连你的私有云

飞牛 NAS 玩转 Frpc 并且配置,随时随地直连你的私有云 大家好,我是星哥,最近在玩飞牛 NAS。 在数...
星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

  星哥带你玩飞牛 NAS-16:飞牛云 NAS 换桌面,fndesk 图标管理神器上线! 引言 哈...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare 也瘫了连监控都挂,根因藏在哪? 最近两天的互联网堪称“故障...
星哥带你玩飞牛NAS硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话?

星哥带你玩飞牛NAS硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话?

星哥带你玩飞牛 NAS 硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话? 前言 在选择 NAS 用预...
Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集 在云原生体系中,Prometheus 已成为最主流的监控与报警...
星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛 NAS 硬件 02:某鱼 6 张左右就可拿下 5 盘位的飞牛圣体 NAS 前言 大家好,我是星...
如何免费使用强大的Nano Banana Pro?附赠邪修的用法

如何免费使用强大的Nano Banana Pro?附赠邪修的用法

如何免费使用强大的 Nano Banana Pro?附赠邪修的用法 前言 大家好,我是星哥,今天来介绍谷歌的 ...