Mydumper介绍

Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。开发人员主要来自MySQL,Facebook,SkySQL公司。目前已经在一些线上使用了Mydumper。

Mydumper主要特性:

  • 轻量级C语言写的
  • 执行速度比mysqldump快10倍
  • 事务性和非事务性表一致的快照(适用于0.2.2以上版本)
  • 快速的文件压缩
  • 支持导出binlog
  • 多线程恢复(适用于0.2.1以上版本)
  • 以守护进程的工作方式,定时快照和连续二进制日志(适用于0.5.0以上版本)
  • 开源 (GNU GPLv3)

Mydumper安装

 
1
2
3
4
5
6
# yum install glib2-devel mysql-devel zlib-devel pcre-devel
# wget http://launchpad.net/mydumper/0.5/0.5.1/+download/mydumper-0.5.1.tar.gz
# tar zxvf mydumper-0.5.1.tar.gz -C ../software/
# cmake .
# make
# make install

mydumper参数介绍:

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
-B, --database 需要备份的库
 
-T, --tables-list 需要备份的表,用,分隔
 
-o, --outputdir 输出目录
 
-s, --statement-size Attempted size of INSERT statement in bytes, default 1000000
 
-r, --rows 试图分裂成很多行块表
 
-c, --compress 压缩输出文件
 
-e, --build-empty-files 即使表没有数据,还是产生一个空文件
 
-x, --regex 支持正则表达式
 
-i, --ignore-engines 忽略的存储引擎,用,分隔
 
-m, --no-schemas 不导出表结构
 
-k, --no-locks 不执行临时共享读锁 警告:这将导致不一致的备份
 
-l, --long-query-guard 长查询,默认60s
 
--kill-long-queries kill掉长时间执行的查询(instead of aborting)
 
-b, --binlogs 导出binlog
 
-D, --daemon 启用守护进程模式
 
-I, --snapshot-interval dump快照间隔时间,默认60s,需要在daemon模式下
 
-L, --logfile 日志文件
 
-h, --host
 
-u, --user
 
-p, --password
 
-P, --port
 
-S, --socket
 
-t, --threads 使用的线程数,默认4
 
-C, --compress-protocol 在mysql连接上使用压缩
 
-V, --version
 
-v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
 
myloader参数介绍:
 
-d, --directory 导入备份目录
 
-q, --queries-per-transaction 每次执行的查询数量, 默认1000
 
-o, --overwrite-tables 如果表存在删除表
 
-B, --database 需要还原的库
 
-e, --enable-binlog 启用二进制恢复数据
 
-h, --host
 
-u, --user
 
-p, --password
 
-P, --port
 
-S, --socket
 
-t, --threads 使用的线程数量,默认4
 
-C, --compress-protocol 连接上使用压缩
 
-V, --version
 
-v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
 
mydumper输出文件:
 
1
2
3
4
5
6
7
metadata:元数据 记录备份开始和结束时间,以及binlog日志文件位置。
table data:每个表一个文件
table schemas:表结构文件
binary logs: 启用--binlogs选项后,二进制文件存放在binlog_snapshot目录下
daemon mode:在这个模式下,有五个目录0,1,binlogs,binlog_snapshot,last_dump。
备份目录是0和1,间隔备份,如果mydumper因某种原因失败而仍然有一个好的快照,
当快照完成后,last_dump指向该备份。

mydumper用例

 
1
2
3
4
5
6
7
8
9
10
11
# mydumper -B ttlsa_com -o /home/data/bak -b
# ls
binlog_snapshot metadata ttlsa_com.my_area-schema.sql ttlsa_com.my_area.sql
# cat metadata
Started dump at: 2012-02-20 11:40:21
SHOW MASTER STATUS:
Log: mysqld-bin.000001
Pos: 191363
Finished dump at: 2012-02-20 11:40:22
# mydumper -B ttlsa_com -o /home/data/bak -b -D --snapshot-interval=30
# myloader -d /home/data/bak/last_dump -o -B ttlsa_com //还原
04-13 23:03