数据分片
相关概念
分库分表
分片：存在一台数据库的服务器中的数据．特定方式拆分．分散存放在多台数据库服务中，达到单台服务器负载的效果．
垂直分割
纵向切分：按业务类型
什么是垂直分割?
• 纵向切分
– 把单一的表,拆分成多个表,并分散到不同的数据库 ( 主机 ) 上。
– 一个数据库由多个表构成,每个表对应不同的业务, 可以按照业务对表进行分类,将其分
布到不同的数据 库 ( 主机 ) 上,实现专库专用,让不同的库 ( 主机 ) 分 担不同的业务。
服务器
Taobaodb a 服务器
注册表b服务器
店铺表c服务器
商品表d服务器
销售表e
库存表f
水平分割
什么是水平分割?
• 横向切分
– 按照表中某个字段的某种规则,把向表中写入的记录 分散到多个库 ( 主机 ) 中。 –
简单来说,就是按照数据行切分,将表中的某些行存储到指定的数据库 ( 主机 ) 中
横向切分－指定字段分片．取余数０１２３
Mycat 基于java 的分布式数据库系统中间件 －为高并发环境的分布式存储提供解决方案
１适合大量数据存入
２支持mysql oracle sqlserver mongodb
３支持读写分离
４提供服务数据分片
５实现数据库服务高可用
６alibabacobar 开源
分片规则
１枚举＼
２固定分片
３范围约定
４求模
５日期列
６通配取模
７ASCII求摸通配
8字符串拆分
９编程指定
１０一致性hash
mycat 服务提供 10 种分片规则。
– 1 枚举法 sharding-by-intfile
– 2 固定分片 rule1
– 3 范围约定 auto-sharding-long
– 4 求模法 mod-long
– 5 日期列分区法 sharding-by-date
– 6 通配取模 sharding-by-pattern
– 7ASCII 码求模通配 sharding-by-prefixpattern
– 8 编程指定 sharding-by-substring
– 9 字符串拆分hash解析 sharding-by-stringhash
– 10 一致性hash sharding-by-murmur
.mycat 工作工程?
当 Mycat 收到一个 SQL 时
– 会先解析这个 SQL 查找涉及到的表,然后看此表的定 义
– 如果有分片规则,则获取到 SQL 里分片字段的值,并 匹配分片函数,得到该 QL 对应的分片列表
– 然后将 SQL 发往这些分片去执行,最后收集和处理所 有分片返回的结果数据,并输出到客户端
环境部署
1装包
yum -y install java-1.8.0-openjdk
Which java
java -version
tar -xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
mv mycat /usr/local/ －此处和tomcat装包一样
ls /usr/local/
２配置文件
Bin - mycat 命令
Catlet -扩展功能软件
Conf -配置文件 .xml mycat 配置文件
（1）Server.xml 用户名\密码\逻辑库名（information schema ）
（2）Schema.xml 配置数据分片
（3）Rule.xml 分片规则
（4）*.txt函数调用文件
Lib -mycat 使用的jar 包
Logs -启动日志和运行日志
Wrapper -启动日志
Mycat.log -执行后报错内容
（１） server .xml (默认不动)配置mycat 服务
＜user＞
（２）配置数据分片
Schema.xml
cp //usr/local/mycat/conf/schema.xml /root/
vim /usr/local/mycat/conf/schema.xml
sed -i ‘56,77d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘16,18d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘36,39d’ /usr/local/mycat/conf/schema.xml
Vim
— 定义分片信息
所有虚拟表最后都加上dn3
指定数据库主机名
数据节点
指定主机名ip地址 （用户名密码）
select user()
(3)Rule.xml
分片规则
3配置数据库服务器
（１）创建存储数据的库＼
53 :Db1 54:db2 55:db3
（２）授权mycat 连接用用户admin
4 启动mycat 服务
Cd /usr/local/mycat/bin
/usr/local/mycat/bin/mycat start|status|dump|stop|
Ss -antulp | grep :8066端口号 mycat
ps -C java
PID TTY TIME CMD
1586 ? 00:00:47 java
5客户端链接
１连接
２选择表
３建表
４插入记录
Mysql -h -P8066 -u -p
Show databases;
Show tables
Desc hotnews
二分片规则
枚举法（sharding-by-intfile）
求魔法(mod-long)
1
枚举法
字段值必须在列举范围内选择
Schama.xml
Rule.xml
<function name=“hash-int” －枚举算法
class=“io.mycat.route.function.PartitionByFileMap”>
partition-hash-int.txt －修改算法规则
Vim /usr/local/mycat/conf/partion-hash-int.txt
cat partition-hash-int.txt
10000=0
10010=1
10020=2
(1)根据sharding-by-intfile建表
(2)Use testdb
mysql> create table employee (
-> id int primary key auto_increment,
-> sharding_id int,
-> name char(15) ,tal char(11)
-> );
51 desc db1.employee;
52 desc db2.employee
53desc db3.employee
插入内容字段
insert into employee(sharding_id ,name ,tal) values(10020,“lucyi”,“264362”)
53.54.55
验证分片效果
Select * from db1.employee
Select * from db2.employee
Select * from db3.employee
求模法 mod-long
根据字段值与设定的数字求模结果存储数据
schema.xml
客户端连接５６
创建表插入内容：
create table hotnews( id int(100), comment char(200), worker char(100) );
insert into hotnews(id , comment , worker) values(7,“lonux”,“haha”), (52,“linux”,“xixi”) );
５３ ５４ ５５验证
Select * from db1.hotnews
Select * from db2.hotnews
Select * from db3.hotnewsmod-long"
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
不分片
schema.xml
create table company ( id int(10) primary key, name char(20), addir char(200), epnum int )
insert into company(id,name,addir,epnum) values(3,“lc”,“huawei”,1040);
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
1加新库
Server.xml
２加新表
Schema.xml
３重
/usr/local/mycat/bin/mycat stop
/usr/local/mycat/bin/mycat start
４客户端测试
reate table user(name char(100), id int(10), class char(200) );
insert into user(id ,name , class) values(10,“jiji”,“nsd1904”);
select * from user;
| name | id | class |
| jiji | 10 | nsd1904 |
| xxix | 10 | nsd1905 |
| xigua | 10 | nsd1903 |
53测试
select * from db1.user;
| name | id | class |
| xxix | 30 | nsd1905 |
±-----±-----±--------+
５４测试
select * from db2.user;
| name | id | class |
±------±-----±--------+
| jiji | 10 | nsd1904 |
数据分片
相关概念
分库分表
分片：存在一台数据库的服务器中的数据．特定方式拆分．分散存放在多台数据库服务中，达到单台服务器负载的效果．
垂直分割
纵向切分：按业务类型
什么是垂直分割?
• 纵向切分
– 把单一的表,拆分成多个表,并分散到不同的数据库 ( 主机 ) 上。
– 一个数据库由多个表构成,每个表对应不同的业务, 可以按照业务对表进行分类,将其分
布到不同的数据 库 ( 主机 ) 上,实现专库专用,让不同的库 ( 主机 ) 分 担不同的业务。
服务器
Taobaodb a 服务器
注册表b服务器
店铺表c服务器
商品表d服务器
销售表e
库存表f
水平分割
什么是水平分割?
• 横向切分
– 按照表中某个字段的某种规则,把向表中写入的记录 分散到多个库 ( 主机 ) 中。 –
简单来说,就是按照数据行切分,将表中的某些行存储到指定的数据库 ( 主机 ) 中
横向切分－指定字段分片．取余数０１２３
Mycat 基于java 的分布式数据库系统中间件 －为高并发环境的分布式存储提供解决方案
１适合大量数据存入
２支持mysql oracle sqlserver mongodb
３支持读写分离
４提供服务数据分片
５实现数据库服务高可用
６alibabacobar 开源
分片规则
１枚举＼
２固定分片
３范围约定
４求模
５日期列
６通配取模
７ASCII求摸通配
8字符串拆分
９编程指定
１０一致性hash
mycat 服务提供 10 种分片规则。
– 1 枚举法 sharding-by-intfile
– 2 固定分片 rule1
– 3 范围约定 auto-sharding-long
– 4 求模法 mod-long
– 5 日期列分区法 sharding-by-date
– 6 通配取模 sharding-by-pattern
– 7ASCII 码求模通配 sharding-by-prefixpattern
– 8 编程指定 sharding-by-substring
– 9 字符串拆分hash解析 sharding-by-stringhash
– 10 一致性hash sharding-by-murmur
.mycat 工作工程?
当 Mycat 收到一个 SQL 时
– 会先解析这个 SQL 查找涉及到的表,然后看此表的定 义
– 如果有分片规则,则获取到 SQL 里分片字段的值,并 匹配分片函数,得到该 QL 对应的分片列表
– 然后将 SQL 发往这些分片去执行,最后收集和处理所 有分片返回的结果数据,并输出到客户端
环境部署
1装包
yum -y install java-1.8.0-openjdk
Which java
java -version
tar -xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
mv mycat /usr/local/ －此处和tomcat装包一样
ls /usr/local/
２配置文件
Bin - mycat 命令
Catlet -扩展功能软件
Conf -配置文件 .xml mycat 配置文件
Server.xml 用户名\密码\逻辑库名（information schema ）
Schema.xml 配置数据分片
Rule.xml 分片规则
*.txt函数调用文件
Lib -mycat 使用的jar 包
Logs -启动日志和运行日志
Wrapper -启动日志
Mycat.log -执行后报错内容
server .xml (默认不动)配置mycat 服务
＜user＞
（２）配置数据分片
Schema.xml
cp //usr/local/mycat/conf/schema.xml /root/
vim /usr/local/mycat/conf/schema.xml
sed -i ‘56,77d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘16,18d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘36,39d’ /usr/local/mycat/conf/schema.xml
Vim
— 定义分片信息
所有虚拟表最后都加上dn3
指定数据库主机名
数据节点
指定主机名ip地址 （用户名密码）
select user()
Rule.xml
分片规则
3配置数据库服务器
创建存储数据的库＼
53 :Db1 54:db2 55:db3
授权mycat 连接用用户admin
4 启动mycat 服务
Cd /usr/local/mycat/bin
/usr/local/mycat/bin/mycat start|status|dump|stop|
Ss -antulp | grep :8066端口号 mycat
ps -C java
PID TTY TIME CMD
1586 ? 00:00:47 java
5客户端链接
１连接
２选择表
３建表
４插入记录
Mysql -h -P8066 -u -p
Show databases;
Show tables
Desc hotnews
二分片规则
枚举法（sharding-by-intfile）
求魔法(mod-long)
1
枚举法
字段值必须在列举范围内选择
Schama.xml
Rule.xml
<function name=“hash-int” －枚举算法
class=“io.mycat.route.function.PartitionByFileMap”>
partition-hash-int.txt －修改算法规则
Vim /usr/local/mycat/conf/partion-hash-int.txt
cat partition-hash-int.txt
10000=0
10010=1
10020=2
根据sharding-by-intfile建表
Use testdb
mysql> create table employee (
-> id int primary key auto_increment,
-> sharding_id int,
-> name char(15) ,tal char(11)
-> );
51 desc db1.employee;
52 desc db2.employee
53desc db3.employee
插入内容字段
insert into employee(sharding_id ,name ,tal) values(10020,“lucyi”,“264362”)
53.54.55
验证分片效果
Select * from db1.employee
Select * from db2.employee
Select * from db3.employee
求模法 mod-long
根据字段值与设定的数字求模结果存储数据
schema.xml
客户端连接５６
创建表插入内容：
create table hotnews( id int(100), comment char(200), worker char(100) );
insert into hotnews(id , comment , worker) values(7,“lonux”,“haha”), (52,“linux”,“xixi”) );
５３ ５４ ５５验证
Select * from db1.hotnews
Select * from db2.hotnews
Select * from db3.hotnewsmod-long"
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
不分片
schema.xml
create table company ( id int(10) primary key, name char(20), addir char(200), epnum int )
insert into company(id,name,addir,epnum) values(3,“lc”,“huawei”,1040);
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
1加新库
Server.xml
２加新表
Schema.xml
３重
/usr/local/mycat/bin/mycat stop
/usr/local/mycat/bin/mycat start
４客户端测试
reate table user(name char(100), id int(10), class char(200) );
insert into user(id ,name , class) values(10,“jiji”,“nsd1904”);
select * from user;
| name | id | class |
| jiji | 10 | nsd1904 |
| xxix | 10 | nsd1905 |
| xigua | 10 | nsd1903 |
53测试
select * from db1.user;
| name | id | class |
| xxix | 30 | nsd1905 |
±-----±-----±--------+
５４测试
select * from db2.user;
| name | id | class |
±------±-----±--------+
| jiji | 10 | nsd1904 |