Mysql系列七：分库分表技术难题之分布式全局唯一id解决方案

一、前言

在前面的文章Mysql系列四：数据库分库分表基础理论中，已经说过分库分表需要应对的技术难题有如下几个：

1. 分布式全局唯一id

2. 分片规则和策略

3. 跨分片技术问题

4. 跨分片事物问题

下面我们来看一下Mycat是如何解决分布式全局唯一id的问题的

二、Mycat全局序列号

Mycat保证id唯一的方式有如下几个：

1）本地文件方式

2）数据库方式

3）时间戳方式

4）ZKID生成器

5）ZK递增ID

推荐使用第4，5种

以上5中方式都要统一在server.xml文件中开启全局序列号的配置和在schema.xml文件中配置逻辑表的autoIncrement属性为true(2个必须步骤)

1）sequnceHandlerType进行相应全局序列号策略选项设置（server.xml），在mycat中对应的源码是MyCATSequnceProcessor.java

<property name="sequnceHandlerType">0</property>

　　sequnceHandlerType可取的值有以下几个：

　　　　0：本地文件方式
　　　　1：数据库方式
　　　　2：时间戳方式
　　　　3：ZKID生成器
　　　　4：ZK递增ID

2）autoIncrement属性为true（schema.xml）

<table name="hotnews" primaryKey="ID" autoIncrement="true" dataNode="dn1,dn2,dn3"  rule="mod-long" />

1. 本地文件方式

使用到的mycat源码：io.mycat.route.sequence.handler.IncrSequenceHandler

在server.xml文件中开启全局序列号的配置：

<property name="sequnceHandlerType">0</property>

使用到的配置文件：sequence_conf.properties

#default global sequence

GLOBAL.HISIDS=

GLOBAL.MINID=10001

GLOBAL.MAXID=20000

GLOBAL.CURID=10000

# self define sequence

COMPANY.HISIDS=

COMPANY.MINID=1001

COMPANY.MAXID=2000

COMPANY.CURID=1000

CUSTOMER.HISIDS=

CUSTOMER.MINID=1001

CUSTOMER.MAXID=2000

CUSTOMER.CURID=1000

ORDER.HISIDS=

ORDER.MINID=1001

ORDER.MAXID=2000

ORDER.CURID=1000

HOTNEWS.HISIDS=

HOTNEWS.MINID=1001

HOTNEWS.MAXID=2000

HOTNEWS.CURID=1000

拿HOTNEWS这个表的配置来说明：

HOTNEWS.HISIDS=       #HOTNEWS这张表历史使用的自增id，一般不配置

HOTNEWS.MINID=1001    #HOTNEWS这张表使用的最小自增id

HOTNEWS.MAXID=2000    #HOTNEWS这张表使用的最大自增id

HOTNEWS.CURID=1000    #HOTNEWS这张表当前使用的自增id

缺点：当Mycat重新发布后，自增ID恢复到初始值。原因是因为sequnceHandlerType定义的是静态变量，不推荐使用

示例：

1.1 在mycat的schema.xml文件里面分别配置逻辑表hotnews和mysql的主从机，注意autoIncrement="true"才能使用全局唯一id

<table name="hotnews" primaryKey="ID" autoIncrement="true" dataNode="dn1,dn2,dn3" rule="mod-long" />

<dataNode name="dn1" dataHost="centos1" database="db1" />

        <dataNode name="dn2" dataHost="centos1" database="db2" />

        <dataNode name="dn3" dataHost="centos1" database="db3" />

        <dataHost name="centos1" maxCon="1000" minCon="10" balance="0"

                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

                <heartbeat>select user()</heartbeat>

                <!-- can have multi write hosts -->

                <writeHost host="hostM1" url="192.168.152.130:3306" user="root" password="123456">

                        <!-- can have multi read hosts -->

                        <readHost host="hostS2" url="192.168.152.131:3306" user="root" password="123456" />

                </writeHost>

                <!-- <writeHost host="hostS1" url="localhost:3316" user="root"

                                   password="123456" />-->

                <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->

</dataHost>

1.2 在主数据库（192.168.152.130）分别创建3个数据库db1,db2,db3,然后创建hotnews表

create database db1;

use db1;

create table hotnews(

   id bigint(20) not null primary key auto_increment,

    title varchar(50) default null

);

create database db2;

use db2;

create table hotnews(

   id bigint(20) not null primary key auto_increment,

    title varchar(50) default null

);

create database db3;

use db3;

create table hotnews(

   id bigint(20) not null primary key auto_increment,

    title varchar(50) default null

);

1.3 插入数据

插入数据到hotnews前我们先来看一下使用本地文件方式的配置文件sequence_conf.properties的内容

cat sequence_conf.properties |grep HOTNEWS

插入数据到hotnews

insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test1');

insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test2');

insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test3');

1.4 查看hotnews表的结果

select * from hotnews;

再次查看配置文件sequence_conf.properties的内容，发现内容随着插入数据的自增id做了改变

2. 数据库方式

这种方式和本地文件的方式是一样的，只是把sequence_conf.properties的内容用数据库来管理

使用到的mycat源码：io.mycat.route.sequence.handler.IncrSequenceMySQLHandler

这里还是以hotnews表为例

2.1 在server.xml文件中开启全局序列号的配置：

<property name="sequnceHandlerType">1</property>

使用到的配置文件：sequence_db_conf.properties

vim sequence_db_conf.properties

#sequence stored in datanode

GLOBAL=dn1

COMPANY=dn1

CUSTOMER=dn1

ORDERS=dn1

2.2 选择其中的一个分片，执行如下步骤，譬如我在dn1中创建，对应的数据库名为db1（为什么这里会涉及到datanode，因为后续的sequence_db_conf.properties文件会使用到），注意：是登录到数据库中创建，而不是在mycat中创建

第一步：创建SEQUENCE表，用来存储序列号

use db1;

DROP TABLE IF EXISTS MYCAT_SEQUENCE;

CREATE TABLE MYCAT_SEQUENCE (

NAME VARCHAR (50) NOT NULL, /*全局SEQ名称*/

current_value INT NOT NULL, /*当前序列ID*/

increment INT NOT NULL DEFAULT 100, /*初始序列ID*/

PRIMARY KEY (NAME)

) ENGINE = INNODB ; 
INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES ('GLOBAL', 100000, 100);

第二步：创建SEQ function

-- 获取当前sequence的值（返回当前值,增量）

DROP FUNCTION IF EXISTS `mycat_seq_currval`;

DELIMITER ;;

CREATE FUNCTION `mycat_seq_currval`(seq_name VARCHAR(50))

RETURNS varchar(64) CHARSET utf8

    DETERMINISTIC

BEGIN DECLARE retval VARCHAR(64);

        SET retval="-999999999,null";

        SELECT concat(CAST(current_value AS CHAR),",",CAST(increment AS CHAR) ) INTO retval

          FROM MYCAT_SEQUENCE WHERE name = seq_name;

        RETURN retval ;

END

;;

DELIMITER ;

-- 获取下一个sequence值

DROP FUNCTION IF EXISTS `mycat_seq_nextval`;

DELIMITER ;;

CREATE FUNCTION `mycat_seq_nextval`(seq_name VARCHAR(50)) RETURNS varchar(64)

 CHARSET utf8

    DETERMINISTIC

BEGIN UPDATE MYCAT_SEQUENCE

                 SET current_value = current_value + increment

                  WHERE name = seq_name;

         RETURN mycat_seq_currval(seq_name);

END

;;

DELIMITER ;

-- 设置sequence值

DROP FUNCTION IF EXISTS `mycat_seq_setval`;

DELIMITER ;;

CREATE FUNCTION `mycat_seq_setval`(seq_name VARCHAR(50), value INTEGER)

RETURNS varchar(64) CHARSET utf8

    DETERMINISTIC

BEGIN UPDATE MYCAT_SEQUENCE

                   SET current_value = value

                   WHERE name = seq_name;

         RETURN mycat_seq_currval(seq_name);

END

;;

DELIMITER ;

插入需要自增长的表的策略，这条数据是我们hotnews这个表所需要的。 name必须是大写的字符，不然就会报错

insert into MYCAT_SEQUENCE values('HOTNEWS','','');

说明：插入了一个名为HOTNEWS的sequence，当前值为101，步长为100。当插入第一条数据时id为201，后面每插入一条数据id加1

第三步：在sequence_db_conf.properties这个文件中定义hotnews这张表的序列名称，同时可以定义到哪个分片上。这里是定义在dn1上的

　　　　　　名字=分片1[,分片2][,.....][,分片N]

vim sequence_db_conf.properties

保存：

:wq

2.3 重启mycat

[root@centos1 mycat]# ./bin/mycat restart;

2.4 连接mycat进行数据测试

mysql -uroot -p123456 -P8066 -h192.168.152.128

插入数据

insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test11111');

insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test11112');

insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test11113');

查看结果：

select * from hotnews;

缺点：当mycat挂掉时可能出现主键冲突。不推荐使用

3. 本地时间戳方式

使用到的mycat源码：io.mycat.route.sequence.handler.IncrSequenceTimeHandler

3.1 在server.xml文件中开启全局序列号的配置：

<property name="sequnceHandlerType">2</property>

使用到的配置文件：

sequence_time_conf.properties

　　　　　　　　　　WORKID=01(范围01-31)

　　　　　　　　　　DATAACENTERID=01（范围01-31）

示例：

首先清空hotnews这张表的数据，方便查看测试结果

delete from hotnews;

插入测试数据

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test11111');

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test11112');

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test11113'); 

查看结果：

select * from hotnews;

优点：不存在id重复的现象。

缺点：主键太长。时间可能被重置。没有特殊要求的场景可以使用

4. 自增长主键

方式1：不同自增长初始值+相同步长

方式2：参考“数据库方式”

5. 分布式ZK ID生成（推荐使用）

使用到的mycat源码：

io.mycat.route.sequence.handler.IncrSequenceZKHandler

io.mycat.route.sequence.handler.DistributedSequenceHandler

环境准备：先在虚拟机192.168.152.130里面装好zookeeper，具体参考我的文章 搭建dubbo+zookeeper+dubboadmin分布式服务框架(windows平台下)

5.1 在server.xml文件中开启全局序列号的配置：

vim server.xml

<property name="sequnceHandlerType">3</property>

5.2 修改如下配置文件：

1）myid.properties

vim myid.properties

配置文件说明：

loadZK=true|false //是否使用zk序列生成器

zkURL=xxx.xxx.xxx.xxx:2182,xxx.xxx.xxx.xxx:2182,xxx.xxx.xxx.xxx:2182

clusterId=集群名称

2）sequence_distributed_conf.properties

vim sequence_distributed_conf.properties

配置文件说明：

INSTANCEID=ZK  //改成“ZK”（默认是01）

CLUSTERID=01   //集群编号

5.3 重启mycat

[root@centos1 mycat]# ./bin/mycat restart;

5.4 连接mycat进行数据测试

mysql -uroot -p123456 -P8066 -h192.168.152.128

插入数据

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000001');

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000002');

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000003');

查看结果：

select * from hotnews;

6. ZK递增方式（推荐使用）

使用到的mycat源码：io.mycat.route.sequence.handler.IncrSequenceZKHandler

6.1 在server.xml文件中开启全局序列号的配置：

vim server.xml

<property name="sequnceHandlerType">4</property>

使用到的配置文件：

1) myid.properties 参考“5. 分布式ZK ID生成器”中的介绍。

2) sequence_conf.properties

HOTNEWS.HISIDS=       #HOTNEWS这张表历史使用的自增id，一般不配置

HOTNEWS.MINID=1001    #zk使用的区间内最小值

HOTNEWS.MAXID=2000    #zk使用的区间内最大值

HOTNEWS.CURID=1000    #zk使用的区间内当前值

说明：

以hotnews为例，然后根据sequence_conf.properties里面的hotnews的配置取MAXID和MINID的偏移量（这里是1000）作为id的增量值，当插入数据时把这1000个值用完了在继续取MAXID和MINID的偏移量

6.2 重启mycat

[root@centos1 mycat]# ./bin/mycat restart;

6.3  连接mycat进行数据测试

mysql -uroot -p123456 -P8066 -h192.168.152.128

插入数据

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000001');

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000002');

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000003');

查看结果：

select *  from hotnews;