MySQL内核InnoDB存储引擎(卷1)
目录
1概览2基本数据结构和算法3同步机制4重做日志5mini-transaction(mtr)6存储管理7记录8索引页9锁10B+树索引11Insert Buffer12缓冲池13事务处理14数据字典15服务管理概览
基本数据结构和算法
同步机制
rw-lock/latchs-/x-:x-可递归,s-不可?;以spin获得,一段时间后进入wait array(信号量?)p38 若sync_primary_wait_array中1000个cell都已分配,则ut_error触发crash当持有latch的线程释放latch后,调用sync_array_signal_object唤醒等待线程重做日志
p42 redo log原来保证事务的持久性(D),undo log用于回滚和MVCCinnodb_flush_log_at_trx_commit=0/1/2redo log VS. bin log前者记录的是页的物理逻辑操作日志设计思想:物理日志记录页内的修改(old-new value),逻辑日志记录对表的操作(insert/delete)LSN(表示事务写入redo log的字节量?)对‘检查点’,表示刷新到磁盘的位置?——不管怎么说,LSN有一种‘随时间单调变化’的性质检查点:将缓冲池中的页刷新到磁盘sharpfuzzy*redo日志的大小是固定的(3GB)->归档日志ib_logfileredo日志块(512B-12-8)和磁盘扇区大小一样,保证原子性,不需要double write?重做日志组*组提交:fsync -> log_flush_up_to 会对最后一个日志块进行复制恢复:recovery_from_checkpoint_start表空间第一个页头部的FIL_PAGE_FILE_FLUSH_LSN记录了数据库关闭时最后刷新页的LSNrecv_parse_or_apply_log_rec_bodyrecv_add_to_hash_tablerecv_recover_pagerecv_read_in_area 判断页所在相邻的32个页?mini-transaction(mtr)
FIX rules:修改页之前需要持有该页的latchWAL每个页需要有一个LSN?LSN溢出怎么办?Force-Log-at-Commitmtr_t mtr; mtr_start(&mtr); ... mtr_commit(&mtr);提交时若mtr->modified==TRUE,先修改缓冲池中的页*1,然后释放log_sys->mutex(这是一个热点)*1 log_reserve_and_write_fast/log_write_slow 快速/慢速2个路径更新多行记录时,MLOG_MULTI_REC_END存储管理
页:(space_id, offset) 16KB1 extent = 64 连续的pagespace header段(segment)每张用户表至少2个段:聚集索引(B+树)的叶子节点和非叶子节点段一个段最多可以管理32个独立的页,和若干区表空间数据结构:fil_system/space/node_struct4个异步I/O线程:异步读、异步写、插入缓存、重做日志记录
物理记录p102 用户记录的heap no总是从2开始伪记录:Infimum/Supremum(感觉将像是双链表的first/last)p103 VARCHAR类型的NULL不占用磁盘空间,而CHAR NULL用0x00填充大记录:BLOB/TEXT(溢出页,extern属性)逻辑记录dtuple_struct,对大记录是big_rec_structB+树索引只定位页,页内记录需要二分扫描mtype/prtype行记录版本(MVCC只是列?):通过隐藏的事务ID列read_view_struct:low/up_limit_idtrx_ids, n_trx_idscreatorp114 函数read_view_sees_trx_id用来判断当前事务是否可以读记录的当前版本,不是,则row_sel_build_prev_vers_for_mysql索引页
Page Header页内记录根据主键是逻辑顺序,不是物理顺序Page Directory(定位记录在页内的位置)slot?offset的主键逆序记录Page Cursor*锁
p136 理论上,隔离级别越低,事务请求的锁越少或保持锁的时间越短幻读:谓词锁 --> key-range locking --> next/previous-key lockingp138 意向锁:意味着事务希望在更细粒度上加锁InnoDB是行级锁,不会阻止全表扫描以外的请求lock_rec_struct = { space, page_no, n_bits }所有锁对象通过kernel_mutex进行保护(又一个热点!)优化:细粒度拆分?p144 LOCK_GAP(代表范围锁不包含端点)显式锁和隐式锁**(略)行锁的维护*(重点,略)插入更新PURGE一致性的锁定读页的分裂页的合并自增锁(atomic?)死锁*B+树索引
聚集 / 辅助分裂操作:btr_page_split_and_insert合并:btr_compress查找:btr_cur_search_to_nth_levelp203 对唯一约束的键值,需要使用模式PAGE_CUR_GE,而不是LElatch_modecursorDML操作乐观插入:btr_cur_optimistic_insert非主键更新(主要是列的大小会不会发生变化)btr_cur_optimistic_update --> btr_cur_pessimistic_update(例略)主键更新删除持久游标 btr_pcur_struct自适应哈希索引*Insert Buffer
将多次插入合并为一次操作(提高了非唯一约束辅助索引的插入性能)p237 实现最为困难的在于对死锁的处理页逻辑层次划分:非IB页、IB非bitmap页、bitmap页p241 异步I/O线程可能引起死锁问题 --> rw_lock_x_lock_move_ownership缓冲池
LRU、Free和Flush链表预读p258 随机预读要满足32个页中9个已经访问过且都是活跃的才可能触发线性预读*逻辑预读页的刷新部分写问题(?) --> double write(存在于内存的表空间,大小为2MB,这意味着最多128页/次刷新)事务处理
分类:扁平、带保存点的扁平、链、嵌套、分布式事务系统段*doublewrite段*undo日志存储一致性的非锁定读p282 读取快照不需要加锁undo日志实现:回滚段 + undo段trx_undo_structundo记录purge*rollback7B roll_ptr隐藏列 {rseg_id(1), page_no(4), offset(2)}3个回滚类型:TRX_SIG_{TOTAL_ROLLBACK, ROLLBACK_TO_SAVEPT, ERROR_OCCURRED}commit数据字典
服务管理
08-28 02:23