一文读懂MVCC实现原理
一文读懂MVCC实现原理
1. MVCC简介
MVCC(Multi-Version Concurrency Control)即多版本并发控制,是一种并发控制的方法,主要用于数据库管理系统中实现对数据库的并发访问。在MySQL InnoDB中,MVCC的主要目的是提高数据库的并发性能,通过更好的方式处理读写冲突,即使在有读写冲突的情况下也能做到不加锁、非阻塞并发读。
2. 当前读
当前读是指读取最新版本的数据。例如,SELECT ... LOCK IN SHARE MODE
(共享锁)、SELECT FOR UPDATE
、UPDATE
、INSERT
和DELETE
(排他锁)等操作都属于当前读。这类读操作会读取记录的最新版本,并且为了保证其他并发事务不能修改当前记录,会对读取的记录进行加锁。
3. 快照读
快照读是指读取历史版本的数据,通常用于提高数据库的并发查询能力。不加锁的SELECT
操作就是快照读,即非阻塞读。快照读的前提是隔离级别不是串行级别,串行级别下的快照读会退化成当前读。快照读的实现基于多版本并发控制(MVCC),可以认为MVCC是行锁的一个变种,但在很多情况下避免了加锁操作,降低了开销。由于基于多版本,快照读可能读到的并不一定是数据的最新版本,而可能是之前的历史版本。
4. 当前读、快照读与MVCC的关系
MVCC多版本并发控制指的是维持一个数据的多个版本,使得读写操作没有冲突。快照读是MySQL为实现MVCC的一个非阻塞读功能。MVCC在MySQL中的具体实现主要依赖于三个隐式字段、undo日志和read view。
5. MVCC解决的问题
数据库并发场景主要有三种:
- 读读:不存在任何问题,也不需要并发控制
- 读写:有线程安全问题,可能会造成事务隔离性问题,可能遇到脏读、幻读、不可重复读
- 写写:有线程安全问题,可能存在更新丢失问题
MVCC是一种用来解决读写冲突的无锁并发控制,它通过为事务分配单项增长的时间戳,为每个修改保存一个版本,版本与事务时间戳关联。读操作只读该事务开始前的数据库的快照,因此MVCC可以解决以下问题:
- 在并发读写数据库时,可以做到在读操作时不用阻塞写操作,写操作也不用阻塞读操作,提高了数据库并发读写的性能
- 解决脏读、幻读、不可重复读等事务隔离问题,但是不能解决更新丢失问题
6. MVCC实现原理
MVCC的实现原理主要依赖于记录中的三个隐藏字段、undo日志和read view。
隐藏字段
每行记录除了自定义的字段外,还有数据库隐式定义的DBTRXID、DBROLLPTR和DBROWID等字段:
- DBTRXID:6字节,记录创建这条记录或者最后一次修改该记录的事务ID
- DBROLLPTR:7字节,回滚指针,指向这条记录的上一个版本,用于配合undo日志,指向上一个旧版本
- DBROWID:6字节,隐藏的主键,如果数据表没有主键,InnoDB会自动生成一个6字节的row_id
记录结构如下图所示:
Undo Log
Undo log被称之为回滚日志,表示在进行insert、delete、update操作时产生的方便回滚的日志。
- 当进行insert操作时,产生的undo log只在事务回滚时需要,并且在事务提交后可以被立刻丢弃
- 当进行update和delete操作时,产生的undo log不仅仅在事务回滚时需要,在快照读时也需要,所以不能随便删除,只有在快照读或事务回滚不涉及该日志时,对应的日志才会被purge线程统一清除
下面我们来看一下undo log生成的记录链:
- 假设有一个事务编号为1的事务向表中插入一条记录,那么此时行数据的状态为:
- 假设有第二个事务编号为2对该记录的name做出修改,改为lisi
- 在事务2修改该行记录数据时,数据库会对该行加排他锁
- 然后把该行数据拷贝到undo log中,作为旧记录,即在undo log中有当前行的拷贝副本
- 拷贝完毕后,修改该行name为lisi,并且修改隐藏字段的事务id为当前事务2的id,回滚指针指向拷贝到undo log的副本记录中
- 事务提交后,释放锁
- 假设有第三个事务编号为3对该记录的age做了修改,改为32
- 在事务3修改该行数据时,数据库会对该行加排他锁
- 然后把该行数据拷贝到undo log中,作为旧记录,发现该行记录已经有undo log了,那么最新的旧数据作为链表的表头,插在该行记录的undo log最前面
- 修改该行age为32岁,并且修改隐藏字段的事务id为当前事务3的id,回滚指针指向刚刚拷贝的undo log的副本记录
- 事务提交,释放锁
从上述的一系列图中,大家可以发现,不同事务或者相同事务的对同一记录的修改,会导致该记录的undo log生成一条记录版本线性表,即链表,undo log的链首就是最新的旧记录,链尾就是最早的旧记录。
Read View
Read View是事务进行快照读操作时生成的读视图,在该事务执行快照读的那一刻,会生成一个数据系统当前的快照,记录并维护系统当前活跃事务的id,事务的id值是递增的。
Read View的最大作用是用来做可见性判断的,也就是说当某个事务在执行快照读时,对该记录创建一个Read View的视图,把它当作条件去判断当前事务能够看到哪个版本的数据,有可能读取到的是最新的数据,也有可能读取的是当前行记录的undo log中某个版本的数据。
Read View遵循的可见性算法主要是将要被修改的数据的最新记录中的DBTRXID(当前事务id)取出来,与系统当前其他活跃事务的id去对比,如果DBTRXID跟Read View的属性做了比较,不符合可见性,那么就通过DBROLLPTR回滚指针去取出undo log中的DBTRXID做比较,即遍历链表中的DBTRXID,直到找到满足条件的DBTRXID,这个DBTRXID所在的旧记录就是当前事务能看到的最新老版本数据。
Read View的可见性规则如下所示:
首先要知道Read View中的三个全局属性:
- trx_list:一个数值列表,用来维护Read View生成时刻系统正活跃的事务ID(1,2,3)
- uplimitid:记录trx_list列表中事务ID最小的ID(1)
- lowlimitid:Read View生成时刻系统尚未分配的下一个事务ID(4)
具体的比较规则如下:
- 首先比较DBTRXID < uplimitid,如果小于,则当前事务能看到DBTRXID所在的记录,如果大于等于进入下一个判断
- 接下来判断DBTRXID >= lowlimitid,如果大于等于则代表DBTRXID所在的记录在Read View生成后才出现的,那么对于当前事务肯定不可见,如果小于,则进入下一步判断
- 判断DBTRXID是否在活跃事务中,如果在,则代表在Read View生成时刻,这个事务还是活跃状态,还没有commit,修改的数据,当前事务也是看不到,如果不在,则说明这个事务在Read View生成之前就已经开始commit,那么修改的结果是能够看见的。
7. MVCC的整体处理流程
假设有四个事务同时在执行,如下图所示:
事务1 | 事务2 | 事务3 | 事务4 |
---|---|---|---|
事务开始 | 事务开始 | 事务开始 | 事务开始 |
...... | ...... | ...... | 修改且已提交 |
进行中 | 快照读 | 进行中 | |
...... | ...... | ...... |
从上述表格中,我们可以看到,当事务2对某行数据执行了快照读,数据库为该行数据生成一个Read View视图,可以看到事务1和事务3还在活跃状态,事务4在事务2快照读的前一刻提交了更新,所以,在Read View中记录了系统当前活跃事务1,3,维护在一个列表中。同时可以看到uplimitid的值为1,而lowlimitid为5,如下图所示:
在上述的例子中,只有事务4修改过该行记录,并在事务2进行快照读前,就提交了事务,所以该行当前数据的undo log如下所示:
当事务2在快照读该行记录时,会拿着该行记录的DBTRXID去跟uplimitid、lowerlimitid和活跃事务列表进行比较,判断事务2能看到该行记录的版本是哪个。
具体流程如下:先拿该行记录的事务ID(4)去跟Read View中的uplimitid相比较,判断是否小于,通过对比发现不小于,所以不符合条件,继续判断4是否大于等于lowlimitid,通过比较发现也不大于,所以不符合条件,判断事务4是否处理trx_list列表中,发现不再次列表中,那么符合可见性条件,所以事务4修改后提交的最新结果对事务2 的快照是可见的,因此,事务2读取到的最新数据记录是事务4所提交的版本,而事务4提交的版本也是全局角度的最新版本。
8. RC、RR级别下的InnoDB快照读有什么不同
因为Read View生成时机的不同,从而造成RC、RR级别下快照读的结果的不同:
- 在RR级别下的某个事务的对某条记录的第一次快照读会创建一个快照即Read View,将当前系统活跃的其他事务记录起来,此后在调用快照读时,还是使用的是同一个Read View,所以只要当前事务在其他事务提交更新之前使用过快照读,那么之后的快照读使用的都是同一个Read View,所以对之后的修改不可见
- 在RR级别下,快照读生成Read View时,Read View会记录此时所有其他活动和事务的快照,这些事务的修改对于当前事务都是不可见的,而早于Read View创建的事务所做的修改均是可见
- 在RC级别下,事务中,每次快照读都会新生成一个快照和Read View,这就是我们在RC级别下的事务中可以看到别的事务提交的更新的原因。
总结:在RC隔离级别下,是每个快照读都会生成并获取最新的Read View,而在RR隔离级别下,则是同一个事务中的第一个快照读才会创建Read View,之后的快照读获取的都是同一个Read View。