You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

287 lines
19 KiB
Markdown

2 years ago
# 08 | 事务到底是隔离的还是不隔离的?
> 你好,我是林晓斌。
> 你现在看到的这篇文章是我重写过的。在第一版文章发布之后,我发现在介绍事务可见性规则时,由于引入了太多概念,导致理解起来很困难。随后,我索性就重写了这篇文章。
> 现在的用户留言中还能看到第一版文章中引入的up\_limit\_id的概念为了避免大家产生误解再此特地和大家事先说明一下。
我在第3篇文章和你讲事务隔离级别的时候提到过如果是可重复读隔离级别事务T启动的时候会创建一个视图read-view之后事务T执行期间即使有其他事务修改了数据事务T看到的仍然跟在启动时看到的一样。也就是说一个在可重复读隔离级别下执行的事务好像与世无争不受外界影响。
但是,我在上一篇文章中,和你分享行锁的时候又提到,一个事务要更新一行,如果刚好有另外一个事务拥有这一行的行锁,它又不能这么超然了,会被锁住,进入等待状态。问题是,既然进入了等待状态,那么等到这个事务自己获取到行锁要更新数据的时候,它读到的值又是什么呢?
我给你举一个例子吧。下面是一个只有两行的表的初始化语句。
```
mysql> CREATE TABLE `t` (
`id` int(11) NOT NULL,
`k` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB;
insert into t(id, k) values(1,1),(2,2);
```
![](https://static001.geekbang.org/resource/image/82/d6/823acf76e53c0bdba7beab45e72e90d6.png)
图1 事务A、B、C的执行流程
这里,我们需要注意的是事务的启动时机。
begin/start transaction 命令并不是一个事务的起点在执行到它们之后的第一个操作InnoDB表的语句事务才真正启动。如果你想要马上启动一个事务可以使用start transaction with consistent snapshot 这个命令。
> 第一种启动方式,一致性视图是在执行第一个快照读语句时创建的;
> 第二种启动方式一致性视图是在执行start transaction with consistent snapshot时创建的。
还需要注意的是在整个专栏里面我们的例子中如果没有特别说明都是默认autocommit=1。
在这个例子中事务C没有显式地使用begin/commit表示这个update语句本身就是一个事务语句完成的时候会自动提交。事务B在更新了行之后查询; 事务A在一个只读事务中查询并且时间顺序上是在事务B的查询之后。
这时如果我告诉你事务B查到的k的值是3而事务A查到的k的值是1你是不是感觉有点晕呢
所以今天这篇文章我其实就是想和你说明白这个问题希望借由把这个疑惑解开的过程能够帮助你对InnoDB的事务和锁有更进一步的理解。
在MySQL里有两个“视图”的概念
* 一个是view。它是一个用查询语句定义的虚拟表在调用的时候执行查询语句并生成结果。创建视图的语法是create view … ,而它的查询方法与表一样。
* 另一个是InnoDB在实现MVCC时用到的一致性读视图即consistent read view用于支持RCRead Committed读提交和RRRepeatable Read可重复读隔离级别的实现。
它没有物理结构,作用是事务执行期间用来定义“我能看到什么数据”。
在第3篇文章[《事务隔离:为什么你改了我还看不见?》](https://time.geekbang.org/column/article/68963)中我跟你解释过一遍MVCC的实现逻辑。今天为了说明查询和更新的区别我换一个方式来说明把read view拆开。你可以结合这两篇文章的说明来更深一步地理解MVCC。
# “快照”在MVCC里是怎么工作的
在可重复读隔离级别下,事务在启动的时候就“拍了个快照”。注意,这个快照是基于整库的。
这时你会说这看上去不太现实啊。如果一个库有100G那么我启动一个事务MySQL就要拷贝100G的数据出来这个过程得多慢啊。可是我平时的事务执行起来很快啊。
实际上我们并不需要拷贝出这100G的数据。我们先来看看这个快照是怎么实现的。
InnoDB里面每个事务有一个唯一的事务ID叫作transaction id。它是在事务开始的时候向InnoDB的事务系统申请的是按申请顺序严格递增的。
而每行数据也都是有多个版本的。每次事务更新数据的时候都会生成一个新的数据版本并且把transaction id赋值给这个数据版本的事务ID记为row trx\_id。同时旧的数据版本要保留并且在新的数据版本中能够有信息可以直接拿到它。
也就是说,数据表中的一行记录,其实可能有多个版本(row)每个版本有自己的row trx\_id。
如图2所示就是一个记录被多个事务连续更新后的状态。
![](https://static001.geekbang.org/resource/image/68/ed/68d08d277a6f7926a41cc5541d3dfced.png)
图2 行状态变更图
图中虚线框里是同一行数据的4个版本当前最新版本是V4k的值是22它是被transaction id 为25的事务更新的因此它的row trx\_id也是25。
你可能会问前面的文章不是说语句更新会生成undo log回滚日志那么**undo log在哪呢**
实际上图2中的三个虚线箭头就是undo log而V1、V2、V3并不是物理上真实存在的而是每次需要的时候根据当前版本和undo log计算出来的。比如需要V2的时候就是通过V4依次执行U3、U2算出来。
明白了多版本和row trx\_id的概念后我们再来想一下InnoDB是怎么定义那个“100G”的快照的。
按照可重复读的定义,一个事务启动的时候,能够看到所有已经提交的事务结果。但是之后,这个事务执行期间,其他事务的更新对它不可见。
因此,一个事务只需要在启动的时候声明说,“以我启动的时刻为准,如果一个数据版本是在我启动之前生成的,就认;如果是我启动以后才生成的,我就不认,我必须要找到它的上一个版本”。
当然,如果“上一个版本”也不可见,那就得继续往前找。还有,如果是这个事务自己更新的数据,它自己还是要认的。
在实现上, InnoDB为每个事务构造了一个数组用来保存这个事务启动瞬间当前正在“活跃”的所有事务ID。“活跃”指的就是启动了但还没提交。
数组里面事务ID的最小值记为低水位当前系统里面已经创建过的事务ID的最大值加1记为高水位。
这个视图数组和高水位就组成了当前事务的一致性视图read-view
而数据版本的可见性规则就是基于数据的row trx\_id和这个一致性视图的对比结果得到的。
这个视图数组把所有的row trx\_id 分成了几种不同的情况。
![](https://static001.geekbang.org/resource/image/88/5e/882114aaf55861832b4270d44507695e.png)
图3 数据版本可见性规则
这样对于当前事务的启动瞬间来说一个数据版本的row trx\_id有以下几种可能
1. 如果落在绿色部分,表示这个版本是已提交的事务或者是当前事务自己生成的,这个数据是可见的;
2. 如果落在红色部分,表示这个版本是由将来启动的事务生成的,是肯定不可见的;
3. 如果落在黄色部分,那就包括两种情况
a. 若 row trx\_id在数组中表示这个版本是由还没提交的事务生成的不可见
b. 若 row trx\_id不在数组中表示这个版本是已经提交了的事务生成的可见。
比如对于图2中的数据来说如果有一个事务它的低水位是18那么当它访问这一行数据时就会从V4通过U3计算出V3所以在它看来这一行的值是11。
你看有了这个声明后系统里面随后发生的更新是不是就跟这个事务看到的内容无关了呢因为之后的更新生成的版本一定属于上面的2或者3(a)的情况,而对它来说,这些新的数据版本是不存在的,所以这个事务的快照,就是“静态”的了。
所以你现在知道了,**InnoDB利用了“所有数据都有多个版本”的这个特性实现了“秒级创建快照”的能力。**
接下来我们继续看一下图1中的三个事务分析下事务A的语句返回的结果为什么是k=1。
这里,我们不妨做如下假设:
1. 事务A开始前系统里面只有一个活跃事务ID是99
2. 事务A、B、C的版本号分别是100、101、102且当前系统里只有这四个事务
3. 三个事务开始前,(1,1这一行数据的row trx\_id是90。
这样事务A的视图数组就是\[99,100\], 事务B的视图数组是\[99,100,101\], 事务C的视图数组是\[99,100,101,102\]。
为了简化分析我先把其他干扰语句去掉只画出跟事务A查询逻辑有关的操作
![](https://static001.geekbang.org/resource/image/94/49/9416c310e406519b7460437cb0c5c149.png)
图4 事务A查询数据逻辑图
从图中可以看到第一个有效更新是事务C把数据从(1,1)改成了(1,2)。这时候这个数据的最新版本的row trx\_id是102而90这个版本已经成为了历史版本。
第二个有效更新是事务B把数据从(1,2)改成了(1,3)。这时候这个数据的最新版本即row trx\_id是101而102又成为了历史版本。
你可能注意到了在事务A查询的时候其实事务B还没有提交但是它生成的(1,3)这个版本已经变成当前版本了。但这个版本对事务A必须是不可见的否则就变成脏读了。
现在事务A要来读数据了它的视图数组是\[99,100\]。当然了读数据都是从当前版本读起的。所以事务A查询语句的读数据流程是这样的
* 找到(1,3)的时候判断出row trx\_id=101比高水位大处于红色区域不可见
* 接着找到上一个历史版本一看row trx\_id=102比高水位大处于红色区域不可见
* 再往前找终于找到了1,1)它的row trx\_id=90比低水位小处于绿色区域可见。
这样执行下来虽然期间这一行数据被修改过但是事务A不论在什么时候查询看到这行数据的结果都是一致的所以我们称之为一致性读。
这个判断规则是从代码逻辑直接转译过来的,但是正如你所见,用于人肉分析可见性很麻烦。
所以,我来给你翻译一下。一个数据版本,对于一个事务视图来说,除了自己的更新总是可见以外,有三种情况:
1. 版本未提交,不可见;
2. 版本已提交,但是是在视图创建后提交的,不可见;
3. 版本已提交,而且是在视图创建前提交的,可见。
现在我们用这个规则来判断图4中的查询结果事务A的查询语句的视图数组是在事务A启动的时候生成的这时候
* (1,3)还没提交属于情况1不可见
* (1,2)虽然提交了但是是在视图数组创建之后提交的属于情况2不可见
* (1,1)是在视图数组创建之前提交的,可见。
你看,去掉数字对比后,只用时间先后顺序来判断,分析起来是不是轻松多了。所以,后面我们就都用这个规则来分析。
# 更新逻辑
细心的同学可能有疑问了:**事务B的update语句如果按照一致性读好像结果不对哦**
你看图5中事务B的视图数组是先生成的之后事务C才提交不是应该看不见(1,2)吗,怎么能算出(1,3)来?
![](https://static001.geekbang.org/resource/image/86/9f/86ad7e8abe7bf16505b97718d8ac149f.png)
图5 事务B更新逻辑图
是的如果事务B在更新之前查询一次数据这个查询返回的k的值确实是1。
但是当它要去更新数据的时候就不能再在历史版本上更新了否则事务C的更新就丢失了。因此事务B此时的set k=k+1是在1,2的基础上进行的操作。
所以,这里就用到了这样一条规则:**更新数据都是先读后写的而这个读只能读当前的值称为“当前读”current read。**
因此,在更新的时候,当前读拿到的数据是(1,2),更新后生成了新版本的数据(1,3)这个新版本的row trx\_id是101。
所以在执行事务B查询语句的时候一看自己的版本号是101最新数据的版本号也是101是自己的更新可以直接使用所以查询得到的k的值是3。
这里我们提到了一个概念叫作当前读。其实除了update语句外select语句如果加锁也是当前读。
所以如果把事务A的查询语句select \* from t where id=1修改一下加上lock in share mode 或 for update也都可以读到版本号是101的数据返回的k的值是3。下面这两个select语句就是分别加了读锁S锁共享锁和写锁X锁排他锁
```
mysql> select k from t where id=1 lock in share mode;
mysql> select k from t where id=1 for update;
```
再往前一步假设事务C不是马上提交的而是变成了下面的事务C会怎么样呢
![](https://static001.geekbang.org/resource/image/cd/6e/cda2a0d7decb61e59dddc83ac51efb6e.png)
图6 事务A、B、C'的执行流程
事务C的不同是更新后并没有马上提交在它提交前事务B的更新语句先发起了。前面说过了虽然事务C还没提交但是(1,2)这个版本也已经生成了并且是当前的最新版本。那么事务B的更新语句会怎么处理呢
这时候我们在上一篇文章中提到的“两阶段锁协议”就要上场了。事务C没提交也就是说(1,2)这个版本上的写锁还没释放。而事务B是当前读必须要读最新版本而且必须加锁因此就被锁住了必须等到事务C释放这个锁才能继续它的当前读。
![](https://static001.geekbang.org/resource/image/54/92/540967ea905e8b63630e496786d84c92.png)
图7 事务B更新逻辑图配合事务C'
到这里,我们把一致性读、当前读和行锁就串起来了。
现在,我们再回到文章开头的问题:**事务的可重复读的能力是怎么实现的?**
可重复读的核心就是一致性读consistent read而事务更新数据的时候只能用当前读。如果当前的记录的行锁被其他事务占用的话就需要进入锁等待。
而读提交的逻辑和可重复读的逻辑类似,它们最主要的区别是:
* 在可重复读隔离级别下,只需要在事务开始的时候创建一致性视图,之后事务里的其他查询都共用这个一致性视图;
* 在读提交隔离级别下,每一个语句执行前都会重新算出一个新的视图。
那么我们再看一下在读提交隔离级别下事务A和事务B的查询语句查到的k分别应该是多少呢
这里需要说明一下“start transaction with consistent snapshot; ”的意思是从这个语句开始创建一个持续整个事务的一致性快照。所以在读提交隔离级别下这个用法就没意义了等效于普通的start transaction。
下面是读提交时的状态图可以看到这两个查询语句的创建视图数组的时机发生了变化就是图中的read view框。注意这里我们用的还是事务C的逻辑直接提交而不是事务C
![](https://static001.geekbang.org/resource/image/18/be/18fd5179b38c8c3804b313c3582cd1be.jpg)
图8 读提交隔离级别下的事务状态图
这时事务A的查询语句的视图数组是在执行这个语句的时候创建的时序上(1,2)、(1,3)的生成时间都在创建这个视图数组的时刻之前。但是,在这个时刻:
* (1,3)还没提交属于情况1不可见
* (1,2)提交了属于情况3可见。
所以这时候事务A查询语句返回的是k=2。
显然地事务B查询结果k=3。
# 小结
InnoDB的行数据有多个版本每个数据版本有自己的row trx\_id每个事务或者语句有自己的一致性视图。普通查询语句是一致性读一致性读会根据row trx\_id和一致性视图确定数据版本的可见性。
* 对于可重复读,查询只承认在事务启动前就已经提交完成的数据;
* 对于读提交,查询只承认在语句启动前就已经提交完成的数据;
而当前读,总是读取已经提交完成的最新版本。
你也可以想一下为什么表结构不支持“可重复读”这是因为表结构没有对应的行数据也没有row trx\_id因此只能遵循当前读的逻辑。
当然MySQL 8.0已经可以把表结构放在InnoDB字典里了也许以后会支持表结构的可重复读。
又到思考题时间了。我用下面的表结构和初始化语句作为试验环境事务隔离级别是可重复读。现在我要把所有“字段c和id值相等的行”的c值清零但是却发现了一个“诡异”的、改不掉的情况。请你构造出这种情况并说明其原理。
```
mysql> CREATE TABLE `t` (
`id` int(11) NOT NULL,
`c` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB;
insert into t(id, c) values(1,1),(2,2),(3,3),(4,4);
```
![](https://static001.geekbang.org/resource/image/9b/0b/9b8fe7cf88c9ba40dc12e93e36c3060b.png)
复现出来以后,请你再思考一下,在实际的业务开发中有没有可能碰到这种情况?你的应用代码会不会掉进这个“坑”里,你又是怎么解决的呢?
你可以把你的思考和观点写在留言区里,我会在下一篇文章的末尾和你讨论这个问题。感谢你的收听,也欢迎你把这篇文章分享给更多的朋友一起阅读。
# 上期问题时间
我在上一篇文章最后留给你的问题是怎么删除表的前10000行。比较多的留言都选择了第二种方式在一个连接中循环执行20次 delete from T limit 500。
确实是这样的,第二种方式是相对较好的。
第一种方式直接执行delete from T limit 10000里面单个语句占用时间长锁的时间也比较长而且大事务还会导致主从延迟。
第三种方式在20个连接中同时执行delete from T limit 500会人为造成锁冲突。
评论区留言点赞板:
> @Tony Du的评论详细而且准确。
> @Knight²º¹⁸ 提到了如果可以加上特定条件将这10000行天然分开可以考虑第三种。是的实际上在操作的时候我也建议你尽量拿到ID再删除。
> @荒漠甘泉 提了一个不错的问题大家需要区分行锁、MDL锁和表锁的区别。对InnoDB表更新一行可能过了MDL关却被挡在行锁阶段。