You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

18 KiB

30 | 如何使用Redis实现分布式锁

你好,我是蒋德钧。

上节课我提到在应对并发问题时除了原子操作Redis客户端还可以通过加锁的方式来控制并发写操作对共享数据的修改从而保证数据的正确性。

但是Redis属于分布式系统当有多个客户端需要争抢锁时我们必须要保证这把锁不能是某个客户端本地的锁。否则的话,其它客户端是无法访问这把锁的,当然也就不能获取这把锁了。

所以,在分布式系统中,当有多个客户端需要获取锁时,我们需要分布式锁。此时,锁是保存在一个共享存储系统中的,可以被多个客户端共享访问和获取。

Redis本身可以被多个客户端共享访问正好就是一个共享存储系统可以用来保存分布式锁。而且Redis的读写性能高可以应对高并发的锁操作场景。所以这节课我就来和你聊聊如何基于Redis实现分布式锁。

我们日常在写程序的时候,经常会用到单机上的锁,你应该也比较熟悉了。而分布式锁和单机上的锁既有相似性,但也因为分布式锁是用在分布式场景中,所以又具有一些特殊的要求。

所以,接下来,我就先带你对比下分布式锁和单机上的锁,找出它们的联系与区别,这样就可以加深你对分布式锁的概念和实现要求的理解。

单机上的锁和分布式锁的联系与区别

我们先来看下单机上的锁。

对于在单机上运行的多线程程序来说,锁本身可以用一个变量表示。

  • 变量值为0时表示没有线程获取锁
  • 变量值为1时表示已经有线程获取到锁了。

我们通常说的线程调用加锁和释放锁的操作到底是啥意思呢我来解释一下。实际上一个线程调用加锁操作其实就是检查锁变量值是否为0。如果是0就把锁的变量值设置为1表示获取到锁如果不是0就返回错误信息表示加锁失败已经有别的线程获取到锁了。而一个线程调用释放锁操作其实就是将锁变量的值置为0以便其它线程可以来获取锁。

我用一段代码来展示下加锁和释放锁的操作其中lock为锁变量。

acquire_lock(){
  if lock == 0
     lock = 1
     return 1
  else
     return 0
} 

release_lock(){
  lock = 0
  return 1
}

和单机上的锁类似,分布式锁同样可以用一个变量来实现。客户端加锁和释放锁的操作逻辑,也和单机上的加锁和释放锁操作逻辑一致:加锁时同样需要判断锁变量的值根据锁变量值来判断能否加锁成功释放锁时需要把锁变量值设置为0表明客户端不再持有锁

但是,和线程在单机上操作锁不同的是,在分布式场景下,锁变量需要由一个共享存储系统来维护,只有这样,多个客户端才可以通过访问共享存储系统来访问锁变量。相应的,加锁和释放锁的操作就变成了读取、判断和设置共享存储系统中的锁变量值

这样一来,我们就可以得出实现分布式锁的两个要求。

  • 要求一:分布式锁的加锁和释放锁的过程,涉及多个操作。所以,在实现分布式锁时,我们需要保证这些锁操作的原子性;
  • 要求二:共享存储系统保存了锁变量,如果共享存储系统发生故障或宕机,那么客户端也就无法进行锁操作了。在实现分布式锁时,我们需要考虑保证共享存储系统的可靠性,进而保证锁的可靠性。

好了知道了具体的要求接下来我们就来学习下Redis是怎么实现分布式锁的。

其实我们既可以基于单个Redis节点来实现也可以使用多个Redis节点实现。在这两种情况下锁的可靠性是不一样的。我们先来看基于单个Redis节点的实现方法。

基于单个Redis节点实现分布式锁

作为分布式锁实现过程中的共享存储系统Redis可以使用键值对来保存锁变量再接收和处理不同客户端发送的加锁和释放锁的操作请求。那么键值对的键和值具体是怎么定的呢

我们要赋予锁变量一个变量名把这个变量名作为键值对的键而锁变量的值则是键值对的值这样一来Redis就能保存锁变量了客户端也就可以通过Redis的命令操作来实现锁操作。

为了帮助你理解我画了一张图片它展示Redis使用键值对保存锁变量以及两个客户端同时请求加锁的操作过程。

可以看到Redis可以使用一个键值对lock_key:0来保存锁变量其中键是lock_key也是锁变量的名称锁变量的初始值是0。

我们再来分析下加锁操作。

在图中客户端A和C同时请求加锁。因为Redis使用单线程处理请求所以即使客户端A和C同时把加锁请求发给了RedisRedis也会串行处理它们的请求。

我们假设Redis先处理客户端A的请求读取lock_key的值发现lock_key为0所以Redis就把lock_key的value置为1表示已经加锁了。紧接着Redis处理客户端C的请求此时Redis会发现lock_key的值已经为1了所以就返回加锁失败的信息。

刚刚说的是加锁的操作那释放锁该怎么操作呢其实释放锁就是直接把锁变量值设置为0。

我还是借助一张图片来解释一下。这张图片展示了客户端A请求释放锁的过程。当客户端A持有锁时锁变量lock_key的值为1。客户端A执行释放锁操作后Redis将lock_key的值置为0表明已经没有客户端持有锁了。

因为加锁包含了三个操作读取锁变量、判断锁变量值以及把锁变量值设置为1而这三个操作在执行时需要保证原子性。那怎么保证原子性呢

上节课我们学过要想保证操作的原子性有两种通用的方法分别是使用Redis的单命令操作和使用Lua脚本。那么在分布式加锁场景下该怎么应用这两个方法呢

我们先来看下Redis可以用哪些单命令操作实现加锁操作。

首先是SETNX命令它用于设置键值对的值。具体来说就是这个命令在执行时会判断键值对是否存在如果不存在就设置键值对的值如果存在就不做任何设置。

举个例子如果执行下面的命令时key不存在那么key会被创建并且值会被设置为value如果key已经存在SETNX不做任何赋值操作。

SETNX key value

对于释放锁操作来说我们可以在执行完业务逻辑后使用DEL命令删除锁变量。不过你不用担心锁变量被删除后其他客户端无法请求加锁了。因为SETNX命令在执行时如果要设置的键值对也就是锁变量不存在SETNX命令会先创建键值对然后设置它的值。所以释放锁之后再有客户端请求加锁时SETNX命令会创建保存锁变量的键值对并设置锁变量的值完成加锁。

总结来说我们就可以用SETNX和DEL命令组合来实现加锁和释放锁操作。下面的伪代码示例显示了锁操作的过程你可以看下。

// 加锁
SETNX lock_key 1
// 业务逻辑
DO THINGS
// 释放锁
DEL lock_key

不过使用SETNX和DEL命令组合实现分布锁存在两个潜在的风险。

第一个风险是假如某个客户端在执行了SETNX命令、加锁之后紧接着却在操作共享数据时发生了异常结果一直没有执行最后的DEL命令释放锁。因此锁就一直被这个客户端持有其它客户端无法拿到锁也无法访问共享数据和执行后续操作这会给业务应用带来影响。

针对这个问题,一个有效的解决方法是,给锁变量设置一个过期时间。这样一来即使持有锁的客户端发生了异常无法主动地释放锁Redis也会根据锁变量的过期时间在锁变量过期后把它删除。其它客户端在锁变量过期后就可以重新请求加锁这就不会出现无法加锁的问题了。

我们再来看第二个风险。如果客户端A执行了SETNX命令加锁后假设客户端B执行了DEL命令释放锁此时客户端A的锁就被误释放了。如果客户端C正好也在申请加锁就可以成功获得锁进而开始操作共享数据。这样一来客户端A和C同时在对共享数据进行操作数据就会被修改错误这也是业务层不能接受的。

为了应对这个问题,我们需要能区分来自不同客户端的锁操作,具体咋做呢?其实,我们可以在锁变量的值上想想办法。

在使用SETNX命令进行加锁的方法中我们通过把锁变量值设置为1或0表示是否加锁成功。1和0只有两种状态无法表示究竟是哪个客户端进行的锁操作。所以我们在加锁操作时可以让每个客户端给锁变量设置一个唯一值这里的唯一值就可以用来标识当前操作的客户端。在释放锁操作时客户端需要判断当前锁变量的值是否和自己的唯一标识相等只有在相等的情况下才能释放锁。这样一来就不会出现误释放锁的问题了。

知道了解决方案那么在Redis中具体是怎么实现的呢我们再来了解下。

在查看具体的代码前我要先带你学习下Redis的SET命令。

我们刚刚在说SETNX命令的时候提到对于不存在的键值对它会先创建再设置值也就是“不存在即设置”为了能达到和SETNX命令一样的效果Redis给SET命令提供了类似的选项NX用来实现“不存在即设置”。如果使用了NX选项SET命令只有在键值对不存在时才会进行设置否则不做赋值操作。此外SET命令在执行时还可以带上EX或PX选项用来设置键值对的过期时间。

举个例子执行下面的命令时只有key不存在时SET才会创建key并对key进行赋值。另外key的存活时间由seconds或者milliseconds选项值来决定

SET key value [EX seconds | PX milliseconds]  [NX]

有了SET命令的NX和EX/PX选项后我们就可以用下面的命令来实现加锁操作了。

// 加锁, unique_value作为客户端唯一性的标识
SET lock_key unique_value NX PX 10000

其中unique_value是客户端的唯一标识可以用一个随机生成的字符串来表示PX 10000则表示lock_key会在10s后过期以免客户端在这期间发生异常而无法释放锁。

因为在加锁操作中,每个客户端都使用了一个唯一标识,所以在释放锁操作时,我们需要判断锁变量的值,是否等于执行释放锁操作的客户端的唯一标识,如下所示:

//释放锁 比较unique_value是否相等避免误释放
if redis.call("get",KEYS[1]) == ARGV[1] then
    return redis.call("del",KEYS[1])
else
    return 0
end

这是使用Lua脚本unlock.script实现的释放锁操作的伪代码其中KEYS[1]表示lock_keyARGV[1]是当前客户端的唯一标识这两个值都是我们在执行Lua脚本时作为参数传入的。

最后,我们执行下面的命令,就可以完成锁释放操作了。

redis-cli  --eval  unlock.script lock_key , unique_value 

你可能也注意到了在释放锁操作中我们使用了Lua脚本这是因为释放锁操作的逻辑也包含了读取锁变量、判断值、删除锁变量的多个操作而Redis在执行Lua脚本时可以以原子性的方式执行从而保证了锁释放操作的原子性。

好了到这里你了解了如何使用SET命令和Lua脚本在Redis单节点上实现分布式锁。但是我们现在只用了一个Redis实例来保存锁变量如果这个Redis实例发生故障宕机了那么锁变量就没有了。此时客户端也无法进行锁操作了这就会影响到业务的正常执行。所以我们在实现分布式锁时还需要保证锁的可靠性。那怎么提高呢这就要提到基于多个Redis节点实现分布式锁的方式了。

基于多个Redis节点实现高可靠的分布式锁

当我们要实现高可靠的分布式锁时,就不能只依赖单个的命令操作了,我们需要按照一定的步骤和规则进行加解锁操作,否则,就可能会出现锁无法工作的情况。“一定的步骤和规则”是指啥呢?其实就是分布式锁的算法。

为了避免Redis实例故障而导致的锁无法工作的问题Redis的开发者Antirez提出了分布式锁算法Redlock。

Redlock算法的基本思路是让客户端和多个独立的Redis实例依次请求加锁如果客户端能够和半数以上的实例成功地完成加锁操作那么我们就认为客户端成功地获得分布式锁了否则加锁失败。这样一来即使有单个Redis实例发生故障因为锁变量在其它实例上也有保存所以客户端仍然可以正常地进行锁操作锁变量并不会丢失。

我们来具体看下Redlock算法的执行步骤。Redlock算法的实现需要有N个独立的Redis实例。接下来我们可以分成3步来完成加锁操作。

第一步是,客户端获取当前时间。

第二步是客户端按顺序依次向N个Redis实例执行加锁操作。

这里的加锁操作和在单实例上执行的加锁操作一样使用SET命令带上NXEX/PX选项以及带上客户端的唯一标识。当然如果某个Redis实例发生故障了为了保证在这种情况下Redlock算法能够继续运行我们需要给加锁操作设置一个超时时间。

如果客户端在和一个Redis实例请求加锁时一直到超时都没有成功那么此时客户端会和下一个Redis实例继续请求加锁。加锁操作的超时时间需要远远地小于锁的有效时间一般也就是设置为几十毫秒。

第三步是一旦客户端完成了和所有Redis实例的加锁操作客户端就要计算整个加锁过程的总耗时。

客户端只有在满足下面的这两个条件时,才能认为是加锁成功。

  • 条件一:客户端从超过半数(大于等于 N/2+1的Redis实例上成功获取到了锁
  • 条件二:客户端获取锁的总耗时没有超过锁的有效时间。

在满足了这两个条件后,我们需要重新计算这把锁的有效时间,计算的结果是锁的最初有效时间减去客户端为获取锁的总耗时。如果锁的有效时间已经来不及完成共享数据的操作了,我们可以释放锁,以免出现还没完成数据操作,锁就过期了的情况。

当然如果客户端在和所有实例执行完加锁操作后没能同时满足这两个条件那么客户端向所有Redis节点发起释放锁的操作。

在Redlock算法中释放锁的操作和在单实例上释放锁的操作一样只要执行释放锁的Lua脚本就可以了。这样一来只要N个Redis实例中的半数以上实例能正常工作就能保证分布式锁的正常工作了。

所以在实际的业务应用中如果你想要提升分布式锁的可靠性就可以通过Redlock算法来实现。

小结

分布式锁是由共享存储系统维护的变量多个客户端可以向共享存储系统发送命令进行加锁或释放锁操作。Redis作为一个共享存储系统可以用来实现分布式锁。

在基于单个Redis实例实现分布式锁时对于加锁操作我们需要满足三个条件。

  1. 加锁包括了读取锁变量、检查锁变量值和设置锁变量值三个操作但需要以原子操作的方式完成所以我们使用SET命令带上NX选项来实现加锁
  2. 锁变量需要设置过期时间以免客户端拿到锁后发生异常导致锁一直无法释放所以我们在SET命令执行时加上EX/PX选项设置其过期时间
  3. 锁变量的值需要能区分来自不同客户端的加锁操作以免在释放锁时出现误释放操作所以我们使用SET命令设置锁变量值时每个客户端设置的值是一个唯一值用于标识客户端。

和加锁类似释放锁也包含了读取锁变量值、判断锁变量值和删除锁变量三个操作不过我们无法使用单个命令来实现所以我们可以采用Lua脚本执行释放锁操作通过Redis原子性地执行Lua脚本来保证释放锁操作的原子性。

不过基于单个Redis实例实现分布式锁时会面临实例异常或崩溃的情况这会导致实例无法提供锁操作正因为此Redis也提供了Redlock算法用来实现基于多个实例的分布式锁。这样一来锁变量由多个实例维护即使有实例发生了故障锁变量仍然是存在的客户端还是可以完成锁操作。Redlock算法是实现高可靠分布式锁的一种有效解决方案你可以在实际应用中把它用起来。

每课一问

按照惯例我给你提个小问题。这节课我提到我们可以使用SET命令带上NX和EX/PX选项进行加锁操作那么我想请你再思考一下我们是否可以用下面的方式来实现加锁操作呢

// 加锁
SETNX lock_key unique_value
EXPIRE lock_key 10S
// 业务逻辑
DO THINGS

欢迎在留言区写下你的思考和答案,我们一起交流讨论。如果你觉得今天的内容对你有所帮助,也欢迎你分享给你的朋友或同事。我们下节课见。