From 2806b3e6b949fc0942bf76a80e0cab847c867ba0 Mon Sep 17 00:00:00 2001 From: chenjiayang Date: Thu, 20 Sep 2018 15:17:43 +0800 Subject: [PATCH 1/5] =?UTF-8?q?=E5=A2=9E=E5=8A=A0=E5=85=B3=E4=BA=8Eredlock?= =?UTF-8?q?=E5=88=86=E5=B8=83=E5=BC=8F=E9=94=81=E7=9B=B8=E5=85=B3=E5=86=85?= =?UTF-8?q?=E5=AE=B9,=E8=B0=83=E6=95=B4=E6=95=B0=E6=8D=AE=E5=AD=98?= =?UTF-8?q?=E5=82=A8=E5=8C=85=E7=BB=93=E6=9E=84?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- 数据存储/{ => Redis}/Redis.md | 0 数据存储/Redis/Redlock分布式锁.md | 50 ++++++++++ ...分布式锁，Redlock真的可行么.md | 94 +++++++++++++++++++ 3 files changed, 144 insertions(+) rename 数据存储/{ => Redis}/Redis.md (100%) create mode 100644 数据存储/Redis/Redlock分布式锁.md create mode 100644 数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md diff --git a/数据存储/Redis.md b/数据存储/Redis/Redis.md similarity index 100% rename from 数据存储/Redis.md rename to 数据存储/Redis/Redis.md diff --git a/数据存储/Redis/Redlock分布式锁.md b/数据存储/Redis/Redlock分布式锁.md new file mode 100644 index 00000000..6a697a0a --- /dev/null +++ b/数据存储/Redis/Redlock分布式锁.md @@ -0,0 +1,50 @@ +这篇文章主要是对 Redis 官方网站刊登的 [Distributed locks with Redis](https://redis.io/topics/distlock) 部分内容的总结和翻译。 + +## 什么是 RedLock + +Redis 官方站这篇文章提出了一种权威的基于 Redis 实现分布式锁的方式名叫 *Redlock*，此种方式比原先的单节点的方法更安全。它可以保证以下特性： + +1. 安全特性：互斥访问，即永远只有一个 client 能拿到锁 +2. 避免死锁：最终 client 都可能拿到锁，不会出现死锁的情况，即使原本锁住某资源的 client crash 了或者出现了网络分区 +3. 容错性：只要大部分 Redis 节点存活就可以正常提供服务 + +## 怎么在单节点上实现分布式锁 + +> SET resource_name my_random_value NX PX 30000 + +主要依靠上述命令，该命令仅当 Key 不存在时（NX保证）set 值，并且设置过期时间 3000ms （PX保证），值 my_random_value 必须是所有 client 和所有锁请求发生期间唯一的，释放锁的逻辑是： + +```lua +if redis.call("get",KEYS[1]) == ARGV[1] then + return redis.call("del",KEYS[1]) +else + return 0 +end +``` + +上述实现可以避免释放另一个client创建的锁，如果只有 del 命令的话，那么如果 client1 拿到 lock1 之后因为某些操作阻塞了很长时间，此时 Redis 端 lock1 已经过期了并且已经被重新分配给了 client2，那么 client1 此时再去释放这把锁就会造成 client2 原本获取到的锁被 client1 无故释放了，但现在为每个 client 分配一个 unique 的 string 值可以避免这个问题。至于如何去生成这个 unique string，方法很多随意选择一种就行了。 + +## Redlock 算法 + +算法很易懂，起 5 个 master 节点，分布在不同的机房尽量保证可用性。为了获得锁，client 会进行如下操作： + +1. 得到当前的时间，微妙单位 +2. 尝试顺序地在 5 个实例上申请锁，当然需要使用相同的 key 和 random value，这里一个 client 需要合理设置与 master 节点沟通的 timeout 大小，避免长时间和一个 fail 了的节点浪费时间 +3. 当 client 在大于等于 3 个 master 上成功申请到锁的时候，且它会计算申请锁消耗了多少时间，这部分消耗的时间采用获得锁的当下时间减去第一步获得的时间戳得到，如果锁的持续时长（lock validity time）比流逝的时间多的话，那么锁就真正获取到了。 +4. 如果锁申请到了，那么锁真正的 lock validity time 应该是 origin（lock validity time） - 申请锁期间流逝的时间 +5. 如果 client 申请锁失败了，那么它就会在少部分申请成功锁的 master 节点上执行释放锁的操作，重置状态 + +## 失败重试 + +如果一个 client 申请锁失败了，那么它需要稍等一会在重试避免多个 client 同时申请锁的情况，最好的情况是一个 client 需要几乎同时向 5 个 master 发起锁申请。另外就是如果 client 申请锁失败了它需要尽快在它曾经申请到锁的 master 上执行 unlock 操作，便于其他 client 获得这把锁，避免这些锁过期造成的时间浪费，当然如果这时候网络分区使得 client 无法联系上这些 master，那么这种浪费就是不得不付出的代价了。 + +## 放锁 + +放锁操作很简单，就是依次释放所有节点上的锁就行了 + +## 性能、崩溃恢复和 fsync + +如果我们的节点没有持久化机制，client 从 5 个 master 中的 3 个处获得了锁，然后其中一个重启了，这是注意 **整个环境中又出现了 3 个 master 可供另一个 client 申请同一把锁！** 违反了互斥性。如果我们开启了 AOF 持久化那么情况会稍微好转一些，因为 Redis 的过期机制是语义层面实现的，所以在 server 挂了的时候时间依旧在流逝，重启之后锁状态不会受到污染。但是考虑断电之后呢，AOF部分命令没来得及刷回磁盘直接丢失了，除非我们配置刷回策略为 fsnyc = always，但这会损伤性能。解决这个问题的方法是，当一个节点重启之后，我们规定在 max TTL 期间它是不可用的，这样它就不会干扰原本已经申请到的锁，等到它 crash 前的那部分锁都过期了，环境不存在历史锁了，那么再把这个节点加进来正常工作。 + +## License +* 原文 [基于 Redis 的分布式锁 Redlock](https://zhuanlan.zhihu.com/p/40915772) \ No newline at end of file diff --git a/数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md b/数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md new file mode 100644 index 00000000..0a3fcc4c --- /dev/null +++ b/数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md @@ -0,0 +1,94 @@ +本文是对 [Martin Kleppmann](https://martin.kleppmann.com/) 的文章 [How to do distributed locking](https://martin.kleppmann.com/2016/02/08/how-to-do-distributed-locking.html) 部分内容的翻译和总结，上次写 Redlock 的原因就是看到了 Martin 的这篇文章，写得很好，特此翻译和总结。感兴趣的同学可以翻看原文，相信会收获良多。 + +开篇作者认为现在 Redis 逐渐被使用到数据管理领域，这个领域需要更强的数据一致性和耐久性，这使得他感到担心，因为这不是 Redis 最初设计的初衷（事实上这也是很多业界程序员的误区，越来越把 Redis 当成数据库在使用），其中基于 Redis 的分布式锁就是令人担心的其一。 + +Martin 指出首先你要明确你为什么使用分布式锁，为了性能还是正确性？为了帮你区分这二者，在这把锁 fail 了的时候你可以询问自己以下问题： +1. **要性能的：**拥有这把锁使得你不会重复劳动（例如一个 job 做了两次），如果这把锁 fail 了，两个节点同时做了这个 Job，那么这个 Job 增加了你的成本。 +2. **要正确性的：**拥有锁可以防止并发操作污染你的系统或者数据，如果这把锁 fail 了两个节点同时操作了一份数据，结果可能是数据不一致、数据丢失、file 冲突等，会导致严重的后果。 + +上述二者都是需求锁的正确场景，但是你必须清楚自己是因为什么原因需要分布式锁。 + +如果你只是为了性能，那没必要用 Redlock，它成本高且复杂，你只用一个 Redis 实例也够了，最多加个从防止主挂了。当然，你使用单节点的 Redis 那么断电或者一些情况下，你会丢失锁，但是你的目的只是加速性能且断电这种事情不会经常发生，这并不是什么大问题。并且如果你使用了单节点 Redis，那么很显然你这个应用需要的锁粒度是很模糊粗糙的，也不会是什么重要的服务。 + +那么是否 Redlock 对于要求正确性的场景就合适呢？Martin 列举了若干场景证明 Redlock 这种算法是不可靠的。 + +## 用锁保护资源 +这节里 Martin 先将 Redlock 放在了一边而是仅讨论总体上一个分布式锁是怎么工作的。在分布式环境下，锁比 mutex 这类复杂，因为涉及到不同节点、网络通信并且他们随时可能无征兆的 fail 。 +Martin 假设了一个场景，一个 client 要修改一个文件，它先申请得到锁，然后修改文件写回，放锁。另一个 client 再申请锁 ... 代码流程如下： + +```java +// THIS CODE IS BROKEN +function writeData(filename, data) { + var lock = lockService.acquireLock(filename); + if (!lock) { + throw 'Failed to acquire lock'; + } + + try { + var file = storage.readFile(filename); + var updated = updateContents(file, data); + storage.writeFile(filename, updated); + } finally { + lock.release(); + } +} +``` + +可惜即使你的锁服务非常完美，上述代码还是可能跪，下面的流程图会告诉你为什么： + +![](https://martin.kleppmann.com/2016/02/unsafe-lock.png) + +上述图中，得到锁的 client1 在持有锁的期间 pause 了一段时间，例如 GC 停顿。锁有过期时间（一般叫租约，为了防止某个 client 崩溃之后一直占有锁），但是如果 GC 停顿太长超过了锁租约时间，此时锁已经被另一个 client2 所得到，原先的 client1 还没有感知到锁过期，那么奇怪的结果就会发生，曾经 HBase 就发生过这种 Bug。即使你在 client1 写回之前检查一下锁是否过期也无助于解决这个问题，因为 GC 可能在任何时候发生，即使是你非常不便的时候（在最后的检查与写操作期间）。 +如果你认为自己的程序不会有长时间的 GC 停顿，还有其他原因会导致你的进程 pause。例如进程可能读取尚未进入内存的数据，所以它得到一个 page fault 并且等待 page 被加载进缓存；还有可能你依赖于网络服务；或者其他进程占用 CPU；或者其他人意外发生 SIGSTOP 等。 + +... .... 这里 Martin 又增加了一节列举各种进程 pause 的例子，为了证明上面的代码是不安全的，无论你的锁服务多完美。 + +## 使用 Fencing （栅栏）使得锁变安全 +修复问题的方法也很简单：你需要在每次写操作时加入一个 fencing token。这个场景下，fencing token 可以是一个递增的数字（lock service 可以做到），每次有 client 申请锁就递增一次： + +![](https://martin.kleppmann.com/2016/02/fencing-tokens.png) + +client1 申请锁同时拿到 token33，然后它进入长时间的停顿锁也过期了。client2 得到锁和 token34 写入数据，紧接着 client1 活过来之后尝试写入数据，自身 token33 比 34 小因此写入操作被拒绝。注意这需要存储层来检查 token，但这并不难实现。如果你使用 Zookeeper 作为 lock service 的话那么你可以使用 zxid 作为递增数字。 +但是对于 Redlock 你要知道，没什么生成 fencing token 的方式，并且怎么修改 Redlock 算法使其能产生 fencing token 呢？好像并不那么显而易见。因为产生 token 需要单调递增，除非在单节点 Redis 上完成但是这又没有高可靠性，你好像需要引进一致性协议来让 Redlock 产生可靠的 fencing token。 + +## 使用时间来解决一致性 +Redlock 无法产生 fencing token 早该成为在需求正确性的场景下弃用它的理由，但还有一些值得讨论的地方。 + +学术界有个说法，算法对时间不做假设：因为进程可能pause一段时间、数据包可能因为网络延迟延后到达、时钟可能根本就是错的。而可靠的算法依旧要在上述假设下做正确的事情。 + +对于 failure detector 来说，timeout 只能作为猜测某个节点 fail 的依据，因为网络延迟、本地时钟不正确等其他原因的限制。考虑到 Redis 使用 gettimeofday，而不是单调的时钟，会受到系统时间的影响，可能会突然前进或者后退一段时间，这会导致一个 key 更快或更慢地过期。 + +可见，Redlock 依赖于许多时间假设，它假设所有 Redis 节点都能对同一个 Key 在其过期前持有差不多的时间、跟过期时间相比网络延迟很小、跟过期时间相比进程 pause 很短。 + +## 用不可靠的时间打破 Redlock +这节 Martin 举了个因为时间问题，Redlock 不可靠的例子。 + +1. client1 从 ABC 三个节点处申请到锁，DE由于网络原因请求没有到达 +2. C节点的时钟往前推了，导致 lock 过期 +3. client2 在CDE处获得了锁，AB由于网络原因请求未到达 +4. 此时 client1 和 client2 都获得了锁 + +**在 Redlock 官方文档中也提到了这个情况，不过是C崩溃的时候，Redlock 官方本身也是知道 Redlock 算法不是完全可靠的，官方为了解决这种问题建议使用延时启动，相关内容可以看之前的[这篇文章](https://zhuanlan.zhihu.com/p/40915772)。但是 Martin 这里分析得更加全面，指出延时启动不也是依赖于时钟的正确性的么？** + +接下来 Martin 又列举了进程 Pause 时而不是时钟不可靠时会发生的问题： + +1. client1 从 ABCDE 处获得了锁 +2. 当获得锁的 response 还没到达 client1 时 client1 进入 GC 停顿 +3. 停顿期间锁已经过期了 +4. client2 在 ABCDE 处获得了锁 +5. client1 GC 完成收到了获得锁的 response，此时两个 client 又拿到了同一把锁 + +**同时长时间的网络延迟也有可能导致同样的问题。** + +## Redlock 的同步性假设 +这些例子说明了，仅有在你假设了一个同步性系统模型的基础上，Redlock 才能正常工作，也就是系统能满足以下属性： + +1. 网络延时边界，即假设数据包一定能在某个最大延时之内到达 +2. 进程停顿边界，即进程停顿一定在某个最大时间之内 +3. 时钟错误边界，即不会从一个坏的 NTP 服务器处取得时间 + +## 结论 +Martin 认为 Redlock 实在不是一个好的选择，对于需求性能的分布式锁应用它太重了且成本高；对于需求正确性的应用来说它不够安全。因为它对高危的时钟或者说其他上述列举的情况进行了不可靠的假设，如果你的应用只需要高性能的分布式锁不要求多高的正确性，那么单节点 Redis 够了；如果你的应用想要保住正确性，那么不建议 Redlock，建议使用一个合适的一致性协调系统，例如 Zookeeper，且保证存在 fencing token。 + +## License +* 原文 [怎样做可靠的分布式锁，Redlock 真的可行么？](https://zhuanlan.zhihu.com/p/41327417) \ No newline at end of file From 757470eeccccc40726ffc9605367f1fefd3aabb0 Mon Sep 17 00:00:00 2001 From: jiayangchen Date: Thu, 20 Sep 2018 15:20:24 +0800 Subject: [PATCH 2/5] =?UTF-8?q?=E8=B0=83=E6=95=B4=E6=95=B0=E6=8D=AE?= =?UTF-8?q?=E5=AD=98=E5=82=A8=E5=8C=85=E7=BB=93=E6=9E=84?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../{ => Redis}/春夏秋冬又一春之Redis持久化.md | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename 数据存储/{ => Redis}/春夏秋冬又一春之Redis持久化.md (100%) diff --git a/数据存储/春夏秋冬又一春之Redis持久化.md b/数据存储/Redis/春夏秋冬又一春之Redis持久化.md similarity index 100% rename from 数据存储/春夏秋冬又一春之Redis持久化.md rename to 数据存储/Redis/春夏秋冬又一春之Redis持久化.md From 227811711e733df3f40b30b0feb24c47187e99ac Mon Sep 17 00:00:00 2001 From: Young Chen <731463669@qq.com> Date: Thu, 20 Sep 2018 15:29:33 +0800 Subject: [PATCH 3/5] =?UTF-8?q?Update=20=E5=A6=82=E4=BD=95=E5=81=9A?= =?UTF-8?q?=E5=8F=AF=E9=9D=A0=E7=9A=84=E5=88=86=E5=B8=83=E5=BC=8F=E9=94=81?= =?UTF-8?q?=EF=BC=8CRedlock=E7=9C=9F=E7=9A=84=E5=8F=AF=E8=A1=8C=E4=B9=88.m?= =?UTF-8?q?d?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...何做可靠的分布式锁，Redlock真的可行么.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md b/数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md index 0a3fcc4c..2fc83e5f 100644 --- a/数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md +++ b/数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md @@ -3,8 +3,8 @@ 开篇作者认为现在 Redis 逐渐被使用到数据管理领域，这个领域需要更强的数据一致性和耐久性，这使得他感到担心，因为这不是 Redis 最初设计的初衷（事实上这也是很多业界程序员的误区，越来越把 Redis 当成数据库在使用），其中基于 Redis 的分布式锁就是令人担心的其一。 Martin 指出首先你要明确你为什么使用分布式锁，为了性能还是正确性？为了帮你区分这二者，在这把锁 fail 了的时候你可以询问自己以下问题： -1. **要性能的：**拥有这把锁使得你不会重复劳动（例如一个 job 做了两次），如果这把锁 fail 了，两个节点同时做了这个 Job，那么这个 Job 增加了你的成本。 -2. **要正确性的：**拥有锁可以防止并发操作污染你的系统或者数据，如果这把锁 fail 了两个节点同时操作了一份数据，结果可能是数据不一致、数据丢失、file 冲突等，会导致严重的后果。 +1. **要性能的：** 拥有这把锁使得你不会重复劳动（例如一个 job 做了两次），如果这把锁 fail 了，两个节点同时做了这个 Job，那么这个 Job 增加了你的成本。 +2. **要正确性的：** 拥有锁可以防止并发操作污染你的系统或者数据，如果这把锁 fail 了两个节点同时操作了一份数据，结果可能是数据不一致、数据丢失、file 冲突等，会导致严重的后果。 上述二者都是需求锁的正确场景，但是你必须清楚自己是因为什么原因需要分布式锁。 @@ -91,4 +91,4 @@ Redlock 无法产生 fencing token 早该成为在需求正确性的场景下弃 Martin 认为 Redlock 实在不是一个好的选择，对于需求性能的分布式锁应用它太重了且成本高；对于需求正确性的应用来说它不够安全。因为它对高危的时钟或者说其他上述列举的情况进行了不可靠的假设，如果你的应用只需要高性能的分布式锁不要求多高的正确性，那么单节点 Redis 够了；如果你的应用想要保住正确性，那么不建议 Redlock，建议使用一个合适的一致性协调系统，例如 Zookeeper，且保证存在 fencing token。 ## License -* 原文 [怎样做可靠的分布式锁，Redlock 真的可行么？](https://zhuanlan.zhihu.com/p/41327417) \ No newline at end of file +* 原文 [怎样做可靠的分布式锁，Redlock 真的可行么？](https://zhuanlan.zhihu.com/p/41327417) From 04b4662f78cc2623d108427d70f2f6840e83b813 Mon Sep 17 00:00:00 2001 From: Young Chen <731463669@qq.com> Date: Thu, 20 Sep 2018 15:35:49 +0800 Subject: [PATCH 4/5] =?UTF-8?q?Update=20Redlock=E5=88=86=E5=B8=83=E5=BC=8F?= =?UTF-8?q?=E9=94=81.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- 数据存储/Redis/Redlock分布式锁.md | 3 --- 1 file changed, 3 deletions(-) diff --git a/数据存储/Redis/Redlock分布式锁.md b/数据存储/Redis/Redlock分布式锁.md index 6a697a0a..b1742f2f 100644 --- a/数据存储/Redis/Redlock分布式锁.md +++ b/数据存储/Redis/Redlock分布式锁.md @@ -45,6 +45,3 @@ end ## 性能、崩溃恢复和 fsync 如果我们的节点没有持久化机制，client 从 5 个 master 中的 3 个处获得了锁，然后其中一个重启了，这是注意 **整个环境中又出现了 3 个 master 可供另一个 client 申请同一把锁！** 违反了互斥性。如果我们开启了 AOF 持久化那么情况会稍微好转一些，因为 Redis 的过期机制是语义层面实现的，所以在 server 挂了的时候时间依旧在流逝，重启之后锁状态不会受到污染。但是考虑断电之后呢，AOF部分命令没来得及刷回磁盘直接丢失了，除非我们配置刷回策略为 fsnyc = always，但这会损伤性能。解决这个问题的方法是，当一个节点重启之后，我们规定在 max TTL 期间它是不可用的，这样它就不会干扰原本已经申请到的锁，等到它 crash 前的那部分锁都过期了，环境不存在历史锁了，那么再把这个节点加进来正常工作。 - -## License -* 原文 [基于 Redis 的分布式锁 Redlock](https://zhuanlan.zhihu.com/p/40915772) \ No newline at end of file From 8b9b23068ee0e3ba2530562763471f409151fa76 Mon Sep 17 00:00:00 2001 From: Young Chen <731463669@qq.com> Date: Thu, 20 Sep 2018 15:36:05 +0800 Subject: [PATCH 5/5] =?UTF-8?q?Update=20=E5=A6=82=E4=BD=95=E5=81=9A?= =?UTF-8?q?=E5=8F=AF=E9=9D=A0=E7=9A=84=E5=88=86=E5=B8=83=E5=BC=8F=E9=94=81?= =?UTF-8?q?=EF=BC=8CRedlock=E7=9C=9F=E7=9A=84=E5=8F=AF=E8=A1=8C=E4=B9=88.m?= =?UTF-8?q?d?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../如何做可靠的分布式锁，Redlock真的可行么.md | 3 --- 1 file changed, 3 deletions(-) diff --git a/数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md b/数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md index 2fc83e5f..043df965 100644 --- a/数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md +++ b/数据存储/Redis/如何做可靠的分布式锁，Redlock真的可行么.md @@ -89,6 +89,3 @@ Redlock 无法产生 fencing token 早该成为在需求正确性的场景下弃 ## 结论 Martin 认为 Redlock 实在不是一个好的选择，对于需求性能的分布式锁应用它太重了且成本高；对于需求正确性的应用来说它不够安全。因为它对高危的时钟或者说其他上述列举的情况进行了不可靠的假设，如果你的应用只需要高性能的分布式锁不要求多高的正确性，那么单节点 Redis 够了；如果你的应用想要保住正确性，那么不建议 Redlock，建议使用一个合适的一致性协调系统，例如 Zookeeper，且保证存在 fencing token。 - -## License -* 原文 [怎样做可靠的分布式锁，Redlock 真的可行么？](https://zhuanlan.zhihu.com/p/41327417)