You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

429 lines
21 KiB
Markdown

This file contains ambiguous Unicode characters!

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

# 17 | 经典PaaS的记忆作业副本与水平扩展
你好我是张磊。今天我和你分享的主题是经典PaaS的记忆之作业副本与水平扩展。
在上一篇文章中我为你详细介绍了Kubernetes项目中第一个重要的设计思想控制器模式。
而在今天这篇文章中我就来为你详细讲解一下Kubernetes里第一个控制器模式的完整实现Deployment。
Deployment看似简单但实际上它实现了Kubernetes项目中一个非常重要的功能Pod的“水平扩展/收缩”horizontal scaling out/in。这个功能是从PaaS时代开始一个平台级项目就必须具备的编排能力。
举个例子如果你更新了Deployment的Pod模板比如修改了容器的镜像那么Deployment就需要遵循一种叫作“滚动更新”rolling update的方式来升级现有的容器。
而这个能力的实现依赖的是Kubernetes项目中的一个非常重要的概念API对象ReplicaSet。
ReplicaSet的结构非常简单我们可以通过这个YAML文件查看一下
```
apiVersion: apps/v1
kind: ReplicaSet
metadata:
name: nginx-set
labels:
app: nginx
spec:
replicas: 3
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:1.7.9
```
从这个YAML文件中我们可以看到**一个ReplicaSet对象其实就是由副本数目的定义和一个Pod模板组成的**。不难发现它的定义其实是Deployment的一个子集。
**更重要的是Deployment控制器实际操纵的正是这样的ReplicaSet对象而不是Pod对象。**
还记不记得我在上一篇文章[《编排其实很简单:谈谈“控制器”模型》](https://time.geekbang.org/column/article/40583)中曾经提出过这样一个问题对于一个Deployment所管理的Pod它的ownerReference是谁
所以这个问题的答案就是ReplicaSet。
明白了这个原理我再来和你一起分析一个如下所示的Deployment
```
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
labels:
app: nginx
spec:
replicas: 3
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:1.7.9
ports:
- containerPort: 80
```
可以看到这就是一个我们常用的nginx-deployment它定义的Pod副本个数是3spec.replicas=3
那么在具体的实现上这个Deployment与ReplicaSet以及Pod的关系是怎样的呢
我们可以用一张图把它描述出来:
![](https://static001.geekbang.org/resource/image/71/58/711c07208358208e91fa7803ebc73058.jpg)
通过这张图我们就很清楚地看到一个定义了replicas=3的Deployment与它的ReplicaSet以及Pod的关系实际上是一种“层层控制”的关系。
其中ReplicaSet负责通过“控制器模式”保证系统中Pod的个数永远等于指定的个数比如3个。这也正是Deployment只允许容器的restartPolicy=Always的主要原因只有在容器能保证自己始终是Running状态的前提下ReplicaSet调整Pod的个数才有意义。
而在此基础上Deployment同样通过“控制器模式”来操作ReplicaSet的个数和属性进而实现“水平扩展/收缩”和“滚动更新”这两个编排动作。
其中,“水平扩展/收缩”非常容易实现Deployment Controller只需要修改它所控制的ReplicaSet的Pod副本个数就可以了。
比如把这个值从3改成4那么Deployment所对应的ReplicaSet就会根据修改后的值自动创建一个新的Pod。这就是“水平扩展”了“水平收缩”则反之。
而用户想要执行这个操作的指令也非常简单就是kubectl scale比如
```
$ kubectl scale deployment nginx-deployment --replicas=4
deployment.apps/nginx-deployment scaled
```
那么,“滚动更新”又是什么意思,是如何实现的呢?
接下来我还以这个Deployment为例来为你讲解“滚动更新”的过程。
首先我们来创建这个nginx-deployment
```
$ kubectl create -f nginx-deployment.yaml --record
```
注意在这里我额外加了一个record参数。它的作用是记录下你每次操作所执行的命令以方便后面查看。
然后我们来检查一下nginx-deployment创建后的状态信息
```
$ kubectl get deployments
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
nginx-deployment 3 0 0 0 1s
```
在返回结果中,我们可以看到四个状态字段,它们的含义如下所示。
1. DESIRED用户期望的Pod副本个数spec.replicas的值
2. CURRENT当前处于Running状态的Pod的个数
3. UP-TO-DATE当前处于最新版本的Pod的个数所谓最新版本指的是Pod的Spec部分与Deployment里Pod模板里定义的完全一致
4. AVAILABLE当前已经可用的Pod的个数既是Running状态又是最新版本并且已经处于Ready健康检查正确状态的Pod的个数。
可以看到只有这个AVAILABLE字段描述的才是用户所期望的最终状态。
而Kubernetes项目还为我们提供了一条指令让我们可以实时查看Deployment对象的状态变化。这个指令就是kubectl rollout status
```
$ kubectl rollout status deployment/nginx-deployment
Waiting for rollout to finish: 2 out of 3 new replicas have been updated...
deployment.apps/nginx-deployment successfully rolled out
```
在这个返回结果中“2 out of 3 new replicas have been updated”意味着已经有2个Pod进入了UP-TO-DATE状态。
继续等待一会儿我们就能看到这个Deployment的3个Pod就进入到了AVAILABLE状态
```
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
nginx-deployment 3 3 3 3 20s
```
此时你可以尝试查看一下这个Deployment所控制的ReplicaSet
```
$ kubectl get rs
NAME DESIRED CURRENT READY AGE
nginx-deployment-3167673210 3 3 3 20s
```
如上所示在用户提交了一个Deployment对象后Deployment Controller就会立即创建一个Pod副本个数为3的ReplicaSet。这个ReplicaSet的名字则是由Deployment的名字和一个随机字符串共同组成。
这个随机字符串叫作pod-template-hash在我们这个例子里就是3167673210。ReplicaSet会把这个随机字符串加在它所控制的所有Pod的标签里从而保证这些Pod不会与集群里的其他Pod混淆。
而ReplicaSet的DESIRED、CURRENT和READY字段的含义和Deployment中是一致的。所以**相比之下Deployment只是在ReplicaSet的基础上添加了UP-TO-DATE这个跟版本有关的状态字段。**
这个时候如果我们修改了Deployment的Pod模板“滚动更新”就会被自动触发。
修改Deployment有很多方法。比如我可以直接使用kubectl edit指令编辑Etcd里的API对象。
```
$ kubectl edit deployment/nginx-deployment
...
spec:
containers:
- name: nginx
image: nginx:1.9.1 # 1.7.9 -> 1.9.1
ports:
- containerPort: 80
...
deployment.extensions/nginx-deployment edited
```
这个kubectl edit指令会帮你直接打开nginx-deployment的API对象。然后你就可以修改这里的Pod模板部分了。比如在这里我将nginx镜像的版本升级到了1.9.1。
> 备注kubectl edit并不神秘它不过是把API对象的内容下载到了本地文件让你修改完成后再提交上去。
kubectl edit指令编辑完成后保存退出Kubernetes就会立刻触发“滚动更新”的过程。你还可以通过kubectl rollout status指令查看nginx-deployment的状态变化
```
$ kubectl rollout status deployment/nginx-deployment
Waiting for rollout to finish: 2 out of 3 new replicas have been updated...
deployment.extensions/nginx-deployment successfully rolled out
```
这时你可以通过查看Deployment的Events看到这个“滚动更新”的流程
```
$ kubectl describe deployment nginx-deployment
...
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
...
Normal ScalingReplicaSet 24s deployment-controller Scaled up replica set nginx-deployment-1764197365 to 1
Normal ScalingReplicaSet 22s deployment-controller Scaled down replica set nginx-deployment-3167673210 to 2
Normal ScalingReplicaSet 22s deployment-controller Scaled up replica set nginx-deployment-1764197365 to 2
Normal ScalingReplicaSet 19s deployment-controller Scaled down replica set nginx-deployment-3167673210 to 1
Normal ScalingReplicaSet 19s deployment-controller Scaled up replica set nginx-deployment-1764197365 to 3
Normal ScalingReplicaSet 14s deployment-controller Scaled down replica set nginx-deployment-3167673210 to 0
```
可以看到首先当你修改了Deployment里的Pod定义之后Deployment Controller会使用这个修改后的Pod模板创建一个新的ReplicaSethash=1764197365这个新的ReplicaSet的初始Pod副本数是0。
然后在Age=24 s的位置Deployment Controller开始将这个新的ReplicaSet所控制的Pod副本数从0个变成1个“水平扩展”出一个副本。
紧接着在Age=22 s的位置Deployment Controller又将旧的ReplicaSethash=3167673210所控制的旧Pod副本数减少一个“水平收缩”成两个副本。
如此交替进行新ReplicaSet管理的Pod副本数从0个变成1个再变成2个最后变成3个。而旧的ReplicaSet管理的Pod副本数则从3个变成2个再变成1个最后变成0个。这样就完成了这一组Pod的版本升级过程。
像这样,**将一个集群中正在运行的多个Pod版本交替地逐一升级的过程就是“滚动更新”。**
在这个“滚动更新”过程完成之后你可以查看一下新、旧两个ReplicaSet的最终状态
```
$ kubectl get rs
NAME DESIRED CURRENT READY AGE
nginx-deployment-1764197365 3 3 3 6s
nginx-deployment-3167673210 0 0 0 30s
```
其中旧ReplicaSethash=3167673210已经被“水平收缩”成了0个副本。
**这种“滚动更新”的好处是显而易见的。**
比如在升级刚开始的时候集群里只有1个新版本的Pod。如果这时新版本Pod有问题启动不起来那么“滚动更新”就会停止从而允许开发和运维人员介入。而在这个过程中由于应用本身还有两个旧版本的Pod在线所以服务并不会受到太大的影响。
当然这也就要求你一定要使用Pod的Health Check机制检查应用的运行状态而不是简单地依赖于容器的Running状态。要不然的话虽然容器已经变成Running了但服务很有可能尚未启动“滚动更新”的效果也就达不到了。
而为了进一步保证服务的连续性Deployment Controller还会确保在任何时间窗口内只有指定比例的Pod处于离线状态。同时它也会确保在任何时间窗口内只有指定比例的新Pod被创建出来。这两个比例的值都是可以配置的默认都是DESIRED值的25%。
所以在上面这个Deployment的例子中它有3个Pod副本那么控制器在“滚动更新”的过程中永远都会确保至少有2个Pod处于可用状态至多只有4个Pod同时存在于集群中。这个策略是Deployment对象的一个字段名叫RollingUpdateStrategy如下所示
```
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
labels:
app: nginx
spec:
...
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 1
maxUnavailable: 1
```
在上面这个RollingUpdateStrategy的配置中maxSurge指定的是除了DESIRED数量之外在一次“滚动”中Deployment控制器还可以创建多少个新Pod而maxUnavailable指的是在一次“滚动”中Deployment控制器可以删除多少个旧Pod。
同时这两个配置还可以用前面我们介绍的百分比形式来表示比如maxUnavailable=50%指的是我们最多可以一次删除“50%\*DESIRED数量”个Pod。
结合以上讲述现在我们可以扩展一下Deployment、ReplicaSet和Pod的关系图了。
![](https://static001.geekbang.org/resource/image/bb/5d/bbc4560a053dee904e45ad66aac7145d.jpg)
如上所示Deployment的控制器实际上控制的是ReplicaSet的数目以及每个ReplicaSet的属性。
而一个应用的版本对应的正是一个ReplicaSet这个版本应用的Pod数量则由ReplicaSet通过它自己的控制器ReplicaSet Controller来保证。
通过这样的多个ReplicaSet对象Kubernetes项目就实现了对多个“应用版本”的描述。
而明白了“应用版本和ReplicaSet一一对应”的设计思想之后我就可以为你讲解一下Deployment对应用进行版本控制的具体原理了。
这一次,我会使用一个叫**kubectl set image**的指令直接修改nginx-deployment所使用的镜像。这个命令的好处就是你可以不用像kubectl edit那样需要打开编辑器。
不过这一次我把这个镜像名字修改成为了一个错误的名字比如nginx:1.91。这样这个Deployment就会出现一个升级失败的版本。
我们一起来实践一下:
```
$ kubectl set image deployment/nginx-deployment nginx=nginx:1.91
deployment.extensions/nginx-deployment image updated
```
由于这个nginx:1.91镜像在Docker Hub中并不存在所以这个Deployment的“滚动更新”被触发后会立刻报错并停止。
这时我们来检查一下ReplicaSet的状态如下所示
```
$ kubectl get rs
NAME DESIRED CURRENT READY AGE
nginx-deployment-1764197365 2 2 2 24s
nginx-deployment-3167673210 0 0 0 35s
nginx-deployment-2156724341 2 2 0 7s
```
通过这个返回结果我们可以看到新版本的ReplicaSethash=2156724341的“水平扩展”已经停止。而且此时它已经创建了两个Pod但是它们都没有进入READY状态。这当然是因为这两个Pod都拉取不到有效的镜像。
与此同时旧版本的ReplicaSethash=1764197365的“水平收缩”也自动停止了。此时已经有一个旧Pod被删除还剩下两个旧Pod。
那么问题来了, 我们如何让这个Deployment的3个Pod都回滚到以前的旧版本呢
我们只需要执行一条kubectl rollout undo命令就能把整个Deployment回滚到上一个版本
```
$ kubectl rollout undo deployment/nginx-deployment
deployment.extensions/nginx-deployment
```
很容易想到在具体操作上Deployment的控制器其实就是让这个旧ReplicaSethash=1764197365再次“扩展”成3个Pod而让新的ReplicaSethash=2156724341重新“收缩”到0个Pod。
更进一步地,如果我想回滚到更早之前的版本,要怎么办呢?
**首先我需要使用kubectl rollout history命令查看每次Deployment变更对应的版本**。而由于我们在创建这个Deployment的时候指定了record参数所以我们创建这些版本时执行的kubectl命令都会被记录下来。这个操作的输出如下所示
```
$ kubectl rollout history deployment/nginx-deployment
deployments "nginx-deployment"
REVISION CHANGE-CAUSE
1 kubectl create -f nginx-deployment.yaml --record
2 kubectl edit deployment/nginx-deployment
3 kubectl set image deployment/nginx-deployment nginx=nginx:1.91
```
可以看到我们前面执行的创建和更新操作分别对应了版本1和版本2而那次失败的更新操作则对应的是版本3。
当然你还可以通过这个kubectl rollout history指令看到每个版本对应的Deployment的API对象的细节具体命令如下所示
```
$ kubectl rollout history deployment/nginx-deployment --revision=2
```
**然后我们就可以在kubectl rollout undo命令行最后加上要回滚到的指定版本的版本号就可以回滚到指定版本了**。这个指令的用法如下:
```
$ kubectl rollout undo deployment/nginx-deployment --to-revision=2
deployment.extensions/nginx-deployment
```
这样Deployment Controller还会按照“滚动更新”的方式完成对Deployment的降级操作。
不过你可能已经想到了一个问题我们对Deployment进行的每一次更新操作都会生成一个新的ReplicaSet对象是不是有些多余甚至浪费资源呢
没错。
所以Kubernetes项目还提供了一个指令使得我们对Deployment的多次更新操作最后 只生成一个ReplicaSet。
具体的做法是在更新Deployment前你要先执行一条kubectl rollout pause指令。它的用法如下所示
```
$ kubectl rollout pause deployment/nginx-deployment
deployment.extensions/nginx-deployment paused
```
这个kubectl rollout pause的作用是让这个Deployment进入了一个“暂停”状态。
所以接下来你就可以随意使用kubectl edit或者kubectl set image指令修改这个Deployment的内容了。
由于此时Deployment正处于“暂停”状态所以我们对Deployment的所有修改都不会触发新的“滚动更新”也不会创建新的ReplicaSet。
而等到我们对Deployment修改操作都完成之后只需要再执行一条kubectl rollout resume指令就可以把这个Deployment“恢复”回来如下所示
```
$ kubectl rollout resume deployment/nginx-deployment
deployment.extensions/nginx-deployment resumed
```
而在这个kubectl rollout resume指令执行之前在kubectl rollout pause指令之后的这段时间里我们对Deployment进行的所有修改最后只会触发一次“滚动更新”。
当然我们可以通过检查ReplicaSet状态的变化来验证一下kubectl rollout pause和kubectl rollout resume指令的执行效果如下所示
```
$ kubectl get rs
NAME DESIRED CURRENT READY AGE
nginx-1764197365 0 0 0 2m
nginx-3196763511 3 3 3 28s
```
通过返回结果我们可以看到只有一个hash=3196763511的ReplicaSet被创建了出来。
不过即使你像上面这样小心翼翼地控制了ReplicaSet的生成数量随着应用版本的不断增加Kubernetes中还是会为同一个Deployment保存很多很多不同的ReplicaSet。
那么我们又该如何控制这些“历史”ReplicaSet的数量呢
很简单Deployment对象有一个字段叫作spec.revisionHistoryLimit就是Kubernetes为Deployment保留的“历史版本”个数。所以如果把它设置为0你就再也不能做回滚操作了。
## 总结
在今天这篇文章中我为你详细讲解了Deployment这个Kubernetes项目中最基本的编排控制器的实现原理和使用方法。
通过这些讲解你应该了解到Deployment实际上是一个**两层控制器**。首先,它通过**ReplicaSet的个数**来描述应用的版本;然后,它再通过**ReplicaSet的属性**比如replicas的值来保证Pod的副本数量。
> 备注Deployment控制ReplicaSet版本ReplicaSet控制Pod副本数。这个两层控制关系一定要牢记。
不过相信你也能够感受到Kubernetes项目对Deployment的设计实际上是代替我们完成了对“应用”的抽象使得我们可以使用这个Deployment对象来描述应用使用kubectl rollout命令控制应用的版本。
可是在实际使用场景中应用发布的流程往往千差万别也可能有很多的定制化需求。比如我的应用可能有会话黏连session sticky这就意味着“滚动更新”的时候哪个Pod能下线是不能随便选择的。
这种场景光靠Deployment自己就很难应对了。对于这种需求我在专栏后续文章中重点介绍的“自定义控制器”就可以帮我们实现一个功能更加强大的Deployment Controller。
当然Kubernetes项目本身也提供了另外一种抽象方式帮我们应对其他一些用Deployment无法处理的应用编排场景。这个设计就是对有状态应用的管理也是我在下一篇文章中要重点讲解的内容。
## 思考题
你听说过金丝雀发布Canary Deployment和蓝绿发布Blue-Green Deployment你能说出它们是什么意思吗
实际上有了Deployment的能力之后你可以非常轻松地用它来实现金丝雀发布、蓝绿发布以及A/B测试等很多应用发布模式。这些问题的答案都在[这个GitHub库](https://github.com/ContainerSolutions/k8s-deployment-strategies/tree/master/canary),建议你在课后实践一下。
感谢你的收听,欢迎你给我留言,也欢迎分享给更多的朋友一起阅读。