gitbook/深入剖析Kubernetes/docs/18119.md
2022-09-03 22:05:03 +08:00

492 lines
25 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 08 | 白话容器基础重新认识Docker容器
你好我是张磊。今天我和你分享的主题是白话容器基础之重新认识Docker容器。
在前面的三次分享中我分别从Linux Namespace的隔离能力、Linux Cgroups的限制能力以及基于rootfs的文件系统三个角度为你剖析了一个Linux容器的核心实现原理。
> 备注之所以要强调Linux容器是因为比如Docker on Mac以及Windows DockerHyper-V实现实际上是基于虚拟化技术实现的跟我们这个专栏着重介绍的Linux容器完全不同。
而在今天的分享中我会通过一个实际案例对“白话容器基础”系列的所有内容做一次深入的总结和扩展。希望通过这次的讲解能够让你更透彻地理解Docker容器的本质。
在开始实践之前你需要准备一台Linux机器并安装Docker。这个流程我就不再赘述了。
这一次我要用Docker部署一个用Python编写的Web应用。这个应用的代码部分`app.py`)非常简单:
```
from flask import Flask
import socket
import os
app = Flask(__name__)
@app.route('/')
def hello():
html = "<h3>Hello {name}!</h3>" \
"<b>Hostname:</b> {hostname}<br/>"
return html.format(name=os.getenv("NAME", "world"), hostname=socket.gethostname())
if __name__ == "__main__":
app.run(host='0.0.0.0', port=80)
```
在这段代码中我使用Flask框架启动了一个Web服务器而它唯一的功能是如果当前环境中有“NAME”这个环境变量就把它打印在“Hello”之后否则就打印“Hello world”最后再打印出当前环境的hostname。
这个应用的依赖则被定义在了同目录下的requirements.txt文件里内容如下所示
```
$ cat requirements.txt
Flask
```
**而将这样一个应用容器化的第一步,是制作容器镜像。**
不过相较于我之前介绍的制作rootfs的过程Docker为你提供了一种更便捷的方式叫作Dockerfile如下所示。
```
# 使用官方提供的Python开发镜像作为基础镜像
FROM python:2.7-slim
# 将工作目录切换为/app
WORKDIR /app
# 将当前目录下的所有内容复制到/app下
ADD . /app
# 使用pip命令安装这个应用所需要的依赖
RUN pip install --trusted-host pypi.python.org -r requirements.txt
# 允许外界访问容器的80端口
EXPOSE 80
# 设置环境变量
ENV NAME World
# 设置容器进程为python app.py这个Python应用的启动命令
CMD ["python", "app.py"]
```
通过这个文件的内容,你可以看到**Dockerfile的设计思想是使用一些标准的原语即大写高亮的词语描述我们所要构建的Docker镜像。并且这些原语都是按顺序处理的。**
比如FROM原语指定了“python:2.7-slim”这个官方维护的基础镜像从而免去了安装Python等语言环境的操作。否则这一段我们就得这么写了
```
FROM ubuntu:latest
RUN apt-get update -yRUN apt-get install -y python-pip python-dev build-essential
...
```
其中RUN原语就是在容器里执行shell命令的意思。
而WORKDIR意思是在这一句之后Dockerfile后面的操作都以这一句指定的/app目录作为当前目录。
所以到了最后的CMD意思是Dockerfile指定python app.py为这个容器的进程。这里app.py的实际路径是/app/app.py。所以`CMD ["python", "app.py"]`等价于"`docker run <image> python app.py`"。
另外在使用Dockerfile时你可能还会看到一个叫作ENTRYPOINT的原语。实际上它和CMD都是Docker容器进程启动所必需的参数完整执行格式是“ENTRYPOINT CMD”。
但是默认情况下Docker会为你提供一个隐含的ENTRYPOINT/bin/sh -c。所以在不指定ENTRYPOINT时比如在我们这个例子里实际上运行在容器里的完整进程是`/bin/sh -c "python app.py"`即CMD的内容就是ENTRYPOINT的参数。
> 备注:基于以上原因,**我们后面会统一称Docker容器的启动进程为ENTRYPOINT而不是CMD。**
需要注意的是Dockerfile里的原语并不都是指对容器内部的操作。就比如ADD它指的是把当前目录即Dockerfile所在的目录里的文件复制到指定容器内的目录当中。
读懂这个Dockerfile之后我再把上述内容保存到当前目录里一个名叫“Dockerfile”的文件中
```
$ ls
Dockerfile app.py requirements.txt
```
接下来我就可以让Docker制作这个镜像了在当前目录执行
```
$ docker build -t helloworld .
```
其中,-t的作用是给这个镜像加一个Tag起一个好听的名字。docker build会自动加载当前目录下的Dockerfile文件然后按照顺序执行文件中的原语。而这个过程实际上可以等同于Docker使用基础镜像启动了一个容器然后在容器中依次执行Dockerfile中的原语。
**需要注意的是Dockerfile中的每个原语执行后都会生成一个对应的镜像层**。即使原语本身并没有明显地修改文件的操作比如ENV原语它对应的层也会存在。只不过在外界看来这个层是空的。
docker build操作完成后我可以通过docker images命令查看结果
```
$ docker image ls
REPOSITORY TAG IMAGE ID
helloworld latest 653287cdf998
```
通过这个镜像ID你就可以使用在[《白话容器基础(三):深入理解容器镜像》](https://time.geekbang.org/column/article/17921)中讲过的方法查看这些新增的层在AuFS路径下对应的文件和目录了。
**接下来我使用这个镜像通过docker run命令启动容器**
```
$ docker run -p 4000:80 helloworld
```
在这一句命令中镜像名helloworld后面我什么都不用写因为在Dockerfile中已经指定了CMD。否则我就得把进程的启动命令加在后面
```
$ docker run -p 4000:80 helloworld python app.py
```
容器启动之后我可以使用docker ps命令看到
```
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED
4ddf4638572d helloworld "python app.py" 10 seconds ago
```
同时,我已经通过-p 4000:80告诉了Docker请把容器内的80端口映射在宿主机的4000端口上。
这样做的目的是只要访问宿主机的4000端口我就可以看到容器里应用返回的结果
```
$ curl http://localhost:4000
<h3>Hello World!</h3><b>Hostname:</b> 4ddf4638572d<br/>
```
否则我就得先用docker inspect命令查看容器的IP地址然后访问“http://<容器IP地址>:80”才可以看到容器内应用的返回。
至此我已经使用容器完成了一个应用的开发与测试如果现在想要把这个容器的镜像上传到DockerHub上分享给更多的人我要怎么做呢
为了能够上传镜像,**我首先需要注册一个Docker Hub账号然后使用docker login命令登录**。
接下来,我要**用docker tag命令给容器镜像起一个完整的名字**
```
$ docker tag helloworld geektime/helloworld:v1
```
> 注意:你自己做实验时,请将"geektime"替换成你自己的Docker Hub账户名称比如zhangsan/helloworld:v1
其中geektime是我在Docker Hub上的用户名它的“学名”叫镜像仓库Repository“/”后面的helloworld是这个镜像的名字而“v1”则是我给这个镜像分配的版本号。
**然后我执行docker push**
```
$ docker push geektime/helloworld:v1
```
这样我就可以把这个镜像上传到Docker Hub上了。
此外我还可以使用docker commit指令把一个正在运行的容器直接提交为一个镜像。一般来说需要这么操作原因是这个容器运行起来后我又在里面做了一些操作并且要把操作结果保存到镜像里比如
```
$ docker exec -it 4ddf4638572d /bin/sh
# 在容器内部新建了一个文件
root@4ddf4638572d:/app# touch test.txt
root@4ddf4638572d:/app# exit
#将这个新建的文件提交到镜像中保存
$ docker commit 4ddf4638572d geektime/helloworld:v2
```
这里我使用了docker exec命令进入到了容器当中。在了解了Linux Namespace的隔离机制后你应该会很自然地想到一个问题docker exec是怎么做到进入容器里的呢
实际上Linux Namespace创建的隔离空间虽然看不见摸不着但一个进程的Namespace信息在宿主机上是确确实实存在的并且是以一个文件的方式存在。
比如通过如下指令你可以看到当前正在运行的Docker容器的进程号PID是25686
```
$ docker inspect --format '{{ .State.Pid }}' 4ddf4638572d
25686
```
这时你可以通过查看宿主机的proc文件看到这个25686进程的所有Namespace对应的文件
```
$ ls -l /proc/25686/ns
total 0
lrwxrwxrwx 1 root root 0 Aug 13 14:05 cgroup -> cgroup:[4026531835]
lrwxrwxrwx 1 root root 0 Aug 13 14:05 ipc -> ipc:[4026532278]
lrwxrwxrwx 1 root root 0 Aug 13 14:05 mnt -> mnt:[4026532276]
lrwxrwxrwx 1 root root 0 Aug 13 14:05 net -> net:[4026532281]
lrwxrwxrwx 1 root root 0 Aug 13 14:05 pid -> pid:[4026532279]
lrwxrwxrwx 1 root root 0 Aug 13 14:05 pid_for_children -> pid:[4026532279]
lrwxrwxrwx 1 root root 0 Aug 13 14:05 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 Aug 13 14:05 uts -> uts:[4026532277]
```
可以看到一个进程的每种Linux Namespace都在它对应的/proc/\[进程号\]/ns下有一个对应的虚拟文件并且链接到一个真实的Namespace文件上。
有了这样一个可以“hold住”所有Linux Namespace的文件我们就可以对Namespace做一些很有意义事情了比如加入到一个已经存在的Namespace当中。
**这也就意味着一个进程可以选择加入到某个进程已有的Namespace当中从而达到“进入”这个进程所在容器的目的这正是docker exec的实现原理。**
而这个操作所依赖的乃是一个名叫setns()的Linux系统调用。它的调用方法我可以用如下一段小程序为你说明
```
#define _GNU_SOURCE
#include <fcntl.h>
#include <sched.h>
#include <unistd.h>
#include <stdlib.h>
#include <stdio.h>
#define errExit(msg) do { perror(msg); exit(EXIT_FAILURE);} while (0)
int main(int argc, char *argv[]) {
int fd;
fd = open(argv[1], O_RDONLY);
if (setns(fd, 0) == -1) {
errExit("setns");
}
execvp(argv[2], &argv[2]);
errExit("execvp");
}
```
这段代码功能非常简单它一共接收两个参数第一个参数是argv\[1\]即当前进程要加入的Namespace文件的路径比如/proc/25686/ns/net而第二个参数则是你要在这个Namespace里运行的进程比如/bin/bash。
这段代码的核心操作则是通过open()系统调用打开了指定的Namespace文件并把这个文件的描述符fd交给setns()使用。在setns()执行后当前进程就加入了这个文件对应的Linux Namespace当中了。
现在你可以编译执行一下这个程序加入到容器进程PID=25686的Network Namespace中
```
$ gcc -o set_ns set_ns.c
$ ./set_ns /proc/25686/ns/net /bin/bash
$ ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:ac:11:00:02
inet addr:172.17.0.2 Bcast:0.0.0.0 Mask:255.255.0.0
inet6 addr: fe80::42:acff:fe11:2/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:12 errors:0 dropped:0 overruns:0 frame:0
TX packets:10 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:976 (976.0 B) TX bytes:796 (796.0 B)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
```
正如上所示当我们执行ifconfig命令查看网络设备时我会发现能看到的网卡“变少”了只有两个。而我的宿主机则至少有四个网卡。这是怎么回事呢
实际上在setns()之后我看到的这两个网卡正是我在前面启动的Docker容器里的网卡。也就是说我新创建的这个/bin/bash进程由于加入了该容器进程PID=25686的Network Namepace它看到的网络设备与这个容器里是一样的/bin/bash进程的网络设备视图也被修改了。
而一旦一个进程加入到了另一个Namespace当中在宿主机的Namespace文件上也会有所体现。
在宿主机上你可以用ps指令找到这个set\_ns程序执行的/bin/bash进程其真实的PID是28499
```
# 在宿主机上
ps aux | grep /bin/bash
root 28499 0.0 0.0 19944 3612 pts/0 S 14:15 0:00 /bin/bash
```
这时如果按照前面介绍过的方法查看一下这个PID=28499的进程的Namespace你就会发现这样一个事实
```
$ ls -l /proc/28499/ns/net
lrwxrwxrwx 1 root root 0 Aug 13 14:18 /proc/28499/ns/net -> net:[4026532281]
$ ls -l /proc/25686/ns/net
lrwxrwxrwx 1 root root 0 Aug 13 14:05 /proc/25686/ns/net -> net:[4026532281]
```
在/proc/\[PID\]/ns/net目录下这个PID=28499进程与我们前面的Docker容器进程PID=25686指向的Network Namespace文件完全一样。这说明这两个进程共享了这个名叫net:\[4026532281\]的Network Namespace。
此外Docker还专门提供了一个参数可以让你启动一个容器并“加入”到另一个容器的Network Namespace里这个参数就是-net比如:
```
$ docker run -it --net container:4ddf4638572d busybox ifconfig
```
这样我们新启动的这个容器就会直接加入到ID=4ddf4638572d的容器也就是我们前面的创建的Python应用容器PID=25686的Network Namespace中。所以这里ifconfig返回的网卡信息跟我前面那个小程序返回的结果一模一样你也可以尝试一下。
而如果我指定net=host就意味着这个容器不会为进程启用Network Namespace。这就意味着这个容器拆除了Network Namespace的“隔离墙”所以它会和宿主机上的其他普通进程一样直接共享宿主机的网络栈。这就为容器直接操作和使用宿主机网络提供了一个渠道。
**转了一个大圈子我其实是为你详细解读了docker exec这个操作背后Linux Namespace更具体的工作原理。**
**这种通过操作系统进程相关的知识逐步剖析Docker容器的方法是理解容器的一个关键思路希望你一定要掌握。**
现在我们再一起回到前面提交镜像的操作docker commit上来吧。
docker commit实际上就是在容器运行起来后把最上层的“可读写层”加上原先容器镜像的只读层打包组成了一个新的镜像。当然下面这些只读层在宿主机上是共享的不会占用额外的空间。
而由于使用了联合文件系统你在容器里对镜像rootfs所做的任何修改都会被操作系统先复制到这个可读写层然后再修改。这就是所谓的Copy-on-Write。
而正如前所说Init层的存在就是为了避免你执行docker commit时把Docker自己对/etc/hosts等文件做的修改也一起提交掉。
有了新的镜像我们就可以把它推送到Docker Hub上了
```
$ docker push geektime/helloworld:v2
```
你可能还会有这样的问题我在企业内部能不能也搭建一个跟Docker Hub类似的镜像上传系统呢
当然可以这个统一存放镜像的系统就叫作Docker Registry。感兴趣的话你可以查看[Docker的官方文档](https://docs.docker.com/registry/),以及[VMware的Harbor项目](https://github.com/goharbor/harbor)。
最后我再来讲解一下Docker项目另一个重要的内容Volume数据卷
前面我已经介绍过容器技术使用了rootfs机制和Mount Namespace构建出了一个同宿主机完全隔离开的文件系统环境。这时候我们就需要考虑这样两个问题
1. 容器里进程新建的文件,怎么才能让宿主机获取到?
2. 宿主机上的文件和目录,怎么才能让容器里的进程访问到?
这正是Docker Volume要解决的问题**Volume机制允许你将宿主机上指定的目录或者文件挂载到容器里面进行读取和修改操作。**
在Docker项目里它支持两种Volume声明方式可以把宿主机目录挂载进容器的/test目录当中
```
$ docker run -v /test ...
$ docker run -v /home:/test ...
```
而这两种声明方式的本质,实际上是相同的:都是把一个宿主机的目录挂载进了容器的/test目录。
只不过在第一种情况下由于你并没有显示声明宿主机目录那么Docker就会默认在宿主机上创建一个临时目录 /var/lib/docker/volumes/\[VOLUME\_ID\]/\_data然后把它挂载到容器的/test目录上。而在第二种情况下Docker就直接把宿主机的/home目录挂载到容器的/test目录上。
那么Docker又是如何做到把一个宿主机上的目录或者文件挂载到容器里面去呢难道又是Mount Namespace的黑科技吗
实际上,并不需要这么麻烦。
在《白话容器基础深入理解容器镜像》的分享中我已经介绍过当容器进程被创建之后尽管开启了Mount Namespace但是在它执行chroot或者pivot\_root之前容器进程一直可以看到宿主机上的整个文件系统。
而宿主机上的文件系统,也自然包括了我们要使用的容器镜像。这个镜像的各个层,保存在/var/lib/docker/aufs/diff目录下在容器进程启动后它们会被联合挂载在/var/lib/docker/aufs/mnt/目录中这样容器所需的rootfs就准备好了。
所以我们只需要在rootfs准备好之后在执行chroot之前把Volume指定的宿主机目录比如/home目录挂载到指定的容器目录比如/test目录在宿主机上对应的目录即/var/lib/docker/aufs/mnt/\[可读写层ID\]/test这个Volume的挂载工作就完成了。
更重要的是由于执行这个挂载操作时“容器进程”已经创建了也就意味着此时Mount Namespace已经开启了。所以这个挂载事件只在这个容器里可见。你在宿主机上是看不见容器内部的这个挂载点的。这就**保证了容器的隔离性不会被Volume打破**。
> 注意:这里提到的"容器进程"是Docker创建的一个容器初始化进程(dockerinit),而不是应用进程(ENTRYPOINT + CMD)。dockerinit会负责完成根目录的准备、挂载设备和目录、配置hostname等一系列需要在容器内进行的初始化操作。最后它通过execv()系统调用让应用进程取代自己成为容器里的PID=1的进程。
而这里要使用到的挂载技术就是Linux的**绑定挂载bind mount机制**。它的主要作用就是,允许你将一个目录或者文件,而不是整个设备,挂载到一个指定的目录上。并且,这时你在该挂载点上进行的任何操作,只是发生在被挂载的目录或者文件上,而原挂载点的内容则会被隐藏起来且不受影响。
其实如果你了解Linux 内核的话就会明白绑定挂载实际上是一个inode替换的过程。在Linux操作系统中inode可以理解为存放文件内容的“对象”而dentry也叫目录项就是访问这个inode所使用的“指针”。
![](https://static001.geekbang.org/resource/image/95/c6/95c957b3c2813bb70eb784b8d1daedc6.png)
正如上图所示mount --bind /home /test会将/home挂载到/test上。其实相当于将/test的dentry重定向到了/home的inode。这样当我们修改/test目录时实际修改的是/home目录的inode。这也就是为何一旦执行umount命令/test目录原先的内容就会恢复因为修改真正发生在的是/home目录里。
**所以在一个正确的时机进行一次绑定挂载Docker就可以成功地将一个宿主机上的目录或文件不动声色地挂载到容器中。**
这样,进程在容器里对这个/test目录进行的所有操作都实际发生在宿主机的对应目录比如/home或者/var/lib/docker/volumes/\[VOLUME\_ID\]/\_data而不会影响容器镜像的内容。
那么,这个/test目录里的内容既然挂载在容器rootfs的可读写层它会不会被docker commit提交掉呢
也不会。
这个原因其实我们前面已经提到过。容器的镜像操作比如docker commit都是发生在宿主机空间的。而由于Mount Namespace的隔离作用宿主机并不知道这个绑定挂载的存在。所以在宿主机看来容器中可读写层的/test目录/var/lib/docker/aufs/mnt/\[可读写层ID\]/test**始终是空的。**
不过由于Docker一开始还是要创建/test这个目录作为挂载点所以执行了docker commit之后你会发现新产生的镜像里会多出来一个空的/test目录。毕竟新建目录操作又不是挂载操作Mount Namespace对它可起不到“障眼法”的作用。
结合以上的讲解,我们现在来亲自验证一下:
首先启动一个helloworld容器给它声明一个Volume挂载在容器里的/test目录上
```
$ docker run -d -v /test helloworld
cf53b766fa6f
```
容器启动之后我们来查看一下这个Volume的ID
```
$ docker volume ls
DRIVER VOLUME NAME
local cb1c2f7221fa9b0971cc35f68aa1034824755ac44a034c0c0a1dd318838d3a6d
```
然后使用这个ID可以找到它在Docker工作目录下的volumes路径
```
$ ls /var/lib/docker/volumes/cb1c2f7221fa/_data/
```
这个\_data文件夹就是这个容器的Volume在宿主机上对应的临时目录了。
接下来我们在容器的Volume里添加一个文件text.txt
```
$ docker exec -it cf53b766fa6f /bin/sh
cd test/
touch text.txt
```
这时我们再回到宿主机就会发现text.txt已经出现在了宿主机上对应的临时目录里
```
$ ls /var/lib/docker/volumes/cb1c2f7221fa/_data/
text.txt
```
可是,如果你在宿主机上查看该容器的可读写层,虽然可以看到这个/test目录但其内容是空的关于如何找到这个AuFS文件系统的路径请参考我上一次分享的内容
```
$ ls /var/lib/docker/aufs/mnt/6780d0778b8a/test
```
可以确认容器Volume里的信息并不会被docker commit提交掉但这个挂载点目录/test本身则会出现在新的镜像当中。
以上内容就是Docker Volume的核心原理了。
## 总结
在今天的这次分享中我用了一个非常经典的Python应用作为案例讲解了Docke容器使用的主要场景。熟悉了这些操作你也就基本上摸清了Docker容器的核心功能。
更重要的是我着重介绍了如何使用Linux Namespace、Cgroups以及rootfs的知识对容器进行了一次庖丁解牛似的解读。
借助这种思考问题的方法最后的Docker容器我们实际上就可以用下面这个“全景图”描述出来
![](https://static001.geekbang.org/resource/image/31/e5/3116751445d182687ce496f2825117e5.jpg)
这个容器进程`“python app.py”`运行在由Linux Namespace和Cgroups构成的隔离环境里而它运行所需要的各种文件比如python`app.py`以及整个操作系统文件则由多个联合挂载在一起的rootfs层提供。
这些rootfs层的最下层是来自Docker镜像的只读层。
在只读层之上是Docker自己添加的Init层用来存放被临时修改过的/etc/hosts等文件。
而rootfs的最上层是一个可读写层它以Copy-on-Write的方式存放任何对只读层的修改容器声明的Volume的挂载点也出现在这一层。
通过这样的剖析,对于曾经“神秘莫测”的容器技术,你是不是感觉清晰了很多呢?
## 思考题
1. 你在查看Docker容器的Namespace时是否注意到有一个叫cgroup的Namespace它是Linux 4.6之后新增加的一个Namespace你知道它的作用吗
2. 如果你执行docker run -v /home:/test的时候容器镜像里的/test目录下本来就有内容的话你会发现在宿主机的/home目录下也会出现这些内容。这是怎么回事为什么它们没有被绑定挂载隐藏起来呢提示Docker的“copyData”功能
3. 请尝试给这个Python应用加上CPU和Memory限制然后启动它。根据我们前面介绍的Cgroups的知识请你查看一下这个容器的Cgroups文件系统的设置是不是跟我前面的讲解一致。
感谢你的收听,欢迎你给我留言,也欢迎分享给更多的朋友一起阅读。