Docker跨宿主机通信overlay和macvlay

PaperDragon2024年6月7日...大约 14 分钟

Docker跨宿主机通信overlay和macvlay

前言

本讲是从Docker系列讲解课程，单独抽离出来的一个小节，带你一起深入了解在编排工具出现前，跨宿主机通信的两大得力干将overlay、macvlay，这也会后期学好K8s做好基本功铺垫，打下一个坚实的基础。

一、overlay

Overlay网络模式相比于桥接模式的特别之处在于，它可以自定多个--subnet子网网段，只有同一网络/段中的容器才可以相互交换信息（相互通信）。
需要注意的是如果设置了多个--subnet，也需要同步设定对应个数的--gateway网关，需要确保各子网网段不重叠。
如何查看容器的子网网段，docker insect contain_name即可，当然在docker run 容器时，也可以通过--subnet 指定子网网段。

示例（了解范畴）：

docker network create -d overlay \
 --subnet 192.168.0.0/16 \
 --subnet 192.170.0.0/16 \
 --gateway = 192.168.0.100 \
 --gateway = 192.170.0.100 \
 --ip-range=192.168.1.0/24 \
 --aux-address="my-router=192.168.1.5" --aux-adress="my-switch=192.168.1.16" \
 --aux-address="my-router=192.170.1.5" --aux-adress="my-switch=192.170.1.16" \
 myoverlaynet

预告

通过对本知识点的学习，你将掌握，通过docker create 自定义网络-d自定义网络指定为overlay 网络模式，从而实现跨宿主机通信，同时可以了解一下consul镜像的使用。

注： Consul是一个分布式、高可用性和多数据中心感知工具，用于服务发现、配置和编排。Consul 支持大规模快速部署、配置和维护面向服务的架构。欲了解更多信息，请参阅 Consul架构指南。

1.docker pull 拉取consul镜像，并运行容器

docker pull consul  #拉取镜像
docker images
docker run -d -p 8500:8500 --name consul consul:latest  #启动sonsul容器
netstat -nalpt  #查看端口占用情况

2.修改主/从节点的daemon.json，并重启docker和consul服务

1）修改主节点CentOS 7.9

vim /etc/docker/daemon.json

注：在修改之前，你本地的这个文件可能只有一行，大概应该是仅配了（阿里）镜像加速。可参考如下配置，前两行可以不配置，使用默认的就可以。最后三行是要配的。

{
  "graph": "/var/lib/docker",
  "storage-driver": "overlay",
  "registry-mirrors": [
    "https://2jdmaxpc.mirror.aliyuncs.com"
  ],
  "cluster-store": "consul://192.168.31.100:8500",
  "cluster-advertise": "192.168.31.100:2375",
  "live-restore": true
}

注意：修改的时候，注意引号要是英文的，除最后一行外，前面的每行尾部都有一个英文逗号（否则docker服务将无法正常启动！！）。

首行的graph是配置docker数据（镜像、容器等）默认存储位置，可以据需修改，默认位置就是/var/lib/docker，（有人习惯修改为/data/docker）。第二行的storage-driver，是驱动模式指定为overlay。第三行是配置的阿里云镜像仓库地址第四行cluster-store，是配置sonsul集群的访问地址第五行cluster-advertise，是广播通信地址和端口。

"live-restore":true 和  –restart=always用法和意义各不相同。

配置前者的意义在于即使docker的daemon守护进程关闭，其里面的容器依然保持运行，后者是指容器在docker run 启动时，佩带了该参数，则在出现故障（内存泄露等）时，自动重启容器。

systemctl daemon-reload  #使daemon.json重新生效
systemctl restart docker #重启docker
docker ps -a   #可以看到consul的状态是Exited
docker start consul  #再次手动启动consul容器

http://192.168.31.100:8500 访问consul（这个IP地址是在上面的/etc/docker/daemon.json中配置的）

2）修改从节点CentOS8.4

vim /etc/docker/daemon.json

有了上面配置的基础，从节点配置简单一点，其他配使用默认就可以。仅配置下面的三行。需要注意的是集群广播监听的地址cluster-advertise，要配置为从节点自己的IP。

"cluster-store":"consul://192.168.31.100:8500",
"cluster-advertise":"192.168.31.130:2375",
"live-restore":true

切记：除最后一行外，每行配置末尾都有英文逗号！！！cluster-store是集群中主节点访问地址；cluster-advertise是当前节点的IP和广播端口，别误写成主节点的IP了，否则docker无法重启 ,错误如下: "systemctl status network.service" and "journalctl -xe" for details。

systemctl daemon-reload  #使daemon.json重新生效
systemctl restart docker #重启docker

3.在主节点创建overlay网络后，分别在主、从节点查看

1）创建前自定义网络前，分别查看主从节点的已有网络（便于对比效果）

docker network ls  #分别在主从节点执行该查代码

2）在master主节点CentOS 7.9 上创建自定义网络mynet

在主节点创建自定义网络：分别指定网络模式、子网网段、网关、网卡最大传输单元，更详细参数见：

docker network create --help

docker network create --driver overlay \
 --ingress --subnet=172.31.0.0/16 \
 --gateway=172.31.0.2 \
 --opt com.docker.network.driver.mtu=1200 mynet 
docker network ls

注： com.docker.network.driver.mtu 等价于--mtu，用来设置容器网卡最大传输单元

可以看到自定义网络mynet创建成功，创建时指定网络模式为overlay

提示：如果创建时错误提示Error response from daemon: error getting pools config from store: could not get pools config from store，docker start consul 重新启动容器服务即可。

3）切回从节点 CentOS 8.4 ，查看在 CentOS 7.9 主节点创建的网络

发现，从节点CentOS8.4上，可以看到主节点创建的mynet自定义网络，而本身并没有创建这个网络，原理就是通过/etc/docker/daemon.json中的配置集群信息的集群地址cluster-store和广播cluster-advertise来实现主从共享网络的。

4.在主节点使用自定义的overlay网络模式启动nginx，并查看其I

docker images 
docker run -d --network mynet --name nginx nginx:alpine   #主节点使用自定义网络启动
docker inspect nginx #查看网络详细信息

主节点nginx的虚拟IP地址：172.31.0.1

5.在从节点上使用自定义的overlay网络模式开启tomcat，尝试和nginx互通

docker images
docker ps -a
docker run -d --name tomcat --network mynet -p 8080:8080 tomcat:alpine #和主节点指定同一个网络
ping -w 3 172.31.0.1  #尝试在从节点上去ping主节点的nginx的虚拟ip

发现，通过该方式（在/etc/docker/daemon.json中配置）是可以实现跨宿主机通信的。

注：该方式，在容器内部不能使用容器别名相互识别，也就是说A容器内部，不识别B容器的别名，尽管他们都共同链接一个网络mynet，但是仅能够通过各自的虚拟IP互通。如要实现容器内部互认别名，点进入点击进入。

6.在从节点上不使用自定义的overlay网络模式开启tomcat，尝试和nginx互通

docker rm -f tomcat
docker run -it --name tomcat  -p 8080:8080 tomcat:alpine  /bin/bash
ping -w 3 172.31.0.1

发现从节点，在启动tomcat时不指定network为(主节点)自定义的mynet网络，也是可以ping通nginx的虚拟IP，从而实现跨宿主机通信。

7.扩展

上例配置的是overlay，实验结果表明，只要在daemon.json中配置了集群的主节点和广播节点，无论子节点容器启动时，是否用 --network ，从节点都可以正常访问访问主节点，从而实现了跨宿主机通信。
但是，在跟随老师的课程学习中，老师的主节点、从节点的 daemon.json 中配置的网络模式是 overlay2，老师的实验结果和我的实验结果是有出入的，也就是，当从节点的容器启动时不用 --network mynet 来指定和主节点同一个网络，那么在从节点中就无法实现跨宿主机通信（不能在从节点ping通主节点）。

奇葩的是，按老师的配置overlay2,经过反复实验，关键的几个步骤入下：

docker rm -f $(docker ps -qa)   #在主从节点都执行，清空容器
vim /etc/docker/daemon.json  #把里面的overlay修改为overlay
docker network rm mynet 
systemctl daemon-reload 
systemctl restart docker

...其他步骤和上面都一致，重新创建mynet报错时，docker ps -a 看一下consul启动没，没有启动的话，启动一下。
最终无法得到老师的答案，无论配置overlay2还是overlay，都可以实现跨宿主机通信，而不是老师的，只要从节点不用--network指定和主节点同一个网络，就不能实现跨宿主机通信。

注：在反复实验过程中，偶尔有一次，不带 --network，在从节点的容器内部不能ping通主节点nginx的虚拟ip，奇怪的是，反复，多次实验，这个仅有1次的ping不通，竟然还原不了，每次又都能ping通了。

8.小结

overlay网络模式，核心三步：

1.修改主、从节点的daemon.json，使主从节点通过ip 集群信息关联；
2.在master节点创建自定义网络mynet并指定网络模式为overlay;
3.让主、从节点的容器启动时，都指定该自定义网络mynet。
好处：在主节点创建overlay网络，从节点自动可以通过daemon.json获取主节点创建的自定义网络。

最终，只要在daemon.json中配置好了集群信息，主节点的容器启动时，指定自定义网络mynet(创建时用-d指定为overlay或者overlay2)主从节点就可以愉快的实现跨宿主机通信。

二、macvlan

Macvlan的4种模式

Bridge
Private
VEPA
Passthrough

该模式现在用的比较少，作为了解内容可以拓展一下知识面。

它本身不创建网络，使用的是物理机的网卡，它会导致物理机物理网卡失效，借此会创建虚拟网卡，给虚拟网卡分配网络资源，IP等。

macvlan这种技术能将一块物理网卡虚拟成多块虚拟网卡，相当于物理网卡施展了多重影分身之术，由一个变多个。

弊端：可能会耗尽物理IP地址，网段内接入的物理机越多，广播的效率/性能就会下降。

该模式，对Linux系统的内核版本是有要求的，支持的版本有 v3.9-3.19 和 4.0+，比较稳定的版本推荐 4.0+。它一般是以内核模块的形式存在，我们可以通过以下方法判断当前系统是否支持：

modprobe macvlan  #如果没有返回任何信息，代表支持
lsmod | grep macvlan  #如果返回如下信息，代表支持
macvlan                19239  0

1.据需清理掉上面的实验数据，并还原daemon.json实验前的默认配置

如果是实验数据，可以清除，清除前请确保你明白下面命令的含义，否则不要这么清除

docker rm -f $(docker ps -qa)  #清除所有的容器
docker rmi $(docker images -qa) #清除掉所有镜像
docker network rm mynet  #在主节点清除掉自定义的网络
systemctl daemon-reload  #重启配置
systemctl restart docker  #重启docker服务

提示，我的本地daemon.json里，只有一行，是配置阿里云加速镜像时创建的。

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json .......

2.分别在主从节点上，开启网卡混合模式，开启前先ip a查看网卡信息

ip a
ip link set ens33 promisc on  #特别注意，你的物理虚拟网卡名称可能是eth0（可以在network-script里修改）
ip a

开启混合模式前，先查看一下网卡信息

分别给主从节点，开启混合网卡模式

3.分别在主从节点上，通过docker create -d 创建macvlan网络

分别在主、从节点上创建macvlan，并通过 parent指定其真身爸爸是物理网卡ens33。

#部分主机的虚拟物理网卡不是ens33,部分名称是eth0 ,(我自定义名称是myMaclan，不是myMacvlan，叫什么随意)
docker network create -d macvlan --subnet 172.30.0.0/16 --gateway 172.30.0.2 -o parent=ens33 myMaclan

docker network create -d macvlan \
 --subnet=ip段（10.10.10.0/24） \
 --gateway=网关 \
 -o parent=网卡名称 \
 -o macvlan_mode=bridge \
 bridgemacvlan（网络名称）

docker network ls

注：对该命令的参数不了解的小伙伴，可以通过docker network create --help来获悉更多的参数。细心的小伙伴发现，第一个案例该命令创建overlay网络时，使用的是--opt，此处使用的是-o，它们两个是一个命令，-o等价于--opt，使用场景主要是用于多个参数时，放到对应参数前面。它是一个map[]集合，也就是说，每个参数的前面都添加-o，则这些参数同属于一个-o的集合。

4.在主节点CentOS 7.9上使用macvlan网络模式，启动nginx并指定IP

docker run -d --name nginx \
 --network myMacvlan \
 --ip 172.30.0.3 \
 nginx:alpine

docker run -d \
 --name XXX \
 --net=bridgemacvlan \
 --ip=容器ip XXX/XXX:latest

docker ps

注意：这里自定义nginx容器的ip是172.30.0.3，下个步骤在从节点tomcat容器内会用到。

5.在从节点CentOS8.4上，启动tomcat容器时，分别暂不/指定网络模式为macvlan，ping主节点的nginx

docker images #查看镜像列表（什么镜像不重要，重要的是在容器内部，是可以实现跨宿主机通信）
docker run -it tomcat:alpine bash  #第一次进入从节点容器内部，不指定--network
ping -w 3 172.30.0.3   #尝试去ping主节点容器内的nginx的ip，发现不能ping通
exit
 
docker run -it --network myMaclan tomcat:alpine bash  #第二次进入从节点容器内部，指定--network
ping -w 3 172.30.0.3   #尝试去ping主节点容器内的nginx的ip，发现可以ping通
exit

注：如果你对尾部的bash感兴趣，点击进入（从文章尾部开始向上看）

6.收尾工作，关闭虚拟网卡混合模式，清除容器

docker rm -f $(docker ps -qa)   #清除容器
docker network ls
docker network rm myMaclan      #清除自定义网卡
ip link set ens33 promisc off   #取消网卡的混合模式
ip a  #验证是否已取消

7.小节

该模式的小实验比较简单，3个核心步骤：

1、主、从节点分别创建macvlan网络
2、主节点启动容器(nginx)时，指定网络模式为自定义的网络
3、从节点启动容器(tomcat)时，分别先不指定/指定自定义网络后，进入(tomcat)容器，去尝试ping主节点容器(nginx)IP。

该方式，一样可以实现跨节点通信，但只是昙花一现，满足了特定时期需求。

弊端：主从节点上都需要创建macvlan的自定义网络，容器启动时也都需要指定网络模式为macvlan，不难但是比较low稍显繁琐。

macvlan的通信原理，主从节点都需要创建完全相同的自定义网络，都通过-d或者--driver指定为macvlan，同时指定--subnet子网网段和--gateway网关，当然如果创建自定义网络时你不指定，在docker run命令时，你依然可以指定。

但是，需要注意的是，主从节点各自定义的macvan的网关和子网网段要相同，从而造成两个不同的宿主机的自定义网卡都处于同一个网段，给人的错觉就是他们就是1个小的局域网，在主从节点中的容器在docker run时，都通过--network指定这个自定义的网络。

这样，就自然而然的实现了跨宿主机通信。

总结

尽管overlay（overlay2）和macvlan都可以实现跨宿主机通信，但是相对的前者更为便捷一些，但是随着新容器编排技术的不断涌现，这些当时时髦的技术也终将被替代。就连docker官网自己推出的Docker-compose[官网]（它是一个单机多容器部署工具，不支持多机）编排工具，也正在被k8s（支持多容器、多机部署）替代，后续将陆续对这些编排工具做具体介绍。

不过这些不重要，长江后浪推前浪，k8s终究是配置太多，强大的同时也太繁琐，终将会被更强大的其他替代，万变不离其宗，了解了这些底层些的知识，再学习其他编排工具时，也更加是游刃有余。