刚入职，公司测试环境k8s交给我维护，上来发现一半设备都notready
通过k8s官方（手动部署kubelet kubeadm）方式部署过的同学都知道k8s节点需要安装flannel或calico网络插件才能ready，我这里部署的是flannel，于是就从flannel的日志入手
Creating the node lease for IPv4. This is the n.Spec.PodCIDRs: [10.244.2.0/24]
I1217 12:33:10.241948 1 subnet.go:152] Batch elem [0] is { lease.Event{Type:0, Lease:lease.Lease{EnableIPv4:true, EnableIPv6:false, Subnet:ip.IP4Net{IP:0xaf40200, PrefixLen:0x18}, IPv6Subnet:ip.IP6Net{IP:(*ip.IP6)(nil), PrefixLen:0x0}, Attrs:lease.LeaseAttrs{PublicIP:0xa1e209f, PublicIPv6:(*ip.IP6)(nil), BackendType:"host-gw", BackendData:json.RawMessage{0x6e, 0x75, 0x6c, 0x6c}, BackendV6Data:json.RawMessage(nil)}, Expiration:time.Date(1, time.January, 1, 0, 0, 0, 0, time.UTC), Asof:0}} }
I1217 12:33:10.242011 1 route_network.go:93] Subnet added: 10.244.2.0/24 via 10.30.32.159
E1217 12:33:10.242231 1 route_network.go:168] Error adding route to {Ifindex: 2 Dst: 10.244.2.0/24 Src: <nil> Gw: 10.30.32.159 Flags: [] Table: 0 Realm: 0}: network is unreachable
10.30.32.159就是离线的k8s ip，当然网络是通的，只是不在同一网段，从日志上看就是路由添加失败，路由的意思就是通过网关10.30.32.159访问10.244.2.0/24网段的规则
可以看到日志中有打印BackendType:"host-gw"，host-gw要求k8s节点在同一二层网络，就是需要在同一网段，不同网段需要使用vxlan后端类型，修改方法：
找到flannel的configmap kube-flannel-cfg，名字应该是这个但命名空间不一定都一样我这里namespace是kube-flannel，执行kubectl edit cm kube-flannel-cfg -n kube-flannel，修改net-conf.json部分Backend->Type为vxlan：
net-conf.json: |{"Network": "10.244.0.0/16","EnableNFTables": false,"Backend": {"Type": "vxlan"}}
最后重启flannel的pod，问题解决