当前位置：首页 > news >正文

从Flannel迁移到Calico：在Ubuntu 24.04上为K8s v1.28更换网络插件的完整避坑指南

news 2026/6/7 0:06:49

从Flannel迁移到Calico：在Ubuntu 24.04上为K8s v1.28更换网络插件的完整避坑指南

当Kubernetes集群规模扩大或安全需求提升时，许多团队会面临网络插件的选择困境。Flannel以其简单易用著称，但当需要更精细的网络策略、BGP支持或高性能网络时，Calico往往成为专业运维团队的首选。本文将带你深入理解两种插件的核心差异，并提供从Flannel平滑迁移到Calico的完整路线图。

1. 迁移前的关键决策与准备

1.1 Flannel与Calico的架构对比

在拆除旧网络架构前，必须理解两者的根本区别。Flannel采用简单的overlay网络模型，而Calico提供的是纯三层网络方案：

特性	Flannel	Calico
网络模型	Overlay (VXLAN/主机网关)	三层路由 (BGP/VXLAN/IPIP)
策略支持	仅基础网络隔离	细粒度网络策略(NetworkPolicy)
性能损耗	较高(封装开销)	较低(原生路由)
适用场景	中小规模集群	大规模/安全敏感型集群
地址分配	全局分配	每节点独立CIDR块

关键发现：当集群节点超过50个或需要跨机房组网时，Calico的BGP路由优势会显著降低网络延迟。

1.2 环境预检清单

执行以下命令确认当前环境状态：

# 检查现有Flannel组件 kubectl get daemonset -n kube-system -l app=flannel # 记录当前Pod IP分配情况 kubectl get pods -o wide --all-namespaces > flannel_ip_record.txt # 验证网络连通性 kubectl run net-test --image=alpine --rm -it -- ping 8.8.8.8

必须备份的关键数据：

/etc/cni/net.d/目录下的所有CNI配置
所有自定义NetworkPolicy资源
kube-proxy的当前配置模式(iptables/ipvs)

注意：迁移过程中会短暂中断集群网络，建议在维护窗口期操作，并确保关键业务有容灾方案。

2. 安全移除Flannel的实操步骤

2.1 优雅卸载Flannel组件

错误的卸载方式会导致"僵尸"IP分配问题，以下是经过验证的清理流程：

# 1. 先删除DaemonSet避免自动恢复 kubectl delete daemonset kube-flannel-ds -n kube-system # 2. 清理CNI接口配置 sudo rm -f /etc/cni/net.d/10-flannel.conflist sudo ip link delete cni0 2>/dev/null # 3. 检查残留进程 ps aux | grep -E 'flanneld|kube-flannel'

常见陷阱：直接删除Flannel命名空间会导致某些节点网络僵死。应先缩容DaemonSet至0副本：

kubectl scale daemonset kube-flannel-ds -n kube-system --replicas=0

2.2 处理残留网络配置

Flannel创建的iptables规则和路由表项需要手动清理：

# 清除Flannel相关的iptables规则 sudo iptables-save | grep -v FLANNEL | sudo iptables-restore # 删除路由表项(示例为AWS环境) route -n | grep flannel.1 | awk '{print $1}' | xargs -I {} sudo route del -net {} netmask 255.255.255.0

对于使用VXLAN模式的Flannel，还需清理虚拟网络设备：

sudo ip link delete flannel.1 2>/dev/null

3. Calico的深度定制安装

3.1 版本匹配矩阵

Calico v3.28与Kubernetes版本的兼容性常被忽视，以下是关键匹配关系：

Calico版本	支持的K8s版本	关键特性差异
v3.25	1.24-1.26	基础BGP支持
v3.26	1.25-1.27	增强Windows节点支持
v3.28	1.27-1.29	服务网格集成、eBPF数据平面

推荐使用Operator安装方式，它提供声明式配置和自动升级路径：

# 下载Operator清单 curl -L https://github.com/projectcalico/calico/releases/download/v3.28.0/tigera-operator.yaml -o tigera-operator.yaml # 部署Operator kubectl create -f tigera-operator.yaml

3.2 定制IP池配置

修改custom-resources.yaml时，这些参数直接影响网络性能：

apiVersion: operator.tigera.io/v1 kind: Installation metadata: name: default spec: calicoNetwork: ipPools: - name: ipv4-pool cidr: 10.244.0.0/16 blockSize: 24 encapsulation: VXLANCrossSubnet natOutgoing: true nodeSelector: all() nodeAddressAutodetectionV4: interface: "ens*|eth*" # 匹配多网卡环境

性能调优建议：

生产环境建议blockSize设为26(每个节点62个IP)
同机房节点使用IPIP封装，跨机房用VXLAN
启用natOutgoing使Pod能访问外部网络

4. 迁移后的验证与排错

4.1 健康检查三部曲

组件状态检查：

watch kubectl get pods -n calico-system

正常状态下应看到：

calico-node-* (每个节点1个)
calico-kube-controllers-* (1个副本)
calico-typha-* (3个副本用于大规模集群)

BGP对等验证（如果启用BGP）：

kubectl exec -ti <calico-node-pod> -n calico-system -- birdcl show protocols

输出应显示Established状态的对等连接。

端到端测试：

kubectl run test-nginx --image=nginx kubectl create poddisruptionbudget test-pdb --selector=run=test-nginx --max-unavailable=1 kubectl exec test-nginx -- curl -I http://www.google.com

4.2 典型故障处理手册

案例一：Node持续NotReady症状：calico-nodePod报错"BIRD is not ready" 解决方案：

# 检查网络接口匹配规则 kubectl edit installation default -n calico-system # 在spec.calicoNetwork.nodeAddressAutodetectionV4中添加： interface: "ens.*|eth.*" # 重启Calico节点 kubectl delete pod -n calico-system -l k8s-app=calico-node

案例二：DNS解析失败症状：Pod内无法解析集群服务名称快速修复：

# 检查CoreDNS Pod是否被分配了IP kubectl get pods -n kube-system -l k8s-app=kube-dns -o wide # 临时解决方案（如需）： kubectl edit configmap/coredns -n kube-system # 在Corefile中添加： forward . /etc/resolv.conf { prefer_udp }

案例三：网络策略不生效调试步骤：

# 查看Felix日志（每个节点上） kubectl logs -n calico-system <calico-node-pod> -c felix # 检查全局网络策略 calicoctl get globalnetworkpolicy -o yaml # 启用策略日志（临时调试） calicoctl patch globalnetworkpolicy <policy-name> --patch='{"spec": {"logSeverityScreen": "Info"}}'

5. 高级配置场景

5.1 BGP与网络硬件集成

在企业级部署中，Calico可以通过BGP协议与物理网络设备交互。典型拓扑配置示例：

apiVersion: projectcalico.org/v3 kind: BGPPeer metadata: name: edge-router-1 spec: peerIP: 192.168.0.254 asNumber: 64512 nodeSelector: has(edge-router)

路由优化技巧：

使用Route Reflector模式避免全网状连接
通过communities属性控制路由传播范围
对关键业务Pod添加nodeAffinity确保部署在特定节点

5.2 网络策略实战模板

Calico的网络策略比Kubernetes原生策略更强大，以下是生产级示例：

apiVersion: projectcalico.org/v3 kind: NetworkPolicy metadata: name: frontend-to-db spec: selector: role == 'frontend' types: - Egress egress: - action: Allow protocol: TCP destination: selector: role == 'database' ports: [5432] - action: Deny destination: nets: [0.0.0.0/0]

策略编写原则：