0313-Kubernetes 故障实战：FailedScheduling 深度分析与故障注入

一、问题背景

在 Kubernetes 集群中，经常会遇到 Pod 一直处于：

Pending

状态，同时事件中出现：

Warning FailedScheduling

这类问题在生产环境非常常见，属于 Kubernetes 调度层故障。

本质是：

Scheduler 在所有 Node 中找不到一个满足条件的节点运行 Pod

二、典型故障现象

1. Pod 状态

kubectl get pods

示例：

nginx-xxx0/1 Pending

2. 查看调度失败原因

kubectl describe pod nginx-xxx

典型日志：

0/3 nodes are available:3Insufficient memory

或：

node(s)didn't matchnodeselector

或：

pod has unbound immediate PersistentVolumeClaims

三、Kubernetes Scheduler 调度机制

调度流程：

1. Filter（过滤节点） 2. Score（打分） 3. Bind（绑定）

如果在 Filter 阶段所有节点都被过滤掉，就会触发：

FailedScheduling

因此：

FailedScheduling 的本质是没有任何 Node 满足 Pod 运行条件

四、最常见的 FailedScheduling 原因

场景1：资源不足（生产最常见）

日志

Insufficient cpu Insufficient memory

原因

Scheduler 判断依据是：

allocatable - requested

而不是实际 CPU 使用率。

即：

Node CPU 使用率很低，但 requests 设置过高，仍然会调度失败。

故障注入方式

resources:requests:cpu:"50"memory:"100Gi"

在小集群中，所有 Pod 会一直 Pending。

修复方式

• 降低 requests

• 扩容 Node

• 启用 Cluster Autoscaler

场景2：NodeSelector 不匹配

日志

node(s) didn't match node selector

示例

Pod：

nodeSelector:env:prod

Node：

env=dev

故障注入

nodeSelector:impossible:"true"

会导致所有 Pod 调度失败。

修复

• 修改 Node Label

• 修改 Selector

场景3：Taint / Toleration 不匹配

日志

node(s) had taint {xxx: NoSchedule}

示例

kubectl taint nodes node1chaos=true:NoSchedule

普通 Pod 没有 toleration 时会全部调度失败。

修复

tolerations:-key:chaosoperator:Exists

场景4：PVC 未绑定

日志

pod has unbound immediate PersistentVolumeClaims

常见原因

• 没有 PV

• StorageClass 错误

• zone 不匹配

• provisioner 异常

故障注入

storageClassName:not-exist

修复

kubectl get pvc kubectl get storageclass

场景5：Affinity / AntiAffinity 无法满足

日志

node(s) didn't match pod affinity rules

示例

要求：

每个 Pod 必须在不同 Node

但集群只有一个 Node。

故障注入

使用：

requiredDuringSchedulingIgnoredDuringExecution

配置 impossible topology。

五、生产中的 FailedScheduling 原因

Node Pod 数量上限

日志：

Insufficient pods

每个 Node 有：

maxPods

达到后无法调度。

HostPort 冲突

didn't have free ports

Node Pressure

例如：

node.kubernetes.io/disk-pressure

GPU 等特殊资源不足

Insufficient nvidia.com/gpu

六、标准生产排障流程

Step1 查看 Pod 事件

kubectl describe pod

Step2 判断失败类型

• resource

• selector

• taint

• pvc

• affinity

Step3 查看 Node

kubectl describenodekubectltopnode

Step4 查看存储

kubectl get pvc

七、总结

FailedScheduling 的本质是：

调度过滤阶段没有留下任何可用 Node

最常见三类原因：

• 资源不足

• taint 不匹配

• 存储未绑定

在真实生产环境中，调度失败通常是多个条件叠加导致。