【kill】在容器中使用 nohup 启动 Python 训练脚本后，如何正确停止进程？

​ 在服务器或 Docker 容器中跑深度学习训练时，nohup几乎是标配操作：（可以参考之前写的文章【在容器中运行长时间 Python 任务：SSH 断开也不怕】

nohuppython scripts/frozen_backbone_train.py>logs/frozen_finetune.log2>&1&

​ 但问题也随之而来：这个后台跑起来的 Python 进程，到底该怎么安全、彻底地停掉？

​ 本文结合一次PyTorch 训练 + DataLoader 多进程的真实排查过程，完整记录正确的 kill 思路。

一、先找到真实在跑的进程

​ 第一步永远不是kill -9，而是确认进程结构：

psaux|grephomo_with_vit_frozen.py

​ 可能会看到类似输出：

root1652... python frozen_backbone_train.py root2424... python frozen_backbone_train.py root2425... python frozen_backbone_train.py root2426... python frozen_backbone_train.py...

​ 这时候很多人会懵：为什么同一个脚本会有一堆 Python 进程？

二、为什么会有多个 python 进程？

​ 这是PyTorch 非常典型的行为。

2.1 主进程（训练主逻辑）

root1652... python frozen_backbone_train.py

• 负责：模型 forward / backward / optimizer.step
• 通常：
  • 运行时间很长
  • CPU / GPU 占用明显
• 这是你真正要 kill 的进程

2.2 子进程（DataLoader workers）

root2424~2431... python frozen_backbone_train.py

​ 这些通常是：

DataLoader(..., num_workers > 0)

• 拉起的数据加载子进程，特征非常明显：
  • 一次性出现一串
  • PID 连号
  • CPU 占用相近
  • 内存结构几乎一样
• 结论：多进程 ≠ 多个训练任务，而是一个训练任务 + 多个数据加载 worker

三、正确的 kill 姿势（推荐）

3.1 方式一：只 kill 主进程（最干净）

kill1652

• 大多数情况下：主进程退出，所有 DataLoader 子进程会被自动回收

• 如果进程没有立刻退出：

  kill-91652

3.2 方式二：直接按脚本名全部清场

• 当你确认这个脚本已经不需要了，可以直接：

  pkill-9 -f frozen_backbone_train.py

• -f：匹配完整命令行

• 会同时 kill 主进程 + 所有子进程

• 注意：如果你同时跑了多个同名脚本，这一招会“一锅端”。

四、如何确认真的 kill 干净了？

4.1 再查一次进程

psaux|grepfrozen_backbone_train.py

如果只剩下：

grep--color=auto frozen_backbone_train.py

说明进程已经全部退出

4.2 如果使用 GPU，确认显存释放

nvidia-smi

• 没有 python 占用显存 → OK
• 有残留 → 继续kill -9 <pid>

五、小结

• nohup启动的 Python 进程 ≠ 只有一个进程
• PyTorch 的DataLoader(num_workers > 0)会产生多个子进程
• 正确做法是：
  • 优先 kill 主进程
  • 或使用pkill -f一次性清理
• 养成记录 PID 的习惯，可以极大降低维护成本