使用nohup指令长期训练模型

使用nohup指令长期训练模型

参考资料：

https://blog.csdn.net/weixin_49114503/article/details/134266408

nohup python -u train.py --batch_size=10 --dataset='RoadScene_train' --loss_weight 1 5 20 4 --num_epochs=2000 --img_size 128 128 --size_mode='crop' --learning_rate=0.01 --scheduler 'True' '600' > ./Logs/nohup/$(date +%Y-%m%d-%H%M)_time.log 2>&1 &

• python -u

  • -u​ 使标准输出/错误不缓冲，适合实时写日志（tail -f 能立即看到输出）。

    • nohup

      • 忽略 SIGHUP，确保你退出 shell 后进程不会被挂断。​注意​：仍会被 SIGTERM​/SIGKILL 终止。

• train.py​ 和各 -- 参数

• > ./Logs/nohup/$(date +%+%Y-%m-%d-%H%M)_time.log

  • >​ 把 stdout 覆盖写入（每次运行会新建/截断文件）。如果想追加用 >>。
  • 确保 ./Logs/nohup/ 目录存在（否则重定向会失败）。

• 2>&1

  • 把 stderr（2）重定向到 stdout（1），因此 stdout+stderr 都写进同一个日志文件。顺序正确。

• &（命令末尾）

  • 把进程放到后台并立即返回 shell 提示符。与 nohup 配合这是常见的长期训练启动方式。

‍

监控 / 停止 / 检查日志 的常用命令
查看日志（实时）：

tail -f /path/to/logfile.log

查进程：

pgrep -af train.py
ps aux | grep train.py
# a: 显示所有程序   u: 以用户为主的格式来显示   x: 显示所有程序，不区分终端机

停止进程：

kill <pid>        # SIGTERM
kill -9 <pid>     # SIGKILL（强制）

‍

相关‍知识：

">"符号用于将命令的`标准输出`重定向到指定的文件中
> outlog.log 表示将终端输出保存到outlog.log文件中
"2>"表示将命令的`标准错误`输出重定向到指定的文件中
2>&1 表示将命令的标准错误输出重定向到标准输出1中一起输出 （ps:标准输出1指的是>outlog.log文件，具体可见下面的内容）
& 后台挂起