Qwen3-14B自动化运维：定时备份模型状态+异常自动重启脚本编写

Qwen3-14B自动化运维：定时备份模型状态+异常自动重启脚本编写

1. 为什么需要自动化运维脚本

当我们在生产环境中部署Qwen3-14B这样的大模型时，经常会遇到两个主要问题：

1. 模型状态丢失：长时间运行后可能因为各种原因导致模型状态异常，需要定期保存当前状态
2. 服务意外中断：GPU显存泄漏、内存不足等问题可能导致服务崩溃，需要自动恢复

传统的人工监控和恢复方式效率低下，特别是在7×24小时运行的场景中。本文将教你编写一套完整的自动化运维脚本，解决这两个核心痛点。

2. 环境准备与基础检查

2.1 确认系统环境

在开始编写脚本前，请确保你的环境符合以下要求：

# 检查GPU驱动版本 nvidia-smi | grep "Driver Version" # 检查CUDA版本 nvcc --version # 检查内存和显存 free -h nvidia-smi -q | grep "Total"

2.2 创建脚本工作目录

建议为运维脚本创建独立目录：

mkdir -p /workspace/scripts/backup mkdir -p /workspace/scripts/monitor

3. 模型状态定时备份脚本

3.1 基础备份脚本

创建/workspace/scripts/backup/model_backup.sh：

#!/bin/bash # 备份目录配置 BACKUP_DIR="/workspace/backups" LOG_FILE="/workspace/logs/backup_$(date +%Y%m%d).log" TIMESTAMP=$(date +"%Y-%m-%d %H:%M:%S") # 创建必要目录 mkdir -p $BACKUP_DIR mkdir -p $(dirname $LOG_FILE) # 记录开始时间 echo "[$TIMESTAMP] 开始备份模型状态..." >> $LOG_FILE # 核心备份命令 docker commit qwen3_container $BACKUP_DIR/qwen3_backup_$(date +%Y%m%d_%H%M%S).tar && \ echo "[$TIMESTAMP] 备份成功" >> $LOG_FILE || \ echo "[$TIMESTAMP] 备份失败" >> $LOG_FILE # 清理7天前的备份 find $BACKUP_DIR -name "qwen3_backup_*.tar" -mtime +7 -exec rm {} \;

3.2 设置定时任务

使用crontab设置每天凌晨3点自动备份：

# 编辑crontab crontab -e # 添加以下内容 0 3 * * * /bin/bash /workspace/scripts/backup/model_backup.sh

4. 异常监控与自动重启脚本

4.1 服务健康检查脚本

创建/workspace/scripts/monitor/health_check.sh：

#!/bin/bash # 配置参数 SERVICE_NAME="qwen3_api" LOG_FILE="/workspace/logs/monitor_$(date +%Y%m%d).log" MAX_RETRY=3 TIMESTAMP=$(date +"%Y-%m-%d %H:%M:%S") # 检查服务是否运行 check_service() { if ! docker ps | grep -q $SERVICE_NAME; then echo "[$TIMESTAMP] 检测到服务停止" >> $LOG_FILE return 1 fi # 检查API响应 API_STATUS=$(curl -s -o /dev/null -w "%{http_code}" http://localhost:8000/health) if [ "$API_STATUS" -ne 200 ]; then echo "[$TIMESTAMP] API响应异常: $API_STATUS" >> $LOG_FILE return 1 fi return 0 } # 重启服务 restart_service() { echo "[$TIMESTAMP] 尝试重启服务..." >> $LOG_FILE cd /workspace docker stop $SERVICE_NAME docker rm $SERVICE_NAME bash start_api.sh } # 主循环 for ((i=1; i<=$MAX_RETRY; i++)); do if check_service; then echo "[$TIMESTAMP] 服务运行正常" >> $LOG_FILE exit 0 else if [ $i -eq $MAX_RETRY ]; then echo "[$TIMESTAMP] 达到最大重试次数，执行重启" >> $LOG_FILE restart_service else echo "[$TIMESTAMP] 第$i次重试检查..." >> $LOG_FILE sleep 30 fi fi done

4.2 设置监控频率

每分钟检查一次服务状态：

# 编辑crontab crontab -e # 添加以下内容 * * * * * /bin/bash /workspace/scripts/monitor/health_check.sh

5. 进阶功能：邮件告警集成

5.1 配置邮件发送功能

修改health_check.sh添加邮件通知：

send_alert() { local subject="[紧急] Qwen3服务异常告警" local body="检测到Qwen3服务异常，已尝试自动恢复。请立即检查服务器状态。\n\n错误详情：\n$(tail -n 10 $LOG_FILE)" echo -e "$body" | mail -s "$subject" your_email@example.com } # 在restart_service函数最后添加 send_alert

5.2 安装邮件工具

确保系统已安装mailutils：

sudo apt-get install mailutils -y

6. 脚本测试与验证

6.1 手动测试备份功能

# 赋予执行权限 chmod +x /workspace/scripts/backup/model_backup.sh # 手动执行测试 /workspace/scripts/backup/model_backup.sh # 检查备份文件 ls -lh /workspace/backups/

6.2 模拟服务崩溃测试监控

# 手动停止服务 docker stop qwen3_container # 等待1分钟后检查日志 tail -f /workspace/logs/monitor_*.log # 检查服务是否自动恢复 docker ps | grep qwen3

7. 总结与最佳实践

通过本文的脚本，我们实现了Qwen3-14B模型的两大关键运维能力：

1. 定时备份：每天自动保存模型状态，防止数据丢失
2. 异常恢复：服务崩溃后自动重启，保障业务连续性

生产环境建议：

• 将日志文件接入ELK等日志系统集中管理
• 设置多级告警（邮件+短信+钉钉等）
• 定期检查备份文件的完整性
• 在非高峰期测试整套恢复流程

性能优化方向：

• 增量备份减少磁盘占用
• 增加GPU显存监控
• 实现灰度发布和滚动更新

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。