当前位置：首页 > news >正文

服务器部署爬虫：Supervisor 进程守护

news 2026/5/11 23:06:16

在服务器长期运行爬虫时，常会遇到程序意外崩溃、断连退出、后台挂起失效等问题，直接用 nohup 或 screen 管理不够规范、不够稳定。Supervisor 是 Linux 下轻量、可靠的进程守护工具，专门用来托管爬虫、服务、脚本等后台程序，实现自动重启、日志管理、统一管控。

一、Supervisor 是什么

Supervisor 是用 Python 开发的进程管理系统，核心作用：

让程序在后台稳定运行
程序崩溃自动重启
集中管理启动、停止、重启、查看状态
统一管理标准输出与错误日志非常适合爬虫、API 服务、定时任务等长期驻留进程。

二、安装 Supervisor

以 CentOS / Ubuntu 为例：

CentOS/RHEL

bash

运行

yum install -y epel-release yum install -y supervisor

Ubuntu/Debian

bash

运行

apt update apt install -y supervisor

安装完成后，启动并设置开机自启：

bash

运行

systemctl start supervisord systemctl enable supervisord

检查是否运行：

bash

运行

ps aux | grep supervisord

三、编写爬虫脚本（示例）

假设你的爬虫文件：/home/spider/main.py

python

运行

import time import datetime while True: print(f"[{datetime.datetime.now()}] 爬虫正在运行...") # 这里写你的爬取逻辑 time.sleep(10)

确保爬虫能直接在命令行正常运行：

bash

运行

python3 /home/spider/main.py

四、配置 Supervisor 托管爬虫

Supervisor 配置目录通常为：

/etc/supervisord.d/

新建配置文件，建议以.ini结尾：

bash

运行

vim /etc/supervisord.d/spider.ini

写入如下配置（可直接复制修改路径使用）：

ini

[program:spider] command=python3 /home/spider/main.py directory=/home/spider user=root autostart=true autorestart=true startretries=3 stdout_logfile=/var/log/spider.log stderr_logfile=/var/log/spider_err.log

配置说明

[program:spider]：进程名称，自定义
command：启动命令
directory：工作目录
autostart=true：服务器开机自动启动
autorestart=true：程序崩溃自动重启
stdout_logfile：正常日志
stderr_logfile：错误日志

五、更新配置并管理爬虫

重新加载配置

bash

运行

supervisorctl reread supervisorctl update

启动爬虫

bash

运行

supervisorctl start spider

查看状态

bash

运行

supervisorctl status

常用命令

bash

运行

supervisorctl stop spider # 停止 supervisorctl restart spider # 重启 supervisorctl reload # 重载所有配置

六、查看日志（排查爬虫问题）

实时查看爬虫日志：

bash

运行

tail -f /var/log/spider.log

查看错误日志：

bash

运行

tail -f /var/log/spider_err.log

日志能帮你快速定位：

爬虫崩溃原因
网络超时
解析错误
权限问题

七、为什么推荐 Supervisor 托管爬虫

稳定：崩溃自动重启，避免爬一半中断
统一管理：一台服务器可管理 N 个爬虫，互不干扰
日志规范：方便排查线上问题
轻量无依赖：比 systemd 更简单、比 screen 更专业
适合长期运行：爬虫 7×24 小时稳定在线

八、常见问题

报错：spider: ERROR (spawn error)
- 检查 Python 路径是否正确
- 检查日志文件权限
- 手动执行 command 命令看是否能运行
程序一直重启
- 代码有异常，看 stderr 日志
- 爬虫执行完就退出，不是死循环程序不适合托管
修改代码后不生效
- 必须restart进程：
bash
运行
```
supervisorctl restart spider
```