从零到一：手把手教你用Docker Compose快速部署DolphinScheduler 3.x集群（含避坑指南）
从零到一：手把手教你用Docker Compose快速部署DolphinScheduler 3.x集群（含避坑指南）
在当今数据驱动的时代，高效的任务调度系统已成为企业数据流水线不可或缺的组成部分。DolphinScheduler作为Apache顶级开源项目，以其可视化DAG工作流、丰富的任务类型支持和去中心化架构，正在成为越来越多企业的选择。本文将带你从零开始，通过Docker Compose这一轻量级容器编排工具，快速搭建一个功能完整的DolphinScheduler 3.x集群环境。
1. 环境准备与规划
在开始部署之前，我们需要明确几个关键点：
- 硬件需求：即使是测试环境，也建议至少4GB内存和2核CPU
- 软件依赖：
- Docker 20.10+
- Docker Compose 2.0+
- 现代浏览器（推荐Chrome或Edge）
注意：生产环境需要根据任务量和并发度适当调整资源配置
1.1 目录结构规划
合理的目录结构能避免后续的配置混乱。建议创建如下目录：
mkdir -p dolphinscheduler/{data,logs,resource}这个结构将用于：
data：存放PostgreSQL数据库持久化数据logs：存储各组件运行日志resource：作为资源中心挂载点
2. Docker Compose文件解析
下面是经过优化的docker-compose.yml文件，包含了所有必要服务：
version: '3' services: postgresql: image: postgres:13 container_name: ds-postgres environment: POSTGRES_PASSWORD: dolphinscheduler POSTGRES_USER: dolphinscheduler POSTGRES_DB: dolphinscheduler volumes: - ./data/postgres:/var/lib/postgresql/data ports: - "5432:5432" healthcheck: test: ["CMD-SHELL", "pg_isready -U dolphinscheduler"] interval: 5s timeout: 5s retries: 5 zookeeper: image: zookeeper:3.8 container_name: ds-zookeeper ports: - "2181:2181" environment: ZOO_MY_ID: 1 healthcheck: test: ["CMD", "zkServer.sh", "status"] interval: 10s timeout: 5s retries: 3 dolphinscheduler-master: image: apache/dolphinscheduler:3.1.0 container_name: ds-master depends_on: postgresql: condition: service_healthy zookeeper: condition: service_healthy environment: SPRING_DATASOURCE_URL: jdbc:postgresql://postgresql:5432/dolphinscheduler SPRING_DATASOURCE_USERNAME: dolphinscheduler SPRING_DATASOURCE_PASSWORD: dolphinscheduler REGISTRY_ZOOKEEPER_CONNECT_STRING: zookeeper:2181 MASTER_EXEC_THREADS: 10 MASTER_EXEC_TASK_NUM: 20 volumes: - ./logs/master:/opt/dolphinscheduler/logs ports: - "5678:5678" command: ["master-server"] dolphinscheduler-worker: image: apache/dolphinscheduler:3.1.0 container_name: ds-worker depends_on: postgresql: condition: service_healthy zookeeper: condition: service_healthy environment: SPRING_DATASOURCE_URL: jdbc:postgresql://postgresql:5432/dolphinscheduler SPRING_DATASOURCE_USERNAME: dolphinscheduler SPRING_DATASOURCE_PASSWORD: dolphinscheduler REGISTRY_ZOOKEEPER_CONNECT_STRING: zookeeper:2181 WORKER_EXEC_THREADS: 20 WORKER_HOST_WEIGHT: 100 volumes: - ./logs/worker:/opt/dolphinscheduler/logs - ./resource:/tmp/dolphinscheduler/resource ports: - "1234:1234" command: ["worker-server"] dolphinscheduler-api: image: apache/dolphinscheduler:3.1.0 container_name: ds-api depends_on: postgresql: condition: service_healthy zookeeper: condition: service_healthy environment: SPRING_DATASOURCE_URL: jdbc:postgresql://postgresql:5432/dolphinscheduler SPRING_DATASOURCE_USERNAME: dolphinscheduler SPRING_DATASOURCE_PASSWORD: dolphinscheduler REGISTRY_ZOOKEEPER_CONNECT_STRING: zookeeper:2181 volumes: - ./logs/api:/opt/dolphinscheduler/logs ports: - "12345:12345" command: ["api-server"] dolphinscheduler-alert: image: apache/dolphinscheduler:3.1.0 container_name: ds-alert depends_on: postgresql: condition: service_healthy zookeeper: condition: service_healthy environment: SPRING_DATASOURCE_URL: jdbc:postgresql://postgresql:5432/dolphinscheduler SPRING_DATASOURCE_USERNAME: dolphinscheduler SPRING_DATASOURCE_PASSWORD: dolphinscheduler REGISTRY_ZOOKEEPER_CONNECT_STRING: zookeeper:2181 volumes: - ./logs/alert:/opt/dolphinscheduler/logs command: ["alert-server"] dolphinscheduler-ui: image: apache/dolphinscheduler:3.1.0-ui container_name: ds-ui depends_on: dolphinscheduler-api: condition: service_started ports: - "8888:8888"2.1 关键配置说明
数据库配置：
- 使用PostgreSQL 13作为元数据存储
- 密码建议在生产环境中修改为更复杂的值
- 数据卷挂载确保数据持久化
ZooKeeper配置：
- 作为服务注册中心
- 单节点模式适合测试，生产环境建议集群部署
Master Server：
MASTER_EXEC_THREADS：控制主节点执行线程数MASTER_EXEC_TASK_NUM：控制每个批次处理的任务数量
Worker Server：
WORKER_EXEC_THREADS：工作节点并发线程数WORKER_HOST_WEIGHT：负载均衡权重- 资源目录挂载实现任务间文件共享
3. 部署与初始化
3.1 启动服务
执行以下命令启动所有服务：
docker-compose up -d可以通过以下命令观察启动日志：
docker-compose logs -f3.2 数据库初始化
DolphinScheduler会在首次启动时自动初始化数据库表结构。可以通过以下命令检查初始化是否完成：
docker exec -it ds-postgres psql -U dolphinscheduler -c "\dt"应该能看到约50张以t_ds_开头的表被创建。
3.3 访问Web UI
服务启动完成后，访问：
http://localhost:8888使用默认凭据登录：
- 用户名：admin
- 密码：dolphinscheduler123
4. 常见问题与解决方案
4.1 端口冲突处理
如果出现端口冲突，可以修改docker-compose.yml中的端口映射。常见需要修改的端口包括：
| 服务 | 默认容器端口 | 默认主机端口 |
|---|---|---|
| PostgreSQL | 5432 | 5432 |
| ZooKeeper | 2181 | 2181 |
| API Server | 12345 | 12345 |
| UI | 8888 | 8888 |
4.2 资源不足问题
如果Worker节点任务执行失败，可能是资源限制导致。可以通过以下方式调整：
- 增加Worker线程数：
environment: WORKER_EXEC_THREADS: 50- 调整Docker资源限制：
docker update --cpus 2 --memory 4g ds-worker4.3 日志查看技巧
各组件日志位于挂载的logs目录下，可按服务查看：
tail -f logs/master/dolphinscheduler-master.log关键日志标记：
INFO：正常操作日志WARN：潜在问题警告ERROR：需要立即处理的错误
5. 生产环境优化建议
5.1 高可用配置
对于生产环境，建议：
- Master节点至少部署2个实例：
dolphinscheduler-master-1: # ...配置同前 ports: - "5678:5678" dolphinscheduler-master-2: # ...配置同前 ports: - "5679:5678"- Worker节点根据任务量横向扩展
5.2 监控集成
建议集成Prometheus监控，添加以下配置：
environment: SPRING_METRICS_ENABLED: "true" SPRING_METRICS_EXPORT_PROMETHEUS_ENABLED: "true" MANAGEMENT_ENDPOINTS_WEB_EXPOSURE_INCLUDE: "prometheus,health,info"5.3 备份策略
关键数据备份方案：
- 数据库定期备份：
docker exec ds-postgres pg_dump -U dolphinscheduler > dolphinscheduler_backup.sql- 资源中心备份：
tar czvf resource_backup.tar.gz dolphinscheduler/resource/6. 进阶配置技巧
6.1 邮件告警设置
在UI界面配置SMTP信息后，修改alert-server环境变量：
environment: ALERT_SMTP_SERVER: smtp.example.com ALERT_SMTP_PORT: 587 ALERT_SMTP_USER: your_email@example.com ALERT_SMTP_PASSWORD: your_password ALERT_SMTP_SSL: "true"6.2 多租户配置
- 创建租户：
INSERT INTO t_ds_tenant (tenant_code, description) VALUES ('dev', '开发环境');- 分配Worker分组：
environment: WORKER_GROUPS: default,dev6.3 自定义任务插件
要添加自定义任务类型：
- 创建插件目录：
mkdir -p dolphinscheduler/plugins- 修改Worker配置：
volumes: - ./plugins:/opt/dolphinscheduler/plugins7. 版本升级策略
当需要升级到新版本时：
- 备份数据库和资源文件
- 修改
docker-compose.yml中的镜像版本 - 执行滚动更新：
docker-compose pull docker-compose up -d注意：大版本升级前务必检查官方升级文档，可能有数据迁移要求