保姆级教程：在CentOS 7上从零部署DolphinScheduler 1.3.9集群（含MySQL 5.7和Zookeeper配置）

CentOS 7实战：三节点DolphinScheduler 1.3.9集群部署全流程

在数据仓库与大数据处理领域，一个可靠的任务调度系统是数据流水线高效运转的核心枢纽。本文将手把手带您完成三节点CentOS 7环境下DolphinScheduler 1.3.9集群的完整部署，涵盖从基础环境准备到服务联调的每个技术细节。

1. 基础环境准备

1.1 服务器规划建议

对于生产级部署，建议采用如下配置方案：

关键配置检查命令：

# 查看CPU信息 lscpu # 查看内存容量 free -h # 检查磁盘类型 lsblk -d -o name,rota

1.2 系统级配置

在所有节点执行以下初始化操作：

1. 关闭防火墙与SELinux

systemctl stop firewalld systemctl disable firewalld setenforce 0 sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

2. 时间同步配置

yum install -y ntpdate ntpdate ntp.aliyun.com echo "*/30 * * * * /usr/sbin/ntpdate ntp.aliyun.com" >> /etc/crontab

3. 安装基础工具包

yum install -y vim wget net-tools psmisc

2. 依赖组件安装

2.1 JDK 1.8+部署

推荐使用OpenJDK 8：

# 各节点统一安装 yum install -y java-1.8.0-openjdk-devel # 环境变量配置 echo 'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk' >> /etc/profile echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile source /etc/profile

验证安装：

java -version

2.2 MySQL 5.7集群部署

主节点安装：

# 安装MySQL官方Yum源 rpm -Uvh https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm # 安装服务 yum install -y mysql-community-server # 启动服务 systemctl start mysqld systemctl enable mysqld # 获取临时密码 grep 'temporary password' /var/log/mysqld.log # 安全配置 mysql_secure_installation

数据库初始化：

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; CREATE USER 'ds_user'@'%' IDENTIFIED BY 'Ds_123456'; GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'ds_user'@'%'; FLUSH PRIVILEGES;

2.3 Zookeeper集群部署

各节点配置：

# 下载安装包 wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/ # 配置文件示例（/opt/zookeeper-3.4.14/conf/zoo.cfg） tickTime=2000 initLimit=10 syncLimit=5 dataDir=/var/lib/zookeeper clientPort=2181 server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888

启动集群：

# 各节点分别执行 /opt/zookeeper-3.4.14/bin/zkServer.sh start

3. DolphinScheduler集群部署

3.1 安装包准备

wget https://dlcdn.apache.org/dolphinscheduler/1.3.9/apache-dolphinscheduler-1.3.9-bin.tar.gz tar -zxvf apache-dolphinscheduler-1.3.9-bin.tar.gz -C /opt

3.2 关键配置文件修改

数据库连接配置（conf/datasource.properties）：

spring.datasource.driver-class-name=com.mysql.jdbc.Driver spring.datasource.url=jdbc:mysql://master-node:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8 spring.datasource.username=ds_user spring.datasource.password=Ds_123456

集群节点配置（conf/config/install_config.conf）：

# 集群节点IP列表 ips="node1,node2,node3" # Master节点配置 masters="node1" # Worker节点配置 workers="node1:default,node2:default,node3:default" # Zookeeper集群地址 zkQuorum="node1:2181,node2:2181,node3:2181"

3.3 初始化数据库

# 导入MySQL驱动 cp mysql-connector-java-5.1.47.jar /opt/apache-dolphinscheduler-1.3.9-bin/lib/ # 执行初始化脚本 /opt/apache-dolphinscheduler-1.3.9-bin/script/create-dolphinscheduler.sh

3.4 集群启动与验证

一键启动：

/opt/apache-dolphinscheduler-1.3.9-bin/bin/start-all.sh

服务验证：

# 检查进程状态 ps -ef | grep dolphinscheduler # 访问Web UI http://<master-node>:12345/dolphinscheduler

4. 生产环境调优指南

4.1 性能关键参数

4.2 高可用配置

Master节点HA：

1. 修改conf/master.properties：

master.server.load.protocol=ZK master.server.recovery.enable=true

2. 在install_config.conf中配置多个Master：

masters="node1,node2"

4.3 监控集成

Prometheus监控配置：

# conf/prometheus.yml 示例 scrape_configs: - job_name: 'dolphinscheduler' metrics_path: '/actuator/prometheus' static_configs: - targets: ['node1:12345', 'node2:12345']

5. 常见问题排查

5.1 服务启动失败排查

检查步骤：

1. 查看日志文件：

tail -500f /opt/dolphinscheduler/logs/<service-name>.log

2. 端口冲突检查：

netstat -tunlp | grep <port>

3. 数据库连接测试：

mysql -h <host> -u <user> -p<password> -e "use dolphinscheduler; show tables;"

5.2 任务执行异常处理

典型错误场景：

• 权限问题：确保Worker节点有sudo权限
• 资源不足：调整worker.properties中的执行线程数
• 依赖缺失：检查任务所需的运行时环境

日志定位技巧：

# 跟踪任务实例日志 grep -A 50 'ERROR' /opt/dolphinscheduler/logs/worker-server/*.log

6. 进阶配置示例

6.1 HDFS集成配置

修改common.properties：

# 资源存储类型 resource.storage.type=HDFS # HDFS配置 fs.defaultFS=hdfs://namenode:8020 hadoop.security.authentication.startup.state=false

6.2 邮件告警设置

修改alert.properties：

mail.protocol=SMTP mail.server.host=smtp.example.com mail.server.port=465 mail.sender=alert@example.com mail.user=alert@example.com mail.passwd=your-password mail.smtp.ssl.enable=true

7. 运维管理实践

7.1 日常维护命令

服务管理：

# 单独启停组件 bin/dolphinscheduler-daemon.sh start master-server bin/dolphinscheduler-daemon.sh stop worker-server # 集群状态检查 bin/status-all.sh

数据库维护：

-- 定期清理历史数据 DELETE FROM t_ds_process_instance WHERE state=6 AND end_time < DATE_SUB(NOW(), INTERVAL 30 DAY);

7.2 备份恢复策略

元数据备份：

mysqldump -h <host> -u <user> -p<password> dolphinscheduler > ds_backup_$(date +%Y%m%d).sql

配置备份：

tar -zcvf ds_conf_backup_$(date +%Y%m%d).tar.gz /opt/dolphinscheduler/conf/

8. 性能基准测试

通过模拟不同规模的工作流负载，我们获得以下性能数据：

测试环境配置：3节点集群，每节点8核16GB内存，SSD存储