当前位置：首页 > news >正文

10分钟极速部署DolphinScheduler：Kubernetes工作流编排的终极指南

news 2026/4/30 4:44:59

10分钟极速部署DolphinScheduler：Kubernetes工作流编排的终极指南

【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址: https://gitcode.com/GitHub_Trending/dol/dolphinscheduler

Apache DolphinScheduler是一款现代化的数据编排平台，通过低代码方式实现高性能工作流的敏捷创建。本文将带你通过Kubernetes环境快速部署这一强大工具，即使是新手也能在10分钟内完成从环境准备到界面访问的全流程。

为什么选择Kubernetes部署DolphinScheduler？

Kubernetes部署模式特别适合需要调度大量任务的生产环境，它能提供卓越的可扩展性和稳定性。相比Standalone模式（适合新手体验）和伪集群部署（适合功能验证），K8s部署具备以下优势：

自动扩缩容能力，应对任务量波动
内置高可用机制，保障服务稳定运行
简化的运维管理，降低集群维护成本

图1：DolphinScheduler支持的多样化任务类型与复杂工作流定义

部署前的准备工作

在开始部署前，请确保你的环境满足以下要求：

Kubernetes集群（1.12+版本）
Helm工具（3.1.0+版本）
具备PV供应能力的基础设施

如果你还没有安装Helm，可以通过以下命令快速安装：

curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

一键部署DolphinScheduler集群

通过Helm可以实现DolphinScheduler的快速部署，只需执行以下命令：

# 克隆项目仓库 git clone https://gitcode.com/GitHub_Trending/dol/dolphinscheduler # 进入Kubernetes部署目录 cd dolphinscheduler/deploy/kubernetes # 使用Helm安装，替换<version>为实际版本号 helm upgrade --install dolphinscheduler --create-namespace --namespace dolphinscheduler oci://registry-1.docker.io/apache/dolphinscheduler-helm --version <version>

默认配置下，系统会自动部署PostgreSQL数据库（用户root，密码root，数据库dolphinscheduler）和ZooKeeper服务，无需额外配置。

访问DolphinScheduler Web界面

部署完成后，有多种方式可以访问DolphinScheduler的Web界面：

方法1：通过Ingress访问（推荐生产环境）

如果在values.yaml中启用了ingress（ingress.enabled=true），直接通过配置的域名访问：

http://${ingress.host}/dolphinscheduler

方法2：通过端口转发（适合开发测试）

当api.service.type=ClusterIP时，执行端口转发命令：

kubectl port-forward --address 0.0.0.0 svc/dolphinscheduler-api 12345:12345

然后在浏览器中访问：http://localhost:12345/dolphinscheduler/ui

方法3：通过NodePort访问

当api.service.type=NodePort时，执行以下命令获取访问地址：

NODE_IP=$(kubectl get no -n dolphinscheduler -o jsonpath="{.items[0].status.addresses[0].address}") NODE_PORT=$(kubectl get svc dolphinscheduler-api -n dolphinscheduler -o jsonpath="{.spec.ports[0].nodePort}") echo http://$NODE_IP:$NODE_PORT/dolphinscheduler

图2：DolphinScheduler直观的任务状态监控界面

使用默认账号密码登录：

用户名：admin
密码：dolphinscheduler123

验证部署状态

部署完成后，可以通过以下命令检查集群状态：

# 查看命名空间下所有Pod kubectl get pods -n dolphinscheduler # 查看服务状态 kubectl get svc -n dolphinscheduler

所有Pod都处于Running状态表示部署成功。你可以通过查看日志进一步确认服务状态：

# 查看Master节点日志 kubectl logs -f dolphinscheduler-master-0 -n dolphinscheduler # 查看Worker节点日志 kubectl logs -f dolphinscheduler-worker-0 -n dolphinscheduler

基本使用与后续操作

登录系统后，建议参考官方文档的快速上手章节了解基本操作。以下是一些常用的后续操作：

扩缩容集群

根据任务量需求调整集群规模：

# 扩缩容API服务至3个副本 kubectl scale --replicas=3 deploy dolphinscheduler-api -n dolphinscheduler # 扩缩容Worker至6个副本 kubectl scale --replicas=6 sts dolphinscheduler-worker -n dolphinscheduler

启用Worker自动扩缩容（试验性）

通过KEDA实现Worker节点的自动扩缩容，优化资源使用：

# 安装KEDA helm repo add kedacore https://kedacore.github.io/charts helm repo update kubectl create namespace keda helm install keda kedacore/keda --namespace keda --version "v2.0.0" # 启用自动扩缩容 helm upgrade --install dolphinscheduler --namespace dolphinscheduler oci://registry-1.docker.io/apache/dolphinscheduler-helm --version <version> --set worker.keda.enabled=true

卸载DolphinScheduler

如需卸载，执行以下命令：

# 卸载Helm release helm uninstall dolphinscheduler -n dolphinscheduler # 删除PVC（注意：这会删除所有数据） kubectl delete pvc -l app.kubernetes.io/instance=dolphinscheduler -n dolphinscheduler

常见问题解决

端口转发提示socat not found

执行端口转发时如果遇到此错误，需要安装socat：

# Ubuntu/Debian apt-get install socat # CentOS/RHEL yum install socat

如何支持MySQL数据库

默认使用PostgreSQL，如需切换到MySQL，需构建包含MySQL驱动的镜像，具体步骤参见官方文档中的FAQ部分。

如何添加Python3支持

DolphinScheduler默认支持Python2，如需使用Python3，可通过自定义Worker镜像实现：

FROM dolphinscheduler.docker.scarf.sh/apache/dolphinscheduler-worker:<version> RUN apt-get update && \ apt-get install -y --no-install-recommends python3 && \ rm -rf /var/lib/apt/lists/*