当前位置: 首页 > news >正文

User-Community Airflow Helm Chart完全指南:如何在Kubernetes上部署Apache Airflow

User-Community Airflow Helm Chart完全指南:如何在Kubernetes上部署Apache Airflow

【免费下载链接】chartsThe User-Community Airflow Helm Chart is the standard way to deploy Apache Airflow on Kubernetes with Helm. Originally created in 2017, it has since helped thousands of companies create production-ready deployments of Airflow on Kubernetes.项目地址: https://gitcode.com/gh_mirrors/charts27/charts

User-Community Airflow Helm Chart是在Kubernetes上使用Helm部署Apache Airflow的标准方式。自2017年创建以来,它已帮助数千家公司在Kubernetes上创建了生产就绪的Airflow部署。本指南将为你提供使用该Helm Chart在Kubernetes上部署Apache Airflow的完整步骤,从环境准备到最终访问Airflow UI,让你轻松上手。

准备你的部署环境

在开始部署之前,确保你的环境满足以下要求:

  • Kubernetes1.18+
  • Helm3.0+(installing helm)
  • (可选) 配置包含DAG文件的Git仓库 (loading dag definitions)
  • (可选) 用于CeleryExecutor的外部PostgreSQLMySQL数据库 (connecting your database)
  • (可选) 用于CeleryExecutor的外部Redis数据库 (connecting your redis)

🟦Tip🟦

要部署User-Community Airflow Helm Chart,你需要一个Kubernetes集群。以下是一些流行的Kubernetes发行版按平台分类:

PlatformKubernetes Distribution
Local Machinek3d
Local Machinekind
Local Machineminikube
Amazon Web ServicesAmazon Elastic Kubernetes Service (EKS)
Microsoft AzureAzure Kubernetes Service (AKS)
Google CloudGoogle Kubernetes Engine (GKE)
Alibaba CloudAlibaba Cloud Container Service for Kubernetes (ACK)
IBM CloudIBM Cloud Kubernetes Service (IKS)

添加Helm仓库

执行以下命令将仓库添加到你的Helm:

## add this helm repository helm repo add airflow-stable https://airflow-helm.github.io/charts ## update your helm repo cache helm repo update

创建自定义Values文件

Helm图表通过values进行配置,图表的所有values列表都在图表的values.yaml文件中(该文件也设置了默认值)。User-Community Airflow Helm Chart有数量极多的values(超过1000个!),但不必担心,你可以从定义一些重要的values开始,然后逐步扩展你的custom-values.yaml

我们建议你从我们的示例中开始创建custom-values.yaml文件:

  • CeleryExecutor
  • KubernetesExecutor
  • CeleryKubernetesExecutor

🟦Tip🟦

以下链接将帮助你扩展custom-values.yaml以满足你的需求:

  • Docs: Key Features
  • Docs: Frequently Asked Questions
  • Docs: Examples
  • Docs: Helm Values

安装Airflow Chart

## set the release-name & namespace export AIRFLOW_NAME="airflow-cluster" export AIRFLOW_NAMESPACE="airflow-cluster" ## create the namespace kubectl create ns "$AIRFLOW_NAMESPACE" ## install using helm 3 helm install \ "$AIRFLOW_NAME" \ airflow-stable/airflow \ --namespace "$AIRFLOW_NAMESPACE" \ --version "8.X.X" \ --values ./custom-values.yaml ## wait until the above command returns and resources become ready ## (may take a while)

🟥Warning🟥

始终固定--version,这样你就不会意外更新图表版本!

🟦Tip🟦

  • 在我们的CHANGELOG中找到完整的图表版本列表
  • 在GitHub上Watch 👀以获取有关新图表版本的通知,点击"watch"→"custom"→"releases"。

访问Airflow UI

## port-forward the airflow webserver kubectl port-forward svc/${AIRFLOW_NAME}-web 8080:8080 --namespace $AIRFLOW_NAMESPACE ## open your browser to: http://localhost:8080 ## (default login: `admin`/`admin`)

🟦Tip🟦

了解更多关于身份验证的信息:

  • Manage Airflow Users
  • Integrate Airflow with LDAP or OAUTH

常见配置与管理

配置数据库

  • Configure Database (External)
  • Configure Database (Built-In)
  • Configure PgBouncer

配置Redis

  • Configure Redis (Built-In)
  • Configure Database (External)

管理Airflow组件

  • Manage Airflow Plugins
  • Install Extra Python/Pip Packages
  • Configure Celery Worker Autoscaling

管理DAGs

  • Load Airflow DAGs
  • Manage Airflow Connections
  • Manage Airflow Variables
  • Manage Airflow Pools

安全设置

  • Set Airflow Fernet Encryption Key
  • Set Airflow Webserver Secret Key

监控与日志

  • Integrate Airflow with Prometheus
  • Manage Airflow Logs
  • Manage Airflow Logs Cleanup

Kubernetes相关配置

  • Configure Kubernetes Ingress
  • Mount Extra Persistent Volumes
  • Mount Files from Secrets/ConfigMaps
  • Mount Environment Variables from Secrets/ConfigMaps
  • Configure Pod Affinity/Selectors/Tolerations
  • Include Extra Kubernetes Manifests

升级与卸载指南

升级Airflow Chart

如需升级已部署的Airflow Chart,可参考Upgrade Guide

卸载Airflow Chart

若要卸载Airflow Chart,可按照Uninstall Guide进行操作。

通过本指南,你已经掌握了使用User-Community Airflow Helm Chart在Kubernetes上部署、配置和管理Apache Airflow的基本方法。如有更多需求,可查阅项目的官方文档获取更详细的信息。

【免费下载链接】chartsThe User-Community Airflow Helm Chart is the standard way to deploy Apache Airflow on Kubernetes with Helm. Originally created in 2017, it has since helped thousands of companies create production-ready deployments of Airflow on Kubernetes.项目地址: https://gitcode.com/gh_mirrors/charts27/charts

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

http://www.jsqmd.com/news/1279226/

相关文章:

  • Elasticsearch 9.x中文神经搜索优化实战
  • 管道节能改造哪家好? - 中媒介
  • 谜语大全 API 参数详解与请求优化最佳实践
  • 找提供泡发指导的海参品牌 - 中媒介
  • Yakit热加载自动化破解前端AES/RSA加密表单的渗透测试实战
  • 终极指南:让旧款Mac免费升级到最新macOS的完整教程
  • Ascend-SACT/glm-4.7-flash终极优化:MTP技术带来108%吞吐量提升
  • 波普尔证伪主义与学术史研究新范式
  • 解决老Mac兼容性问题:OpenCore Legacy Patcher深度实战指南
  • FF Proxy与CoAP对比:何时选择UDP代理,何时选择专用协议?
  • 2026年艺术漆价格透明避坑指南,口碑实力测评推荐,新手选购不踩坑 - myqiye
  • RAG分块策略:提升大模型检索效果的关键技术
  • 终极指南:如何使用OpenCore Legacy Patcher让旧款Mac免费升级到最新macOS系统
  • 林基的技术实力强不强? - 中媒介
  • 找适合过敏家庭的高过滤新风系统安装团队 - 中媒介
  • 王者荣耀战力查询接口:参数深度解析与高效使用技巧
  • 如何让旧款Mac免费升级到最新macOS:OpenCore Legacy Patcher完整指南
  • 游戏手柄扩展板:从Arduino到PC外设的图形化编程实战
  • DevOps实践指南:从CI/CD到文化转型
  • LangChain实现大模型长期会话记忆的技术解析
  • 500元自制四轮车:从底盘焊接、转向原理到电控集成的DIY实践
  • 广州升降式安全防护装置正规厂家推荐,2026年十大实力品牌深度横评,所见即所得 - myqiye
  • UCD9240数字电源实战:DPWM相位分配与CLA增益配置详解
  • 终极指南:使用 gh_mirrors/bd/bds-files 掌握生物信息学数据处理核心技能
  • 2026年更新:股权纠纷常见问题解答(2026版) - 优企甄选
  • DMD框架:多模态情感识别的解耦与蒸馏技术解析
  • TPIC7710EVM评估板实战:从硬件拆解到GUI软件高效验证汽车电机驱动芯片
  • 新课标下小学信息科技项目式学习:智慧图书借阅系统设计与实践
  • 改善睡眠产品推荐哪款? - 中媒介
  • AI辅助论文写作:提升效率与质量的关键技巧