Genie入门指南：5分钟快速部署你的第一个大数据作业

Genie入门指南：5分钟快速部署你的第一个大数据作业

【免费下载链接】genieDistributed Big Data Orchestration Service项目地址: https://gitcode.com/gh_mirrors/genie/genie

Genie是一款强大的分布式大数据编排服务（Distributed Big Data Orchestration Service），它能够帮助开发者轻松管理和调度各种大数据作业，无论是Spark、Hadoop还是Trino任务，都能通过Genie实现高效部署与监控。本文将带你快速入门，在5分钟内完成环境搭建并运行第一个大数据作业。

一、环境准备：3步完成安装部署

1.1 克隆代码仓库

首先通过Git克隆官方仓库到本地：

git clone https://gitcode.com/gh_mirrors/genie/genie cd genie

1.2 编译项目源码

使用Gradle构建工具编译项目（需Java 8+环境）：

./gradlew clean build -x test

编译成功后，可在genie-app/build/libs/目录下找到生成的可执行JAR文件。

1.3 启动Genie服务

通过以下命令启动Genie服务器：

java -jar genie-app/build/libs/genie-app-*.jar

服务默认运行在8080端口，可通过http://localhost:8080访问Web控制台。

二、核心概念：5分钟了解Genie架构

2.1 作业（Job）

作业是Genie的基本执行单元，对应一个具体的大数据任务（如Spark作业）。作业定义包含执行命令、资源依赖、集群选择等信息，相关配置可参考作业请求DTO。

2.2 集群（Cluster）

集群代表一组计算资源，Genie通过集群选择策略（如标签匹配）为作业分配合适的执行环境。集群配置文件位于genie-demo/src/main/docker/example/clusters/。

2.3 命令（Command）

命令定义了作业的执行方式，如Spark提交命令、Hadoop脚本等。系统预置了多种命令模板，可在genie-demo/src/main/docker/example/commands/目录查看示例。

三、实战操作：提交你的第一个Spark作业

3.1 准备作业配置文件

创建job-request.json文件，定义Spark作业参数：

{ "name": "first-genie-job", "user": "genie", "commandArgs": "spark-submit --class org.apache.spark.examples.SparkPi", "clusterCriteria": [{"tags": ["yarn"]}], "commandCriteria": [{"tags": ["spark246"]}] }

3.2 通过API提交作业

使用curl命令提交作业请求：

curl -X POST http://localhost:8080/api/v3/jobs \ -H "Content-Type: application/json" \ -d @job-request.json

成功提交后会返回作业ID，如12345。

3.3 监控作业状态

通过Web控制台或API查询作业状态：

curl http://localhost:8080/api/v3/jobs/12345/status

作业状态包括SUBMITTED→RESOLVED→RUNNING→SUCCEEDED，可在作业状态枚举中查看完整状态列表。

四、进阶技巧：提升作业管理效率

4.1 使用Agent模式运行作业

Genie Agent提供更灵活的作业执行方式，支持本地资源缓存和日志收集：

./genie-agent/build/libs/genie-agent-*.jar exec --jobId 12345

Agent配置可通过AgentProperties类自定义。

4.2 配置作业依赖资源

在作业请求中添加依赖文件或JAR包：

"dependencies": [ "hdfs:///user/genie/lib/spark-examples.jar" ]

资源管理逻辑实现于资源解析服务。

4.3 设置作业超时与重试

通过全局配置限制作业运行时间：

# 在genie.properties中设置 genie.job.max.running.time=3600

超时处理逻辑位于作业监控服务。

五、常见问题与解决方案

5.1 作业提交失败

检查集群和命令标签是否匹配，可通过集群选择器调试选择逻辑。

5.2 资源下载缓慢

配置本地缓存目录：

--cache.directory /data/genie/cache

缓存实现参考CacheArgumentsImpl。

5.3 日志查看困难

通过Agent命令实时获取日志：

./genie-agent-*.jar log --jobId 12345

日志管理模块位于日志命令。

通过本文的步骤，你已掌握Genie的基本使用方法。更多高级功能如多集群调度、权限管理等，可参考官方文档genie-docs/src/docs/asciidoc/index.adoc。现在就开始用Genie简化你的大数据作业管理吧！ 🚀

【免费下载链接】genieDistributed Big Data Orchestration Service项目地址: https://gitcode.com/gh_mirrors/genie/genie