当前位置: 首页 > news >正文

kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟

1、启动服务

启动命令 java -jar etl_scheduler_platform-1.0.x.jar

960f6208-aa65-4347-b161-cc6ae846ec28

 2、浏览器访问

http://127.0.0.1:32007 ,输入用户名和密码 admin/admin 登录

23983211-bbd8-4548-bc40-e72bcd091911

 

3、准备centos7服务

准备一台centos服务器,并且服务器提前安装好了jdk1.8,我这里使用docker启动centos7服务器。

c9c7f448-b754-43ba-9dc1-23d47c009a12

 

 

 4、服务器配置

8583ccc4-3069-4e37-adb8-b194a2bb5394

 点击新增按钮,添加服务器

f4a65be5-72da-4106-a022-dce728dd9cbc

 添加成功之后,可以看到服务器列表、状态、启动时间/运行时长等信息。

843cc073-1283-4cc4-807f-fa47bd5af270

 运行监控列【点击查看】可以查看机器的监控信息

08eaeafe-e838-4c12-b22d-8b9332adcaba

5、carte配置

1)将kettle中的整个目录data-integration拷贝到xkg运行目录里面。

6f6c19d6-69f4-43d8-bf30-c1093100930e

 这里可以点击压缩按钮或者自己打tar文件放到xkg目录里面也可以。

打包命令:

进入到xkg所在目录

cd xxx/xkg

tar -cvf data-integration.tar data-integration

b92766d9-77c4-48fe-b57e-a5f40bdbb137

  2)新增carte服务

这一步主要是自动在linux服务器上面部署carte服务

63c5fa4e-e7bd-4d3d-b1b8-c31a6ac8192c

 这一步设置carte的在目标linux机器上的部署路径,这里设置为/opt;启动配置里面hostname 我设置为0.0.0.0,是因为是的centos环境为docker运行。物理机器的话直接写机器的ip即可。

a5d19887-8927-4f8d-b74a-79ed7e59ec75

 

 

 

 

保存并部署:将tar包上传并部署,不会启动服务。

以当前配置启动:tar包上传部署,并启动服务。

保存:不会上传tar,适用于目标机器已经部署过carte的情况。

26395c48-85af-4805-9666-13f5c3bfcd9f

 上一步我们点击的是保存并部署,所以这里需要点击下启动按钮,启动carte服务。

805a12e4-7a78-45c6-8b4b-afeac02005af

启动这里可以重新修改ip、端口、用户名和密码等信息。

a92a4d65-e9b7-4082-b2f3-9adae867e0ac

  6、资源库配置(文件资源仓库)

89c2120f-e0e9-4178-b249-f0f8b7563398

 右键文件夹进行脚本上传、删除、下载等操作。

截屏2025-10-19 19.21.30

 脚本上传之后,可以预览脚本,确保上传脚本正常。

6c7a1d11-6ff1-45bd-bc0e-07e1e1c651a3

 脚本更新有两种方法

1、重新上传进行覆盖

2、在线修改xml文件内容,右键test脚本,选择编辑

8d925f80-088e-429e-85d3-b82d9a6dcd8f

 可以根据自己的需要修改xml文件,或者使用本地的xml整体覆盖,点击保存进行修改。

8d6c896f-4828-451c-9859-0b4c5ac7e33f

7、脚本下发

 脚本下发主要是为了解决,当脚本发生变化之后,可以一键将脚本同步到所有carte服务器上,避免手动拷贝效率低下问题。

6932c57f-da34-47d4-9805-e746233f2f21

点击下发或者重新下发按钮进行下发脚本。

b00ab6e3-52d5-4226-a496-6b89d5fce2e9

 

8、作业调度

资源库:选择文件资源库,然后选择自己设置的资源库,后续文章讲解数据库资源库

任务路径:选择脚本

任务名称:自定义任务名称

任务分组:选择组名,没有的话新建一个分组。

执行方式:选择carte服务,这里的carte服务可以是当体carte,也可以是carte集群(step级别的机器,kettle原生的master slave)。后续文章讲解carte服务组集群模式

执行节点:选择前面配置的cate服务节点

调度方式:可以选择Cron和轮询(如间隔5分钟)两种方式,无论哪种方式,都会处理当前任务没有执行结束,下一个任务都会跳过忽略本次执行。

0984606f-2a39-41b6-894e-699577f50242

 可以点击启动按钮或者点击调度一次来触发任务

e2808443-8677-413d-b9c8-25505c898798

  9、任务监控

在这里可以查看运行的结果(成功或者失败)以及运行日志信息。

b1021ea2-79bd-4429-b86b-abb4ad2cf2ca

 点击日志按钮,查看日志信息

0869c105-3086-4ea4-99cb-31ed41222c45

 10、平台监控

点击运行情况,可以查看整个平台的job运行情况。

bab32d4c-88df-4a49-8686-be9a336843eb

 写在最后

xkg还有一些其他实用的功能,如接口管里,预警配置等,大家可以自行摸索下。

目前xkg已经部署在一些三甲医院和公安行业,生产环境表现优秀,欢迎大家使用完善。

后续会讲解carte服务器集群功能,敬请期待。

 

image

 

http://www.jsqmd.com/news/42373/

相关文章:

  • 2025 年 11 月不锈钢板厂家推荐排行榜,304不锈钢板,316L不锈钢板,310S不锈钢板,321不锈钢板公司推荐
  • 2025年诚信的高温旋转接头厂家最新用户好评榜
  • 2025年有实力的碱性铝溶胶厂家最新用户好评榜
  • 2025年比较好的半自动方便面生产线TOP实力厂家推荐榜
  • 2025年评价高的铝管弯管加工用户口碑最好的厂家榜
  • TCP 四次挥手:关闭连接
  • 2025年质量好的家用沙发厂家推荐及选择参考
  • 2025年优质的年糕机用户口碑最好的厂家榜
  • 【一步步开发AI运动APP】十四、AI运动检测中,如何拍照留存图像?
  • 跨境电商ERP系统哪家好?亚马逊卖家专属选型指南
  • 查询天气
  • 【A】Bad Apple
  • 2025年优秀的膨胀型防火涂料厂家最新TOP实力排行
  • 2025年AR柱塞式高压水泵优质厂家权威推荐榜单:AR高压柱塞泵/AR高压清洗泵/AR柱塞高压水泵源头厂家精选
  • 基于MATLAB的Q-learning强化学习与回归算法结合的轨迹规划实现
  • 2025年诚信的液体喷砂机厂家最新权威实力榜
  • 2025 最新锡锌丝厂家推荐!锡锌丝 / 无铅焊锡丝 / 焊铝锡丝 / 免洗焊锡丝等优质产品厂家企业品牌权威推荐排行榜
  • OpenCVSharp:使用MOG进行运动物体识别
  • 2025年优秀的碳钢风管加工厂家推荐及选择指南
  • 2025 年 ROT 厂家最新推荐 :国际权威测评认证的高新技术企业核心实力榜单江苏 RTO/废气 RTO 炉/蓄热式焚烧炉/RTO 废气处理公司推荐
  • 习惯养成工具:数字化时代的自我管理辅助
  • 2025年动物细胞生物反应器厂家权威推荐榜单:固体发酵罐/种子罐/酵母发酵罐源头厂家精选
  • 2025年评价高的钢结构厂房设计与加工厂家选购指南与推荐
  • Python-Cookbook-中文版-全-
  • 2025年新疆电线电缆厂家权威推荐榜单:矿用电缆/扁电缆/特种电缆源头厂家精选
  • 2025年靠谱的鲈鱼饲料行业权威推荐榜
  • 2025年玻璃钢阳极管优质厂家权威推荐榜单:FRP玻璃钢阳极管/不锈钢阳极管/阳极管源头厂家精选
  • 2025年口碑好的定制电缆桥架厂家最新权威实力榜
  • 2025年知名的LW立式排污泵行业内知名厂家排行榜
  • 2025年靠谱的大口径不锈钢焊管厂家推荐及选购参考榜