当前位置: 首页 > news >正文

DataX从入门到精通 第2课 ETL之DataX 安装datax-web

1、下载源码

datax-web地址为https://github.com/WeiYe-Jing/datax-web

2、编译源码

使用maven 进行编译,进行到datax-web所在目录,然后执行如下命令打包

mvn -U install

 编译成功之后产物有:datax-admin(控台)、datax-executor(执行器)、datax-web(完整部署包)

9a382267-327b-4c93-b798-9c6adbc387e9

 3、部署服务

1)使用datax-web-2.1.2.tar.gz进行部署,解压此文件。

e78c3af7-2185-4686-91ae-6f051f5d417d

 

2)准备一个mysql数据库,schema为datax-web

3)执行datax_web.sql中的脚本,文件位置为bin/db/datax_web.sql

4)编辑application.yml中的数据库信息,日志地址等

1eb56f81-925d-48ef-9d8f-79f14f498cfa

 5)shell启动datax-admin服务

经测试使用install.sh、start.sh、start-all.sh文件只适合在linux环境,无法在windows和mac直接使用,所以舍弃这种方法。

6)改造datax-admin、datax-executor为springboot项目

改造步骤省略,不懂技术的朋友可以使用ai工具来解决,如trae。

7)启动datax-admin服务

启动命令为

nohup java -Xms1g -Xmx1g -jar datax-admin-2.1.2.jar > /dev/null 2>&1 &

4557c612-02e4-496d-8f6f-ee788803d5fa

通过 http://localhost:8080/index.html 访问,默认账号 admin / 123456

4348f6f7-924d-41d3-87a7-e373d729cdd7

 8)启动datax-executor服务

配置applicaiton.yml文件,这里重点配置addresses(多个admin逗号分隔)、jsonpath(datax任务的路径)、pypath(datax的可执行python路径)

181398b2-7adf-478a-ab3a-ad501a55d8ce

 

启动命令

nohup java -Xms1g -Xmx1g -jar datax-executor-2.1.2.jar > /dev/null 2>&1 &

af72d353-ae1e-4583-b3de-4c72c50d243f

 登录到datax-admin系统,可以看到datax执行器已经注册成功,如果有多个执行器注册的话,这里会有多条数据。

776a3a92-09e9-4439-bd4a-9f846d864139

相关资源我已经放到百度盘,有需要的关注加v入群获取。

1abe57d8-b920-49a4-acbc-56c6a302139f

 

 

下一节课我们将会通过一个例子来讲解如何同步数据,后续将会讲解datax的原生插件以及自研插件,敬请期待。

image

 

http://www.jsqmd.com/news/957922/

相关文章:

  • 主流网盘在线追剧播放体验深度实测对比
  • DVWA-File Upload
  • DataX从入门到精通 第1课 ETL之DataX 安装DataX
  • 2026连云港防水补漏哪家好?住建实地测评权威榜单TOP5|卫生间免砸砖/阳台屋顶/厨卫漏水维修(6月连云港专项调研) - 苏易修缮
  • opencv识别抖音的评论区其实很简单
  • 告别锐捷客户端:WinSCP+抓包工具,给Padavan路由器‘植入’校园网认证的完整指南
  • 三步突破:重新定义Dell G15散热控制的轻量革命
  • 八目蛛网络(免费工具网站导航)
  • 有没有免费或低成本的工单系统推荐?
  • 如何在3分钟内实现WPS与Zotero的无缝对接:跨平台文献管理终极指南
  • 用Matlab GUI做个指纹锁原型:从图像处理到特征匹配的完整实战(附源码)
  • 新手福音:用快马平台生成burpsuite安装交互教程,三步完成安全工具部署
  • 苏州购宠避坑指南|姑苏+虎丘双店明轩猫犬舍,江南本地繁育健康萌宠优选 - 萌宠俱乐部
  • MatrikonOPC免费工具套件:工业自动化数据集成与通信调试实战指南
  • JEPA范式在VLM中的应用
  • AI会议纪要工具选型指南
  • AI智能体项目的开发流程
  • LayaAir里直接拖选Unity粒子.lh文件,实时预览+自由转视角
  • 深入解析昇腾开发工具集 asc-tools:架构设计与应用实践
  • FPGA高级设计实战:从RTL到高速接口的系统级开发指南
  • AKM系列有铁芯直线电机:大推力与高刚性的精密驱动之选
  • 北京京顺斋,天津全域上门收宝,让每一件藏品都有归处 - 深鉴新闻
  • AI辅助开发网络加密应用:让快马智能生成WebSocket安全通信代码
  • Veo 2光影效果失控?4步精准校准曝光响应曲线,附官方未披露Gamma映射对照表(2024 Q3固件实测)
  • 3分钟找回Navicat密码:你的数据库连接救星工具
  • 2026上海顶尖MBA学费全览:安泰领衔,五校学制与择校指南
  • 3分钟掌握Windows窗口置顶:AlwaysOnTop终极效率指南
  • [t.9.13] Scrum Meeting 13
  • Veo风格迁移不是魔法,是工程——揭秘Meta内部验证的4类不可迁移场景及2种fallback应急方案
  • 【AI伦理治理实战框架】:从0到1搭建企业级AI使用审计体系——含GDPR/网信办双标对照矩阵