DataX从入门到精通 第1课 ETL之DataX 安装DataX

1、下载DataX源码

地址为https://github.com/alibaba/DataX.git

2、通过maven打包：

在DataX根目录执行打包命令

mvn -U clean package assembly:assembly -Dmaven.test.skip=true

打包成功，日志显示如下：

[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:39 h
[INFO] Finished at: 2026-06-03T12:34:15+08:00
[INFO] ------------------------------------------------------------------------

3、DataX目录

打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/ ，结构如下：

 4、配置示例：从stream读取数据并打印到控制台

1）第一步、创建作业的配置文件（json格式）

可以通过命令查看配置模板： python datax.py -r {YOUR_READER} -w {YOUR_WRITER}，这里执行命令 

python datax.py -r streamreader -w streamwriter

 2）根据模板配置json如下：

 将stream2stream.json文件放到job目录下，内容如下：

{"job": {"content": [{"reader": {"name": "streamreader","parameter": {"sliceRecordCount": 10,"column": [{"type": "long","value": "10"},{"type": "string","value": "hello，你好，世界-DataX"}]}},"writer": {"name": "streamwriter","parameter": {"encoding": "UTF-8","print": true}}}],"setting": {"speed": {"channel": 5}}}
}

3）运行job

执行命令

chcp 65001
python bin/datax.py ./job/stream2stream.json

 出现乱码。

4）解决乱码

执行命令 chcp 65001后显示正常，如果不想每次都输 chcp 65001，可以写个批处理。

chcp 65001
python bin/datax.py ./job/stream2stream.json

 

done！！！

 下一篇文章将讲解DataX-Web安装部署。