亲测丝滑，体验跃迁｜AllData 通过集成开源项目TIS，可视化配置即可完成数据抽取、清洗、同步全流程操作!
在企业日常数据运营过程中，多源数据同步一直是数据团队的一大痛点：各类数据源杂乱分散、连接配置流程复杂繁琐，不同业务线重复开发大量同步脚本。
AIIData数据中台集成 TIS 构建数据集成平台，实现全流程数据同步统一管控。依托一体化操作界面，即可完成全链路数据集成与流转工作，有效精简平台搭建成本与日常运维压力，高效完成多源异构数据统一汇聚。
💎 TIS 项目地址：https://github.com/datavane/tis
💎 TIS 项目文档：https://tis.pub/docs/
本次数据集成平台全新迭代升级。全方位优化产品能力，降低数据集成技术门槛，赋能团队轻量化运维管理。
1、可视化分布式配置，告别手写脚本低效模式
平台搭载分布式可视化配置能力，支持一键自动生成DataX同步脚本以及配套建表DDL语句，彻底替代低效的人工手写脚本工作，大幅减少研发人力投入。
2、前置参数校验，从源头规避线上故障
新增配置前置参数校验机制，在任务上线前提前拦截错误、不合理的参数配置，把大部分同步报错风险扼杀在测试阶段，大幅提升线上数据同步任务的稳定性。
3、架构全面优化，运维难度断崖式下降
平台进一步优化数据分区逻辑，规整全平台组件布局，让大批量同步任务管理更清晰。无论是日常运维巡检，还是线上异常快速定位排查，效率都得到显著提升。
数据集成平台【TIS】功能演示
1、数据集成平台
统一的数据流转枢纽，可对接各类业务系统、数据库、文件等异构数据源，支持全量、增量实时与批量数据采集汇聚。
2、数据同步任务中心
集中管理所有同步作业，可视化查看任务启停、运行进度、报错日志，支持启停、重试、监控告警，实现同步任务运维集中化。
3、数据同步配置
可视化拖拽式配置同步规则，灵活设置源端、目标端、同步模式、字段映射、增量策略，无需大量编码即可快速搭建数据同步链路。
4、数据源管理
所有数据连接的统一入口，集中注册、认证、维护 MySQL、Oracle、Hive、文件、消息队列等各类数据源连接信息。
5、数据流分析
依托EMR引擎处理实时数据流，对流式数据做清洗、转换、实时计算分析，支撑实时业务指标统计，补齐实时数据处理能力。
一、使用流程图示
二、支持的数据库类型
三、数据集成平台入口
作为集成平台的常用功能的快捷入口。
四、数据同步任务中心
这是所有数据同步任务的生命周期管理中心，从创建、执行到监控全流程覆盖。
1、数据同步任务中心
数据同步任务列表页面显示运行中的同步任务列表，快速查看同步任务名称、所属部门、创建时间（什么时候开始运行）。
添加数据管道：为创建新同步任务快捷入口，步骤查看功能“数据同步任务管理”介绍。
主控台：进入数据同步详细页面，通过主控台页面的执行统计数据图、明确数值标记查看当前任务执行情况是否健康。
管理：可以点击【管理】当前数据同步任务的配置设置，提供查看、修改和生成脚本文件功能，灵活设置数据同步任务。
批量构建：快速查看当前批量构建任务状态，提供手动触发批量构建任务和修改执行参数设置。支持数据预览。
实时同步：用于搭建数据库增量同步链路，实现数据实时采集传输
操作历史：详细记录当前数据同步任务的每一次操作行为。
2、数据同步任务管理
操作路径：【基本信息】→【Reader设置】→【Writer设置】→【表映射】→【确认】
步骤1：填写基本信息。填写同步任务的基本信息 → 选择源端数据库Reader与目标端数据库Writer的类型。
步骤2：Reader设置。设置源端数据库 →设置导入表并对导入表进行设置。
步骤3：Writer设置。设置目标端数据库。
步骤4：表映射关系设置。这里是数据同步质量关键。系统会自动配置同步数据表映射关系，点击【重置】可以还原数据表的映射然后进行自定义目的表名。
步骤5：检查确认。检查配置无误后点击【创建】提交数据同步任务。
设置有2种形式：
（1）批量设置：一键设置选中的导入表。
（2）单独设置：单个导入表进行设置，可以精确到该数据表同步的字段列信息选择。
五、数据同步配置
1、业务线：
通过用业务线形式实现多租户"隔离与配额"管理，为不同团队分配独立的资源和权限。同时也是定义业务线属性“标签”给同步任务建立时选择，方便任务的归类管理。列表操作中提供【更改】【删除】进行管理业务线。
2、DataX执行器
分布式调度 DataX 数据同步任务，部署使用方式。
方式1: 点击【创建 PowerJob 执行器】，平台自动在 K8s 环境部署一套全新 PowerJob 调度集群，开箱即用
方式2：点击【接入已有 PowerJob 集群】，对接客户现场已部署好的 PowerJob 服务，复用现有资源，避免重复建设图
3、Flink Cluster
实时同步任务的“流处理引擎”连接与管理。支持两种模式：
（1）连接现有Flink集群。
（2）新建Flink Standalone集群。
创建操作路径：【配置K8S基本信息】→【确认】
4、插件配置
查看、管理集成平台里在全部（包含全局和离线状态）插件配置。
可添加新的插件配置，操作路径：点击【添加】按钮→选择【Flink-Image】→填写Flink-Image配置信息 → 点击下拉【保存】完成添加。
5、操作日志
平台所有用户行为的"全局审计追踪系统"。详细记录集成平台的每项操作，让每个变化可追溯。
6、系统异常
平台级故障的"根因分析与告警中心"。列表显示异常摘要和发生时间，列表操作【查看】中详细查看当次异常内容。
7、License
软件许可证的"状态监控与容量管理"面板。点击后出现查看当前License的容量和使用情况：弹窗中显示：（1）许可证有效截止日期；（2）激活码。如需续期，联系管理员或公司负责人获取新激活码。
💡注意：输入新的激活后需要点击【校验】，等待校验完成后提示成功即可保存生效。
六、数据源管理
所有数据库连接的"统一凭证库"，集中管理连接信息、元数据和访问权限。
点击左侧列表添加数据库类型，选择对应数据库类型，填写数据库连接参数，完成数据源新增配置。
点击左侧列表【添加数据表】按钮，系统弹出添加表单弹窗，可下拉选择目标数据库。
七、数据流分析
创建数据流分析任务时，填写任务实例名称、关联全局配置，根据业务场景选择 Spark、Hive 等对应的计算引擎，配置插件信息后即可进入下一步设置。
AIIData数据中台集成开源 TIS 项目数据集成平台，全面兼容MySQL、主流国产数据库、Hive等各类常见数据源，一站式实现多源数据接入、定时调度、全链路流转统一管控。
数据集成平台有效减少了项目定制化开发工作量，节约大量研发与运维人力成本，加速各业务线数据同步项目落地。