当前位置: 首页 > news >正文

kettle9.0 从30个数据库中读取数据 然后同步到另一个数据库中,每个数据库有53个表数据(初版没有考虑性能,没有并发处理)

一、将数据库信息以及表信息保存在数据库中,比excel读取效率更高

1、新建两个表

创建数据库表
CREATE TABLE IF NOT EXISTS source_vehicle_info (
id INT AUTO_INCREMENT COMMENT '自增主键',
cloud_partition VARCHAR(50) NOT NULL COMMENT '所属云分区',
company_name VARCHAR(50) NOT NULL COMMENT '公司名称',
company_code INT NOT NULL COMMENT '公司编号',
domain VARCHAR(100) NOT NULL COMMENT '域名',
source_ip VARCHAR(20) NOT NULL COMMENT '源IP',
source_port INT NOT NULL COMMENT '源端口',
source_db_name VARCHAR(50) NOT NULL COMMENT '源数据库名称',
target_db_name VARCHAR(50) NOT NULL COMMENT '目标数据库名称',
source_user VARCHAR(50) NOT NULL COMMENT '源数据库用户名',
source_pwd VARCHAR(100) NOT NULL COMMENT '源数据库密码',
PRIMARY KEY (id),
UNIQUE KEY uk_company_code (company_code) COMMENT '公司编号唯一索引',
INDEX idx_cloud_partition (cloud_partition) COMMENT '云分区索引') ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='云分区公司数据库连接信息表';
2、新建存表信息的表
CREATE TABLE IF NOT EXISTS `vehicle_table_config` (
    `id` INT AUTO_INCREMENT COMMENT '自增主键',
    `table_name` VARCHAR(50) NOT NULL COMMENT '同步的表名(如plat_vehicle)',
    `sync_type` VARCHAR(1) NOT NULL COMMENT '同步类型:F=全量,I=增量',
     `last_sync_time` DATETIME DEFAULT '2019-01-01 00:00:00' COMMENT '同步时间'
    PRIMARY KEY (`id`),
    UNIQUE KEY `uk_table_name` (`table_name`) COMMENT '表名唯一,避免重复配置'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='数据同步表配置表';
 二、逻辑梳理截图
整体逻辑:先获取数据库表信息,循环获取对应的数据库可连接信息,然后再获取所有的表信息,获取每个表的信息进行表同步,更新表的同步时间
1、整个作业

image

 

 

2、1转换_获取数据库连接信息

image

3、子作业_循环读取数据库连接信息

image

 

 4、转换_循环读取数据库信息

image

 5、读取表的作业:3中层作业_获取表信息

image

 

 

 6、3.转换:获取表信息

image

 

 7、作业:4中层作业_循环读取表信息进行表同步

image

 

 8、4读取表信息

image

 

 9、单表同步

image

 10、更新同步时间

image

http://www.jsqmd.com/news/58478/

相关文章:

  • 腾森领衔:2025年全国拉森钢板桩五大服务商综合实力与行业标杆深度解析
  • 到北京看病 怎么找陪诊师
  • “手残党”DIY染发易翻车?安全显色更护发,忆丝芸染发膏“护染一体”全套指南
  • P1628 合并序列
  • 前瞻视野:十大博士留学中介研究与落地方案
  • 2025年热门的光伏电站机器人/光伏清洁机器人厂家推荐及采购参考
  • 2025线上雅思机构测评:留学与职场双驱下,哪款更适配你的提分需求?
  • 微算法科技(NASDAQ:MLGO)以区块链技术重塑信任生态,驱动数字化变革
  • 重练算法(代码随想录版) day28 - 贪心part2
  • 基于最大相似度的区域合并交互式图像分割算法
  • 口碑炸裂的去痘印次抛精华推荐,2025 年 5款精准匹配痘印类型,敏肌友好
  • Kafka - flush()
  • 2025年轮椅升降平台源头厂家权威推荐榜单:轮椅升降平台‌/福祉车‌/福祉座椅‌源头厂家精选
  • 终极攻略:2025年美白祛斑选什么产品好?五大提亮净斑双修精华红榜揭晓!
  • 2025 进口床垫十大品牌推荐:健康适配场景,优选深睡好物
  • 软服之家|2025国产QMS质量管理系统年度软件
  • 2025年光纤传感用光谱仪厂家权威推荐榜单:光谱仪租赁‌/实验用光谱仪‌/R-350X荧光光谱仪‌源头厂家精选
  • 2025年焊接车间除尘厂家TOP3推荐榜单:聚焦技术创新与服务保障
  • 中国人工智能领域领先企业TOP5权威榜单(2025)!我国人工智能领域有哪些领先企业?
  • 电永磁吊具・电控永磁系统・起重设备 —— 宏兴盛 工业磁力头部品牌
  • 2025年12月香港/新加坡/迪拜公司注册代理代办公司前五榜单推荐
  • 2025 羧甲基淀粉钠(CMS)厂家推荐 TOP5:深耕行业的靠谱企业,多场景采购不踩雷
  • 模块化的Agent(智能体)架构知识点有哪些 - 教程
  • 别再手动 try...catch 了:一种更优雅的 async/await 错误处理模式
  • 用C++实现一个简单的面向对象程序
  • 在示例代码中添加设置和获取矩形宽度和高度的成员函数
  • 2025 十大电暖器品牌推荐:健康防护升级,场景适配更精准
  • 在AdvancedInstaller中通过版本号检查软件部署环境
  • 2025年河南图文矩阵推广服务商权威推荐榜单:河南矩阵推广公司/河南矩阵推广方案/河南矩阵推广引流渠道精选
  • 香橙派R2S手搓双宽带聚合指南