当前位置: 首页 > news >正文

Canal-deployer1.1.8监听mysql数据变化(windows)

参考:

https://blog.csdn.net/zhouzhiwengang/article/details/128900318 https://www.cnblogs.com/xfeiyun/p/17468158.html

Mysql

查看是否开启binlog
show VARIABLES like 'log_bin'; 如果值为“OFF”,则需修改为“ON”,方法: 1、修改配置文件 2、执行全局命令:set global log_bin='ON';

修改配置文件,配置binlog相关参数

#binlog文件名 log-bin=mysql-bin #binlog日志模式 binlog_format=ROW #mysql的server_id不能和canal的slaveId相同 server_id=1
重启mysql服务
在mysql中添加canal后续需要连接mysql的用户,并添加相应权限
CREATE USER 'canal'@'%' IDENTIFIED BY 'canal'; GRANT SHOW VIEW, SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; FLUSH PRIVILEGES;

canal部署

下载并解压

地址:https://github.com/alibaba/canal/releases/tag/canal-1.1.8

解压后得到文件目录: |- bin |- conf |- lib |- logs |- plugin
配置文件

打开“conf/example/instance.properties”,先看以下参数:

#数据库路径 canal.instance.master.address=127.0.0.1:3306 #监听mysql的binlog日志 注:该处填写内容可使用“show master status”查看 canal.instance.master.journal.name=mysql-bin.000086 #mysql binlog日志 监听开始位置 canal.instance.master.position=423105 canal.instance.master.timestamp= canal.instance.master.gtid= # multi stream for polardbx canal.instance.multi.stream.on=false # table meta tsdb info # “元数据存储账号”设置,用于Canal内部元数据存储 #是否开启元数据管理,true - 开启 canal.instance.tsdb.enable=true #连接mysql数据库 canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/test #mysql用户名(注:该账号需要有创建、修改数据库表的权限) canal.instance.tsdb.dbUsername=root #mysql密码 canal.instance.tsdb.dbPassword=root # username/password # “MySQL主库认证账号”设置,用于Canal与MySQL主库的连接,需具备“REPLICATION SLAVE”权限 #mysql用户名 canal.instance.dbUsername=canal #mysql密码 canal.instance.dbPassword=canal canal.instance.connectionCharset = UTF-8 # enable druid Decrypt database password canal.instance.enableDruid=false
注:可能会用到的mysql命令
# 查看当前服务器使用的biglog文件及大小 show binary logs; # 查看最新一个binlog日志文件名称和Position show master status; # 查看 binlog 日志列表 show master logs;
canal启动

打开"bin"目录,双击“startup.bat”

查看日志(logs/example/example.log),如下内容,则启动正常
2025-12-17 11:40:51.679 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mysql-bin.000086,position=422919,serverId=1,gtid=,timestamp=1765934352000] cost : 3226ms , the next step is binlog dump 2025-12-17 11:40:51.701 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.otter.canal.parse.inbound.mysql.MysqlConnection - load MySQL @@version_comment : MySQL Community Server (GPL)

所遇问题

1、mysql连接失败(查看的日志路径:logs/example/example.log)

报错:

### Error querying database. Cause: org.springframework.jdbc.CannotGetJdbcConnectionException: Failed to obtain JDBC Connection; nested exception is com.alibaba.druid.pool.DataSourceClosedException: dataSource already closed at Wed Dec 17 11:08:56 CST 2025 ### The error may exist in spring/tsdb/sql-map/sqlmap_snapshot.xml ### The error may involve com.alibaba.otter.canal.parse.inbound.mysql.tsdb.dao.MetaSnapshotMapper.findByTimestamp ### The error occurred while executing a query

原因:
因为1.1.8目前默认使用的是mysql5.0的驱动,但是我的是mysql8,所以需要换驱动

解决方法:

1、下载驱动,路径“https://downloads.mysql.com/archives/c-j/”,选择相应的mysql版本,“Operating System”选择“Platform Independent” 2、解压文件,将得到的“.jar”文件,复制到canal目录下的“lib”中 3、修改文件配置的驱动 a、打开“conf/canal.properties”文件,然后找到参数“canal.instance.tsdb.spring.xml”,值“spring/tsdb/h2-tsdb.xml”,则修改文件的路径为“conf/spring/tsdb/h2-tsdb.xml” b、打开“conf/spring/tsdb/h2-tsdb.xml”文件,找到“<property name="driverClassName" value="org.h2.Driver" />” c、将“value”值改为“com.mysql.cj.jdbc.Driver”
2、mysql用户权限问题

报错:

### Error querying database. Cause: java.sql.SQLSyntaxErrorException: Table 'test.meta_snapshot' doesn't exist ### The error may exist in spring/tsdb/sql-map/sqlmap_snapshot.xml ### The error may involve com.alibaba.otter.canal.parse.inbound.mysql.tsdb.dao.MetaSnapshotMapper.findByTimestamp-Inline ### The error occurred while setting parameters

原因:
在“conf/example/instance.properties”配置的参数“canal.instance.tsdb.dbUsername”,值为“canan”,也就是使用的是mysql中的“canal”账号,之前“canal”账号分配的权限并没有创建表的权限,所以查询时会报表不存在

解决方法:
更换为有创建表权限的用户或者是给“canal”添加相应权限(注:由于是在测试环境,所有我直接使用了mysql默认账号“root”)

http://www.jsqmd.com/news/105283/

相关文章:

  • B站数据分析终极指南:一键掌握UP主内容趋势
  • 揭秘Docker容器间通信难题:智能Agent互联的3种高阶解决方案
  • 如何用3步实现企业Agent的Docker权限最小化?运维必看
  • 程序员面试必备的Java八股文,适合所有的Java求职者!
  • 终极视频修复指南:5步快速拯救损坏的MP4文件
  • 选择排序--自学笔记
  • 金仓数据库:不止于兼容,以智能部署、字段级安全与代码级洞察重塑企业级数据库体验
  • 水质监测“保真”首选:万维盈创户外智能水质采样站
  • 【Q#量子编程效率革命】:揭秘VSCode重构工具的5大核心技巧
  • Open Library 终极指南:三步打造你的专属数字图书馆
  • Utilizing 英文单词学习
  • 揭秘VSCode与量子硬件连接失败原因:90%开发者忽略的3个关键点
  • 选专业、转行为什么推荐学网络安全?看完这篇你就知道了!
  • VSCode日志分析实战(量子算法性能瓶颈的4个信号)
  • 姿态搜索终极指南:5步构建智能人体动作分析系统
  • 异常传递失败?教你如何在Q#中精准捕获Python异常,90%的人都忽略了这一点
  • ModEngine2游戏模组开发:从零开始的5步实战指南
  • NSTool深度解析:Switch文件格式的终极处理指南
  • Meta Llama模型访问权限申请与使用指南
  • 【量子计算开发新纪元】:VSCode模拟器调试的7个关键优势
  • 网安人才缺口480万!3个相关专业特点大不同,一文分清
  • 高效OpenUSD场景导出:USDZ与glTF格式深度对比与转换指南
  • 面试官:缓存淘汰要怎么设计才能保证命中率?
  • 专为极客而生的软件无线电平台 ANTSDR E310 vs Pluto SDR对比测评
  • 建议Java后端面试都准备到这种程度再去...
  • 【高效运维必备技能】:如何实时监控并解析Docker Compose中Agent服务日志
  • VSCode + Q#开发环境搭建(量子计算依赖项完整清单)
  • Mini Pupper四足机器人开发探险指南
  • 上采样、下采样、小样本、欠拟合、过拟合
  • 【量子编程进阶之路】:为什么顶级工程师都在用VSCode运行QML模型?