当前位置: 首页 > news >正文

使用 NIFI监控数据库表

1.概述

本文使用 NIFI 实现如何监控某一个数据库表的变化,并将数据库变化写入到文件中。
这中间使用到了

  • CaptureChangeMySQL
    关注数据库变化,及数据库表所有的变化都会被捕获,这个是实时处理的
  • EvaluateJsonPath
    从数据中抽取部分数据,放到 flowfile 的属性中
  • UpdateAttribute
    更新 flowfile 的 filename 属性
  • PutFile
    负责将flowfile 以指定filename 属性写入到文件系统中

2. 配置过程

2.1 配置 CaptureChangeMySQL

image
这里配置我需要监控的 数据库,数据库表,并填写 数据库节点用户名密码

2.2 配置EvaluateJsonPath

这个步骤的作用是将 一条记录的属性抽取到 flowfile 的属性中

image

这里增加两个属性,这里使用的是 json path 获取 table_name 和 timestamp 时间戳。

至于我怎么知道需要这样获取。我们可以使用 nifi 的 特性,即

image

我们可以启动第一个CDC ,停掉 之后的任务,这样数据存在于
image

队列中。

比如我们在数据库表中增加一条记录,在 右键在画布中 选择 refresh 刷新。

image

我们看到队列中有一条数据。

image

可以看到队列中的数据内容。

image

点击查看内容

image

数据是一个JSON,我们可以根据 JSON path 获取 数据中的内容。

2.3 配置 UpdateAttribute

image

这里我们修改 filename 属性,为表名_时间戳.json

2.4 配置

image

这里只需要配置一下写入的目录。

配置完成后,我们点击启动,我们模拟对数据进行增改删,就会看到 putfile 配置的目录下增加了JSON文件。

image

这里只是 演示了一下 NIFI的基础功能及配置过程。

http://www.jsqmd.com/news/33274/

相关文章:

  • 利用Libevent在CentOS 7上打造异步网络应用
  • 20251105周三日记
  • 完整教程:基于 PyQt5 实现刀具类型选择界面的设计与交互逻辑
  • JS 日期格式化显示
  • 2025年广东菲律宾家具集运服务权威推荐:广东家具拼柜菲律宾公司/广东家具集装箱菲律宾平台/广东食品海运菲律宾渠道精选
  • 告别文件混乱!Adobe Bridge 2026 全媒体可视化管理,让设计流程更顺畅
  • build插件
  • 2025年山东地区信誉好的UG编程培训企业推荐:UG编程培训品牌公司全解析
  • kernel pwn入门 强网杯2018 - core
  • 2025 年 11 月河南制砂机,郑州制砂机,鹅卵石制砂机厂家最新推荐,聚焦资质、案例、售后的五家家机构深度解读!
  • 2025中国氨基酸表面活性剂企业排行榜:长沙普济生物科技靠不靠谱?
  • leetcode热题100-283:移动零
  • 第二十章:遍历万象,执行随心——Visitor的访问艺术
  • 20251106
  • 2025年天津售后出色的别墅装修公司排行榜,服务上乘的别墅装修公司精选
  • 2025东北拉弯加工厂家推荐白皮书,赢鑫拉弯加工厂家介绍
  • Java理解while循环的使用
  • SpringMVC多环境配置的一种方案
  • 2025 年蒸发器源头厂家最新推荐排行榜:聚焦优质企业,助力工业废水高效处理设备选购热泵刮板蒸发器/多效蒸发器/蒸汽刮板蒸发器公司推荐
  • 097_尚硅谷_经典案例打印字塔
  • 2025年自动遥控割草机价格定制厂家权威推荐:除草机器人/割草机器人/柴油割草机源头厂商精选
  • 2025年粪便干湿分离机源头厂家权威推荐榜单:牛粪干湿分离机厂家/鸡粪干湿分离机/猪粪便干湿分离机源头厂家精选
  • 深入理解import type在模块引入中的作用
  • CentOS7服务器安装Java,MySQL,Nginx,Maven,NodeJs
  • 2025年医院集中供氧系统厂家权威推荐榜单:中心供氧系统工程/空气终端/专业医疗设备带源头厂家精选
  • CentOS7安装异常登录封ip
  • CentOS7服务器部署GitLab
  • postgresql locale区域设置理解
  • CentOS7.9升级gcc
  • 关于模拟赛记录