当前位置: 首页 > news >正文

Flink BlackHole SQL Connector /dev/null 式“吞数据”Sink,压测与验证的神器

1. 最小可用 DDL

CREATETABLEblackhole_table(f0INT,f1INT,f2 STRING,f3DOUBLE)WITH('connector'='blackhole');

写入:

INSERTINTOblackhole_tableSELECTf0,f1,f2,f3FROMsome_table;

你会发现:作业在跑、吞吐很高、但没有任何外部输出(这就是它的目的)。

2. LIKE 方式:快速把某张表“替换成黑洞”

调试/压测时经常想把某个 sink 暂时换掉:

CREATETABLEblackhole_sinkWITH('connector'='blackhole')LIKEsource_table(EXCLUDINGALL);

然后把原来的INSERT INTO real_sink ...改成写入blackhole_sink,就能立刻判断:

  • 性能瓶颈是不是外部系统(把外部 IO 去掉后吞吐是否暴涨)
  • SQL/UDF 本身是否有问题(不受外部写入失败干扰)

3. 和 Print 的区别:一个“看数据”,一个“只测性能”

  • Print:把每行写到 Task 日志,适合看数据形态、RowKind、字段值;但日志 IO 会很重
  • BlackHole:完全不输出,适合压测、跑通链路、测算子性能上限

经验用法:

  • 先用Print在小流量下确认结果正确
  • 再切BlackHole做大流量压测,看吞吐/背压/CPU/GC

4. 经典压测组合:DataGen → SQL → BlackHole

用 DataGen 造数据,上游无限流,sink 用 blackhole 吞掉,测你这段 SQL 的极限吞吐:

CREATETABLEgen_src(idBIGINT,scoreINT,name STRING)WITH('connector'='datagen','rows-per-second'='50000','fields.id.kind'='sequence','fields.id.start'='1','fields.id.end'='1000000000','fields.score.min'='0','fields.score.max'='100','fields.name.length'='20','fields.name.var-len'='true');CREATETABLEbh_sink(idBIGINT,scoreINT,name STRING)WITH('connector'='blackhole');INSERTINTObh_sinkSELECTid,score,nameFROMgen_srcWHEREscore>=50;

这套非常适合你用来验证:

  • filter / projection / UDF / join / agg 哪个最吃 CPU
  • 调高rows-per-second后是否出现背压(sink 不会是原因)

5. 生产/排障小建议(很实用)

  • 定位外部 sink 瓶颈:real sink → blackhole,如果吞吐立刻上去,问题大概率在外部系统或 sink 配置(bulk、flush、并发、重试等)
  • 评估 SQL 复杂度成本:blackhole 下仍然跑不动,说明计算本身(UDF/聚合/Join/state)就是瓶颈
  • 不要指望它验证数据正确性:它不会输出任何记录,正确性要靠 Print / 结果表 / 指标来验证
http://www.jsqmd.com/news/284105/

相关文章:

  • 再见Jenkins!这款自动化部署工具更强大,还贼带劲!
  • Java实习模拟面试实录:西安易谷网络小厂高频考点全解析(操作系统+多线程+Spring+JVM+数据库)
  • Flink SQL 压测最短闭环Print 验证正确性 + BlackHole 榨干性能上限(附 Join/Agg/TopN/UDF 模板)
  • 面向通用矩阵乘法(GEMM)负载的GPU建模方法:原理、实现与多场景应用价值
  • 2026年中央加湿系统十大公司,如顿加湿榜上有名
  • 分析吉林省车位划线正规企业,怎么选择靠谱又好用的?
  • STM32(6)--HAL2(TODO)
  • 2026年专业的代理记账推荐,河南嘉诺财务口碑排名靠前
  • 写论文找不到外国文献?方法合集来了!——实用检索策略与资源平台推荐
  • 2025年电缆网套采购指南:回购率高的实力厂商推荐,链条吊具/高强缆绳/钢锭吊具/吊装带,电缆网套生产商哪家好
  • 2025活动板房口碑厂家大揭秘!集装箱改造/集装箱住宿/箱式房/网红集装箱,活动板房定制推荐排行
  • 怎么查国外研究文献:实用方法与技巧指南
  • 外文文献查找的6个途径:实用检索方法与资源指南
  • 2026年充电桩行业权威推荐:河南邻桩新能源凭什么稳居榜首?
  • 抢占AI边缘化先机!2026年度中国边缘计算20强评选正式开启
  • 2026年行业内优质的智能仓储供应商推荐,全自动仓库/自动化仓库/立体仓库/智能仓储,智能仓储源头厂家怎么选择
  • 大模型入门指南:从看懂原理到动手微调,一步步打造你的专属AI
  • 2026年行业内知名的闭式冷却塔制造厂推荐榜,冷却塔填料/圆形逆流冷却塔/玻璃钢冷却塔,闭式冷却塔供应厂家排行榜
  • 质量好的洁净室吊顶FFU龙骨供应商哪家强?2026年行业排名
  • 高精度内存条搬运难?2026这些柔性夹爪厂家提供新思路
  • 2026年1月工业清洗与涂料稀释剂厂家推荐排行榜:专业定制脱漆剂/除蜡水/防锈油/碳氢清洗剂/溶剂油/环保型助焊剂/漆雾凝聚剂等全系列解决方案
  • 2026手机屏幕抓取供应商怎么选?这份推荐指南请收好
  • 互联网大厂Java求职面试实战:多技术栈与AI场景深度解析
  • 质量好的同步阻尼托底轨供应商2026年哪家靠谱?
  • 卫星通信基础知识完整整理 | 从入门到精通
  • 2026年靠谱的双曲面潜水搅拌机品牌哪家质量好?
  • 2026年1月醇类溶剂及工业酒精厂家推荐排行榜:乙醇、无水乙醇、二丙酮醇、异丙醇、乙二醇、正丁醇、工业酒精、工业甲醇等源头实力厂家深度解析
  • 2026年商用移动机器人全场景应用盘点与技术分析
  • 2026年充电桩厂家TOP3推荐:三大充电桩厂家兼顾安全、智能与性价比!
  • 从原理到实践:现代办公中的传真机使用完全指南