当前位置：首页 > news >正文

flinkSql的delete语句

news 2026/5/12 9:29:12

问题背景

现场反馈：使用 FlinkSQL 执行包含复杂子查询条件的 DELETE 语句时，无法删除置表中的数据。

环境信息：

flink1.19.0
StarRocks 版本：3.5.0-10d7323
JDBC 驱动版本：8.0.33

问题 SQL 示例：

-- 查看版本 SELECT current_version(); SELECT @@version; -- 无法生效的删除语句（含复杂子查询） DELETE FROM `starrocks~dispatch`.`dispatch`.`ods_tm_station_line_info` WHERE (`line_no`, `is_up_down`,`station_id`, `label_no`) NOT IN ( SELECT `LINE_NO`, `IS_UP_DOWN`, `STATION_ID`, `LABEL_NO` FROM `dispatch`.`orclgps`.`TMGPS.TM_STATION_LINE_INFO` );

排查过程

使用简单条件（如 WHERE id = 1）执行 DELETE，可正常删除。
使用函数或复杂子查询条件执行 DELETE，操作不生效。
通过代码追踪，定位到 Flink 执行删除时的关键判断逻辑。
查阅 Flink 官方文档，确认 DELETE 语句的语法约束
HTTPS://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/dev/table/SQL/delete/

问题分析

核心原因：Flink 的删除下推（Delete PushDown）功能对 WHERE 条件表达式有严格限制，仅支持简单的、可下推的表达式。
关键代码逻辑（位于 SqlNodeToOperationConversion.convertDelete()）

// 仅当 WHERE 条件为简单表达式时，才会生成 filters Optional<List<ResolvedExpression>> filters = DeletePushDownUtils.getResolvedFilterExpressions(tableModify); // 只有 filters 存在且目标连接器支持，才会进入删除下推流程 if (filters.isPresent() && supportsDeletePushDownSink.applyDeleteFilters(filters.get())) { return new DeleteFromFilterOperation(...); // 触发删除下推 }

问题根因：当 DELETE 语句使用如 NOT IN (SELECT …) 这类复杂子查询时，Flink 无法将其解析为可下推的简单表达式（filters 为空），因此无法生成 DeleteFromFilterOperation，导致删除下推机制未被触发，最终删除操作不生效。

解决方案

经过对问题的深入分析和排查，提出一下解决方案：

首选方案：改写 SQL，满足下推条件

遵循 FlinkSQL 删除下推的语法约束，将复杂子查询条件改写为简单的使用常量值的表达式组合。

语法约束：
- 允许的谓词：=, <, <=, >, >=, <>, OR, AND, LIKE, IS NULL, IS NOT NULL, [NOT] IN
- 字段要求：必须使用 DDL 中定义的物理字段名。
- 值的要求：必须为常量值。
- 执行模式：仅支持批处理（Batch）模式。

备选方案：使用其他执行途径

若删除条件确实无法简化以满足下推要求，可考虑：

使用新版调度系统单独运行删除任务。
或通过其他可直接执行复杂表达式删除的工具操作。

解决效果

根据上述解决方案调整后：

改写为简单表达式：符合下推要求后，DELETE 语句可正常执行，成功删除数据。
- 改造 SQL 示例：先为 ods_tm_station_line_info 添加新列，比如采集时间列 etl_gmt。

-- 改造为简单表达式 DELETE FROM `starrocks~dispatch`.`dispatch`.`ods_tm_station_line_info` -- 使用动态参数赋值 WHERE etl_gmt >= ${@com.base.core.domain.tools.BaseTools@getDateFmt(『-1d』,『yyyy-MM-dd』)} and etl_gmt <= ${@com.base.core.domain.tools.BaseTools@getDateFmt(『yyyy-MM-dd』)}; -- 删除所有数据，注意不要使用 1=1 DELETE FROM `starrocks~dispatch`.`dispatch`.`ods_tm_station_line_info` where line_no <> 『不存在的字段值』;