内容要点:
Web UI监控:Streaming页面查看批次处理时间、调度延迟、活跃批次。
StreamingQueryListener:自定义监听器,实时获取查询状态、开始/终止事件。
常见问题排查:
批次堆积(Processing Time > Batch Interval):资源不足或数据倾斜。
OOM:状态过大或反压机制未生效。
Kafka偏移量不一致:检查Checkpoint恢复机制。
内容要点:
Web UI监控:Streaming页面查看批次处理时间、调度延迟、活跃批次。
StreamingQueryListener:自定义监听器,实时获取查询状态、开始/终止事件。
常见问题排查:
批次堆积(Processing Time > Batch Interval):资源不足或数据倾斜。
OOM:状态过大或反压机制未生效。
Kafka偏移量不一致:检查Checkpoint恢复机制。