当前位置: 首页 > news >正文

【赵渝强老师】Kafka消息的消费模式

1

​Kafka消费者组中的消息消费模型有两种,即:推送模式(push)和拉取模式(pull)。

image.png
点击这里查看视频讲解:【赵渝强老师】Kafka消息的消费模式

一、消息的推送模式

这种消息的消费模式需要记录消费者的消费者状态。当把一条消息推送给消费者后,需要维护消息的状态。如果这条消息已经被消费将会对消息进行标记。这种方式无法很好地保证消息被处理。如果要保证消息被处理,发送完消息后需要将其状态设置为“已发送”;而收到消费者的确认后才将其状态更新为“已消费”,这就需要Kafka记录所有消息的消费状态,显然这种方式不可取。这种方式还存在一个明显的缺点就是消息被标记为“已消费”后,其他的消费者将不能再进行消费了。

二、消息的拉取模式

由于推送模式存在一定的缺点,因此Kafka采用了消费拉取的消费模式来消费消息。该模式由每个消费者自己维护自己的消费状态,并且每个消费者互相独立地按顺序拉取每个分区的消息。消费者通过偏移量的信息来控制从Kafka中消费的消息。如下图所示。

2

这种由消费者通过偏移量进行消息消费的优点在于,消费者可以按照任意的顺序消费消息。例如,消费者可以通过重置偏移量信息重新处理之前已经消费过的消息;或者直接跳转到某一个偏移量位置并开始消费。

这里需要特别说明的是,当生产者最新写入的消息如果还没有达到备份数量,即,新写入的消息还没有达到副本数要求的时候,对消费者是不可见的。

另外,消费者如果已经将消息进行了消费,Kafka并不会立即将消息进行删除,而是会将所有的消息进行保存。Kafka会将消息持久化保存到Kafka的消息日志中。不管消息有没有被消费掉,用户可以通过设置保留时间来清理过期的消息数据。

http://www.jsqmd.com/news/97692/

相关文章:

  • 云端AI集成革命:MemGPT企业级长上下文记忆管理技术深度解析
  • LangFlow与CI/CD流水线集成实现AI自动化测试
  • 电流探头能否测量交流冲击电流及相关测试要点
  • Shell脚本安全终极指南:5步构建坚不可摧的防护体系
  • 在 SAP 里,“平行分类账(Parallel Ledger)” 并不是让同一笔业务在 BKPF 里生成多套凭证号,而是“一行 BKPF 记录 + 多行 ACDOCA/FAGLFLEXA 记录” 的模
  • IsaacLab终极版本兼容性指南:快速解决Isaac Sim升级难题
  • 在 SAP 里,想让“同一笔业务”在多个账套(平行分类账)中生成不同编号的会计凭证,标准做法就是
  • 终极指南:3种强制开启USB调试模式的实用方案
  • 如何快速掌握OpenCLIP:多模态AI的完整实践指南
  • FileBrowser API扩展功能:一键配置效率提升的完整指南
  • 终极窗口切换神器:AltTab让你的macOS效率翻倍
  • 5分钟学会Pts物理引擎:从零构建粒子碰撞系统
  • gumbo-parser完整教程:C语言HTML5解析终极指南
  • manga-image-translator终极交互设计:如何用智能界面简化复杂翻译流程
  • 11、Unix 实用工具创建与系统调整
  • 第七十五篇:Kubernetes入门:Pod, Deployment, Service核心概念深度解析
  • 多智能体协同决策:应对复杂业务场景的技术突围之路
  • 12、Unix系统优化与管理脚本实用指南
  • AI绘图革命:用自然语言创建专业图表的新时代
  • 精通FreeRTOS与WolfSSL v5.6.4集成:嵌入式安全通信深度实战
  • Qwen-Image-Lightning:8步极速文生图技术重塑AI创作效率边界
  • Keyboard-Layout-Editor:重新定义键盘设计的在线创作平台
  • 13、Unix 系统管理脚本实用指南
  • LSUnusedResources:让你的iOS项目轻装上阵的专业清理工具
  • 14、系统管理:用户管理脚本详解
  • 突破性能瓶颈:CanvasKit渲染引擎的5大核心技术揭秘
  • 15、实用的Unix/Linux系统管理脚本
  • usbipd-win:实现Windows与WSL 2 USB设备共享的终极解决方案
  • gLabels-Qt终极指南:掌握跨平台标签设计的高效方法
  • Gutenberg编辑器终极性能优化指南:从卡顿到丝滑的完整解决方案