当前位置: 首页 > news >正文

第4节:我应该选择哪种Kafka?

Kafka不再是一个单纯的消息引擎系统,而是能够实现精确一次(Exactly-once)处理语义的实时流处理平台。

  1. Apache Kafka

Apache Kafka是最“正宗”的Kafka,也应该是你最熟悉的发行版了。自Kafka开源伊始,它便在Apache基金会孵化并最终毕业成为顶级项目,它也被称为社区版Kafka。咱们专栏就是以这个版本的Kafka作为模板来学习的。更重要的是,它是后面其他所有发行版的基础。也就是说,后面提到的发行版要么是原封不动地继承了Apache Kafka,要么是在此之上扩展了新功能,总之Apache Kafka是我们学习和使用Kafka的基础。

  1. Confluent Kafka

我先说说Confluent公司吧。2014年,Kafka的3个创始人Jay Kreps、Naha Narkhede和饶军离开LinkedIn创办了Confluent公司,专注于提供基于Kafka的企业级流处理解决方案。2019年1月,Confluent公司成功融资D轮1.25亿美元,估值也到了25亿美元,足见资本市场的青睐。

这里说点题外话, 饶军是我们中国人,清华大学毕业的大神级人物。我们已经看到越来越多的Apache顶级项目创始人中出现了中国人的身影,另一个例子就是Apache Pulsar,它是一个以打败Kafka为目标的新一代消息引擎系统。至于在开源社区中活跃的国人更是数不胜数,这种现象实在令人振奋。

还说回Confluent公司,它主要从事商业化Kafka工具开发,并在此基础上发布了Confluent Kafka。Confluent Kafka提供了一些Apache Kafka没有的高级特性,比如跨数据中心备份、Schema注册中心以及集群监控工具等。

  1. Cloudera/Hortonworks Kafka

Cloudera提供的CDH和Hortonworks提供的HDP是非常著名的大数据平台,里面集成了目前主流的大数据框架,能够帮助用户实现从分布式存储、集群调度、流处理到机器学习、实时数据库等全方位的数据处理。我知道很多创业公司在搭建数据平台时首选就是这两个产品。不管是CDH还是HDP里面都集成了Apache Kafka,因此我把这两款产品中的Kafka称为CDH Kafka和HDP Kafka。

当然在2018年10月两家公司宣布合并,共同打造世界领先的数据平台,也许以后CDH和HDP也会合并成一款产品,但能肯定的是Apache Kafka依然会包含其中,并作为新数据平台的一部分对外提供服务。

最后我们来复习一下今天的内容:

  • Apache Kafka,也称社区版Kafka。优势在于迭代速度快,社区响应度高,使用它可以让你有更高的把控度;缺陷在于仅提供基础核心组件,缺失一些高级的特性。

  • Confluent Kafka,Confluent公司提供的Kafka。优势在于集成了很多高级特性且由Kafka原班人马打造,质量上有保证;缺陷在于相关文档资料不全,普及率较低,没有太多可供参考的范例。

  • CDH/HDP Kafka,大数据云公司提供的Kafka,内嵌Apache Kafka。优势在于操作简单,节省运维成本;缺陷在于把控度低,演进速度较慢。

http://www.jsqmd.com/news/1065101/

相关文章:

  • 2026年临沂短视频哪家更有保障:最新权威排名与专业指南。
  • 找非标零件加工厂合作要经历哪些环节?
  • OpenCore Legacy Patcher技术深度解析:老旧Mac硬件兼容性创新解决方案
  • 深度解析Arduino-ESP32对ESP32-C2芯片的技术支持现状与架构演进
  • Chat2DB开源版与Pro版技术选型深度解析:架构评估与实施路径规划
  • Agent Loop本质:四步状态驱动的可执行决策流水线
  • OrigamiSimulator:5分钟掌握实时折纸物理模拟的GPU加速工具
  • Ext2Read:Windows系统无缝访问Linux分区的终极解决方案
  • 2026年,这家好用的peek模具制造企业究竟有何独特魅力?
  • 如何在5分钟内实现跨平台浏览器二维码扫描:Html5-QRCode终极指南
  • 写Python函数,什么时候该用全局变量?
  • keytool-importkeypair:3分钟搞定Java密钥库导入难题的终极方案
  • Claude Skills 入门:结构化能力模块的定义与实战构建
  • 轻松下载全网视频:Video-Downloader完整使用指南
  • Kubernetes第五天学习指南:集群交互与 Namespace
  • Java小白也能学会!收藏这份RAG大模型实战指南,轻松玩转文档问答
  • Dify接入GLM-4.7的协议适配实践
  • 深入解析AMM交易轨道:从恒定乘积到加权乘积的数学原理与应用
  • 基于核方法与模型集成的LLM认知不确定性量化实践
  • 5分钟快速上手:Better BibTeX插件让你的Zotero文献管理效率翻倍
  • 2026年更新:探寻盐城诚信的滑台直销工厂,助力精密制造升级 - 品牌鉴赏官2026
  • (2026最新)大理防水补漏正规公司甄选推荐:漏水检测维修-暗管漏水精准定位检测漏水点-卫生间/厨房/屋顶/阳台/渗漏水维修-本地人必选的正规测漏公司 - 即刻修防水
  • ClaudeCode Agent核心循环:四层防御式执行架构解析
  • 计算机毕业设计之高速公路交通流量预测算法
  • 无名杀:开源三国杀网页版终极体验指南
  • AI时代架构师的重定义:从画图者到系统导演
  • 钢结构易发生的工程事故有哪些?
  • 揭秘 3C 认证背后强制消防指标,采购对标不踩坑
  • (2026最新)唐山防水补漏正规公司甄选推荐:漏水检测维修-暗管漏水精准定位检测漏水点-卫生间/厨房/屋顶/阳台/渗漏水维修-本地人必选的正规测漏公司 - 即刻修防水
  • 5分钟快速掌握:用Mermaid Live Editor让技术图表创作变得如此简单