概述
Apache Kafka 是一个开源的分布式流处理平台，最初由 LinkedIn 开发，后来捐赠给 Apache 软件基金会。它被设计用来处理大规模、实时的消息流，常用于构建数据管道、流处理应用和事件驱动架构。
基础概念
- 主题（Topic）：主题是 Kafka 用来组织消息的类别，类似于一个文件夹。你可以把消息归类到不同的主题，比如“订单数据”或“日志信息”。生产者将消息发送到某个主题，消费者从主题订阅消息。
- 生产者（Producer）：生产者是发送消息的客户端。它们将数据写入 Kafka 的某个主题。比如，一个电商平台的订单系统可能会作为生产者，把每笔订单信息发送到“订单”主题。
- 消费者（Consumer）：消费者是从主题订阅并读取消息的客户端。它们可以是单独的应用程序，也可以是消费者组的一部分。比如，一个分析系统可能会订阅“订单”主题来统计销售额。
- 消费者组（Consumer Group）：消费者组是一组消费者协同工作，共同消费一个主题的消息。Kafka 会将主题的分区分配给组内的消费者，以实现并行处理和负载均衡。
- 分区（Partition）：每个主题可以分成多个分区，分区是 Kafka 达成高吞吐量和并行处理的关键。分区内的消息是有序的，但不同分区之间的消息顺序无法保证。分区可以分布在不同的服务器上。
- 代理（Broker）:Kafka 集群由多个代理组成，每个代理是一个服务器，负责存储数据和管理分区。一个主题的分区可以分布在多个代理上，以实现高可用性和容错。
- 副本（Replica）：为了保证数据不丢失，Kafka 为每个分区创建副本。副本分为领导者（Leader）和跟随者（Follower），领导者处理读写请求，跟随者复制数据以备故障切换。
- Offset： offset 是消息在分区中的唯一标识，Kafka 通过它来保证消息在分区内的顺序性。offset 并不跨越分区，保证的是分区有序性而不是主题有序性
ZooKeeper
Kafka 采用 ZooKeeper 来管理集群的元数据，比如代理的状态、主题的配置等。ZooKeeper 协助协调分布式系统，确保 Kafka 集群正常运行。
Kafka 的工作原理
通过Kafka 的工作流程能够容易概括为以下几个步骤：
- 生产者将消息发送到某个主题。 Kafka 集群中的代理接收消息，并将其存储到主题的某个分区中。
- 消费者订阅主题，从分区中读取消息。
- 如果消费者属于一个消费者组，Kafka 会自动将分区分派给组内的消费者，确保每个分区只被一个消费者处理。
- 倘若某个代理发生故障，Kafka 会利用副本机制将领导者角色切换到其他代理，确保服务不中断。
Kafka的核心优势在于它的高吞吐量、低延迟和可扩展性。它可以处理每秒数百万的消息，适合需要实时处理海量内容的场景。
常见使用场景
Kafka 的灵活性和高性能使其被广泛应用于各种场景，包括：
- 日志收集 许多公司使用 Kafka 收集服务器日志、应用程序日志等。例如，一个 Web 应用可能将用户点击日志发送到Kafka，供后续分析。
- 通过实时信息管道 Kafka 能够作为材料管道，将资料从一个架构传输到另一个系统。比如，从数据库到数据仓库，或者从微服务到分析平台。
- 事件驱动架构 Kafka 支持事件驱动的系统，比如当用户下单时，触发库存更新、发送通知等运行。
- 流处理 Kafka 与流处理框架（如 Apache Flink、Spark Streaming）结合，可以实时处理和分析数据，比如实时监控、欺诈检测等。
QAQ
Kafka 如何保证消息的顺序？
Kafka 只保证分区内的消息是有序的。如果需要严格的全局顺序，可以将主题设置为只有一个分区，但这会牺牲并行性。
Kafka 的分区和副本如何工作？
分区用于并行处理，副本用于容错。每个分区有一个领导者副本，处理读写请求；跟随者副本复制数据，故障时可切换为领导者。
消费者组的作用是什么？
消费者组允许多个消费者协同工作，分担主题的分区，达成负载均衡和并行处理。如果一个消费者宕机，Kafka 会重新分配分区。
Kafka 如何实现高可用性？
通过分区副本和分布式代理，Kafka 确保即使某些代理故障，数据和服务仍然可用。领导者选举机制由 ZooKeeper 协调。
如何避免消息丢失？
生产者：设置 acks=all，确保消息被所有副本确认。
消费者：关闭自动提交偏移量（enable.auto.commit=false），在处理完消息后再手动提交。
代理：配置足够的副本数（replication.factor）和最小同步副本数（min.insync.replicas）。
Kafka 和传统消息队列（如 RabbitMQ）的区别？
Kafka 是基于日志的流处理平台，适合高吞吐量、持久化存储的场景。
传统消息队列（如 RabbitMQ）更适合任务队列或低延迟的场景。
Kafka 支持消费者组和分区，适合大规模分布式系统；传统消息队列通常不支持类似的并行处理。
推荐资料
https://doc.hcs.huawei.com/zh-cn/productdesc/mrs/mrs_08_001301.html