当前位置： 首页 > news >正文

保姆级教程：在Ubuntu/CentOS上安装Kafka 3.9.1（Kraft模式+SASL认证）

news 2026/6/6 7:28:20

跨平台Kafka 3.9.1实战部署指南：Kraft模式与SASL安全认证深度配置

最近在帮一家金融科技公司搭建实时风控系统时，发现他们需要在Ubuntu和CentOS混合环境中部署Kafka集群。这个过程中，Kraft模式带来的简化架构和SASL认证的安全保障成为了最佳选择。本文将分享我在多平台部署Kafka 3.9.1的完整实战经验，特别是那些官方文档没有明确说明的细节问题。

1. 环境准备与基础配置

在开始安装前，我们需要确保系统环境满足Kafka 3.9.1的基本要求。根据Apache Kafka官方文档，3.x版本至少需要Java 11运行环境。这里有个小技巧：建议使用OpenJDK而不是Oracle JDK，因为前者在Linux上的兼容性更好。

1.1 JDK安装与验证

对于不同的Linux发行版，JDK的安装命令有所区别：

# CentOS/RHEL系统 sudo yum install -y java-11-openjdk-devel # Ubuntu/Debian系统 sudo apt update && sudo apt install -y openjdk-11-jdk

安装完成后，务必验证Java版本：

java -version

注意：如果系统已安装其他Java版本，可以通过update-alternatives命令设置默认版本。我在CentOS 7上就遇到过默认Java 8导致的问题。

1.2 系统参数优化

Kafka对文件描述符数量和内存管理有较高要求，建议在安装前调整以下系统参数：

# 修改文件描述符限制 echo "* soft nofile 100000" | sudo tee -a /etc/security/limits.conf echo "* hard nofile 100000" | sudo tee -a /etc/security/limits.conf # 调整内核参数 echo "vm.swappiness = 1" | sudo tee -a /etc/sysctl.conf sudo sysctl -p

这些优化能显著提升Kafka在高负载下的稳定性，特别是在机械硬盘环境中。

2. Kafka 3.9.1安装与Kraft模式配置

2.1 二进制包获取与解压

推荐使用国内镜像源加速下载：

wget https://mirrors.aliyun.com/apache/kafka/3.9.1/kafka_2.12-3.9.1.tgz tar -zxvf kafka_2.12-3.9.1.tgz -C /usr/local ln -s /usr/local/kafka_2.12-3.9.1 /usr/local/kafka

创建符号链接是个好习惯，方便后续版本升级时路径保持不变。

2.2 Kraft模式核心配置

Kraft模式是Kafka 3.0引入的重要特性，它消除了对Zookeeper的依赖，使架构更加简洁。配置时需要特别注意以下几点：

  1. 集群ID生成：每个Kraft集群需要唯一ID
  2. 存储目录格式化：类似文件系统格式化
  3. 控制器配置：Kraft模式下控制器节点承担更多责任

生成集群ID并格式化存储：

/usr/local/kafka/bin/kafka-storage.sh random-uuid # 假设生成的ID为IAtPev4fQu6b_OkrXGpciw /usr/local/kafka/bin/kafka-storage.sh format -t IAtPev4fQu6b_OkrXGpciw -c /usr/local/kafka/config/kraft/server.properties

3. SASL/PLAIN认证深度配置

安全是生产环境不可忽视的环节。SASL/PLAIN虽然简单，但在内网环境中已经足够安全。下面是我在多个项目中验证过的配置方案。

3.1 服务端认证配置

首先创建JAAS认证文件：

vim /usr/local/kafka/config/kraft/kafka_server_jaas.conf

文件内容示例：

KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret" user_admin="admin-secret" user_alice="alice-secret"; };

安全提示：实际生产环境中，密码应该使用更复杂的组合，并定期轮换。我曾经遇到过因为简单密码导致的安全事件。

3.2 服务端属性配置

关键的server.properties配置项：

# SASL配置 sasl.enabled.mechanisms=PLAIN sasl.mechanism.inter.broker.protocol=PLAIN security.inter.broker.protocol=SASL_PLAINTEXT # 监听器配置 listeners=SASL_PLAINTEXT://:9092,CONTROLLER://:9093 inter.broker.listener.name=SASL_PLAINTEXT advertised.listeners=SASL_PLAINTEXT://your_server_ip:9092

3.3 客户端认证配置

客户端需要对应的认证文件：

vim /usr/local/kafka/config/kraft/kafka_client_jaas.conf

内容示例：

KafkaClient { org.apache.kafka.common.security.plain.PlainLoginModule required username="alice" password="alice-secret"; };

4. 服务管理与实战测试

4.1 服务启动与停止

启动Kafka服务：

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/kraft/server.properties

查看日志确认启动状态：

tail -f /usr/local/kafka/logs/server.log

停止服务命令：

/usr/local/kafka/bin/kafka-server-stop.sh

4.2 生产消费测试

创建测试Topic：

/usr/local/kafka/bin/kafka-topics.sh --create \ --bootstrap-server localhost:9092 \ --command-config /usr/local/kafka/config/kraft/client.properties \ --topic test-topic \ --partitions 3 \ --replication-factor 1

启动控制台生产者：

/usr/local/kafka/bin/kafka-console-producer.sh \ --broker-list localhost:9092 \ --producer.config /usr/local/kafka/config/producer.properties \ --topic test-topic

启动控制台消费者：

/usr/local/kafka/bin/kafka-console-consumer.sh \ --bootstrap-server localhost:9092 \ --consumer.config /usr/local/kafka/config/consumer.properties \ --topic test-topic \ --from-beginning

4.3 常见问题排查

在实际部署中，我遇到过几个典型问题：

  1. 认证失败：检查JAAS文件路径和内容，确保服务端和客户端配置一致
  2. 端口冲突：确认9092和9093端口未被占用
  3. 磁盘空间不足：Kafka对磁盘空间敏感，至少保留20%空闲空间
  4. 内存不足：适当调整KAFKA_HEAP_OPTS环境变量
# 内存设置示例 export KAFKA_HEAP_OPTS="-Xms4G -Xmx4G"

5. 进阶配置与优化建议

5.1 性能调优参数

根据硬件配置调整以下参数：

# 网络线程数 num.network.threads=3 # IO线程数 num.io.threads=8 # 发送缓冲区 socket.send.buffer.bytes=102400 # 接收缓冲区 socket.receive.buffer.bytes=102400

5.2 日志保留策略

合理的日志保留策略能平衡存储成本和数据可用性：

log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000

5.3 监控与告警

建议集成Prometheus和Grafana进行监控，关键指标包括：

  • 请求处理时间
  • 网络吞吐量
  • 磁盘使用率
  • 未同步副本数

配置示例：

# 启用JMX监控 export JMX_PORT=9999 export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"

在完成所有配置后，建议进行压力测试。我通常使用kafka-producer-perf-test.sh工具模拟生产环境负载：

/usr/local/kafka/bin/kafka-producer-perf-test.sh \ --topic test-topic \ --num-records 1000000 \ --record-size 1000 \ --throughput -1 \ --producer-props bootstrap.servers=localhost:9092 \ --producer.config /usr/local/kafka/config/producer.properties
http://www.jsqmd.com/news/599143/

相关文章：

  • 基于Vue与Antv-X6构建工业物流可视化编辑器：从拖拽布局到数据交互的完整实践
  • 如何快速免费解密网易云音乐NCM文件：ncmdumpGUI终极指南
  • Maven的继承与聚合---附哈米音乐项目框架搭建
  • 降AI后格式乱了怎么修：Word格式修复操作指南 - 还在做实验的师兄
  • 基于两阶段鲁棒优化的微网电源容量优化配置代码功能说明
  • 嘎嘎降AI和比话哪个更适合硕士论文：全面对比测评 - 还在做实验的师兄
  • H265的优势
  • claude-code：原汁原味可调试版企业级指南
  • 用Open-AutoGLM打造个人手机助手：自动处理日常任务的完整方案
  • PADS Layout 设计规则优化：从安全间距到布线效率的实战指南
  • SPSS老版本用户必看：如何用R3.2.5实现高级统计分析（附完整语法示例）
  • PointNet实战：从零构建Pytorch分类模型与代码逐行解析
  • GHelper合盖模式终极指南：华硕笔记本外接显示器合盖不休眠完整教程
  • 嘎嘎降AI和率零哪个适合本科毕业论文：详细对比 - 还在做实验的师兄
  • nli-distilroberta-base保姆级部署教程：开源DistilRoBERTa NLI服务一键启动
  • 别再死记硬背了！用“预测-修正”的直觉理解卡尔曼滤波（附自动驾驶传感器例子）
  • 保姆级教程：用ESP32和SPH0645麦克风做个无线录音笔（附Python服务端实时播放）
  • 告别枯燥点灯：用LVGL 8.2给你的STM32F103开发板做个炫酷仪表盘
  • 基于stm32的红外体温计设计[单片机]-计算机毕业设计源码+LW文档
  • 2-4 避免踩坑：AI Agent架构的四大反模式（从百万美元事故看AI Agent设计的常见陷阱与规避策略）
  • 自动化网页操作脚本生成：国产大模型没有一个顶用的
  • 小白也能上手的Qwen3-VL-WEBUI：快速搭建你的多模态AI助手
  • Go语言的Web框架：从Gin到Echo
  • 如何判断降AI工具效果好不好：评估标准和测试方法 - 还在做实验的师兄
  • 从面包板到开发板：51单片机(STC89C52)点灯避坑指南与硬件连接实战
  • C++笔记 Lambda表达式
  • SEO_详解SEO优化的完整流程与关键步骤
  • 智能家居入门实战：基于STM32的语音+蓝牙双控窗户系统，手把手教你搞定ASR01模块和手机App
  • Xcode16强制升级指南：如何避免Bitcode陷阱并顺利上传App Store Connect
  • 如何用嘎嘎降AI处理医学论文：医学专项降AI操作指南 - 还在做实验的师兄