kafka安装与可视化工具offset explore连接操作说明

1.1 环境前置要求

本地部署 Kafka 4.0+ 极简，无复杂依赖，只需满足 1 个核心条件：

• 本地已安装 JDK 17 及以上版本（推荐 JDK 17），并配置好 Java 环境变量（能在命令行执行java -version和javac -version输出版本号即可）；
• 无需安装 Zookeeper、无需安装其他中间件，无需配置任何系统环境变量；
• 本地无端口占用（Kafka 默认端口 9092，UI 默认修改为 8081，均为常规端口）；
• Kafka 4.0+ 本地单机版默认无账号密码、无权限校验，匿名访问即可。

1.2 本地 Kafka 4.0+ 安装与启动

1. 官网下载 Kafka 版本，我下载的是kafka_2.13-4.2.0版本。官网下载地址：
   https://kafka.apache.org/community/downloads/
   选择Binary downloads二进制包，无需源码包。

2. 进入 Linux 系统终端，输入以下命令进行下载安装包，下载完成进行解压，解压完成等同安装完成。

   # 进入下载目录cd/usr/local# 下载 Kafka 4.2.0sudowgethttps://downloads.apache.org/kafka/4.2.0/kafka_2.13-4.2.0.tgz# 解压sudotar-xzfkafka_2.13-4.2.0.tgz

   由于在 Linux 系统直接联网下载太慢，且下载安装包经常异常中断，采取了将安装包下载在本地，然后将本地文件移动到虚拟机里的 Linux 系统。

1.3 将本地文件复制到虚拟机的 Linux 系统方法

(1) 前提：虚拟机安装 VMware Tools，安装执行以下操作：
虚拟机菜单 → 虚拟机 → 安装 VMware Tools
安装完成后在 Linux 里执行：
bash sudo yum install -y open-vm-tools open-vm-tools-desktop sudo reboot

(2) 然后设置共享文件夹
1. 虚拟机 → 设置 → 选项 → 共享文件夹
2. 选择总是启用
3. 点添加→ 选择你 Windows 桌面
4. 名字随便填，比如desktop

(3) 最终在 Linux 系统执行以下命令
bash cp /mnt/hgfs/desktop/kafka_2.13-4.2.0.tgz /usr/local/
文件kafka_2.13-4.2.0.tgz便成功复制到 Linux 系统下的/usr/local文件夹下。

(4) 验证有没有复制成功，在 Linux 系统中执行以下命令：
bash cd /usr/local ls
能够看到kafka_2.13-4.2.0.tgz便是复制成功。
将文件复制到虚拟机也可以参考我之前的博客https://blog.csdn.net/qqlovelinlin/article/details/161195144?spm=1001.2014.3001.5502，通过远程桌面的方法。

1.4 本地启动 Kafka 4.0+（推荐方案，纯 KRaft 模式，无 ZK）

第一步：进入 Kafka 目录（最重要！）

cd/usr/local/kafka_2.13-4.2.0

第二步：生成集群 ID

KAFKA_CLUSTER_ID=$(bin/kafka-storage.sh random-uuid)

第三步：格式化

sudobin/kafka-storage.shformat--standalone-t$KAFKA_CLUSTER_ID-cconfig/server.properties

第四步：启动 Kafka

bin/kafka-server-start.sh-daemonconfig/server.properties

启动成功标识：命令窗口无红色报错日志、最后输出started (kafka.server.kafkaServer)相关内容，窗口保持运行状态（不要关闭这个窗口，关闭即停止 Kafka）。

1.5 停止 Kafka 服务

bin/kafka-server-stop.sh

2 Kafka 可视化工具 Offset Explorer 安装教程

2.1 Offset Explorer 下载

下载地址如下：
https://www.kafkatool.com/download.html

2.2 安装步骤

2.2.1 在安装目录下点击 exe 启动

2.2.2 配置 Kafka 信息

打开 Offset Explorer 后的页面展示图如下：

properties 填写示意图如下：cluster name 可以随意填写，Bootstrap Servers：填ip:9092（ip 是我虚拟机的 IP） Zookeeper Host/Port：留空（KRaft 无 ZK），kafka cluster version 版本必须是 3.0 以上用来支持 Kafka 的 KRaft 模式。

安全配置示意图如下：选择无认证 PLAINTEXT

2.2.3 查看 Kafka 消息

选择一个 Topic → Data → Retrieve Messages，Key/Message 设置展示格式，点查询即可看到数据。
Messages 选择 Newest，查看最新的 Kafka 数据；列表每列都可以通过点击表头，进行升序或者降序排序。

2.2.3.1 设置 Topic 数据展示格式

1. 设置 Topic 全局数据展示格式
   

2. 单独设置 Topic 数据展示格式
   

3. 查看数据
   

4. 查看某条信息的数据具体信息
   

2.2.3.2 Kafka 过滤信息查询

可以按照 Offset（偏移量）、Key（消息 key）、Message（消息主体）、Regex（正则表达式）进行单个或者组合查询。

2.2.4 创建 Topic

1. 右键 “Topics” 文件夹 → 选择 “Create Topic”，或点击 “Topics”，单击右侧页面中的 “+”，会弹出 “Add Topic” 页面；
2. 填写需要创建的 Topic 名称，分区数和备份数，点击 “Add” 添加，即可创建 Topic。
   
   

创建成功

2.2.5 删除 Topic

选择需要删除的 Topic 然后点击 x 删除。

2.2.6 Topic 发送消息

选中 Topic → 选择要发送的分区 → 点击 + 号 → 选择单条发送。

1. 单条手动发送
   手动单条发送，通过手动输入 key 和 value 发送消息。
   

2. 单条文件发送

3. value 文件内容
   以文件形式单条发送 value。
   

4. 多条手动发送
   

3 将本地的 Offset Explorer 软件与虚拟机上的 Kafka 连接

3.1 前提条件

1. 虚拟机 Kafka 已经正常启动（kafka-server-start.sh运行中）
2. 主机能 ping 通虚拟机 IP（非常关键）
3. 虚拟机查看 IP 命令：ifconfig或ip addr
4. 主机 cmd 执行：ping 虚拟机IP，能通就继续

3.2 修改 Kafka 的配置文件

1. 进入虚拟机 Kafka 的 config 目录

   cdkafka_2.13-3.6.1/config

2. 编辑server.properties

   viserver.properties

3. 找到并修改 / 添加以下配置：

   # 监听地址（必须改成 0.0.0.0，允许外部连接） listeners=PLAINTEXT://0.0.0.0:9092 # 对外暴露的地址（填你的虚拟机真实 IP） advertised.listeners=PLAINTEXT://192.168.x.x:9092 # 不开启 SSL 认证 listener.security.protocol.map=PLAINTEXT:PLAINTEXT node.id=1 process.roles=broker,controller controller.quorum.voters=1@localhost:9093 listeners=PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093 controller.listener.names=CONTROLLER

3.3 格式化

bin/kafka-storage.shformat-t$(bin/kafka-storage.sh random-uuid)-cconfig/kraft/server.properties

3.4 启动 Kafka

sudobin/kafka-server-start.sh config/server.properties

注意：每次重启 Kafka 服务，必须先执行上述 3.3 格式化命令，执行完 3.3 再执行 3.4 的启动命令。