Kafka 监控脚本

一个用于监控和分析 Kafka 服务器状态的 Python 脚本。

功能特性

• 获取 Kafka 集群信息（集群 ID、Broker 列表、控制器等）
• 查看所有 Topic 及其统计信息（分区数、副本因子等）
• 查看所有消费者组及其状态
• 查看指定 Topic 的消息内容（只读取新消息，不消费历史数据）

依赖安装

pip3 install --break-system-packages kafka-python

或者使用 requirements.txt：

pip3 install --break-system-packages -r requirements.txt

使用方法

1. 基本监控（不查看消息）

python3 main.py

生成报告：

• Kafka 集群信息（集群 ID、Broker 数量、控制器）
• 所有 Topic 的统计信息
• 所有消费者组的状态信息

2. 查看 Topic 消息

# 查看指定 Topic 的新消息（默认只读取脚本运行后的新消息）
python3 main.py --peek-topic test-topic

# 查看指定 Topic 的历史消息（从最早开始）
python3 main.py --peek-topic test-topic --from-beginning

# 查看指定数量的历史消息
python3 main.py --peek-topic test-topic --from-beginning --peek-count 50

• 默认：只读取脚本运行后新产生的消息（auto_offset_reset='latest'）
• 使用 --from-beginning：从最早的消息开始读取，包含所有历史消息（auto_offset_reset='earliest'）