一、Kafka Manager 简介
Apache Kafka 是一种高吞吐量、低延迟的分布式发布订阅消息系统,拥有很强的可扩展性和容错性,可处理大规模的实时数据。而 Kafka Manager 是一个开源的 Web 管理界面,用于管理和监视多个 Kafka 集群,提供了简单易用的用户界面和操作方式。
二、Kafka Manager 安装
安装 Java
Kafka Manager 是一个基于 Java 的应用程序,所以在安装 Kafka Manager 之前,需要先安装 Java 环境。
$ sudo apt update
$ sudo apt install default-jre
$ java -version
下载 Kafka Manager
从 Kafka Manager 的 GitHub 页面下载最新的稳定版本,下载地址为:https://github.com/yahoo/kafka-manager/releases
$ wget https://github.com/yahoo/kafka-manager/archive/3.0.0.7.tar.gz
$ tar -xvf 3.0.0.7.tar.gz
$ cd kafka-manager-3.0.0.7
编译 Kafka Manager
Kafka Manager 需要先进行编译,然后才能被执行。
$ ./sbt clean dist
三、Kafka Manager 配置
配置 application.conf
Kafka Manager 的主要配置文件为 application.conf,需要根据实际需求进行修改,文件位于 conf 目录下。如下为一个简单的配置文件示例:
kafka-manager.zkhosts="localhost:2181"
kafka-manager.features=["KMClusterManagerFeature","KMTopicManagerFeature"]
说明: - kafka-manager.zkhosts: ZooKeeper 集群地址; - kafka-manager.features: 启用的功能特性,包括 "KMClusterManagerFeature" 和 "KMTopicManagerFeature"。
启动 Kafka Manager
执行以下命令启动 Kafka Manager:
$ cd target/universal/
$ tar -xvf kafka-manager-3.0.0.7.zip
$ cd kafka-manager-3.0.0.7/bin/
$ ./kafka-manager -Dconfig.file=../../conf/application.conf
四、Kafka Manager 使用
登录 Kafka Manager
在浏览器中输入 http://localhost:9000,打开 Kafka Manager 的登录页面,使用默认的用户名 admin 和密码 admin 进行登录。
设置 Kafka 集群
首先需要设置 Kafka 集群,进入 Cluster 界面,选择 Add Cluster,填写必要的信息,例如:
Name: myKafka
Zookeeper Hosts: localhost:2181
Kafka Version: 2.4.0
查看 Kafka Topic
在 Kafka Manager 的 Topics 界面,可以查看和管理 Kafka 中的 Topic,例如:
Name: myTopic
Partitions: 1
Replication Factor: 1
查看 Kafka Consumer Group
在 Kafka Manager 的 Consumer Groups 界面,可以查看和管理 Kafka Consumer Group,例如:
Name: myGroup
Lag: 0
五、Kafka Manager 与 Kafka 集群的一些操作
创建 Kafka Topic
在 Kafka Manager 的 Topics 界面,点击 Create Topic,填写 Topic 名称、Partitions 数量、Replication Factor 等信息进行创建。
删除 Kafka Topic
在 Kafka Manager 的 Topics 界面,选择要删除的 Topic,点击 Actions->Delete 进行删除。
增加 Kafka Broker
在 Kafka Manager 的 Cluster 界面,选择要增加 Broker 的集群,点击 Add Broker,填写 Broker 的 Host、Port 等信息进行增加。
删除 Kafka Broker
在 Kafka Manager 的 Cluster 界面,选择要删除 Broker 的集群,从列表中选择对应的 Broker,点击 Actions->Remove 。
展示 Kafka Broker 的详情
在 Kafka Manager 的 Cluster 界面,从列表中选择对应的 Broker,点击其名称,即可查看其详情。