一、认识Kafka
Kafka 是一个分布式的流处理系统。它最初是由 LinkedIn 公司开发的,后来被 Apache 软件基金会接手。Kafka 能够处理大量的流式数据,并且它的性能极佳。
Kafka 本质上是一个基于主题(topic)的发布订阅消息系统,它可以扩展到多个代理服务器,以处理高数据量和高负载情况。
二、下载Kafka
首先,我们需要从 Kafka 官方网站上进行下载。最好选择最新的版本,以确保最好的性能和体验。
wget https://www.apache.org/dist/kafka/2.8.0/kafka_2.13-2.8.0.tgz
三、安装Java
Kafka 是由 Java 编写而成的,因此在安装 Kafka 之前,需要先安装 Java 环境。
sudo apt update
sudo apt install default-jre
四、启动Kafka
在启动 Kafka 之前,我们需要为 Kafka 创建一个目录,并在其中创建两个新的子目录。
sudo mkdir /opt/kafka
sudo mkdir /opt/kafka/data
sudo mkdir /opt/kafka/logs
接下来,我们需要首先启动 ZooKeeper,ZooKeeper 是一个分布式的协调服务,它能够使 Kafka 能够工作。
bin/zookeeper-server-start.sh config/zookeeper.properties
然后启动 Kafka 服务。
bin/kafka-server-start.sh config/server.properties
bin/kafka-server-stop.sh
五、创建主题
主题(topic)是 Kafka 中一个非常重要的概念。我们可以向主题发布消息,也可以从主题订阅消息,以实现消息的传递。
使用以下命令来创建一个名称为 my-topic 的主题。
bin/kafka-topics.sh --create --topic my-topic --zookeeper localhost:2181 --partitions 1 --replication-factor 1
六、生产者发送消息
使用以下命令来启动一个生产者,并向 my-topic 主题发送消息。
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic
七、消费者接收消息
使用以下命令来启动一个消费者,从 my-topic 主题中接收消息,并将消息打印到控制台上。
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning
总结
通过以上步骤,我们就可以成功地安装和配置 Kafka 服务器,并向 Kafka 的主题发送和接收消息。