Win10安装和使用Apache Kafka

Win10安装和使用Apache Kafka

引用

CSDN

1.

https://blog.csdn.net/qq_42257666/article/details/140307002

Apache Kafka是一个开源的分布式流处理平台，广泛用于构建高性能的数据管道和流式应用程序。它能够处理大量数据，支持实时数据流的传输和处理，适用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等多种大数据场景。

Kafka具有高吞吐量、可扩展性强、低延迟的特点，它通过分区、复制和容错机制来保证数据的持久性和可用性。在Kafka中，数据以主题（topics）的形式组织，生产者将消息发送到特定的主题，消费者从主题中读取消息。每个主题可以包含多个分区，分区内部的消息是有序的，并且可以跨多个服务器进行分布，以实现水平扩展。

阿里云提供了基于Apache Kafka构建的云消息队列服务，用户可以利用这项服务进行消息队列管理，而无需自己部署和运维Kafka集群，享受更加专业、可靠和安全的服务。

安装步骤

1. 官网下载安装包，选择Kafka2.12-3.6.1版本，对应Scala2.12，也对应Java8。
   

2. 解压安装包，解压的目录不要太深，这样就安装成功了。

3. 修改config/zookeeper.properties配置文件，修改dataDir目录，用于设置Zookeeper数据存储路径。

4. 在安装目录下创建zk.cmd文件，写入以下命令，以后就能双击启动Zookeeper：

call bin/windows/zookeeper-server-start.bat config/zookeeper.properties

5. 同理，修改config/server.properties配置文件，修改dataDir目录，用于设置Kafka数据存储路径。

6. 在安装目录下创建kfk.cmd文件，写入以下命令，即可双击启动Kafka：

call bin/windows/kafka-server-start.bat config/server.properties

7. 启动Zookeeper和Kafka之后，在data目录下会生成两个目录。启动顺序为Zookeeper—>Kafka；关闭顺序为Kafka—>Zookeeper。

使用步骤

1. 按顺序启动Zookeeper和Kafka之后，cmd输入jps，查看到代表Zookeeper进程的Jps、Kafka进程等。

2. 创建主题

F:\SoftWare\kafka_2.12-3.6.1\bin\windows>kafka-topics.bat --bootstrap-server localhost:9092 --topic test --create
Created topic test.

3. 查看主题列表

F:\SoftWare\kafka_2.12-3.6.1\bin\windows>kafka-topics.bat --bootstrap-server localhost:9092 --list
test

4. 查询主题详情

F:\SoftWare\kafka_2.12-3.6.1\bin\windows>kafka-topics.bat --bootstrap-server localhost:9092 --topic test --describe
Topic: test     TopicId: FTQxT8f4TKqtB9wgO6PHvQ PartitionCount: 1       ReplicationFactor: 1    Configs:
        Topic: test     Partition: 0    Leader: 0       Replicas: 0     Isr: 0
F:\SoftWare\kafka_2.12-3.6.1\bin\windows>

5. 创建消费者

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

6. 创建生产者

kafka-console-producer.bat --bootstrap-server localhost:9092 --topic test

7. 生产者向Topic中输入数据，消费者就能订阅Topic消费到数据。