当前位置:实例文章 » 其他实例» [文章]【中间件】ubuntu 部署kafka

【中间件】ubuntu 部署kafka

发布人:shili8 发布时间:2024-12-26 04:32 阅读次数:0

**中间件部署Kafka在Ubuntu**

本文将指导您如何在Ubuntu系统上部署Apache Kafka。我们将使用Kafka2.7.0版本。

### **前言**

Apache Kafka是一个分布式流处理平台,用于构建高吞吐量的数据管道和事件驱动的应用程序。它是大型数据集和实时分析的理想选择。

### **环境准备**

本文假设您已经安装了Ubuntu20.04 LTS系统,并且具有root权限。

**步骤1:更新包缓存**

bashsudo apt update -y


**步骤2:安装必要依赖项**

Kafka需要以下依赖项:

* Java Development Kit (JDK)
* OpenJDK8或更高版本
bashsudo apt install default-jdk -y


### **部署ZooKeeper**

ZooKeeper是一个分布式配置和协调服务,用于管理Kafka集群。

**步骤3:下载ZooKeeper**

bashwget  />
**步骤4:解压缩并安装ZooKeeper**

bashtar -xvf zookeeper-3.7.0.tar.gzsudo mv zookeeper-3.7.0 /usr/local/zookeeper

**步骤5:配置ZooKeeper**

编辑`/etc/hosts`文件,添加以下行:

bash127.0.0.1 localhost127.0.0.1 zk

创建`zoo.cfg`文件并添加以下内容:

propertiesdataDir=/usr/local/zookeeper/dataclientPort=2181

**步骤6:启动ZooKeeper**

bashsudo /usr/local/zookeeper/bin/zkServer.sh start

### **部署Kafka**

**步骤7:下载Kafka**

bashwget />
**步骤8:解压缩并安装Kafka**

bashtar -xvf kafka_2.12-2.7.0.tgzsudo mv kafka_2.12-2.7.0 /usr/local/kafka


**步骤9:配置Kafka**

编辑`/etc/hosts`文件,添加以下行:

bash127.0.0.1 localhost127.0.0.1 kafka


创建`server.properties`文件并添加以下内容:

propertieslisteners=PLAINTEXT://:9092advertised.listeners=PLAINTEXT://kafka:9092zookeeper.connect=localhost:2181num.partitions=1replication.factor=1


**步骤10:启动Kafka**

bashsudo /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties


### **测试Kafka**

使用以下命令创建一个主题:

bashsudo /usr/local/kafka/bin/kafka-topics.sh --create --bootstrap-server kafka:9092 --replication-factor1 --partitions1 my_topic


使用以下命令发送消息到主题:

bashecho "Hello, World!" | sudo /usr/local/kafka/bin/kafka-console-producer.sh --bootstrap-server kafka:9092 --topic my_topic


使用以下命令查看主题中的消息:

bashsudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server kafka:9092 --topic my_topic --from-beginning


### **总结**

本文指导您如何在Ubuntu系统上部署Apache Kafka。我们使用Kafka2.7.0版本,并且配置了ZooKeeper作为Kafka的协调服务。测试结果表明,Kafka集群正常工作,可以创建主题、发送消息和查看消息。

### **参考**

* [Apache Kafka]( />* [ZooKeeper](

其他信息

其他资源

Top