【中间件】ubuntu 部署kafka
发布人:shili8
发布时间:2024-12-26 04:32
阅读次数:0
**中间件部署Kafka在Ubuntu**
本文将指导您如何在Ubuntu系统上部署Apache Kafka。我们将使用Kafka2.7.0版本。
### **前言**
Apache Kafka是一个分布式流处理平台,用于构建高吞吐量的数据管道和事件驱动的应用程序。它是大型数据集和实时分析的理想选择。
### **环境准备**
本文假设您已经安装了Ubuntu20.04 LTS系统,并且具有root权限。
**步骤1:更新包缓存**
bashsudo apt update -y
**步骤2:安装必要依赖项**
Kafka需要以下依赖项:
* Java Development Kit (JDK)
* OpenJDK8或更高版本
bashsudo apt install default-jdk -y
### **部署ZooKeeper**
ZooKeeper是一个分布式配置和协调服务,用于管理Kafka集群。
**步骤3:下载ZooKeeper**
bashwget /> **步骤4:解压缩并安装ZooKeeper**bashtar -xvf zookeeper-3.7.0.tar.gzsudo mv zookeeper-3.7.0 /usr/local/zookeeper
**步骤5:配置ZooKeeper** 编辑`/etc/hosts`文件,添加以下行:bash127.0.0.1 localhost127.0.0.1 zk
创建`zoo.cfg`文件并添加以下内容:propertiesdataDir=/usr/local/zookeeper/dataclientPort=2181
**步骤6:启动ZooKeeper**bashsudo /usr/local/zookeeper/bin/zkServer.sh start
### **部署Kafka** **步骤7:下载Kafka**bashwget />
**步骤8:解压缩并安装Kafka**
bashtar -xvf kafka_2.12-2.7.0.tgzsudo mv kafka_2.12-2.7.0 /usr/local/kafka
**步骤9:配置Kafka**
编辑`/etc/hosts`文件,添加以下行:
bash127.0.0.1 localhost127.0.0.1 kafka
创建`server.properties`文件并添加以下内容:
propertieslisteners=PLAINTEXT://:9092advertised.listeners=PLAINTEXT://kafka:9092zookeeper.connect=localhost:2181num.partitions=1replication.factor=1
**步骤10:启动Kafka**
bashsudo /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
### **测试Kafka**
使用以下命令创建一个主题:
bashsudo /usr/local/kafka/bin/kafka-topics.sh --create --bootstrap-server kafka:9092 --replication-factor1 --partitions1 my_topic
使用以下命令发送消息到主题:
bashecho "Hello, World!" | sudo /usr/local/kafka/bin/kafka-console-producer.sh --bootstrap-server kafka:9092 --topic my_topic
使用以下命令查看主题中的消息:
bashsudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server kafka:9092 --topic my_topic --from-beginning
### **总结**
本文指导您如何在Ubuntu系统上部署Apache Kafka。我们使用Kafka2.7.0版本,并且配置了ZooKeeper作为Kafka的协调服务。测试结果表明,Kafka集群正常工作,可以创建主题、发送消息和查看消息。
### **参考**
* [Apache Kafka]( />* [ZooKeeper](