首页 > 代码库 > 大数据系列之Kafka安装

大数据系列之Kafka安装

2024-09-07 13:25:55   219人阅读

技术分享

先简单说下安装kafka的流程。。（可配置多个zookeeper，这篇文只说一个zookeeper场景）

1.环境配置：jdk1.7+ (LZ用的是jdk1.8)

2.资料准备：下载 kafka_2.10-0.10.1.1.tgz ，官网链接为https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.1.1/kafka_2.10-0.10.1.1.tgz

3.单机版安装步骤：

　　a.将tgz放入目录： /app/ 

　　b.解压：

tar -xzvf kafka_2.10-0.10.1.1.tgz

 

　　c.修改配置：(暂时可不修改)

　　d.启动zookeeper：在kafka文件夹下操作命令

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &

　　e.验证启动状态: jps，出现红色尖头部分表示启动成功

技术分享

　　f.启动kafka

bin/kafka-server-start.sh -daemon config/server.properties &

 　　g.验证kafka启动状态: jps

技术分享

　　h.创建topic，名为slavetest

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic slavetest

 

　　技术分享

　　i.topic为slavetest ，生产数据

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic slavetest

 技术分享

　　j.另打开一个终端连接操作，消费数据

 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic slavetest --from-beginning

 　　k.验证（Producer-Consumer）

技术分享技术分享

　　l.End

 

4.分布式版安装步骤：

　　与单机版不同的是在于

　　注意事项

　　1.修改配置：config/server.properties

　　　　a.master节点上

　　

broker.id=0
zookeeper.connect=master:2181

 　　　　b.slave节点上

　

broker.id=1
zookeeper.connect=master:2181

 　2.slave不启动zk,可直接启动kafka

　3.slave节点上开启消费命令时将localhost改为master

bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic slavetest --from-beginning

 验证：

1.master 节点生产者

技术分享　　

2.master节点上消费者

技术分享

3.slave节点上消费者

技术分享

大数据系列之Kafka安装


联系
我们