阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Linux下安装部署Kafka分布式集群与测试

139次阅读
没有评论

共计 2162 个字符,预计需要花费 6 分钟才能阅读完成。

注意:部署 Kafka 之前先部署环境 Java、Zookeeper

 准备三台 CentOS_6.5_x64 服务器,分别是:
IP:192.168.0.249 dbTest249 Kafka IP:192.168.0.250 Other250 Kafka IP:192.168.0.251 webTest251 Kafka

一、安装 Kafka

# tar zxvf kafka_2.9.1-0.8.2.2.tgz -C /usr/local/
# cd /usr/local/kafka_2.9.1-0.8.2.2/ 

二、我们安装 3 个 broker,分别在 3 个机器上:dbTest249,Other250,webTest251:
1、编辑 dbTest249:

# vim config/server.properties                      
1 broker.id=0    
2 port=9092    
3 host.name=dbTest249    
4 advertised.host.name=dbTest249    
5 num.partitions=2    
6 zookeeper.connect=dbTest249:2181,Other250:2181,webTest251:2181

2、编辑 Other250

# vim config/server.properties                       
1 broker.id=1    
2 port=9092    
3 host.name=Other250    
4 advertised.host.name=Other250    
5 num.partitions=2    
6 zookeeper.connect=dbTest249:2181,Other250:2181,webTest251:2181

3、编辑 webTest251

# vim config/server.properties
1 broker.id=2    
2 port=9092    
3 host.name=webTest251    
4 advertised.host.name=webTest251    
5 num.partitions=2    
6 zookeeper.connect=dbTest249:2181,Other250:2181,webTest251:2181

三、启动 Kafka 服务, 分别在 3 个机器上:dbTest249,Other250,webTest251:

# nohup /usr/local/kafka_2.9.1-0.8.2.2/bin/kafka-server-start.sh /usr/local/kafka_2.9.1-0.8.2.2/config/server.properties > /var/log/kafka.log 2>&1 &
# ps -ef |grep kafka
# netstat -tunpl |grep java

四、测试

1、在 dbTest249 上, 新建一个 TOPIC(replication-factor=num of brokers)

# /usr/local/kafka_2.9.1-0.8.2.2/bin/kafka-topics.sh --create --topic test --replication-factor 3 --partitions 2 --zookeeper dbTest249:2181

 

2、我们在 Other250,开一个终端,发送消息至 kafka(Other250 模拟 producer)

# /usr/local/kafka_2.9.1-0.8.2.2/bin/kafka-console-producer.sh --broker-list dbTest249:9092 --sync --topic test

在发送终端发送消息:Hello Kafka 

 

3、我们在 webTest251 上,开一个终端,显示消息的消费(webTest251 模拟 consumer)

# /usr/local/kafka_2.9.1-0.8.2.2/bin/kafka-console-consumer.sh --zookeeper dbTest249:2181 --topic test --from-beginning

在消费消息的终端显示:Hello Kafka 

相关阅读

分布式发布订阅消息系统 Kafka 架构设计 http://www.linuxidc.com/Linux/2013-11/92751.htm

Apache Kafka 代码实例 http://www.linuxidc.com/Linux/2013-11/92754.htm

Apache Kafka 教程笔记 http://www.linuxidc.com/Linux/2014-01/94682.htm

Apache kafka 原理与特性 (0.8V)  http://www.linuxidc.com/Linux/2014-09/107388.htm

Kafka 部署与代码实例  http://www.linuxidc.com/Linux/2014-09/107387.htm

Kafka 介绍和集群环境搭建  http://www.linuxidc.com/Linux/2014-09/107382.htm

Kafka 的详细介绍 :请点这里
Kafka 的下载地址 :请点这里

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2015-10/124114.htm

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-21发表,共计2162字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中