阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Kafka单机环境搭建简记

147次阅读
没有评论

共计 1646 个字符,预计需要花费 5 分钟才能阅读完成。

最近在搞 kettle 整合 kafka producer 插件,于是自己搭建了一套单机的 kafka 环境,以便用于测试。现整理如下的笔记,发上来和大家分享。后续还会有 kafka 的研究笔记,依然会与大家分享!

1 kafka 环境搭建

1.1 kafka 单机环境搭建

(1)、解压 kafka_2.11-1.1.0.tgz,得到“kafka_2.11-1.1.0”文件夹。

Kafka 单机环境搭建简记

(2)、kafka 需要安装 zookee 使用,但 kafka 集成 zookeeper, 在单机搭建时可直接使用。使用需配置 kafka_2.11-1.1.0/config 下的“zookeeper.properties”。

Kafka 单机环境搭建简记

(3)、配置“zookeeper.properties”。修改 dataDir 和 clientPort。前者是快照存放地址 (自己随意配置),后者是客户端连接 zookeeper 服务的端口。

Kafka 单机环境搭建简记

(4)、配置 kafka_2.11-1.1.0/config 下的“server.properties”,修改 log.dirs 和 zookeeper.connect。前者是日志存放文件夹,后者是 zookeeper 连接地址(端口和 clientPort 保持一致)。

Kafka 单机环境搭建简记

Kafka 单机环境搭建简记

到此,kafka 的单机环境就搭建成功了。

2 kafka 的相关命令

开启 kafka 自带 zookeeper:

前台运行:

bin/zookeeper-server-start.sh config/zookeeper.properties

后台运行:

nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &

(关于后台启动命令,可看我的另一篇博客:《Linux 后台运行进程》)

开启 kafka:

前台运行:

bin/kafka-server-start.sh config/server.properties

后台运行:

nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &

创建 kafka 主题:

bin/kafka-topics.sh –create –zookeeper 10.45.xx.xx:2191 –replication-factor 1 –partitions 1 –topic test

显示 kafka 所有主题:

bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191

创建 kafka 生产者:

bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test

创建 kafka 消费者:

bin/kafka-console-consumer.sh –zookeeper 10.45.xx.xx:2191 –topic test –from-beginning

解释:

–zookeeper:后面接的是你配置的 zookeeper 地址

–broker-list: 默认端口为 9092. 可自行更改

3 kafka 的简单使用

(1)、进入”kafka_2.11-1.1.0”文件夹,运行”开启 kafka 自带 zookeeper”命令 (最好用后台模式)。记得进入日志中,检查下启动是否有错误。

Kafka 单机环境搭建简记

(2)、确认 zookeeper 启动成功后,继续在当前目录,运行“开启 kafka”命令 (依然用后台模式)。记得检查日志。

Kafka 单机环境搭建简记

(3)、确认两者启动完毕后,运行“创建 kafka 主题”命令。显示红框中内容,即为创建成功。

Kafka 单机环境搭建简记

(4)、继续在此目录下,运行“创建 kafka 生产者”的命令。kafka 默认端口是 9092。(图片里我自己改成了 9192,没改的直接用 9092 端口)。如图,我发送了”qpf_test”的消息。

Kafka 单机环境搭建简记

(5)、另起一个终端,仍在相同目录下运行“创建 kafka 消费者”的命令。消费者会收到生产者发来的消息。如图,我接收到了之前发的”qpf_test”的消息。

Kafka 单机环境搭建简记

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计1646字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中