Kafka是由LinkedIn開發的一個分布式的消息系統，使用Scala編寫，它以可水平擴展和高吞吐率而被廣泛使用。目前越來越多的開源分布式處理系統如Cloudera、Apache Storm、Spark都支持與Kafka集成。

1.下載Kafka并安裝

1）下載Apache版本的Kafka。

2）下載Cloudera版本的Kafka。

3）這里選擇下載Apache版本的kafka_2.11-0.8.2.1.tgz ，然后上傳至bigdata-pro01.kfk.com節點/opt/softwares/目錄下

4）解壓Kafka

tar -zxf kafka_2.11-0.8.2.1.tgz? -C /opt/modules/

2.Kafka集群配置

1）配置server.properties文件

vi kafka_2.11-0.8.2.1

#節點唯一標識

broker.id=0

#默認端口號

port=9092

#主機名綁定

host.name=bigdata-pro01.kfk.com

#Kafka數據目錄

log.dirs=/opt/modules/kafka_2.11-0.8.2.1/tmp/kafka-logs

#配置Zookeeper

zookeeper.connect=bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181

2）配置zookeeper.properties文件

vi zookeeper.properties

#Zookeeper的數據存儲路徑與Zookeeper集群配置保持一致

dataDir=/opt/modules/zookeeper-3.4.5-cdh5.10.0/zkData

3）配置consumer.properties文件

#配置Zookeeper地址

zookeeper.connect=bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181

4）配置producer.properties文件

#配置Kafka集群地址

metadata.broker.list=bigdata-pro01.kfk.com:9092,bigdata-pro02.kfk.com:9092,bigdata-pro03.kfk.com:9092

5）Kafka分發到其他節點

scp -r kafka_2.11-0.8.2.1 bigdata-pro02.kfk.com:/opt/modules/

scp -r kafka_2.11-0.8.2.1 bigdata-pro03.kfk.com:/opt/modules/

6）修改另外兩個節點的server.properties

#bigdata-pro02.kfk.com節點

broker.id=1

host.name=bigdata-pro02.kfk.com

#bigdata-pro03.kfk.com節點

broker.id=2

host.name=bigdata-pro03.kfk.com

3.啟動Kafka集群并進行測試

1）各個節點啟動Zookeeper集群

bin/zkServer.sh start

2）各個節點啟動Kafka集群

bin/kafka-server-start.sh config/server.properties &

3）創建topic

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test --replication-factor 1 --partitions 1

4）查看topic列表

bin/kafka-topics.sh --zookeeper localhost:2181 --list

5）生產者生成數據

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

6）消費者消費數據

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

轉載于:https://www.cnblogs.com/ratels/p/10844719.html

總結

以上是生活随笔為你收集整理的新闻网大数据实时分析可视化系统项目——7、Kafka分布式集群部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。