本系列文章主要闡述大數(shù)據(jù)計算平臺相關(guān)框架的搭建，包括如下內(nèi)容：

• 基礎(chǔ)環(huán)境安裝
• zookeeper集群的搭建
• kafka集群的搭建
• hadoop/hbase集群的搭建
• spark集群的搭建
• flink集群的搭建
• elasticsearch集群的搭建
• alluxio集群的搭建

1.kafak簡介

Kafka是一個分布式、分區(qū)的、多副本的、多訂閱者的消息隊列,以高吞吐量著稱，主要用于實(shí)時數(shù)據(jù)的傳輸和處理，總體架構(gòu)如下

更多內(nèi)容請閱讀官網(wǎng) http://kafka.apache.org/documentation.html#introduction

2.kafka安裝

• 下載

地址：http://kafka.apache.org/downloads，選擇kafka_2.11-0.10.2.1.tgz版本

• 解壓安裝

本文環(huán)境列表

直接在服務(wù)器10.20.112.59上解壓

1 2 3

cd ~ tar -zxvf kafka_2.11-0.10.2.1.tgz.gz mv? kafka_2.11-0.10.2.1 kafka

• ?配置更改

編輯kafka server配置文件
vi /wls/oracle/kafka/config/server.properties
主要是如下幾項：
kafka集群
修改server.properties
不同集群broker.id 和host.name 不一樣，根據(jù)實(shí)際情況配置。
修改默認(rèn)配置文件中的
broker.id(每臺服務(wù)器均不同)
port(如果是偽集群，則端口號需要改變)
host.name
advertised.host.name
zookeeper.connect(所有集群的ip均需要說明)
log.dirs
以服務(wù)器SZB-L0045546，則其server.properties需更改的配置如下：

broker.id=1 port=9092 host.name=SZB-L0045546 advertised.host.name=10.20.112.59 zookeeper.connection=SZB-L0045546:2181,SZB-L0045551:2181,SZB-L0045552:2181/kafka log.dirs=/wls/oracle/bigdata/kafka/kafka-logs-1,/wls/oracle/bigdata/kafka/kafka-logs-2,/wls/oracle/bigdata/kafka/kafka-logs-3

而集群另外4臺服務(wù)器中的broker.id、host.name,advertised.host.name和SZB-L0045546的保持不同即可。同時集群中的服務(wù)器需要為kafka日志建立相關(guān)目錄

mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-1 mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-2 mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-3

• 啟動和驗(yàn)證

依次啟動集群中的kafka，執(zhí)行腳本如下：? cd wls/oracle/bigdata/kafka/logs nohup /wls/oracle/kafka/bin/kafka-server-start.sh /wls/oracle/kafka/config/server.properties >> /wls/oracle/bigdata/kafka/logs/kafka.out 2&1 &

創(chuàng)建topic

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--create --topic TEST --replication-factor 2 --partitions 3

顯示創(chuàng)建的topic

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--list

向TEST中寫入消息

/wls/oracle/kafka/bin/kafka-console-producer.sh --broker-list 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--topic TEST

從topic TEST中消費(fèi)數(shù)據(jù)

/wls/oracle/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--topic TEST --from-beginning 與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的kafka集群的搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。