kafka+zookeeper搭建步驟

vmware 安裝centOS7 克隆虛擬為：三臺 本地你的IP

10.118.62.98

10.118.62.129

10.118.62.132

zookeeper+kafka集群搭建步驟

zookeeper 安裝步驟：

1.下載zookeeper

2.上傳Linux虛擬機環境解壓到某目錄下如（/usr/local/）下

3.解壓到/usr/local/目錄下 解壓命令：tar zxvf zookeeper-3.4.10.tar.gz

4.配置zookeeper環境變量：命令：vim /etc/profile 打開配置文件

export ZK_HOME=/usr/local/zookeeper-3.4.10

export PATH=$ZK_HOME/bin:$PATH

使用命令：source etc/profile 使配置文件生效

5.修改zookeeper 下conf/文件下的zoo_sample.cfg 為：zoo.cfg? 命令：mv zoo_sample.cfg zoo.cfg

6.修改配置文件zoo.cfg 命令打開：vim zoo.cfg

(1):dataDir=/usr/local/zookeeper-3.4.11/data (在zookeeper 的解壓目錄下創建data目錄文件夾)

(2):添加zookeeper集群服務如

server.1=10.118.62.98:2888:3888

server.2=10.118.62.129:2888:3888

server.3=10.118.62.132:2888:3888

7.找到在zookeeper下創建的data文件夾

輸入命令：vim myid 輸入1 即可其他對應2和3 對應三天服務器

然后執行 source /etc/profile 使文件生效

8.然后啟動firewall防火墻：

啟動firewall命令:systemctl start firewalld

添加防火墻端口命令：firewall-cmd --zone=public --add-port=2888/tcp --permanent? （如2888端口）

命令：systemctl restart firewalld 重啟

9啟動zookeeper

zkServer.sh start

輸出： ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper-3.4.11/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

10.是否成功輸入命令：

zkServer.sh status

輸出： ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper-3.4.11/bin/../conf/zoo.cfg

Mode: follower

kafka集群安裝步驟：

1.下載kafka (kafka_2.11-0.11.0.1.tgz)

2.上傳到linux虛擬機環境某目錄下如(/usr/local/)目錄下

3.解壓到/usr/local/目錄下 解壓命令：tar tar zxvf kafka_2.11-0.11.0.1.tgz

3.修改配置文件 cd到kafka_2.11-0.11.0.1 的conf目下，使用命令vim server.properties 按字母i進入修改 按esc退出，shift+q? 出現：后，輸入x! 回車退出到命令界面

server.properties配置文件如下：

# master為1

broker.id=1 //分別剩余機器為2,3,.....

listeners=PLAINTEXT://:9092

port=9092

host.name=10.118.62.98

advertised.host.name=10.118.62.98

advertised.port=9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/tmp/kafka-logs

num.partitions=5

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=24

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

# 連接

zookeeper.connect=10.118.62.98:2181,10.118.62.129:2181,10.118.62.132:2181

zookeeper.connection.timeout.ms=6000

group.initial.rebalance.delay.ms=0

4.其余機器另外兩個節點下輸入命令遠程拷貝：

1.scp -r kafka_2.12-1.1.0/ 10.118.62.129:/usr/local/

2.scp -r kafka_2.12-1.1.0/ 10.118.62.132:/usr/local/

5.修改：server.properties 文件的 broker.id和listenrs：

如：broker.id=2

listeners=PLAINTEXT://10.118.62.129:9092

advertised.listeners=PLAINTEXT://10.118.62.129:9092

broker.id=3

listeners=PLAINTEXT://10.118.62.132:9092

advertised.listeners=PLAINTEXT://10.118.62.132:9092

6.cd kafka-_2.12-1.1.0下 啟動kafka服務：命令：

bin/kafka-server-start.sh config/server.properties

bin/kafka-console-consumer.sh --bootstrap-server 10.118.62.98:9092 --from-beginning --topic test

創建主體發布消息：

#創建Topic

./kafka-topics.sh --create --zookeeper 10.118.62.98:2181,10.118.62.129:2181,10.118.62.132:2181 --replication-factor 2 --partitions 1 --topic test

#解釋

--replication-factor 2? #復制兩份

--partitions 1 #創建1個分區

--topic #主題為test

'''在一臺服務器上創建一個發布者'''

#創建一個broker，發布者

./kafka-console-producer.sh --broker-list 10.118.62.129:9092 --topic test

'''在一臺服務器上創建一個訂閱者'''

./kafka-console-consumer.sh --zookeeper 10.118.62.132:2181 --topic test --from-beginning

總結

以上是生活随笔為你收集整理的kafka+zookeeper搭建步骤kafka问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。