? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?第 2 章 Kafka 快速入門?

下載安裝kafka集群

1.需要jdk

2.需要zookeeper，這個東西在最新版的Kafka中內置。

3.下載Kafka安裝包 （下載官網地址：Apache Kafka）

一，下載Kafka安裝包

二，Kafka安裝包上傳linux

這里我選擇了最新版本下載，然后上傳到centos7下，這里我使用xftp5這個工具上傳到usr/local/software目錄下（這里我上臺機器都上傳了，為了后面搭建集群使用）

上傳已經ok，那我們使用xshell工具鏈接到字節的虛擬機centos7

首先進入到/usr/local/software這個目錄

我們已經看見kafka的這個tar包

三，接下來我們需要解壓這個tar包

1）使用這個命令解壓這里我的解壓目錄是 /usr/local/hadoop/kafka/? ?? ? tar -zxvf kafka_2.12-2.4.1.tgz -C /usr/local/hadoop/kafka/

2）修改解壓后的文件名稱?

? ? 這里我沒有修改目錄名字? ? ? ? ? ? ? 可以修改???mv kafka_2.12-2.4.1/ kafka? ?我不改的原因是這樣看起來直觀知道用的那個版本的

3）在/usr/local/hadoop/kafka/kafka_2.12-2.4.1/? 目錄下創建 logs 文件夾?

4）修改配置文件?

#broker 的全局唯一編號，不能重復 broker.id=0 #刪除 topic 功能使能 delete.topic.enable=true #處理網絡請求的線程數量 num.network.threads=3 #用來處理磁盤 IO 的現成數量 num.io.threads=8 #發送套接字的緩沖區大小 socket.send.buffer.bytes=102400 #接收套接字的緩沖區大小 socket.receive.buffer.bytes=102400 #請求套接字的緩沖區大小 socket.request.max.bytes=104857600 #kafka 運行日志存放的路徑 log.dirs=/usr/local/hadoop/kafka/kafka_2.12-2.4.1/logs #topic 在當前 broker 上的分區個數 num.partitions=1 #用來恢復和清理 data 下數據的線程數量 num.recovery.threads.per.data.dir=1 #segment 文件保留的最長時間，超時將被刪除 log.retention.hours=168 #配置連接 Zookeeper 集群地址 zookeeper.connect=backup01:2181,backup02:2181,backup03:2181

注意新版本是kafka是內置zookeeper? 我們可以看見這個zookeeper.properties這個配置文件

注意：這里根據你的需要選擇是內置zookeeper還是自己安裝的zookeeper，我使用的是自己安裝的zookeeper。

四，環境變量的配置? ? vim /etc/profile

[root@backup01 java]# source /etc/profile

五，將配置好的zookeeper分發到集群的所有機器

經過上面的四個步驟kafka已經配置完畢，然后將其依次拷貝的集群的其他機器中。快捷一點可以使用?scp?命令來做這件事：

scp 本地zookeeper安裝目錄 登陸遠程機器的用戶名@遠程機器地址 : 遠程機器存放kafka的地址eg:scp -r kafka skyler@slave1:/usr/local/hadoop/

六，不知道大家有沒有關注到前面說過的? server.properties

#broker 的全局唯一編號，不能重復 broker.id=0

所以我們需要修改集群下的這個全局唯一編號? broker.id（注意這個id只能是Interger類型）

將集群backup02? backup03機器俠的kafkabroker.id分別改為1和2

cd?/usr/local/hadoop/kafka/kafka_2.12-2.4.1/config vim server.properties

到這里基本搭建完成

啟動zk?zk的集群安裝和啟動參考這篇博客

啟動kafka集群? ? 啟動命令并且要指定配置文件config/server.properties

依次在?backup01、backup02、backup03?節點上啟動 kafka? cd /usr/local/hadoop/kafka/kafka_2.12-2.4.1/ [root@backup01 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties [root@backup02 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties [root@backup03 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties

啟動報內存不足解決辦法

總結

以上是生活随笔為你收集整理的大数据技术之 Kafka (第 2 章 Kafka快速入门)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。