Kafka单机、集群模式安装详解(一)
生活随笔
收集整理的這篇文章主要介紹了
Kafka单机、集群模式安装详解(一)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
本文環境如下：
操作系統：CentOS 6 32位
JDK版本：1.8.0_77 32位
Kafka版本：0.9.0.1(Scala 2.11)
1. 所需要的環境
Kafka需要以下運行環境：
Java 安裝參考CentOS 6使用rpm方式安裝JDK8
Zookeeper 安裝參考：CentOS下ZooKeeper單機模式、集群模式安裝
2. 下載、解壓Kafka安裝包
Kafka官網地址: http://kafka.apache.org/
例如：
3. 配置環境變量（可選）
將kafka_2.11-0.9.0.1/bin添加到path，以方便訪問
vi /etc/profile在末尾添加：
KAFKA_HOME=/opt/kafka_2.11-0.9.0.1 PATH=$PATH:$KAFKA_HOME/bin4. 啟動單機模式
4.1 修改配置文件
cd /opt/kafka_2.11-0.9.0.1/config vi server.properties修改配置文件中的以下內容：
broker.id=0 //為依次增長的：0、1、2、3、4，集群中唯一id log.dirs=/opt/kafka_2.11-0.9.0.1/logs //日志地址 zookeeper.connect=master:2181,slave1:2181,slave2:2181 //zookeeperServers列表，各節點以逗號分開4.2 啟動程序
先要確保zookeeper已啟動，然后在Kafka目錄執行
nohup bin/kafka-server-start.sh config/server.properties&如果無報錯則說明啟動成功。nohup &是實現在后臺啟動。
4.3 簡單測試
打開2個終端，分別在Kafka目錄執行以下命令
啟動producer
啟動consumer
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning在producer的命令行輸入任意字符，觀察consumer是否能正確接收。
5. 常見錯誤
5.1 啟動Kafka時出現
Java HotSpot(TM) Server VM warning: INFO: os::commit_memory(0x67e00000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12) # # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memory. # An error report file with more information is saved as: # /opt/kafka_2.11-0.9.0.1/hs_err_pid2249.log錯誤原因：
Kafka默認使用-Xmx1G -Xms1G的JVM內存配置，如果機器內存較小，需要調整啟動配置。
打開/config/kafka-server-start.sh，修改
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
為適合當前服務器的配置，例如export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
總結
以上是生活随笔為你收集整理的Kafka单机、集群模式安装详解(一)的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Gerrit评审报错[remote re
- 下一篇： Kafka单机、集群模式安装详解(二)