Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)，今天我們就一起來看一篇Linux系統(tǒng)下Kafka單機安裝配置教程．

說明：

操作系統(tǒng)：CentOS 6.x 64位

Kafka版本：kafka_2.11-0.8.2.1

實現(xiàn)目的：

單機安裝配置kafka

具體操作：

一、關閉SELINUX、開啟防火墻9092端口

1、關閉SELINUX

vi /etc/selinux/config

#SELINUX=enforcing #注釋掉

#SELINUXTYPE=targeted #注釋掉

SELINUX=disabled #增加

:wq! #保存退出

setenforce 0 #使配置立即生效

2、配置防火墻，開啟9092端口

vi /etc/sysconfig/iptables #編輯防火墻配置文件

# Firewall configuration written by system-config-firewall

# Manual customization of this file is not recommended.

*filter

:INPUT ACCEPT [0:0]

:FORWARD ACCEPT [0:0]

:OUTPUT ACCEPT [0:0]

-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

-A INPUT -p icmp -j ACCEPT

-A INPUT -i lo -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9092 -j ACCEPT

-A INPUT -j REJECT --reject-with icmp-host-prohibited

-A FORWARD -j REJECT --reject-with icmp-host-prohibited

COMMIT

:wq! #保存退出

service iptables restart #最后重啟防火墻使配置生效

二、安裝JDK

kafka運行需要JDK支持

1、下載JDK

http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm

注意:直接復制到下載工具進行下載，版本請使用JDK7，JDK8有可能不兼容kafka_2.11-0.8.2.1

下載完成之后，上傳到/usr/local/src目錄下

2、安裝JDK

cd /usr/local/src

chmod +x jdk-7u79-linux-x64.rpm # 添加執(zhí)行權限

rpm -ivh jdk-7u79-linux-x64.rpm #安裝

安裝完成之后，可以cd /usr/java/ 到安裝目錄查看

3、添加JDK到系統(tǒng)環(huán)境變量

vi /etc/profile #編輯，在最后添加以下代碼

JAVA_HOME=/usr/java/jdk1.7.0_79

PATH=$PATH:$JAVA_HOME/bin:/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

export JAVA_HOME

export PATH

export CLASSPATH

:wq! #保存退出

source /etc/profile #使配置文件立即生效

java -version #查看JDK版本信息

到此，JDK安裝完成。

三、安裝kafka

1、下載kafka

cd /usr/local/src

wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz

注意，kafka_2.11-0.8.2.1.tgz版本是已經(jīng)編譯好的版本，解壓就能使用。

tar -xzvf kafka_2.11-0.8.2.1.tgz #解壓

mv kafka_2.11-0.8.2.1 /usr/local/kafka #移動到安裝目錄

2、配置kafka

mkdir /usr/local/kafka/log/kafka #創(chuàng)建kafka日志目錄

cd /usr/local/kafka/config #進入配置目錄

vi server.properties #編輯修改相應的參數(shù)

broker.id=0

port=9092 #端口號

host.name=192.168.0.11 #服務器IP地址，修改為自己的服務器IP

log.dirs=/usr/local/kafka/log/kafka #日志存放路徑，上面創(chuàng)建的目錄

zookeeper.connect=localhost:2181 #zookeeper地址和端口，單機配置部署，localhost:2181

:wq! #保存退出

3、配置zookeeper

mkdir /usr/local/kafka/zookeeper #創(chuàng)建zookeeper目錄

mkdir /usr/local/kafka/log/zookeeper #創(chuàng)建zookeeper日志目錄

cd /usr/local/kafka/config #進入配置目錄

vi zookeeper.properties #編輯修改相應的參數(shù)

dataDir=/usr/local/kafka/zookeeper #zookeeper數(shù)據(jù)目錄

dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目錄

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

syncLimit=5

:wq! #保存退出

四、創(chuàng)建啟動、關閉kafka腳本

cd /usr/local/kafka

#創(chuàng)建啟動腳本

vi kafkastart.sh?#編輯，添加以下代碼

#!/bin/sh

#啟動zookeeper

/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

sleep 3 #等3秒后執(zhí)行

#啟動kafka

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

:wq! #保存退出

#創(chuàng)建關閉腳本

vi kafkastop.sh #編輯，添加以下代碼

#!/bin/sh

#關閉zookeeper

/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &

sleep 3 #等3秒后執(zhí)行

#關閉kafka

/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

:wq! #保存退出

#添加腳本執(zhí)行權限

chmod +x kafkastart.sh

chmod +x kafkastop.sh

五、設置腳本開機自動執(zhí)行

vi /etc/rc.d/rc.local #編輯，在最后添加一行

sh /usr/local/kafka/kafkastart.sh & ＃設置開機自動在后臺運行腳本

:wq! #保存退出

sh /usr/local/kafka/kafkastart.sh #啟動kafka

sh /usr/local/kafka/kafkastop.sh #關閉kafka

至此，Linux下Kafka單機安裝配置完成。

擴展閱讀：

Kafka創(chuàng)建topic

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 test

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --from-beginning

您可能感興趣的文章:

總結

以上是生活随笔為你收集整理的linux编译kafka源码,Linux系统下Kafka单机安装配置详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。