kafka配置文件 中文乱码_Kafka学习之配置文件详解
------------------------------------------- 系統 相關 -------------------------------------------
## 每一個broker在集群中的唯一標示，要求是正數。在改變IP地址，不改變broker.id的話不會影響consumers
broker.id =1
## kafka數據的存放地址，多個地址的話用逗號分割 /tmp/kafka-logs-1，/tmp/kafka-logs-2。
## 每當創建新partition時，都會選擇在包含最少 partitions的路徑下進行。注：這個目錄下不能有其他非kafka的目錄，不然會導致kafka集群無法啟動
log.dirs = /tmp/kafka-logs
## 提供給客戶端響應的端口
port =9092
## 消息體的最大大小，單位是字節
message.max.bytes =1000000
## broker 處理消息的最大線程數，一般情況下不需要去修改
num.network.threads =3
## broker處理磁盤IO 的線程數 ，數值應該大于你的硬盤數
num.io.threads =8
## 一些后臺任務處理的線程數，例如過期消息文件的刪除等，一般情況下不需要去做修改
background.threads =4
## 等待IO線程處理的請求隊列最大數，若是等待IO的請求超過這個數值，那么會停止接受外部消息，算是一種自我保護機制
queued.max.requests =500
##broker的主機地址，若是設置了，那么會綁定到這個地址上，若是沒有，會綁定到所有的接口上，并將其中之一發送到ZK，一般不設置
host.name
## 打廣告的地址，若是設置的話，會提供給producers, consumers,其他broker連接，具體如何使用還未深究
advertised.host.name
## 廣告地址端口，必須不同于port中的設置
advertised.port
## socket的發送緩沖區，socket的調優參數SO_SNDBUFF
socket.send.buffer.bytes =100*1024
## socket的接受緩沖區，socket的調優參數SO_RCVBUFF
socket.receive.buffer.bytes =100*1024
## socket請求的最大數值，防止serverOOM，message.max.bytes必然要小于socket.request.max.bytes，會被topic創建時的指定參數覆蓋
socket.request.max.bytes =100*1024*1024
------------------------------------------- LOG 相關 -------------------------------------------
## topic的分區是以一堆segment文件存儲的，這個控制每個segment的大小，文件超過指定大小會重新創建一個文件，會被topic創建時的指定參數覆蓋
log.segment.bytes =1024*1024*1024
## 這個參數會在日志segment沒有達到log.segment.bytes設置的大小，也會強制新建一個segment，會被topic創建時的指定參數覆蓋
log.roll.hours =24*7
## 日志清理策略 選擇有：delete和compact 主要針對過期數據的處理，或是日志文件達到限制的額度，會被 topic創建時的指定參數覆蓋
log.cleanup.policy = delete
## 數據存儲的最大時間 超過這個時間 會根據log.cleanup.policy設置的策略處理數據，也就是消費端能夠多久去消費數據
## log.retention.bytes和log.retention.minutes任意一個達到要求，都會執行刪除，會被topic創建時的指定參數覆蓋
log.retention.minutes=7days
## 指定日志每隔多久檢查看是否可以被刪除，默認1分鐘
log.cleanup.interval.mins=1
## topic每個分區的最大文件大小，一個topic的大小限制 = 分區數*log.retention.bytes 。-1沒有大小限制
## log.retention.bytes和log.retention.minutes任意一個達到要求，都會執行刪除，會被topic創建時的指定參數覆蓋
log.retention.bytes=-1
## 日志清除程序檢查日志是否滿足被刪除的頻率(以毫秒為單位) log.cleanup.policy中設置的策略
log.retention.check.interval.ms=5minutes
## 是否開啟日志壓縮
log.cleaner.enable=false
## 日志壓縮運行的線程數
log.cleaner.threads =1
## 日志壓縮時候處理的最大大小
log.cleaner.io.max.bytes.per.second=None
## 日志壓縮去重時候的緩存空間 ，在空間允許的情況下，越大越好
log.cleaner.dedupe.buffer.size=500*1024*1024
## 日志清理時候用到的IO塊大小 一般不需要修改
log.cleaner.io.buffer.size=512*1024
## 日志清理中hash表的擴大因子 一般不需要修改
log.cleaner.io.buffer.load.factor =0.9
## 當沒有日志要清理時，休眠的時間
log.cleaner.backoff.ms =15000
## 日志清理的頻率控制，越大意味著更高效的清理，同時會存在一些空間上的浪費，會被topic創建時的指定參數覆蓋
log.cleaner.min.cleanable.ratio=0.5
## 對于壓縮的日志保留的最長時間，也是客戶端消費消息的最長時間，同log.retention.minutes的區別在于一個控制未壓縮數據，一個控制壓縮后的數據。會被topic創建時的指定參數覆蓋
log.cleaner.delete.retention.ms =1day
## 對于segment日志的索引文件大小限制，會被topic創建時的指定參數覆蓋
log.index.size.max.bytes =10*1024*1024
## 當執行一個fetch操作后，需要一定的空間來掃描最近的offset大小，設置越大，代表掃描速度越快，但是也更好內存，一般情況下不需要搭理這個參數
log.index.interval.bytes =4096
## log文件"sync"到磁盤之前累積的消息條數
## 因為磁盤IO操作是一個慢操作,但又是一個"數據可靠性"的必要手段，所以此參數的設置,需要在"數據可靠性"與"性能"之間做必要的權衡.
## 如果此值過大,將會導致每次"fsync"的時間較長(IO阻塞)；如果此值過小,將會導致"fsync"的次數較多,這也意味著整體的client請求有一定的延遲.
## 物理server故障,將會導致沒有fsync的消息丟失.
log.flush.interval.messages=None
## 檢查是否需要固化到硬盤的時間間隔
log.flush.scheduler.interval.ms =3000
## 僅僅通過interval來控制消息的磁盤寫入時機,是不足的.
## 此參數用于控制"fsync"的時間間隔,如果消息量始終沒有達到閥值,但是離上一次磁盤同步的時間間隔達到閥值,也將觸發.
log.flush.interval.ms = None
## 文件在索引中清除后保留的時間 一般不需要去修改
log.delete.delay.ms =60000
## 控制上次固化硬盤的時間點，以便于數據恢復 一般不需要去修改
log.flush.offset.checkpoint.interval.ms =60000
------------------------------------------- TOPIC 相關 -------------------------------------------
## 是否允許自動創建topic ，若是false，就需要通過命令創建topic
auto.create.topics.enable =true
## 一個topic ，默認分區的replication個數 ，不得大于集群中broker的個數
default.replication.factor =1
## 每個topic的分區個數，若是在topic創建時候沒有指定的話 會被topic創建時的指定參數覆蓋
num.partitions =1
總結
以上是生活随笔為你收集整理的kafka配置文件 中文乱码_Kafka学习之配置文件详解的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： blob html 预览_本地图片预览+
- 下一篇： 命令点无效怎么处理_怎么更好处理闲置包包