日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

【原创】kafka client源代码分析

發(fā)布時間:2024/4/17 编程问答 23 豆豆
生活随笔 收集整理的這篇文章主要介紹了 【原创】kafka client源代码分析 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

該包下只有一個文件:ClientUtils.scala。它是一個object,里面封裝了各種client(包括producer,consumer或admin)可能會用到的方法:

1. fetchTopicMetadata(producer版本): producer client會調(diào)用該方法來發(fā)送一個TopicMetadata請求,最后返回該請求對應(yīng)的response。具體邏輯如下:
  • 構(gòu)造一個TopicMetadataRequest請求
  • 將給定的broker列表按照隨機順序打散以防止大量的請求被路由到同一個broker上
  • 遍歷打亂順序后的broker列表,嘗試著為每一個broker構(gòu)造一個sync producer連向它并發(fā)送請求,如果成功就退出遍歷,否則就記錄一個警告信息然后嘗試下一個broker
  • 但如果遍歷完之后request都沒有被成功發(fā)送,拋出異常退出,否則返回得到的response
2. fetchTopicMetadata(非producer版本):非producer客戶端程序會調(diào)用該方法來發(fā)送一個元數(shù)據(jù)請求,真正的邏輯也是通過調(diào)用上一個版本的fetchTopicMetadata實現(xiàn)。 3. parseBrokerList:解析一組broker url,url格式為host1:port1, host2:port2,...返回一組Broker對象 4. channelToAnyBroker:創(chuàng)建一個阻塞通道連向任意一個broker,返回該阻塞通道 5. channelToOffsetManager:創(chuàng)建一個阻塞通道連向給定consumer group的offset管理器。具體邏輯就是不斷地嘗試向不同的broker發(fā)送ConsumerMetadataRequest獲取對應(yīng)的broker也就是coordinator信息;一旦獲取之后比較一下是否是已創(chuàng)建的阻塞通道所連向的broker,如果是直接返回;否則創(chuàng)建一個新的阻塞隊列連向這個coordinator并斷開已創(chuàng)建的,然后返回這個coordinator

轉(zhuǎn)載于:https://www.cnblogs.com/huxi2b/p/4563469.html

總結(jié)

以上是生活随笔為你收集整理的【原创】kafka client源代码分析的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。