問(wèn)題

從卡夫卡鏡子制造商轉(zhuǎn)移到布魯克林有我在這里所寫(xiě)的優(yōu)勢(shì)。 但是，進(jìn)行這種遷移并不容易，因?yàn)樗緛?lái)應(yīng)該如此。 我面臨的主要挑戰(zhàn)是：在消費(fèi)者Kafka經(jīng)紀(jì)人和Brooklin之間建立SSL連接

解

SSL問(wèn)題

事實(shí)證明，這個(gè)問(wèn)題比我預(yù)期的要棘手得多。

我一直在使用Brooklin的1.0.2版本進(jìn)行工作。 我遇到的問(wèn)題是我無(wú)法在kafkaMirroringConnector（用于創(chuàng)建Kafka使用者以監(jiān)聽(tīng)Kafka Broker的連接器）和Kafka Broker之間創(chuàng)建SSL連接，而問(wèn)題在于代碼的局限性。 閱讀完代碼后 ，我意識(shí)到唯一的選擇就是修復(fù)它并創(chuàng)建一個(gè)新構(gòu)建。

從技術(shù)上講，更改僅屬于2個(gè)文件。

KafkaMirrorMakerConnectorTask.java

//Add following line to createKafkaConsumer method properties.putIfAbsent(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, _mirrorMakerSource.isSecure() ? "SSL" : "PLAINTEXT" );

server.properties

//Add below line under 'Kakfa Mirror connector Configs' . //This would be used by createConsumer under //PartitionDisciveryThread brooklin.server.connector.kafkaMirroringConnector.consumer.security.protocol=SSL

構(gòu)建datastream-kafka-connector模塊并替換brooklin lib目錄中的jar。

現(xiàn)在，當(dāng)創(chuàng)建一個(gè)新的布魯克林任務(wù)時(shí)，您可以在源字符串中使用kafka ssl代替kafka 。

Example : bin/brooklin-rest-client.sh -o CREATE -u http: //localhost:32311/ -n first-mirroring-stream -s "kafkassl://localhost:9093/^(first|second)-topic$" -c kafkaMirroringConnector -t kafkaTransportProvider -m '{"owner":"test-user","system.reuseExistingDestination":"false"}' 2>/dev/null

注意 ：我嘗試但不起作用的另一種方法是使用ConsumerFactoryClassName參數(shù)。 這可以幫助您根據(jù)代碼創(chuàng)建自定義使用者，但這給我?guī)?lái)了更多問(wèn)題。

翻譯自: https://www.javacodegeeks.com/2020/06/challenges-of-moving-from-kafka-mirror-maker-to-brooklin-for-ssl-kafka-brokers.html

總結(jié)

以上是生活随笔為你收集整理的SSL Kafka经纪人从Kafka Mirror Maker迁移到Brooklin的挑战的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。