apache kafka

微服務(wù)架構(gòu)不是免費的午餐 ！ 微服務(wù)需要解耦，靈活，操作透明，數(shù)據(jù)感知和彈性。 過去幾年的大多數(shù)材料僅討論具有緊密耦合且不可擴展的技術(shù)（如REST / HTTP）的點對點體系結(jié)構(gòu)。 這篇博客文章介紹了Apache Kafka，Kubernetes，Envoy，Linkerd和Istio等尖端技術(shù)，以實現(xiàn)云原生服務(wù)網(wǎng)格來解決這些挑戰(zhàn)，并將微服務(wù)提升到規(guī)模，速度和效率的新水平 。

以下是構(gòu)建可伸縮，可靠，健壯和可觀察的微服務(wù)體系結(jié)構(gòu)的關(guān)鍵要求：

在更詳細地介紹之前，讓我們先看一下關(guān)鍵要點：

• Apache Kafka解耦服務(wù) ，包括事件流和 請求-響應(yīng)
• Kubernetes 為 Kafka生態(tài)系統(tǒng)提供了云原生基礎(chǔ)架構(gòu)
• Service Mesh在生態(tài)系統(tǒng)/組織范圍內(nèi)幫助提高 安全性和可觀察性
• Envoy和 Istio 位于 Kafka上方的一層，并且與Kafka的目標正交

以下各節(jié)涵蓋了有關(guān)此問題的更多想法。 博客文章的末尾包含幻燈片和錄像帶，以獲取更多詳細說明。

微服務(wù)，服務(wù)網(wǎng)格和Apache Kafka

Apache Kafka成為事實上的微服務(wù)架構(gòu)標準 。 它遠遠超出了可靠且可擴展的大容量消息傳遞。 分布式存儲允許獨立的微服務(wù)之間實現(xiàn)高可用性和真正的解耦。 此外，您可以利用Kafka Connect進行集成，并利用Kafka Streams API在自治團隊中構(gòu)建輕量級流處理微服務(wù)。

服務(wù)網(wǎng)格對體系結(jié)構(gòu)進行了補充 。 它描述了組成此類應(yīng)用程序的微服務(wù)網(wǎng)絡(luò)及其之間的交互。 它的要求可以包括發(fā)現(xiàn)，負載平衡，故障恢復(fù)，指標和監(jiān)視。 服務(wù)網(wǎng)格通常還具有更復(fù)雜的操作要求，例如A / B測試，金絲雀推出，速率限制，訪問控制和端到端身份驗證。

我探討了分布式微服務(wù)通信的問題以及Apache Kafka和Service Mesh解決方案如何解決該問題。 這篇博客文章介紹了一些將兩種方法結(jié)合起來以構(gòu)建具有去耦和安全微服務(wù)的可靠且可擴展的微服務(wù)體系結(jié)構(gòu)的方法。

討論和體系結(jié)構(gòu)包括各種開源技術(shù)，例如Apache Kafka，Kafka Connect，Kubernetes，HAProxy，Envoy，LinkerD和Istio。

在此有關(guān)“微服務(wù)，Apache Kafka和域驅(qū)動設(shè)計（DDD） ”的相關(guān)博文中，了解有關(guān)使用Kafka解耦微服務(wù)的更多信息。

使用Kubernetes的Cloud-Native Kafka

云原生基礎(chǔ)架構(gòu)具有可擴展性，靈活性，敏捷性，彈性和自動化。 Kubernetes獲得了出廠標準。 無狀態(tài)服務(wù)的部署非常簡單明了。 但是，部署有狀態(tài)的分布式應(yīng)用程序（例如Apache Kafka）要困難得多。 需要大量的人工操作。 Kubernetes不會自動解決Kafka特定的挑戰(zhàn)，例如滾動升級，安全性配置或代理之間的數(shù)據(jù)平衡。 在K8s自定義資源定義（CRD）中實現(xiàn)的Kafka運算符可以在這里提供幫助！

Kubernetes的運營商模式旨在捕捉正在管理一項服務(wù)或一組服務(wù)的人類運營商的主要目標。 負責特定應(yīng)用程序和服務(wù)的人工操作員對系統(tǒng)應(yīng)該如何運行，如何部署以及在出現(xiàn)問題時如何做出React有深入的了解。

在Kubernetes上運行工作負載的人們通常喜歡使用自動化來處理可重復(fù)的任務(wù)。 Operator模式捕獲了如何編寫代碼以自動執(zhí)行Kubernetes本身提供的功能以外的任務(wù) 。

存在用于Kubernetes的Kafka運營商的不同實現(xiàn)方式： 融合運營商 ， IBM / Red Hat的Strimzi ， Banzai Cloud 。 在這里，我不會詳細介紹K8s Kafka操作員的特性和優(yōu)勢。 我已經(jīng)在另一篇博客文章中對此進行了詳細說明（下面的視頻還將討論該主題）：

使用基于Kubernetes的技術(shù)（例如Envoy，Linkerd或Istio）的服務(wù)網(wǎng)格

服務(wù)網(wǎng)格是一種微服務(wù)模式，用于將可見性，可靠性和安全性原語用于服務(wù)到服務(wù)的通信移至基礎(chǔ)結(jié)構(gòu)層，而不是應(yīng)用程序?qū)印?/strong>