翻譯自?Apache Druid

Apache Druid（正在孵化）是一個開源的分布式數據存儲。德魯伊的核心設計結合了OLAP /分析數據庫，時間序列數據庫和搜索系統的思想，為廣泛的用例創建了一個統一的系統。Druid將這三個系統中的每個系統的關鍵特征合并到其接收層，存儲格式，查詢層和核心體系結構中。

德魯伊的主要功能包括：

列式存儲

Druid分別存儲和壓縮每一列，并且只需要讀取特定查詢所需的內容即可，這支持快速掃描，排名和groupBys。

本機搜索索引

Druid為字符串值創建倒排索引，以便快速搜索和過濾。

流式處理和批量攝取

適用于Apache Kafka，HDFS，AWS S3，流處理器等的現成連接器。

靈活的架構

德魯伊優雅地處理不斷發展的模式和嵌套數據。

時間優化的分區

Druid基于時間對數據進行智能分區，并且基于時間的查詢比傳統數據庫要快得多。

SQL支持

除了基于本機JSON的本地語言外，Druid還通過HTTP或JDBC?講SQL。

橫向可擴展性

Druid已用于生產中，每秒接收數百萬個事件，保留多年的數據并提供亞秒級的查詢。

操作簡便

只需添加或刪除服務器即可擴大或縮小規模，而Druid會自動重新平衡。容錯架構圍繞服務器故障進行路由。

積分

Druid是Apache軟件基金會中許多開源數據技術的補充，包括Apache Kafka，Apache Hadoop，Apache Flink等。

德魯伊通常位于存儲或處理層與最終用戶之間，并充當查詢層以服務于分析工作負載。

攝取

德魯伊支持流式傳輸和批量攝取。Druid連接到原始數據源，通常是消息總線，例如Apache Kafka（用于流數據加載），或分布式文件系統，例如HDFS（用于批處理數據加載）。

在調用“索引”的過程中，Druid將存儲在源中的原始數據轉換為更具讀取優化的格式（稱為Druid“段”）。

有關更多信息，請訪問我們的文檔頁面。

存儲

像許多分析數據存儲一樣，Druid將數據存儲在列中。根據列的類型（字符串，數字等），將應用不同的壓縮和編碼方法。Druid還根據列類型構建不同類型的索引。

與搜索系統類似，Druid為字符串列構建反向索引，以進行快速搜索和過濾。與時間序列數據庫類似，Druid可按時間對數據進行智能分區，以實現快速的面向時間的查詢。

與許多傳統系統不同，Druid可以選擇在提取數據時對其進行預聚合。此預聚合步驟稱為匯總，可以節省大量存儲空間。

有關更多信息，請訪問我們的文檔頁面。

查詢方式

Druid支持通過JSON-over-HTTP和SQL查詢數據。除標準SQL運算符外，Druid還支持獨特的運算符，這些運算符利用其近似算法套件來提供快速計數，排名和分位數。

有關更多信息，請訪問我們的文檔頁面。

架構

德魯伊具有基于微服務的架構，可以認為是一個反匯編的數據庫。Druid中的每個核心服務（攝取，查詢和協調）都可以單獨或聯合部署在商用硬件上。

Druid明確命名了每個主要服務，以使操作員可以根據用例和工作量對每個服務進行微調。例如，如果工作負載需要，操作員可以將更多資源分配給Druid的提取服務，而將更少的資源分配給Druid的查詢服務。

德魯伊服務可以獨立發生故障，而不會影響其他服務的運行。

有關更多信息，請訪問我們的文檔頁面。

運作方式

德魯伊旨在為需要每周7天，每天24小時不間斷運行的應用程序供電。因此，德魯伊具有多種功能來確保正常運行時間且不會丟失數據。

資料復制

Druid中的所有數據都被復制了可配置的次數，因此單個服務器故障對查詢沒有影響。

獨立服務

Druid明確命名了其所有主要服務，并且每個服務都可以根據用例進行微調。服務可以獨立發生故障，而不會影響其他服務。例如，如果提取服務失敗，則系統中不會加載任何新數據，但是現有數據仍可查詢。

自動數據備份

Druid自動將所有索引數據備份到文件系統（例如HDFS）。您可能會丟失整個Druid群集，并從此備份數據中快速還原它。

滾動更新

您可以通過滾動更新來更新Druid群集，而不會造成停機時間，也不會影響最終用戶。所有Druid版本都向后兼容先前的版本。

總結

以上是生活随笔為你收集整理的Apache Druid（一）简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。