Azure Synapse Analytics 是一項針對大型公司的無限信息分析服務(wù)，它被呈現(xiàn)為 Azure SQL 數(shù)據(jù)倉庫 (SQL DW) 的演變，將業(yè)務(wù)數(shù)據(jù)存儲和宏或大數(shù)據(jù)分析結(jié)合在一起。

在處理、管理和提供數(shù)據(jù)以滿足即時商業(yè)智能和數(shù)據(jù)預(yù)測需求時，Synapse 為所有工作負(fù)載提供單一服務(wù)。后者通過與 Power BI 和 Azure 機器學(xué)習(xí)的集成而成為可能，因為 Synapse 能夠使用 ONNX 格式集成數(shù)學(xué)機器學(xué)習(xí)模型。它提供了處理和查詢大量信息的自由度.作為微軟在西班牙為數(shù)不多的 Power BI 合作伙伴之一，在 Bismart，我們在使用 Power BI 和 Azure Synapse 方面擁有豐富的經(jīng)驗。

Azure Synapse 分析如何工作？

微軟的服務(wù)是SaaS（軟件即服務(wù)），可以按需使用，只在需要的時候運行（這對成本節(jié)約有影響）。它有四個組成部分：

• 具有完整基于 T-SQL 的分析的 SQL 分析：SQL 集群（按計算單位付費）和 SQL 按需（按處理的 TB 付費）。

• Apache Spark 完全集成。

• 具有多個數(shù)據(jù)源的連接器。

Azure Synapse 使用?Azure Data Lake Storage Gen2 作為數(shù)據(jù)倉庫和包含管理、監(jiān)視和元數(shù)據(jù)管理部分的一致數(shù)據(jù)模型。在安全領(lǐng)域，它允許您保護、監(jiān)視和管理您的數(shù)據(jù)和分析解決方案，例如使用單點登錄和?Azure Active Directory?集成。基本上，Azure Synapse 完成了整個數(shù)據(jù)集成和 ETL 過程，它不僅僅是一個普通的數(shù)據(jù)倉庫，因為它包括該過程的進(jìn)一步階段，使用戶還可以創(chuàng)建報告和可視化。

在編程語言支持方面，它提供了 SQL、Python、.NET、Java、Scala 和 R 等多種語言的選擇。這使其非常適合不同的分析工作負(fù)載和不同的工程配置文件。

一切都包含在 Synapse Analytics Studio 中，可以輕松地將人工智能、機器學(xué)習(xí)、物聯(lián)網(wǎng)、智能應(yīng)用程序或商業(yè)智能集成到同一個統(tǒng)一平臺中。

使用 T-SQL 和 Spark

關(guān)于執(zhí)行時間，它允許兩個引擎。一方面是傳統(tǒng)的 SQL 引擎 (T-SQL)，另一方面是 Spark 引擎。通過這種方式，可以將 T-SQL 用于批處理、流式處理和交互式處理，或者在需要使用 Python、Scala、R 或 .NET 進(jìn)行大數(shù)據(jù)處理時使用 Spark。

在這里，它直接鏈接到 Azure Databricks，這是一種基于 Apache Spark 的人工智能和宏數(shù)據(jù)分析服務(wù)，允許在交互式工作區(qū)中對共享項目進(jìn)行自動可擴展性和協(xié)作。Azure Synapse 在兩種服務(wù)之間提供了一個高性能連接器，可實現(xiàn)快速數(shù)據(jù)傳輸。這意味著可以繼續(xù)使用 Azure Databricks（Apache Spark 的優(yōu)化）和專門用于提取、轉(zhuǎn)換和加載 (ETL) 工作負(fù)載的數(shù)據(jù)架構(gòu)，以大規(guī)模準(zhǔn)備和塑造數(shù)據(jù)。反過來，Azure Synapse 和 Azure Databricks 可以對 Azure Data Lake Storage 中的相同數(shù)據(jù)運行分析。

Azure Synapse 和 Azure Databricks 為我們提供了更大的機會，可以將分析、商業(yè)智能和數(shù)據(jù)科學(xué)解決方案與服務(wù)之間的共享數(shù)據(jù)湖相結(jié)合。

在實現(xiàn)最大兼容性和功率的道路上

最初，Microsoft 服務(wù)是作為公司必須面對的兩個基本問題的解決方案而提出的。首先是兼容性。它集成的數(shù)據(jù)分析系統(tǒng)能夠同時處理傳統(tǒng)系統(tǒng)和非結(jié)構(gòu)化數(shù)據(jù)以及各種數(shù)據(jù)源。因此，它能夠分析存儲在系統(tǒng)中的數(shù)據(jù)，例如客戶數(shù)據(jù)庫（姓名和地址位于像電子表格一樣排列的行和列中）以及存儲在數(shù)據(jù)湖中的鑲木地板格式的數(shù)據(jù)。

但它還在自動處理任務(wù)以構(gòu)建用于分析數(shù)據(jù)的系統(tǒng)方面提供了更大的多功能性。這種增強的功能直接導(dǎo)致減少了程序員所需的工作量，并延長了項目開發(fā)時間（它是第一個也是唯一一個以 PB 級執(zhí)行所有 TPC-H 查詢的分析系統(tǒng)）。

Azure Synapse 實現(xiàn)了需要幾個月的項目可以在幾天內(nèi)完成，或者需要幾分鐘或幾小時的復(fù)雜數(shù)據(jù)庫查詢現(xiàn)在只需幾秒鐘。

毫秒內(nèi)成功協(xié)商
除了單獨擴展進(jìn)程和存儲資源之外，Azure Synapse Analytics 還因其結(jié)果緩存功能而脫穎而出（它具有完全托管的 1 TB 緩存）。因此，當(dāng)進(jìn)行查詢時，它會存儲在此緩存中，以加快使用相同類型數(shù)據(jù)的下一個查詢。

這是它能夠在毫秒內(nèi)引發(fā)響應(yīng)的關(guān)鍵之一。這是因為緩存在暫停、恢復(fù)和擴展操作（可以通過為云設(shè)計的大規(guī)模并行處理架構(gòu)非常快速地激活）中幸存下來。

工作負(fù)載和性能

同樣值得注意的是它對 JSON 的全面支持、數(shù)據(jù)屏蔽以確保高水平的安全性、對 SSDT（SQL Server 數(shù)據(jù)工具）的支持，尤其是工作負(fù)載管理以及如何對其進(jìn)行優(yōu)化和隔離。在這里，多個工作負(fù)載共享實現(xiàn)的資源。這使得創(chuàng)建工作負(fù)載并為其分配 CPU 數(shù)量和并發(fā)性成為可能。

例如，在擁有 1000 個 DWU（數(shù)據(jù)倉庫單元）的情況下，Azure Synapse 有助于將工作的一部分分配給銷售，另一部分分配給市場營銷（例如 60% 分配給一個，40% 分配給另一個）。這個想法是為了便于管理和優(yōu)先考慮數(shù)據(jù)庫查詢。

在數(shù)據(jù)準(zhǔn)備和攝取方面，它支持以集成方式流式傳輸（Native SQL Streaming）以生成分析，例如與事件中心或物聯(lián)網(wǎng)中心集成。它通過實現(xiàn)高達(dá) 200MB/秒的高性能、以秒為單位的交付延遲、隨計算規(guī)模擴展的攝取性能以及使用基于 Microsoft SQL 的組合、聚合、過濾器查詢的分析能力來實現(xiàn)這一目標(biāo)……

一些附加功能

最后，我們必須強調(diào) Azure Synapse Analytics 的其他有趣方面，這些方面有助于加快數(shù)據(jù)加載和促進(jìn)流程。其中有：

• 對于數(shù)據(jù)準(zhǔn)備和加載，復(fù)制命令不再需要外部表，因為它允許您將表直接加載到數(shù)據(jù)庫中。

• 它提供對標(biāo)準(zhǔn)?CSV 的全面支持：換行符和自定義分隔符以及 SQL 日期。

• 提供用戶控制的文件選擇（通配符支持）

• 機器學(xué)習(xí)支持：可以以 ONNX 格式創(chuàng)建和保存機器學(xué)習(xí)模型，這些模型存儲在 Azure Synapse 數(shù)據(jù)存儲中并與本機 PREDICT 指令一起使用。

• 與 Data Lake 集成：來自 Azure Synapse，文件以 Parquet 格式在 Data Lake 中讀取，從而實現(xiàn)了更高的性能，將 Polybase 執(zhí)行提高了 13 倍以上。

簡而言之，一種保證開發(fā)線的服務(wù)，以確保 SQL DW 客戶可以繼續(xù)在生產(chǎn)中運行現(xiàn)有的數(shù)據(jù)存儲工作負(fù)載并自動受益于新功能。

本文	https://jiagoushi.pro/what-azure-synapse-and-how-it-different-azure-data-bricks
討論：知識星球【首席架構(gòu)師圈】或者加微信小號【cea_csa_cto】或者加QQ群【792862318】
公眾號	【jiagoushipro】 【超級架構(gòu)師】 精彩圖文詳解架構(gòu)方法論，架構(gòu)實踐，技術(shù)原理，技術(shù)趨勢。 我們在等你，趕快掃描關(guān)注吧。
微信小號	【cea_csa_cto】 50000人社區(qū)，討論：企業(yè)架構(gòu)，云計算，大數(shù)據(jù)，數(shù)據(jù)科學(xué)，物聯(lián)網(wǎng)，人工智能，安全，全棧開發(fā)，DevOps，數(shù)字化.
QQ群	【792862318】深度交流企業(yè)架構(gòu)，業(yè)務(wù)架構(gòu)，應(yīng)用架構(gòu)，數(shù)據(jù)架構(gòu)，技術(shù)架構(gòu)，集成架構(gòu)，安全架構(gòu)。以及大數(shù)據(jù)，云計算，物聯(lián)網(wǎng)，人工智能等各種新興技術(shù)。 加QQ群，有珍貴的報告和干貨資料分享。
視頻號	【超級架構(gòu)師】 1分鐘快速了解架構(gòu)相關(guān)的基本概念，模型，方法，經(jīng)驗。 每天1分鐘，架構(gòu)心中熟。
知識星球	向大咖提問，近距離接觸，或者獲得私密資料分享。
喜馬拉雅	路上或者車上了解最新黑科技資訊，架構(gòu)心得。	【智能時刻，架構(gòu)君和你聊黑科技】
知識星球	認(rèn)識更多朋友，職場和技術(shù)閑聊。	知識星球【職場和技術(shù)】
微博	【智能時刻】	智能時刻
嗶哩嗶哩	【超級架構(gòu)師】
抖音	【cea_cio】超級架構(gòu)師
快手	【cea_cio_cto】超級架構(gòu)師
小紅書	【cea_csa_cto】超級架構(gòu)師

謝謝大家關(guān)注，轉(zhuǎn)發(fā)，點贊和點在看。

總結(jié)

以上是生活随笔為你收集整理的【数据仓库】什么是 Azure Synapse，它与 Azure Data Bricks 有何不同？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。