一，Spark優勢特點

作為大數據計算框架MapReduce的繼任者，Spark具備以下優勢特性。

1，高效性

不同于MapReduce將中間計算結果放入磁盤中，Spark采用內存存儲中間計算結果，減少了迭代運算的磁盤IO，并通過并行計算DAG圖的優化，減少了不同任務之間的依賴，降低了延遲等待時間。內存計算下，Spark 比 MapReduce 快100倍。

2，易用性

不同于MapReduce僅支持Map和Reduce兩種編程算子，Spark提供了超過80種不同的Transformation和Action算子，如map,reduce,filter,groupByKey,sortByKey,foreach等，并且采用函數式編程風格，實現相同的功能需要的代碼量極大縮小。

3，通用性

Spark提供了統一的解決方案。Spark可以用于批處理、交互式查詢（Spark SQL）、實時流處理（Spark Streaming）、機器學習（Spark MLlib）和圖計算（GraphX）。

這些不同類型的處理都可以在同一個應用中無縫使用。這對于企業應用來說，就可使用一個平臺來進行不同的工程實現，減少了人力開發和平臺部署成本。

4，兼容性

Spark能夠跟很多開源工程兼容使用。如Spark可以使用Hadoop的YARN和Apache Mesos作為它的資源管理和調度器，并且Spark可以讀取多種數據源，如HDFS、HBase、MySQL等。

二，Spark基本概念

RDD：是彈性分布式數據集（Resilient Distributed Dataset）的簡稱，是分布式內存的一個抽象概念，提供了一種高度受限的共享內存模型。

DAG：是Directed Acyclic Graph（有向無環圖）的簡稱，反映RDD之間的依賴關系。

Driver Program：控制程序，負責為Application構建DAG圖。

Cluster Manager：集群資源管理中心，負責分配計算資源。

Worker Node：工作節點，負責完成具體計算。

Executor：是運行在工作節點（Worker Node）上的一個進程，負責運行Task，并為應用程序存儲數據。

Application：用戶編寫的Spark應用程序，一個Application包含多個Job。

Job：作業，一個Job包含多個RDD及作用于相應RDD上的各種操作。

Stage：階段，是作業的基本調度單位，一個作業會分為多組任務，每組任務被稱為“階段”。

Task：任務，運行在Executor上的工作單元，是Executor中的一個線程。

總結：Application由多個Job組成，Job由多個Stage組成，Stage由多個Task組成。Stage是作業調度的基本單位。

三，Spark架構設計

Spark集群由Driver, Cluster Manager（Standalone,Yarn 或 Mesos），以及Worker Node組成。對于每個Spark應用程序，Worker Node上存在一個Executor進程，Executor進程中包括多個Task線程。

四，Spark運行流程

1，Application首先被Driver構建DAG圖并分解成Stage。

2，然后Driver向Cluster Manager申請資源。

3，Cluster Manager向某些Work Node發送征召信號。

4，被征召的Work Node啟動Executor進程響應征召，并向Driver申請任務。

5，Driver分配Task給Work Node。

6，Executor以Stage為單位執行Task，期間Driver進行監控。

7，Driver收到Executor任務完成的信號后向Cluster Manager發送注銷信號。

8，Cluster Manager向Work Node發送釋放資源信號。

9，Work Node對應Executor停止運行。

五，Spark部署模式

Local：本地運行模式，非分布式。

Standalone：使用Spark自帶集群管理器，部署后只能運行Spark任務。

Yarn：Haoop集群管理器，部署后可以同時運行MapReduce，Spark，Storm，Hbase等各種任務。

Mesos：與Yarn最大的不同是Mesos 的資源分配是二次的，Mesos負責分配一次，計算框架可以選擇接受或者拒絕。

六，RDD數據結構

RDD全稱Resilient Distributed Dataset，彈性分布式數據集，它是記錄的只讀分區集合，是Spark的基本數據結構。

RDD代表一個不可變、可分區、里面的元素可并行計算的集合。

一般有兩種方式可以創建RDD，第一種是讀取文件中的數據生成RDD，第二種則是通過將內存中的對象并行化得到RDD。

//通過讀取文件生成RDD val rdd = sc.textFile("hdfs://hans/data_warehouse/test/data")//通過將內存中的對象并行化得到RDD val num = Array(1,2,3,4,5) val rdd = sc.parallelize(num) //或者 val rdd = sc.makeRDD(num)

創建RDD之后，可以使用各種操作對RDD進行編程。

RDD的操作有兩種類型，即Transformation操作和Action操作。轉換操作是從已經存在的RDD創建一個新的RDD，而行動操作是在RDD上進行計算后返回結果到 Driver。

Transformation操作都具有 Lazy 特性，即 Spark 不會立刻進行實際的計算，只會記錄執行的軌跡，只有觸發Action操作的時候，它才會根據 DAG 圖真正執行。

操作確定了RDD之間的依賴關系。

RDD之間的依賴關系有兩種類型，即窄依賴和寬依賴。窄依賴時，父RDD的分區和子RDD的分區的關系是一對一或者多對一的關系。而寬依賴時，父RDD的分區和自RDD的分區是一對多或者多對多的關系。

寬依賴關系相關的操作一般具有shuffle過程，即通過一個Patitioner函數將父RDD中每個分區上key不同的記錄分發到不同的子RDD分區。

依賴關系確定了DAG切分成Stage的方式。

切割規則：從后往前，遇到寬依賴就切割Stage。

RDD之間的依賴關系形成一個DAG有向無環圖，DAG會提交給DAGScheduler，DAGScheduler會把DAG劃分成相互依賴的多個stage，劃分stage的依據就是RDD之間的寬窄依賴。遇到寬依賴就劃分stage,每個stage包含一個或多個task任務。然后將這些task以taskSet的形式提交給TaskScheduler運行。

七，WordCount范例

只需要四行代碼就可以完成WordCount詞頻統計。

val file = sc.textFile("hello.txt") val word = file.flatMap(_.split(",")) val wordOne = word.map((_,1)) wordOne.reduceByKey(_+_)

總結

以上是生活随笔為你收集整理的Spark的基本原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。