spark core實現了spark的基本功能：存儲交互、任務調度、內存管理、錯誤恢復等；本片文章主要介紹與數據交互相關的核心技術點。

本文目錄：

• RDD特性及交互
• shuffle操作及調優
• RDD持久化的應用
• Broadcast Variables&Accumulators共享變量的優勢及應用場景
• 下篇預告

RDD特性及交互

彈性分布式數據集(resilient distributed dataset)，具備只讀、可并行計算、容錯性等三個主要特性。

可以由hdfs文件(包含hbase等各類以hdfs為基礎的數據源)或者scala集合來創建RDD。

針對RDD，spark提供了兩種類型的操作算子：transformations、action

• transformations

主要是基于已有的RDD創建新的RDD，transformations類操作具有惰性(lazy)，僅當遇見action操作需要結果時才執行，這個特性也是spark更加高效的原因之一。默認情況下，每一次action都會觸發與之相關的transformations，如果一個rdd會多次使用，建議進行持久化或者緩存。

transformations算子

• action

是將在rdd上計算的將結果傳給driver program。Job就是根據action算子劃分的。

action算子

Shuffle

指的是會引起數據的重分布的操作(re-distributing data)；比如：repartition、coalesce、ByKey的操作以及join類別的操作，如：cogroup、join等。stage救贖根據shuffle算子劃分的

shuffle操作需要大量的IO、網絡IO以及序列化等操作，比較耗資源。

比較老的spark版本采用hash based shuffle(現在以及棄用)方式進行shuffle。舉例：3個 map task， 3個 reducer， 會產生 9個小文件，

hash based shuffle

比較新的spark版本采用Consolidated HashShuffle:4個map task， 4個reducer， 如果不使用 Consolidation機制， 會產生 16個小文件。但是但是現在這 4個 map task 分兩批運行在 2個core上， 這樣只會產生 8個小文件。

Consolidated HashShuffle

shuffle調優方式

• 合理的設置partition數目
• 防止數據傾斜
• 合理配置一些參數，如excutor的內存，網絡傳輸中數據的壓縮方式，傳輸失敗的重試次數等。

RDD 持久化

當一個RDD會重復使用時，可以選擇持久化來縮短任務執行時間。(但如果數據量不是太大，重新生成RDD的時間消耗小于從磁盤或內存加載的時間時，就不宜持久化)

spark自動管理持久化之后的數據，會結合least-recently-used (LRU)算法刪除數據。

持久化有如下幾種方式：

RDD持久化

Broadcast Variables&Accumulators共享變量

Broadcast Variables

針對只讀變量的數據共享機制。以比較高效的方式將只讀變量共享到所有機器上，當然使用普通變量也能達到類似的效果，但Broadcast類型的變量更加高效，主要具有以下優點。

• broadcast類型變量可以保證只在executor的內存中存在一份，只需要發送一次。普通變量每個task都會發生一次數據傳輸。
• 將要傳輸的變量不需要實現Serializable接口
• 可以高效地傳輸較大的數據集

2. Accumulators

可以理解為一個只能進行加法操作的變量，spark有一些內置類型，如：longAccumulator、doubleAccumulator，用戶也可自定義。Task在執行過程中只能調用其add方法，但是不能獲取到他的值。只有Driver Progeam可以獲取到它的值。常用的場景有計數、求和等。 示例：

val accum = sc.longAccumulator("My Accumulator")

sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum.add(x))

accum.value

下篇預告

下篇將會介紹spark core的任務調度與容錯機制

相關文章：

spark系列：spark生態組件與應用場景

ES系列：elasticsearch的功能及Top 5大應用場景

ES系列：集群、索引、搜索配置優化方案

ES系列：elasticsearch數據的存儲結構

es系列：集群分布式架構及原理

ES系列：elasticsearch基礎知識匯總及常見面試題(一)

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的rdd数据存内存 数据量_spark系列：spark core 数据交互技术点（数据模型）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。