Spark Streaming 模塊是對(duì)于 Spark Core 的一個(gè)擴(kuò)展，目的是為了以高吞吐量，并且容錯(cuò)的方式處理持續(xù)性的數(shù)據(jù)流。目前 Spark Streaming 支持的外部數(shù)據(jù)源有 Flume、 Kafka、Twitter、ZeroMQ、TCP Socket 等。

Discretized Stream 也叫 DStream) 是 Spark Streaming 對(duì)于持續(xù)數(shù)據(jù)流的一種基本抽象，在內(nèi)部實(shí)現(xiàn)上，DStream 會(huì)被表示成一系列連續(xù)的 RDD(彈性分布式數(shù)據(jù)集)，每一個(gè) RDD 都代表一定時(shí)間間隔內(nèi)到達(dá)的數(shù)據(jù)。所以在對(duì) DStream 進(jìn)行操作時(shí)，會(huì)被 Spark Stream 引擎轉(zhuǎn)化成對(duì)底層 RDD 的操作。對(duì) Dstream 的操作類型有:

??? Transformations: 類似于對(duì) RDD 的操作，Spark Streaming 提供了一系列的轉(zhuǎn)換操作去支持對(duì) DStream 的修改。如 map,union,filter,transform 等
??? Window Operations: 窗口操作支持通過設(shè)置窗口長度和滑動(dòng)間隔的方式操作數(shù)據(jù)。常用的操作有 reduceByWindow,reduceByKeyAndWindow,window 等
??? Output Operations: 輸出操作允許將 DStream 數(shù)據(jù)推送到其他外部系統(tǒng)或存儲(chǔ)平臺(tái), 如 HDFS, Database 等，類似于 RDD 的 Action 操作，Output 操作也會(huì)實(shí)際上觸發(fā)對(duì) DStream 的轉(zhuǎn)換操作。常用的操作有 print,saveAsTextFiles,saveAsHadoopFiles, foreachRDD 等。

轉(zhuǎn)載于:https://www.cnblogs.com/TendToBigData/p/10501355.html

總結(jié)

以上是生活随笔為你收集整理的Spark Steaming 点滴的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。