偽分布式一:

只有一臺(tái)機(jī)子，搞偽分布式，很簡(jiǎn)單，

IP分別來自127.0.0.1和局域網(wǎng)ip,這樣一臺(tái)機(jī)子就變成兩臺(tái)，spark認(rèn)為一個(gè)IP就是一臺(tái)機(jī)子

?

偽分布式二:

兩臺(tái)機(jī)子，雖然看起來是集群，其實(shí)依然是偽分布式

根據(jù)[1]可知:

更抽象的層次來看：Spark的運(yùn)行架構(gòu)由Driver（可理解為master）和Executor（可理解為worker或slave)組成，Driver負(fù)責(zé)把用戶代碼進(jìn)行DAG切分，劃分為不同的Stage，然后把每個(gè)Stage對(duì)應(yīng)的task調(diào)度提交到Executor進(jìn)行計(jì)算，這樣Executor就并行執(zhí)行同一個(gè)Stage的task。

也就是說，兩臺(tái)機(jī)子，一臺(tái)負(fù)責(zé)統(tǒng)籌管理，只有一臺(tái)負(fù)責(zé)計(jì)算，沒有發(fā)揮集群的威力.

如果想要兩臺(tái)一起計(jì)算，需要在配置文件里面設(shè)置127.0.0.1為slave才行．

?

偽分布式三:

單機(jī)里面跑幾個(gè)虛擬機(jī)用來模擬集群

?

Reference:

[1]Spark并行計(jì)算內(nèi)容總結(jié)

總結(jié)

以上是生活随笔為你收集整理的Spark的三种伪分布式方式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。