建站服務(wù)器

這篇文章給大家分享的是有關(guān)apache spark指的是什么的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過來看看吧。

Apache Spark是一個(gè)開源集群運(yùn)算框架，最初是由加州大學(xué)柏克萊分校AMPLab所開發(fā)。相對(duì)于Hadoop的MapReduce會(huì)在運(yùn)行完工作后將中介數(shù)據(jù)存放到磁盤中，Spark使用了存儲(chǔ)器內(nèi)運(yùn)算技術(shù)，能在數(shù)據(jù)尚未寫入硬盤時(shí)即在存儲(chǔ)器內(nèi)分析運(yùn)算。

Spark在存儲(chǔ)器內(nèi)運(yùn)行程序的運(yùn)算速度能做到比Hadoop MapReduce的運(yùn)算速度快上100倍，即便是運(yùn)行程序于硬盤時(shí)，Spark也能快上10倍速度。Spark允許用戶將數(shù)據(jù)加載至集群存儲(chǔ)器，并多次對(duì)其進(jìn)行查詢，非常適合用于機(jī)器學(xué)習(xí)算法。

使用Spark需要搭配集群管理員和分布式存儲(chǔ)系統(tǒng)。Spark支持獨(dú)立模式（本地Spark集群）、Hadoop YARN或Apache Mesos的集群管理。

在分布式存儲(chǔ)方面，Spark可以和HDFS、 Cassandra、OpenStack Swift和Amazon S3等接口搭載。 Spark也支持偽分布式（pseudo-distributed）本地模式，不過通常只用于開發(fā)或測(cè)試時(shí)以本機(jī)文件系統(tǒng)取代分布式存儲(chǔ)系統(tǒng)。在這樣的情況下，Spark僅在一臺(tái)機(jī)器上使用每個(gè)CPU核心運(yùn)行程序。

在2014年有超過465位貢獻(xiàn)家投入Spark開發(fā)，讓其成為Apache軟件基金會(huì)以及大數(shù)據(jù)眾多開源項(xiàng)目中最為活躍的項(xiàng)目。

感謝各位的閱讀！關(guān)于apache spark指的是什么就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

總結(jié)

以上是生活随笔為你收集整理的apache spark指的是什么的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。