七牛技術總監陳超：記Spark Summit China 2015

width="22" height="16" src="http://hits.sinajs.cn/A1/weiboshare.html?url=http%3A%2F%2Fwww.csdn.net%2Farticle%2F2015-04-30%2F2824594-spark-summit-china-2015&type=3&count=&appkey=&title=%E7%9B%B8%E6%AF%94%E5%8E%BB%E5%B9%B4%E5%B3%B0%E4%BC%9A%EF%BC%8C%E4%BB%8A%E5%B9%B4%E7%9A%84Spark%E5%B3%B0%E4%BC%9A%E6%98%BE%E5%BE%97%E6%9B%B4%E5%8A%A0%E8%87%AA%E4%BF%A1%E3%80%82%E5%8E%BB%E5%B9%B4%EF%BC%8C%E5%A4%A7%E9%83%A8%E5%88%86%E5%8F%82%E4%BC%9A%E8%80%85%E5%8F%AF%E8%83%BD%E6%9B%B4%E5%A4%9A%E6%98%AF%E6%8A%B1%E7%9D%80%E2%80%9C%E6%88%91%E8%83%BD%E4%B8%8D%E8%83%BD%E7%94%A8Spark%E2%80%9D%E7%9A%84%E5%BF%83%E6%80%81%EF%BC%8C%E8%80%8C%E4%BB%8A%E5%B9%B4%E5%8F%82%E4%BC%9A%E8%80%85%E6%83%B3%E7%9A%84%E6%9B%B4%E5%A4%9A%E7%9A%84%E6%98%AF%E2%80%9C%E6%88%91%E6%80%8E%E6%A0%B7%E6%89%8D%E8%83%BD%E6%9B%B4%E5%A5%BD%E5%9C%B0%E4%BD%BF%E7%94%A8Spark%E2%80%9D%E3%80%82&pic=&ralateUid=&language=zh_cn&rnd=1430472152698" frameborder="0" scrolling="no" allowtransparency="true">摘要：相比去年峰會，今年的Spark峰會顯得更加自信。去年，大部分參會者可能更多是抱著“我能不能用Spark”的心態，而今年參會者想的更多的是“我怎樣才能更好地使用Spark”。

Spark Summit China 2015于4月18日在北京國際會議中心順利召開。作為本次峰會的主席，我很榮幸地邀請到了來自Databricks、微軟亞洲研究院、IBM、英特爾、Cloudera、百度、阿里巴巴、騰訊及亞信的Spark開發者與使用者來分享他們的寶貴經驗。本文，我將從我的視角來解讀本次Spark峰會所傳遞出來的信息。下面一起回顧：

Tathagata Das：New Directions for Spark in 2015

從TD（Spark Streaming負責人）的第一場分享來看，Spark確實已經開始在大數據領域起到中流砥柱的作用了。同時，Spark本身的發展也相當迅猛：2014年，Spark的代碼量從19萬增加到37萬，代碼貢獻者從150多人上升至500多人，對比之下，Hadoop前進的腳步顯然慢了一些。過去一年，Spark的重點基本是在穩定性和效率上，當然Spark社區也一直在提供更豐富的Library。而在2015年，Spark的新方向是數據科學與平臺化。Spark1.3正式發布了DataFrame，這個后面連城的分享會有更詳細的闡述。Machine Learning Pipeline的出現使得機器學習更加便捷。TD同時也透露Spark1.4中將引入SparkR，這顯然是給數據科學從業者注入了一針強心劑。另外一方面，Spark也可以基于DataSource接口無縫接入各個不同的數據源，這不僅給不同數據源的使用者提供了更便利的Spark使用方式，更給那些需要從不同數據源收集數據，并結合起來進行分析挖掘的用戶提供了一個極其簡單的實現。最后TD表明，基于Spark的第三方package也發展迅猛。

周虎城：Spark Ecosystem and Applications inside Microsoft

第二場演講來自微軟亞洲研究院的周虎成，他主要介紹了Spark在微軟內部的使用。聽完周虎成的分享后，我本人其實對于微軟會將Spark用的這么深入而略感意外。剛開始時，周虎成就說了一句非常有意思的話——“微軟可能是目前唯一一個將Spark跑在Windows Server上的用戶”。微軟的Spark生態系統由Resource Management、Data as a Service、,Spark as a Service 及 App組成，其中data可以支持HDFS、Cosmos、 Azure storage、Entity store及Tachyon。值得一提的是，微軟使用了Zeppelin作為交互式分析工具。此外，Spark Streaming與MLlib在微軟內部也有被使用。

王聯輝：騰訊在Spark上的應用與實踐優化

第三位進行分享的是騰訊高級工程師王聯輝。眾所周知，騰訊在很早之前就開始使用Spark了，在TDW得到了深度運用，TDW目前擁有8000多的結點。在騰訊內部，每天由Spark執行的任務數在10000以上，典型的應用場景是：1、預測用戶的廣告點擊概率；2、計算兩個好友間的共同好友數； 3、用于ETL的SparkSQL和DAG任務。最后王聯輝也給出了騰訊在Spark實踐中的一些優化，給大家帶來了較大的幫助。

連城：四兩撥千斤——Spark SQL結構化數據分析

第四場是Databricks工程師、Spark Committer、Spark SQL主要開發者之一連城帶來的Spark SQL相關分享。連城給出了一組關于Spark SQL的開發者數據，數據表明Spark SQL當仁不讓的成為Spark中最活躍的組件，并且也正式在Spark1.3中從alpha版本畢業。連城主要介紹了DataFrame（DF），他表示，DF的出現使得語言的選擇（這里主要指Scala、Python與Java）變得不那么重要，因為無論你選擇何種語言，DF都有非常優秀的性能，并且明顯好過直接針對原始RDD的編程。最后連城認為DataFrame已經成了NewRDD，我也比較認同這個觀點，相信以后很多場景下，一定都是直接針對DataFrame的編程。

馬小龍：Spark在百度的工程實踐分享

第五場由百度資深軟件工程師馬小龍分享Spark在百度的應用。百度目前的Spark集群規模為1500臺左右，每天的作業數在10000左右。比較有趣的是，馬小龍給出了不同語言的API在百度被使用的比例，其中Python占到70%， Scala占到20%，Java僅占比10%。在百度的眾多Spark case中，Tachyon的使用是比較有意思的。百度目前面臨著數據節點和計算節點不在同一個數據中心的可能，還有跨數據中心訪問延遲大的問題。百度使用Tachyon作為Transparent Cache Layer，冷查詢直接從遠程存儲節點讀取數據，而熱查詢直接從Tachyon讀取。結果表明，采用Tachyon后，熱查詢的效率提高了10倍以上。

黃明：圖流合壁——基于Spark Streaming和GraphX的動態圖計算

第六場分享由阿里巴巴淘寶技術部高級技術專家黃明（明風）帶來，他主要講的是利用Spark Streaming與GraphX進行的動態圖計算相關的內容。有個小花絮，TD對明風的分享非常感興趣，整個過程中都在與我交流，他也希望有更多有意思的用法出現。明風表示，單純基于GraphX的圖計算可以對用戶進行社區劃分，可以更好地為決策提供依據。但是每天一次離線計算不及時，沒法快速響應業務，而業務需要實時對淘寶的用戶進行社群劃分，所以明風團隊決定嘗試由實時消息與實時圖構建組成的動態圖模型。通過實時效果修正，新的模型體現出了顯著的優勢，處理時間可以控制在一分鐘以內。

田鳳占：Spark驅動智能大數據分析應用

第七場分享由Cloudera的高級架構師田鳳占博士帶來。田博士主要介紹了Cloudera在Spark上所做的努力，并且表示Cloudera已經完全擁抱了Spark，全方位支持Spark的發展。田博士拋出的一個觀點很有趣：關注開放標準，而不僅僅關注開源。意思就是廠商需要支持那些被使用最廣泛的組件。

黃潔：Spark優化及實踐經驗分享

第八場分享由英特爾大數據技術中心研發經理黃潔帶來的Spark優化及實踐經驗分享。本場分享在會后帶來了極大的反響，建議每一位Spark使用者都去看下黃潔的這份slide，相信一定會使你受益匪淺。黃潔從內存管理、提高IO及優化計算三方面來闡述如何使Spark更加高效。其中的一些方法為用Tachyon作為Spark的off-heap memory，提供更好的任務數據本地性及優化的shuffle實現。最后黃潔也給出了兩個可以來評測Spark運行狀況的工具。

Tathagata Das：The State of the Union of Spark Streaming and the Road Beyond

第九場分享還是來自TD，不過他這次分享的是Spark Streaming相關內容。TD介紹了Streaming的發展，并且給我們展示了很多使用Spark Streaming的公司，可以看到，Spark Streaming的高質量用戶已經非常多了。TD尤其強調了Spark 1.3中release的Kafka Direct Stream API——既然現在Kafka的用戶如此之多，所以更好的支持Kafka就顯得尤為重要。新的Kakfa Direct Stream API使用了Kafka的simple consumer API，不需要receiver并做到零數據丟失，而且支持exactly-once語義。

田毅：Spark平臺在電信運營商的應用實踐

第十個進行分享的是亞信大數據平臺研發部門經理田毅，其演講內容是基于Spark改造用戶標簽分析查詢平臺。改造前，平臺主要是直接利用SQL從數據庫中進行查詢，這樣做的直接問題是標簽數量越來越大，數據庫負載過高，擴展成本高。因此，田毅團隊利用Spark SQL的External Datasource從外部系統的數據表中抽取數據后直接分析，大大提升了效率，最后田毅團隊引入了Spark Streaming，使得處理時間進一步縮短。

陳冠誠：基于OpenStack、Docker和Spark打造SuperVessel大數據公有云

最后一場分享由IBM中國研究院高級研究員陳冠誠帶來的Spark、Docker與OpenStack的結合實戰。這可能也是后面發展的一個方向，就是將容器技術與大數據框架結合起來跑，我本人也十分期待后續更多類似的案例出現。

以上是本次Spark中國峰會的各場次摘要，由于篇幅所限，無法做更詳細的展開，大家可以選擇感興趣的話題去查閱相關資料，同時也歡迎討論。

本次峰會的另一大亮點是報名企業的種類非常多，不僅大量的互聯網公司派遣相關人員參會，不少傳統企業也對Spark表現出了極大的興趣。在上午的峰會中，會場兩邊與后面的走道都擠滿了觀眾，這樣的熱情有點出乎我的意料，所以組委會臨時決定下午減少現場的桌子，增加一些椅子給各位參會者。同時，相比去年的峰會，今年的Spark峰會顯得更加自信。去年，大部分參會者可能更多是抱著“我能不能用Spark”的心態來的，而今年參會者想得更多的是“我怎樣才能更好地使用Spark”。從我與不少現場參會者的交流來看，大家已經非常認可Spark了，我們有理由期待Spark成為繼 Hadoop（MapReduce）后新一代大數據處理事實上的標準。在Spark后續的發展中，我認為DataFrame將毫無疑問成為核心，所以我建議Spark的使用者都來關注一下DataFrame，另一方面，我也預計將會有越來越多的數據科學家會選擇使用Spark，而Spark SQL、Spark Steaming及MLlib這三個組件一定會有更多融合使用的場景。希望在明年峰會的時候，有更多有意思的議題出現。

2015年的峰會圓滿落幕了，借此機會感謝各位講師，感謝各位參會者，也要感謝主辦方，希望明年我們可以共同辦一屆更加成功的峰會。

Spark——星星之火，已經燎原！?

后記：北京時間2015年4月28日晚，Databricks在其公司博客宣布了Tungsten項目，這將是自Spark誕生以來內核級別的最大改進。同時，據Reynold透露，Tungsten將在未來兩到三個release內實現。屆時，Spark的執行效率又將有大幅提升！這似乎也在說明著——Spark的優化，永不止步！

總結

以上是生活随笔為你收集整理的七牛技术总监陈超：记Spark Summit China 2015的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。