更多精彩內(nèi)容參見(jiàn)云棲社區(qū)大數(shù)據(jù)頻道https://yq.aliyun.com/big-data；此外，通過(guò)Maxcompute及其配套產(chǎn)品，低廉的大數(shù)據(jù)分析僅需幾步，詳情訪問(wèn)https://www.aliyun.com/product/odps。

本講義出自Wes McKinney在Spark Summit East 2017上的演講，對(duì)于使用Python編程以及并行化和擴(kuò)大數(shù)據(jù)處理方面，Spark已成為一個(gè)受歡迎和成功的框架，但是在很多案例中，使用PySpark的任務(wù)處理要比使用Scala編寫(xiě)的效率差，而且在Python環(huán)境與Spark主機(jī)之間推拉數(shù)據(jù)也將增加開(kāi)銷(xiāo)，本次演講將驗(yàn)證和分析使用一些Python庫(kù)進(jìn)行序列化以及互操作性問(wèn)題。

總結(jié)

以上是生活随笔為你收集整理的【Spark Summit East 2017】提升Python与Spark的性能和互操作性的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。