pyspark基础教程
生活随笔
收集整理的這篇文章主要介紹了
pyspark基础教程
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
pyspark基礎(chǔ)教程
下面一段代碼是簡(jiǎn)單教程,對(duì)與如何向spark 集群提交代碼任務(wù),無(wú)論文檔和博客都有很多說(shuō)法,其實(shí)很簡(jiǎn)單,只要在腳本中setMaster(“spark://192.168.10.182:7077”),
spark://192.168.10.182:7077是master的url,
192.168.10.182是master的ip
7077是端口號(hào)
代碼只在本地運(yùn)行
conf=SparkConf().setAppName("miniProject").setMaster("local[*]")全部代碼
import pyspark from pyspark import SparkContext as sc from pyspark import SparkConf #conf=SparkConf().setAppName("miniProject").setMaster("local[*]") conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077") sc=sc.getOrCreate(conf)#(a)利用list創(chuàng)建一個(gè)RDD;使用sc.parallelize可以把Python list,NumPy array或者Pandas Series,Pandas DataFrame轉(zhuǎn)成Spark RDD。 rdd = sc.parallelize(list(range(10**2))) #print(rdd) #Output:ParallelCollectionRDD[0] at parallelize at PythonRDD.scala:480#(b)getNumPartitions()方法查看list被分成了幾部分 print(rdd.getNumPartitions() )我的代碼都在anaconda 的spyder里編寫,
如何對(duì)spyder 配置spark請(qǐng)看我的這篇博客
如何對(duì)spyder 配置spark
總結(jié)
以上是生活随笔為你收集整理的pyspark基础教程的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 两步实现spark集群
- 下一篇: pyspark.sql.DataFram