?

代碼如下：

#-*- coding:utf- -*- import sys reload(sys) sys.setdefaultencoding('utf-8') from pyspark import SparkConf,SparkContext from pyspark.sql import SQLContext conf=SparkConf().setAppName("spark_json1") sc=SparkContext(conf=conf) sqlContext=SQLContext(sc)jsons=sqlContext.read.json("./testweet.json") print"type of jsons",type(jsons) print jsons.collect()#這個是把每個key-value對轉化為列表中的一個元素后輸出 print"-------------------------" jsons.printSchema() print"-------------------------" pandas_df = jsons.toPandas() print"type of pandas_df",type(pandas_df)#類型轉化<class 'pyspark.sql.dataframe.DataFrame'> -> <class 'pandas.core.frame.DataFrame'> {"lovesPandas":"lovesPandas","age":12} {"lovesPandas":"lili","age":22} {"lovesPandas":"cc","age":11} {"lovesPandas":"vv","age":13} {"lovesPandas":"lee","age":14} {"lovesPandas":"yuchi","age":14}

?

總結

以上是生活随笔為你收集整理的pyspark读取json文件中的内容的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。