代碼如下：

import org.apache.spark.sql.Row; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.VoidFunction; import org.apache.spark.sql.DataFrame; import org.apache.spark.sql.SQLContext;public class QueryHDFSData {static SparkConf sparkConf = new SparkConf().setAppName("HDFSQuery").setMaster("local[2]");static JavaSparkContext sc = new JavaSparkContext(sparkConf);static SQLContext sqlContext = new SQLContext(sc);public static void main(String[] args){ // JavaRDD<String> poi = sc.textFile("hdfs://node2:9000/user/flume/events/2015-11-27-21/events-.1448629506841");DataFrame df = sqlContext.read().json("hdfs://node2:9000/user/flume/events/2015-11-26-21/events-.1448543965316");// 打印模式 df.printSchema();// 將數據框架注冊成一個表df.registerTempTable("poi");// 使用sql語句從表中讀取數據DataFrame poi = sqlContext.sql("SELECT * FROM poi WHERE cid=57425749418");JavaRDD<Row> row = poi.javaRDD();row.foreach(new VoidFunction<Row>(){@Overridepublic void call(Row r) throws Exception {System.out.println(r.mkString()); }});} }

?

轉載于:https://www.cnblogs.com/gaopeng527/p/5003259.html

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的Spark从HDFS上读取JSON数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。