HiveContext是對應spark-hive這個項目,與hive有部分耦合, 支持hql,是SqlContext的子類,也就是說兼容SqlContext;

1、添加依賴

<dependency><groupId>org.apache.spark</groupId><artifactId>spark-hive_2.11</artifactId><version>2.0.2</version> </dependency>

2、代碼實現

package cn.cheng.sqlimport org.apache.spark.sql.SparkSession /*** todo:支持hive的sql操作*/ object HiveSupport {def main(args: Array[String]): Unit = {val warehouseLocation = "D:\\workSpace_IDEA_NEW\\day2017-10-12\\spark-warehouse"//todo:1、創建sparkSessionval spark: SparkSession = SparkSession.builder().appName("HiveSupport").master("local[2]").config("spark.sql.warehouse.dir", warehouseLocation).enableHiveSupport() //開啟支持hive.getOrCreate()spark.sparkContext.setLogLevel("WARN") //設置日志輸出級別import spark.implicits._import spark.sql//todo:2、操作sql語句sql("CREATE TABLE IF NOT EXISTS person (id int, name string, age int) row format delimited fields terminated by ' '")sql("LOAD DATA LOCAL INPATH '/person.txt' INTO TABLE person")sql("select * from person ").show()spark.stop()} }

總結

以上是生活随笔為你收集整理的Spark SQL程序操作HiveContext的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。