SparkSQL 与 Spark Core的关系
生活随笔
收集整理的這篇文章主要介紹了
SparkSQL 与 Spark Core的关系
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?
?
不多說,直接上干貨!
?
?
SparkSQL 與 Spark Core的關系
Spark SQL構建在Spark Core之上,專門用來處理結構化數據(不僅僅是SQL)。
Spark SQL在Spark Core的基礎上針對結構化數據處理進行很多優化和改進,
簡單來講:
Spark SQL 支持很多種結構化數據源,可以讓你跳過復雜的讀取過程,輕松從各種數據源中讀取數據
當你使用SQL查詢這些數據源中的數據并且只用到了一部分字段時,SparkSQL可以智能地只掃描這些用到的字段,而不是像SparkContext.hadoopFile中那樣簡單粗暴地掃描全部數據.
?
?
?
?
?
關于Spark SQL更多,請見
Spark SQL概念學習系列之Spark SQL概述
轉載于:https://www.cnblogs.com/zlslch/p/6943279.html
總結
以上是生活随笔為你收集整理的SparkSQL 与 Spark Core的关系的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 求一个带王字的微信网名
- 下一篇: 2017.6.4 入门组 NO.2——睡