如何进行spark SQL编程动手实战
生活随笔
收集整理的這篇文章主要介紹了
如何进行spark SQL编程动手实战
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
如何進行spark SQL編程動手實戰,相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現的原因和解決方法,通過這篇文章希望你能解決這個問題。
首先創建SparkContext上下文:
接著引入隱身轉換,用于把RDD轉成SchemaRDD:
接下來要加載數據,這里的測試數據是user.txt文件:
我們創建好use.txt增加內容并上傳到hdfs中:
hdfs命令查詢:
驗證數據是否加載成功:
此刻user還是一個MappedRDD:
此刻的teenagers已經隱身轉換成SchemaRDD
結果:
同樣使用"user.txt"的數據:
我們這次直接使用SQL查詢操作:
可以發現使用DSL的使用teenagers在內部已經被隱身轉換了SchemaRDD的實例
可以發現與前面那張注冊Table方式的結果是一樣的
看完上述內容,你們掌握如何進行spark SQL編程動手實戰的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注箭頭云行業資訊頻道,感謝各位的閱讀!
總結
以上是生活随笔為你收集整理的如何进行spark SQL编程动手实战的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: json日期转换
- 下一篇: keil5安装教程及下载