Spark学习入门
寫給自己的話:
對于大數據開發的工作要求,spark隨時可見。所以要下定決心好好看一看spark相關的技術。
學習目錄:
第一步是配置spark環境:包括linux系統的安裝,java,ssh,Hadoop,Scala,spark的安裝與環境變量設置。
第二步:java學習。
第三步:Hadoop學習。HDFS,MR計算框架,必須得知道吧。spark也是需要在HDFS上進行數據獲取的,學習Hadoop才能知道其不足,明白spark的優勢,為什么Hadoop必死。在hdfs的操作指令也必須掌握。能會寫MapReduce程序就再好不過了。 第四步:Scala學習。函數式編程,重點明白這個吧。只需能看懂,而且會使用Scala操作RDD就行。 第五步:就是spark學習。當然,最好學習spark的方式就是看官方文檔,讀源碼,看博客(博客寫的都太簡單,沒有特別深入的),看RDD的論文,作業如何調度,某研究院的spark官方文檔中文翻譯https://www.cnblogs.com/BYRans/p/5057110.html 學習渠道:- 官網的編程手冊
- 只有實際項目才能從本質上提升一個人的spark能力
?
轉載于:https://www.cnblogs.com/ljangle/p/10436663.html
總結
- 上一篇: 没有基础,想学肚皮舞,费用贵吗?
- 下一篇: 录制终端信息并回放