spark在項目中已經用了一段時間了，趁現在空閑，下個源碼編譯在IDEA里面閱讀下，特此記錄過程。

前提已經安裝maven和git

1、上官網下載源碼的包；

2、然后解壓到一個文件夾

3、編譯，編譯的具體的信息可以看官網的介紹http://spark.apache.org/docs/latest/building-spark.html#encrypted-filesystems

　　（1）設置maven參數

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

　　（2）編譯

mvn -Pyarn -Phadoop-2.7 -Pspark-ganglia-lgpl -Pkinesis-asl -Phive -DskipTests clean package

　　（3）部署包

./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn

4、導入IDEA?

以maven工程導入；在選擇maven源的時候，根據上面編譯的指令選擇即可，如果導入之后發現錯誤，可以查看maven的依賴，根據錯誤選擇對應的模塊就可以，如果用不到的地方可以直接刪除對應的maven源。

5、如果項目提示找不到類，可以根據提示看看是否引入的包的scope是否為complie，如果不是就改成complie；或者自己利用源碼打一個包，然后將自己打的部署包解壓，引入jars下面的所有的包頁ok，這樣導入項目里面導致幾乎每個包都有倆份。

轉載于:https://www.cnblogs.com/ldsggv/p/9445512.html

總結

以上是生活随笔為你收集整理的spark源码编译记录的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。