日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

spark-submit的执行原理

發(fā)布時間:2023/12/19 编程问答 37 豆豆
生活随笔 收集整理的這篇文章主要介紹了 spark-submit的执行原理 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

Created by Wang, Jerry on Aug 08, 2015

$ cd dirname $0 和PWD%/* shell變量的一些特殊用法
在命令行狀態(tài)下單純執(zhí)行 $ cd dirname $0 是毫無意義的。因為他返回當前路徑的"."。
這個命令寫在腳本文件里才有作用,他返回這個腳本文件放置的目錄,并可以根據(jù)這個目錄來定位所要運行程序的相對位置(絕對位置除外)。
在/home/admin/test/下新建test.sh內(nèi)容如下:
cd dirname $0
echo pwd
然后返回到/home/admin/執(zhí)行
sh test/test.sh
運行結(jié)果:
/home/admin/test
這樣就可以知道一些和腳本一起部署的文件的位置了,只要知道相對位置就可以根據(jù)這個目錄來定位,而可以不用關(guān)心絕對位置。這樣腳本的可移植性就提高了,扔到任何一臺服務(wù)器,(如果是部署腳本)都可以執(zhí)行。
$0當前Shell程序的文件名
dirname $0,獲取當前Shell程序的路徑
cd dirname $0,進入當前Shell程序的目錄
實際上是直接執(zhí)行pwd命令:


使用printf 打印變量的值:

執(zhí)行結(jié)果:

實際上是調(diào)用bin folder下的spark-class(也是一個腳本), 輸入?yún)?shù)為org.apache.spark.deploy.sparkSubmit:

–help只顯示help:

真正的執(zhí)行:

要獲取更多Jerry的原創(chuàng)文章,請關(guān)注公眾號"汪子熙":

總結(jié)

以上是生活随笔為你收集整理的spark-submit的执行原理的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。