spark-jobserver
Spark-jobserver 提供了一個 RESTful 接口來提交和管理 spark 的 jobs、jars 和 job contexts。這個項目包含了完整的 Spark job server 的項目，包括單元測試和項目部署腳本。

特性
“Spark as Service”：針對 job 和 contexts 的各個方面提供了 REST 風格的 api 接口進行管理
支持 SparkSQL、Hive、Streaming Contexts/jobs 以及定制 job contexts！具體參考Contexts
通過集成 Apache Shiro 來支持 LDAP 權限驗證
通過長期運行的job contexts支持亞秒級別低延遲的任務
可以通過結束 context 來停止運行的作業(job)
分割 jar 上傳步驟以提高 job 的啟動
異步和同步的 job API，其中同步 API 對低延時作業非常有效
支持 Standalone Spark 和 Mesos、yarn
Job 和 jar 信息通過一個可插拔的 DAO 接口來持久化
對RDD或DataFrame對象命名并緩存，通過該名稱獲取RDD或DataFrame。這樣可以提高對象在作業間的共享和重用
支持 Scala 2.11 版本和 2.12 版本
版本信息
請參考官方文檔：版本信息

部署
拷貝 conf/local.sh.template 文件到 local.sh 。備注：如果需要編譯不同版本的Spark，請修改 SPARK_VERSION 屬性。
拷貝 config/shiro.ini.template 文件到 shiro.ini。備注: 僅需 authentication = on時執行這一步。
拷貝 config/local.conf.template 到 .conf。
bin/server_deploy.sh ，這一步將job-server以及配置文件打包，并一同推送到配置的遠程服務器上。
在遠程服務器上部署的文件目錄下通過執行 server_start.sh 啟動服務，如需關閉服務可執行 server_stop.sh。

https://github.com/spark-jobserver/spark-jobserver/blob/master/doc/chinese/job-server.md

總結

以上是生活随笔為你收集整理的spark-jobserver介绍： 提供了一个 RESTful 接口来提交和管理 spark 的 jobs、jars 和 job contexts的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。