1. 下載，安裝 livy

下載 地址 ：http://livy.io/quickstart.html
下載之后，解壓即可運行

2. 配置環境變量

export SPARK_HOME=/usr/lib/spark? export HADOOP_CONF_DIR=/etc/hadoop/conf

3.配置主機和端口（可跳過，直接用默認值）

# What host address to start the server on. By default, Livy will bind to all network interfaces. （主機） ?livy.server.host = 0.0.0.0 # What port to start the server on.（端口） livy.server.port = 8998# Time in milliseconds on how long Livy will wait before timing out an idle session.（超時時長，即session多久未用之后，自動kill掉）livy.server.session.timeout = 1h

這里需要創建logs文件夾

mkdir logs

chmod -R 777 logs

4. 開啟livy服務

./bin/livy-server

5.REST Api (以下url均以host:port開頭，默認為 localhost:8998)

1）GET ??/sessions

Returns all the active interactive sessions.返回所有活躍的session

2)POST ?/sessions

Creates a new interativeScala,Python, or R shell in the cluster. 創建一個session，即新開一個shel

Request Body

namedescriptiontype

kind	The session kind (required)	session kind
proxyUser	User to impersonate when starting the session	string
conf	Spark configuration properties	Map of key=val

3)GET /sessions/{sessionId}
Returns the session information. 返回相應session的信息

4）DELETE /sessions/{sessionId}

Kills the Session?job.

5) GET /sessions/{sessionId}/statements

返回session的所有statement的信息

6）POST /sessions/{sessionId}/statements

Runs a statement in a session. 即提交一個語句，運行

7) GET /sessions/{sessionId}/statements/{statementId}

獲取相應statement的信息

總結

以上是生活随笔為你收集整理的利用 livy 远程提交 spark作业的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。