環(huán)境

• Flink 1.8.2
• jdk 1.8
• hadoop 2.8.5

Local模式

在Local模式下僅模擬cluster集群，僅啟動(dòng)JobManager完成應(yīng)用的運(yùn)行。JobManager進(jìn)程信息如下:
啟動(dòng)：./bin/start-cluster.sh
停止：./bin/stop-cluster.sh
提交作業(yè)方式
./flink run -p 1 ../examples/batch/WordCount.jar
-p表示并行度

Standalone模式

集群安裝

修改conf/flink-conf.yaml: jobmanager.rpc.address: swarm-manager

修改conf/slaves：
swarm-worker1
swarm-worker2

啟動(dòng)jobmanager：

然后在其他兩個(gè)節(jié)點(diǎn)上分別啟動(dòng)集群，然后在瀏覽器中輸入地址http://swarm-manager:8081

Flink On Yarn模式

第一種【yarn-session.sh(開辟資源)+flink run(提交任務(wù))】

創(chuàng)建一個(gè)yarn-session，后續(xù)提交應(yīng)用至該session。
該模式下，創(chuàng)建session以后，會(huì)啟動(dòng)一個(gè)Yarn applicationMaster和指定數(shù)目的Yarn Container。查看ApplicationMaster及Container進(jìn)程信息可以看出，二者啟動(dòng)類分別為YarnAPplicationMasterRunner和YarnTaskManager。查看源碼可以看出，本質(zhì)上ApplicationMaster扮演的是JobManager的角色，Contaienr扮演的是TaskManager的角色，類似于啟動(dòng)一個(gè)Flink的集群。
然后可以通過直接提交應(yīng)用至該session，由該Session負(fù)責(zé)運(yùn)行應(yīng)用

啟動(dòng)yarn的ResourceManager，NodeManager：./start-yarn.sh
啟動(dòng)yarn-session,~/app/flink-1.8.2$ bin/yarn-session.sh -jm 1024m -tm 1024m
控制臺(tái)輸出：

提交一個(gè)作業(yè)
iie4bu@swarm-manager:~/app$ flink run ./hadoop-hdfs-1.0-SNAPSHOT-shaded.jar ./flink-es.properties
瀏覽器中輸入地址http://swarm-manager:45343這個(gè)地址根據(jù)實(shí)際情況確定，可以看到有一個(gè)作業(yè)在運(yùn)行：

這時(shí)在yarn中瀏覽器中輸入地址http://swarm-manager:8088，查看

第二種【flink run -m yarn-cluster(開辟資源+提交任務(wù))】

首先按照上面第一種方式，先把yarn-session.sh進(jìn)程關(guān)閉。
提交作業(yè)
~/app$ flink run -m yarn-cluster -yn 1 ./hadoop-hdfs-1.0-SNAPSHOT-shaded.jar ./flink-es.properties
其中-m yarn-cluster表示使用yarn集群，-yn 1表示taskmanager的數(shù)量。

總結(jié)

以上是生活随笔為你收集整理的Flink三种运行模式安装部署的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。