Flink从入门到精通100篇(六)-Flink 应用之 对Release 文档进行深度解读
集群和部署
-
支持 Hadoop 3.0 及更高的版本:Flink 不再提供任何 flink-shaded-hadoop- 依賴。用戶可以通過配置 HADOOP_CLASSPATH 環境變量(推薦)或在 lib 文件夾下放入 Hadoop 依賴項。另外 include-hadoop Maven profile 也已經被移除了。
-
移除了 LegacyScheduler:Flink 不再支持 legacy scheduler,如果你設置了 jobmanager.scheduler: legacy 將不再起作用并且會拋出 IllegalArgumentException 異常,該參數的默認值并且是唯一選項為 ng。
-
將用戶代碼的類加載器和 slot 的生命周期進行綁定:只要為單個作業分配了至少一個 slot,TaskManager 就會重新使用用戶代碼的類加載器。這會稍微改變 Flink 的恢復行為,從而不會重新加載靜態字段。這樣做的好處是,可以大大減輕對 JVM metaspace 的壓力。
-
slave 文件重命名為 workers:對于 Standalone 模式安裝,worker 節點文件不再是 slaves 而是 workers,以前使用 start-cluster.sh 和 stop-cluster.sh 腳本的設置需要重命名該文件。
-
完善 Flink 和 Docker 的集成:Dockerfiles 文件樣例和 build.sh Docker 鏡像文件都從 Flink G
總結
以上是生活随笔為你收集整理的Flink从入门到精通100篇(六)-Flink 应用之 对Release 文档进行深度解读的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 数据结构面试的常客,一文带你深入了解堆
- 下一篇: 用Tableau制作滚动时间轴(上)