Linkis 編譯文檔

目錄

• 1. 全量編譯 Linkis
• 2. 編譯單個模塊
• 3. 編譯某個引擎
• 4. 如何修改Linkis的依賴的Hadoop、Hive、Spark版本
• 5. 編譯前端管理臺

1.全量編譯 Linkis

編譯環(huán)境要求： 必須 JDK8 以上，Oracle/Sun 和 OpenJDK都支持。

從 git 獲取項目代碼后，使用 maven 編譯項目安裝包。

請注意：官方推薦使用 Hadoop-2.7.2、Hive-1.2.1、Spark-2.4.3 和 Scala-2.11.8 對 Linkis 進行編譯。

如果您想使用 Hadoop、Hive、Spark 的其他版本對 Linkis 進行編譯，請參考：如何修改Linkis的依賴的Hadoop、Hive、Spark版本

(1) 如果您是本地第一次編譯使用，必須在 Linkis 源碼包根目錄先執(zhí)行以下命令：

cd wedatasphere-linkis-x.x.xmvn -N install

(2) 在 Linkis 源碼包根目錄執(zhí)行以下命令:

cd wedatasphere-linkis-x.x.xmvn clean install

(3) 獲取安裝包，在工程的assembly->target目錄下：

ls wedatasphere-linkis-x.x.x/assembly/target/wedatasphere-linkis-x.x.x-dist.tar.gz

2.編譯單個模塊

從 git 獲取項目代碼后，使用 maven 打包項目安裝包。

（1） 如果您是本地第一次使用，必須在 Linkis 源碼包根目錄先執(zhí)行以下命令：

cd wedatasphere-linkis-x.x.xmvn -N install

（2） 跳轉(zhuǎn)到對應模塊進行編譯，比如想重新編譯 Entrance，命令如下：

cd wedatasphere-linkis-x.x.x/linkis-computation-governance/linkis-entrancemvn clean install

（3） 獲取安裝包，在對應模塊的->target目錄下會有編譯好的包：

ls wedatasphere-linkis-x.x.x/linkis-computation-governance/linkis-entrance/target/linkis-entrance.x.x.x.jar

3. 編譯某個引擎

這里以編譯 Linkis 的 Spark 引擎為例：

（1） 如果您是本地第一次使用，必須在 Linkis 源碼包根目錄先執(zhí)行以下命令：

cd wedatasphere-linkis-x.x.xmvn -N install

（2） 跳轉(zhuǎn)到 Spark 引擎所在的目錄進行編譯打包，命令如下：

cd wedatasphere-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/sparkmvn clean install

（3） 獲取安裝包，在對應模塊的->target目錄下會有編譯好的包：

ls wedatasphere-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/spark/target/linkis-engineplugin-spark-x.x.x.zip

如何單獨安裝 Spark 引擎？ 請參考 Linkis 引擎插件安裝文檔

4. 如何修改Linkis的依賴的Hadoop、Hive、Spark版本

請注意：Hadoop 作為大數(shù)據(jù)基礎服務，Linkis 必須依賴 Hadoop 進行編譯； 而 Spark、Hive等計算存儲引擎則不然，如果您不想使用某個引擎，可以無需設置該引擎的版本，無需編譯該引擎插件。

具體而言，修改 Hadoop 的版本與 Spark、Hive 等計算引擎的方式不同，下面詳細介紹：

如何修改 Linkis 依賴的 Hadoop 版本？

進入 Linkis 源碼包根目錄，手動修改 pom.xml 文件的 Hadoop 版本信息，具體如下：

cd wedatasphere-linkis-x.x.xvim pom.xml<properties><hadoop.version>2.7.2</hadoop.version> <!--> 在這里修改Hadoop版本號 <--><scala.version>2.11.8</scala.version><jdk.compile.version>1.8</jdk.compile.version></properties>

請注意：如果你的hadoop版本是hadoop3，需要修改linkis-hadoop-common的pom文件 因為在hadoop2.8以下的時候，hdfs相關的class是在hadoop-hdfs模塊中的，但是在hadoop 3.X中將對應的class移動到了模塊hadoop-hdfs-client當中，您需要修改下這個文件：

pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml 修改依賴hadoop-hdfs為hadoop-hdfs-client：<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId> <!-- 只需要將該行替換即可，替換為 <artifactId>hadoop-hdfs-client</artifactId>--><version>${hadoop.version}</version>...將hadoop-hdfs修改為：<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs-client</artifactId><version>${hadoop.version}</version>...

如何修改 Linkis 依賴的 Spark、Hive 版本？

這里以修改 Spark 的版本為例進行介紹。進入 Spark 引擎所在的目錄，手動修改 pom.xml 文件的 Spark 版本信息，具體如下：

cd wedatasphere-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/sparkvim pom.xml<properties><spark.version>2.4.3</spark.version> <!--> 在這里修改Spark版本號 <--></properties>

修改其他引擎的版本與修改 Spark 版本類似，先進入相關引擎所在的目錄，手動修改 pom.xml 文件的引擎版本信息即可。

然后請參考 編譯某個引擎

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的Linkis 编译文档的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。