1.準備

本文主要講述如何在Ubuntu 16.04 中搭建 Spark 2.11 單機開發環境，主要分為 3 部分：JDK 安裝，Scala 安裝和 Spark 安裝。

需要注意的是，Spark 版本與 Scala 版本需要匹配一致。

Note: Starting version 2.0, Spark is built with Scala 2.11 by default. Scala 2.10 users should download the Spark source package and build with Scala 2.10 support.

2.JDK 安裝

下載 jdk-8u171-linux-x64.tar.gz 后，解壓到自己指定目錄。

$ sudo mkdir /usr/local/java

$ sudo tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/java

配置環境變量,打開 profile 文件

$ sudo gedit /etc/profile

在文件末尾寫入，注意 JAVA_HOME 是 JDK 的安裝路徑：

export JAVA_HOME=/usr/local/java/jdk1.8.0_171

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

保存后退出，運行如下命令，使修改環境變量即可生效:

$ source /etc/profile

檢測java是否成功安裝

$ java -version

3.Scala 安裝

下載 Scala 2.11.12 后，解壓到自己指定目錄。

$ sudo mkdir /usr/local/scala

$ sudo tar -zxvf scala-2.11.12.tgz -C /usr/local/scala

配置環境變量,打開 profile 文件

$ sudo gedit /etc/profile

在文件末尾寫入，注意 SCALA_HOME 是 Scala 的安裝路徑：

export SCALA_HOME=/usr/local/scala/scala-2.11.12

export PATH=${SCALA_HOME}/bin:$PATH

保存后退出，運行如下命令，使修改環境變量即可生效:

$ source /etc/profile

檢測java是否成功安裝

$ scala -version

4.Spark 安裝

下載 spark-2.2.1-bin-hadoop2.7.tgz 后，解壓到自己指定目錄。

$ sudo mkdir /usr/local/spark

$ sudo tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/spark

配置環境變量,打開 profile 文件

$ sudo gedit /etc/profile

在文件末尾寫入，注意 SPARK_HOME 是 Spark 的安裝路徑：

export SPARK_HOME=/usr/local/spark/spark-2.2.1-bin-hadoop2.7

export PATH=${SPARK_HOME}/bin:$PATH

保存后退出，運行如下命令，使修改環境變量即可生效:

$ source /etc/profile

檢測java是否成功安裝

$ spark-shell

總結

以上是生活随笔為你收集整理的spark java8 scala_在 Ubuntu16.04 中搭建 Spark 单机开发环境 (JDK + Scala + Spark)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。