?????? Spark是Apache公司推出的一種基于Hadoop Distributed File System(HDFS)的并行計(jì)算架構(gòu)。與MapReduce不同，Spark并不局限于編寫map和reduce兩個(gè)方法，其提供了更為強(qiáng)大的內(nèi)存計(jì)算(in-memory computing)模型，使得用戶可以通過(guò)編程將數(shù)據(jù)讀取到集群的內(nèi)存當(dāng)中，并且可以方便用戶快速地重復(fù)查詢，非常適合用于實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法。本文將介紹Apache Spark1.1.0的部署與開(kāi)發(fā)環(huán)境搭建。

????? 原文鏈接：http://www.tuicool.com/articles/2e2q2y

??????

0. 準(zhǔn)備

出于學(xué)習(xí)目的，本文將Spark部署在虛擬機(jī)中，虛擬機(jī)選擇 VMware WorkStation 。在虛擬機(jī)中，需要安裝以下軟件：

• Ubuntu 14.04.1 LTS 64位桌面版
• hadoop-2.4.0.tar.gz
• jdk-7u67-linux-x64.tar.gz ?
• scala-2.10.4.tgz
• spark-1.1.0-bin-hadoop2.4.tgz

Spark的開(kāi)發(fā)環(huán)境，本文選擇Windows7平臺(tái)，IDE選擇IntelliJ IDEA。在Windows中，需要安裝以下軟件：

• IntelliJ IDEA?13.1.4?Community Edition
• apache-maven-3.2.3-bin.zip (安裝過(guò)程比較簡(jiǎn)單，請(qǐng)讀者自行安裝)
• 
  

1. 安裝JDK

解壓jdk安裝包到/usr/lib目錄：

1 sudo cp jdk-7u67-linux-x64.gz /usr/lib 2 cd /usr/lib 3 sudo tar -xvzf jdk-7u67-linux-x64.gz 4 sudo gedit /etc/profile

在/etc/profile文件的末尾添加環(huán)境變量：

1 export JAVA_HOME=/usr/lib/jdk1.7.0_67 2 export JRE_HOME=/usr/lib/jdk1.7.0_67/jre 3 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 4 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

保存并更新/etc/profile：

1 source /etc/profile

測(cè)試jdk是否安裝成功：

1 java -version

（注釋：

（1）在此過(guò)程中 Win條件下配置cygwin：使用TXT編輯器 導(dǎo)致一些列的 -r 空格問(wèn)題，真是扯！

（2）在此過(guò)程中 使用反人類的腦殘VIM：神奇的模式編輯器，真是扯！

（3）出現(xiàn)扯淡的 BASH：/ 這是一個(gè)目錄問(wèn)題，不過(guò)不影響操作步驟！

）

2.? 安裝及配置SSH

sudo apt-get update sudo apt-get install openssh-server

生成并添加密鑰：

ssh-keygen -t rsa -P "" 顯示：Generating public/private rsa key pair. Enter file in which to save the key (/home/wshchn/.ssh/id_rsa): 按空格：一不小心按了Ctrl+c顯示：Created directory '/home/wshchn/.ssh'. Your identification has been saved in /home/wshchn/.ssh/id_rsa. Your public key has been saved in /home/wshchn/.ssh/id_rsa.pub. The key fingerprint is: 6a:18:65:35:e2:44:be:28:fd:ee:67:f5:61:b9:f4:1a wshchn@wshchn-Aspire-4741 The key's randomart image is: +--[ RSA 2048]----+ |???? .+ o??????? | |???? + o .?????? | |????? =????????? | |?? . + .???????? | |? . + . S??? .?? | |?? . + .? . =??? | |??? . +? . +E+?? | |???? o? o?? o..? | |???? .oo??? ..?? | +-----------------+cd /home/hduser/.ssh ? cd /home/wshchn/.ssh

ssh登錄：

ssh localhost

顯示： The authenticity of host 'localhost (127.0.0.1)' can't be established. ECDSA key fingerprint is df:27:6e:61:8a:3a:5d:5b:3b:58:26:89:1f:d1:5a:32. Are you sure you want to continue connecting (yes/no)? ? ? ? ? yes顯示： Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. Welcome to Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)* Documentation:? https://help.ubuntu.com/The programs included with the Ubuntu system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright.Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law.Last login: Mon Jan 19 10:26:53 -bash: /: 是一個(gè)目錄

（注釋：此步驟米有疏漏）

3. 安裝hadoop2.4.0

采用偽分布模式安裝hadoop2.4.0。解壓hadoop2.4.0到/usr/local目錄：

sudo cp hadoop-2.4.0.tar.gz /usr/local/ sudo tar -xzvf hadoop-2.4.0.tar.gz

在/etc/profile文件的末尾添加環(huán)境變量：

export HADOOP_HOME=/usr/local/hadoop-2.4.0 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

保存并更新/etc/profile：

source /etc/profile

在位于/usr/local/hadoop-2.4.0/etc/hadoop的hadoop-env.sh和yarn-env.sh文件中修改jdk路徑：

cd /usr/local/hadoop-2.4.0/etc/hadoop sudo gedit hadoop-env.sh sudo gedit yarn-evn.sh

hadoop-env.sh：

（查看java路徑：linux：
whereis java
which java （java執(zhí)行路徑）
?echo $JAVA_HOME

echo $PATH

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64

）

yarn-env.sh：

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64

修改/etc/core-site.xml：

vim /etc/hadoop/core-site.xml

在<configuration></configuration>之間添加：

1 <property> 2 <name>fs.default.name</name> 3 <value>hdfs://localhost:9000</value> 4 </property> 5 6 <property> 7 <name>hadoop.tmp.dir</name> 8 <value>/app/hadoop/tmp</value> 9 </property>

修改hdfs-site.xml：

vim /etc/hadoop/hdfs-site.xml

在<configuration></configuration>之間添加：

<property> <name>dfs.namenode.name.dir</name> <value>/app/hadoop/dfs/nn</value> </property> <property> <name>dfs.namenode.data.dir</name> <value>/app/hadoop/dfs/dn</value> </property><property><name>dfs.replication</name><value>1</value></property>

修改yarn-site.xml：

vim /etc/hadoop/yarn-site.xml

在<configuration></configuration>之間添加：

<property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

復(fù)制并重命名mapred-site.xml.template為mapred-site.xml：

sudo cp mapred-site.xml.template mapred-site.xml cp /opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template /opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml sudo gedit mapred-site.xml vim /opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml

在<configuration></configuration>之間添加：

<property><name>mapreduce.jobtracker.address </name> ?<value>hdfs://localhost:9001</value></property>

在啟動(dòng)hadoop之前，為防止可能出現(xiàn)無(wú)法寫入log的問(wèn)題，記得為/app目錄設(shè)置權(quán)限：

sudo mkdir /app mkdir /opt/hadoop-2.2.0/app/ sudo chmod -R hduser:hduser /app chmod -R 770 wishchin:wishchin /opt/hadoop-2.2.0/app/

格式化hadoop：

hadoop namenode -format

顯示：

DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

15/01/19 16:52:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:?? host = wshchn-Aspire-4741/127.0.1.1
STARTUP_MSG:?? args = [-format]
STARTUP_MSG:?? version = 2.2.0
STARTUP_MSG:?? classpath = /opt/h

.................

..................

....................

15/01/19 16:52:58 INFO namenode.FSImage: Image file /app/hadoop/dfs/nn/current/fsimage.ckpt_0000000000000000000 of size 196 bytes saved in 0 seconds.
15/01/19 16:52:58 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
15/01/19 16:52:58 INFO util.ExitUtil: Exiting with status 0
15/01/19 16:52:58 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at wshchn-Aspire-4741/127.0.1.1
************************************************************/

啟動(dòng)hdfs和yarn。在開(kāi)發(fā)Spark時(shí)，僅需要啟動(dòng)hdfs：

sbin/start-dfs.sh ? ? /opt/hadoop-2.2.0/sbin/start-dfs.sh 顯示： 15/01/19 16:56:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [localhost] root@localhost's : ? ?sbin/start-yarn.sh

在瀏覽器中打開(kāi)地址可以查看hdfs狀態(tài)信息：

4. 安裝scala

1 sudo cp /home/hduser/Download/scala-2.9.3.tgz /usr/local 2 sudo tar -xvzf scala-2.9.3.tgz

在/etc/profile文件的末尾添加環(huán)境變量：

export SCALA_HOME=/usr/local/scala-2.9.3 export PATH=$SCALA_HOME/bin:$PATH

保存并更新/etc/profile：

source /etc/profile

測(cè)試scala是否安裝成功：

1 scala -version

5. 安裝Spark

sudo cp spark-1.1.0-bin-hadoop2.4.tgz /usr/local sudo tar -xvzf spark-1.1.0-bin-hadoop2.4.tgz

在/etc/profile文件的末尾添加環(huán)境變量：

export SPARK_HOME=/usr/local/spark-1.1.0-bin-hadoop2.4 export PATH=$SPARK_HOME/bin:$PATH

保存并更新/etc/profile：

source /etc/profile

復(fù)制并重命名spark-env.sh.template為spark-env.sh：

sudo cp spark-env.sh.template spark-env.sh sudo gedit spark-env.sh

在spark-env.sh中添加：

export SCALA_HOME=/usr/local/scala-2.9.3 export JAVA_HOME=/usr/lib/jdk1.7.0_67 export SPARK_MASTER_IP=localhost export SPARK_WORKER_MEMORY=1000m

啟動(dòng)Spark：

cd /usr/local/spark-1.1.0-bin-hadoop2.4 sbin/start-all.sh

測(cè)試Spark是否安裝成功：

cd /usr/local/spark-1.1.0-bin-hadoop2.4 bin/run-example SparkPi

6. 搭建Spark開(kāi)發(fā)環(huán)境

本文開(kāi)發(fā)Spark的IDE推薦IntelliJ IDEA，當(dāng)然也可以選擇Eclipse。在使用IntelliJ IDEA之前，需要安裝scala的插件。點(diǎn)擊Configure：

點(diǎn)擊Plugins：

點(diǎn)擊Browse repositories...：

在搜索框內(nèi)輸入scala，選擇Scala插件進(jìn)行安裝。由于已經(jīng)安裝了這個(gè)插件，下圖沒(méi)有顯示安裝選項(xiàng)：

安裝完成后，IntelliJ IDEA會(huì)要求重啟。重啟后，點(diǎn)擊Create New Project：

Project SDK選擇jdk安裝目錄，建議開(kāi)發(fā)環(huán)境中的jdk版本與Spark集群上的jdk版本保持一致。點(diǎn)擊左側(cè)的Maven，勾選Create from archetype，選擇org.scala-tools.archetypes:scala-archetype-simple：

點(diǎn)擊Next后，可根據(jù)需求自行填寫GroupId，ArtifactId和Version：

點(diǎn)擊Next后，如果本機(jī)沒(méi)有安裝maven會(huì)報(bào)錯(cuò)，請(qǐng)保證之前已經(jīng)安裝maven：

點(diǎn)擊Next后，輸入文件名，完成New Project的最后一步：

點(diǎn)擊Finish后，maven會(huì)自動(dòng)生成pom.xml和下載依賴包。我們需要修改pom.xml中scala的版本：

1 <properties> 2 <scala.version>2.10.4</scala.version> 3 </properties>

在<dependencies></dependencies>之間添加配置：

1 <!-- Spark --> 2 <dependency> 3 <groupId>org.apache.spark</groupId> 4 <artifactId>spark-core_2.10</artifactId> 5 <version>1.1.0</version> 6 </dependency> 7 8 <!-- HDFS --> 9 <dependency> 10 <groupId>org.apache.hadoop</groupId> 11 <artifactId>hadoop-client</artifactId> 12 <version>2.4.0</version> 13 </dependency>

Spark的開(kāi)發(fā)環(huán)境至此搭建完成。One more thing，wordcount的示例代碼：

1 package mark.lin //別忘了修改package 2 3 import org.apache.spark.{SparkConf, SparkContext} 4 import org.apache.spark.SparkContext._ 5 6 import scala.collection.mutable.ListBuffer 7 8 /** 9 * Hello world! 10 * 11 */ 12 object App{ 13 def main(args: Array[String]) { 14 if (args.length != 1) { 15 println("Usage: java -jar code.jar dependencies.jar") 16 System.exit(0) 17 } 18 val jars = ListBuffer[String]() 19 args(0).split(",").map(jars += _) 20 21 val conf = new SparkConf() 22 conf.setMaster("spark://localhost:7077").setAppName("wordcount").set("spark.executor.memory", "128m").setJars(jars) 23 24 val sc = new SparkContext(conf) 25 26 val file = sc.textFile("hdfs://localhost:9000/hduser/wordcount/input/input.csv") 27 val count = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_+_) 28 println(count) 29 count.saveAsTextFile("hdfs://localhost:9000/hduser/wordcount/output/") 30 sc.stop() 31 } 32 }

7. 編譯&運(yùn)行

使用maven編譯源代碼。點(diǎn)擊左下角，點(diǎn)擊右側(cè)package，點(diǎn)擊綠色三角形，開(kāi)始編譯。

在target目錄下，可以看到maven生成的jar包。其中，hellworld-1.0-SNAPSHOT-executable.jar是我們需要放到Spark集群上運(yùn)行的。

在運(yùn)行jar包之前，保證hadoop和Spark處于運(yùn)行狀態(tài)：

將jar包拷貝到Ubuntu的本地文件系統(tǒng)上，輸入以下命令運(yùn)行jar包：

1 java -jar helloworld-1.0-SNAPSHOT-executable.jar helloworld-1.0-SNAPSHOT-executable.jar

在瀏覽器中輸入地址http://localhost:8080/可以查看任務(wù)運(yùn)行情況：

8. Q&A

Q： 在Spark集群上運(yùn)行jar包，拋出異常“No FileSystem for scheme: hdfs”：

A：這是由于hadoop-common-2.4.0.jar中的core-default.xml缺少hfds的相關(guān)配置屬性引起的異常。在maven倉(cāng)庫(kù)目錄下找到hadoop-common-2.4.0.jar，以rar的打開(kāi)方式打開(kāi)：

將core-default.xml拖出，并添加配置：

1 <property> 2 <name>fs.hdfs.impl</name> 3 <value>org.apache.hadoop.hdfs.DistributedFileSystem</value> 4 <description>The FileSystem for hdfs: uris.</description> 5 </property>

再將修改后的core-default.xml替換hadoop-common-2.4.0.jar中的core-default.xml，重新編譯生成jar包。

Q： 在Spark集群上運(yùn)行jar包，拋出異常“Failed on local exception”：

A：檢查你的代碼，一般是由于hdfs路徑錯(cuò)誤引起。

Q: 在Spark集群上運(yùn)行jar包，重復(fù)提示“Connecting to master spark”：

A:檢查你的代碼，一般是由于setMaster路徑錯(cuò)誤引起。

Q： 在Spark集群上運(yùn)行jar包，重復(fù)提示“Initial job has not accepted any resource; check your cluster UI to ensure that workers are registered and have sufficient memory”：

A：檢查你的代碼，一般是由于內(nèi)存設(shè)置不合理引起。此外，還需要檢查Spark安裝目錄下的conf/spark-env.sh對(duì)worker內(nèi)存的設(shè)置。

9. 參考資料

[1] Spark Documentation from Apache. [ Link ]

10. 鳴謝

感謝limyao( http://limyao.com/ )為本文提供的幫助。

總結(jié)

以上是生活随笔為你收集整理的Apache Spark1.1.0部署与开发环境搭建 - Mark Lin的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。