當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

spark之3：安装部署

發(fā)布時間：2024/1/23 编程问答 31 豆豆

生活随笔收集整理的這篇文章主要介紹了 spark之3：安装部署小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

spark之3：安裝部署

@(SPARK)[spark, 大數(shù)據(jù)]

spark之3安裝部署
- 一單機安裝
  - 1環(huán)境準(zhǔn)備
  - 2安裝scala
  - 3安裝spark
  - 4驗證安裝情況

一、單機安裝

本文介紹安裝spark單機環(huán)境的方法，可用于測試及開發(fā)。主要分成以下4部分：
（1）環(huán)境準(zhǔn)備
（2）安裝scala
（3）安裝spark
（4）驗證安裝情況

1、環(huán)境準(zhǔn)備

（1）配套軟件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).

（2）安裝好linux、jdk、python，一般linux均會自帶安裝好jdk與python，但注意jdk默認(rèn)為openjdk，建議重新安裝oracle jdk。

（3）IP：10.171.29.191 hostname：master

2、安裝scala

（1）下載scala

wget http://downloads.typesafe.com/scala/2.10.5/scala-2.10.5.tgz

（2）解壓文件

tar -zxvf scala-2.10.5.tgz

（3）配置環(huán)境變量

#vi/etc/profile #SCALA VARIABLES START export SCALA_HOME=/home/jediael/setupfile/scala-2.10.5 export PATH=$PATH:$SCALA_HOME/bin #SCALA VARIABLES END$ source /etc/profile $ scala -version Scala code runner version 2.10.5 -- Copyright 2002-2013, LAMP/EPFL

（4）驗證scala

$ scala Welcome to Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_51). Type in expressions to have them evaluated. Type :help for more information.scala> 9*9 res0: Int = 81

3、安裝spark

（1）下載spark

wget http://mirror.bit.edu.cn/apache/spark/spark-1.3.1/spark-1.3.1-bin-hadoop2.6.tgz

（2）解壓spark

tar -zxvf http://mirror.bit.edu.cn/apache/spark/spark-1.3.1/spark-1.3.1-bin-hadoop2.6.tgz

（3）配置環(huán)境變量

#vi/etc/profile #SPARK VARIABLES START export SPARK_HOME=/mnt/jediael/spark-1.3.1-bin-hadoop2.6 export PATH=$PATH:$SPARK_HOME/bin #SPARK VARIABLES END$ source /etc/profile

（4）配置spark

$ pwd /mnt/jediael/spark-1.3.1-bin-hadoop2.6/conf$ mv spark-env.sh.template spark-env.sh $vi spark-env.sh export SCALA_HOME=/home/jediael/setupfile/scala-2.10.5 export JAVA_HOME=/usr/java/jdk1.7.0_51 export SPARK_MASTER_IP=10.171.29.191 export SPARK_WORKER_MEMORY=512m export master=spark://10.171.29.191:7070

$vi slaves
master

（5）啟動spark
pwd
/mnt/jediael/spark-1.3.1-bin-hadoop2.6/sbin
$ ./start-all.sh
注意，hadoop也有start-all.sh腳本，因此必須進入具體目錄執(zhí)行腳本

$ jps
30302 Worker
30859 Jps
30172 Master

4、驗證安裝情況

（1）運行自帶示例
$ bin/run-example org.apache.spark.examples.SparkPi

（2）查看集群環(huán)境
http://master:8080/

（3）進入spark-shell
$spark-shell

（4）查看jobs等信息
http://master:4040/jobs/

總結(jié)

以上是生活随笔為你收集整理的spark之3：安装部署的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

Spark