2019獨角獸企業重金招聘Python工程師標準>>>

? ? 怎么在本地安裝Spark，這里就不再描述了。

? ? List-1

#在SPARK_HOME/conf下 >cp slaves.template slaves #之后在slaves里面寫入hostname，如下 >more slaves mjduan-host>cp spark-env.sh.template spark-env.sh #修改spark-env.sh，寫入如下內容,SPARK_MASTER_IP寫mjduan-host >more spark-env.sh export JAVA_HOME=/opt/software/tool/jdk1.8 export HADOOP_HOME=/opt/software/docker/hadoop/hadoop-2.7.7 export SCALA_HOME=/opt/software/tool/scala2.12 export HADOOP_CONF_DIR=/opt/software/docker/hadoop/hadoop-2.7.7/etc/hadoop export SPARK_MASTER_IP=mjduan-host export SPARK_WORKER_MEMORY=2048M

? ? 之后進入$SPARK_HOME/sbin下，執行start-all.sh，可以看下是否啟動成功，之后去看localhost:8080，可以看到spark的界面。

? ? jps命令可以看到有個Master和Worker。

? ? 注意，啟動Spark是可以啟動的，但是如果往Spark上提交程序，Spark默認會從hdfs讀取數據，而不是本地。所以要安裝好HADOOP，安裝Hadoop的時候，帶上了hdfs、yarn都安裝好了。

? ? 給Spark提交任務，master后面的URL，如果不知道，可以從日志中看到或者Spark UI界面中看到。

? ? List-2

spark-submit --class com.mjduan.project.SimpleApp --master spark://mjduan-host:7077 Spark-helloworld.jar

? ? 安裝Hadoop-2.7，Hive-2.3，參考:?https://blog.csdn.net/u013332124/article/details/85223496?，左邊安裝Hadoop的教程里面，沒有設置yarn，要配置yarn，不然在hive命令行中進入insert時會報錯，配置yarn參考: https://blog.csdn.net/linbo_18874208784/article/details/74178236，在安裝Hive時，報用戶無法訪問hive，要修改hive的配置文件，參考:?https://stackoverflow.com/questions/40603714/hive-is-not-allowed-to-impersonate-hive

? ? Spark偽分布式的安裝，參考:?https://blog.csdn.net/zhihaoma/article/details/52296645

? ?

轉載于:https://my.oschina.net/u/2518341/blog/3031605

總結

以上是生活随笔為你收集整理的Spark之伪分布式搭建、伪分布式Hadoop、Hive安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。