sublime+virtualenv+pyspark执行的时候报Unable to load native-hadoop library for your platform
生活随笔
收集整理的這篇文章主要介紹了
sublime+virtualenv+pyspark执行的时候报Unable to load native-hadoop library for your platform
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
Unable to load native-hadoop library for your platform這個報錯在網上有一大堆解決方案,我們會發現,完全無效。
為什么呢?
因為此時,sublime里面的虛擬環境python2.7使用的是virtualenv的site-packages下面的pyspark,不再是我們下載的那個pyspark源碼包了。
所以解決方案只有一個,
/home/appleyuchi/.virtualenvs/python2.7/lib/python2.7/site-packages/pyspark/conf/spark-env.sh
里面加入:
export HADOOP_HOME=/home/appleyuchi/Hadoop_source/hadoop-2.7.3-src
export LD_LIBRARY_PATH=$HADOOP_HOME/lib
export SPARK_LOCAL_IP=127.0.0.1
總結
以上是生活随笔為你收集整理的sublime+virtualenv+pyspark执行的时候报Unable to load native-hadoop library for your platform的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Caused by: java.net.
- 下一篇: 输出省略号的问题