如何解决运行Spark-shell,出现报错Unable to load native-hadoop library for your platform的问题
問題:啟動spark后,運行bin/spark-shell會出現一個警告且交互界面顯示時間非常長(有很長的延遲時間)(如圖)
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
解決辦法:
設置環境變量和conf/spark-env.sh
vim /etc/profile
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native/
source /etc/profile
進入conf/spark-env.sh目錄下:
vim conf/spark-env.sh
export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH
(按照該步驟操作后,交互界面顯示的時間大大的縮短,且不再提示警告)
該方法本人親測有效,感興趣的可以瀏覽原博主的博客,他博客中講的(更加詳細哦
(附上博客鏈接:https://blog.csdn.net/csdnliu123/article/details/105488895)
總結
以上是生活随笔為你收集整理的如何解决运行Spark-shell,出现报错Unable to load native-hadoop library for your platform的问题的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 好佳居软装十大品牌 软装这些知识我们要知
- 下一篇: 最新交易猫 闲鱼源码 带后台管理+个人码