文章目錄

• 準備安裝包
• 準備工作
• • 創建hadoop用戶
  • 設置hadoop密碼
  • 為了以后方便,裝個vim編輯器
  • 安裝SSH并配置SSH無密碼登錄
• 安裝java
• 安裝Hadoop
• Hadoop偽分布式配置
• • 配置core-site.xml
  • 配置$hadoop-env.sh$
  • 配置hdfs-site.xml
  • 執行NameNode的格式化
  • 開啟NameNode和DataNode
  • 查看

準備安裝包

• java安裝包
  https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
  Linux x64 182.93 MB jdk-xxxxxx-linux-x64.tar.gz
• hadoop國內鏡像
  http://mirror.bit.edu.cn/apache/hadoop/common/
  hadoop-xxx.tar.gz

準備工作

創建hadoop用戶

sudo useradd -m hadoop -s /bin/bash

設置hadoop密碼

sudo passwd hadoop sudo adduser hadoop sudo

為了以后方便,裝個vim編輯器

sudo apt-get install vim

安裝SSH并配置SSH無密碼登錄

登錄到hadoop用戶下

su hadoop

輸入密碼

sudo apt-get install openssh-server

安裝成功后，使用命令登錄本機

ssh localhost

接下來配置SSH無密碼登錄。首先退出登錄的SSHexit

cd ~/.ssh/ ssh-keygen -t rsa //遇到提示，一路回車即可 cat ./id_rsa.pub >> ./authorized_keys //加入授權

安裝java

cd ~/Downloads sudo mv ~/Downloads/jdk-xxxxxx-linux-x64.tar.gz /usr/ //移動tar.gz文件去/usr/下 sudo tar -zxvf /usr/jdk-xxxxxx-linux-x64.tar.gz //解壓 sudo mv /usr/java-x.x.x /usr/java/ vim ~/.bashrc //此時是用戶hadoop, 不是的話運行su hadoop

在文件最后加入

export JAVA_HOME=/usr/java/jdkxxxx export PATH=$PATH:/usr/java/jdkxxxx/bin

‘ESC’ + ‘:’ + ‘wq’
保存退出

更新環境變量

source ~/.bashrc

安裝Hadoop

cd ~/Downloads sudo mv ~/Downloads/hadoop-x.x.x.tar.gz /usr/local/ sudo tar -xvf /usr/local/hadoop-x.x.x.tar.gz sudo mv /usr/local/hadoopxxx /usr/local/hadoop vim ~/.bashrc

文件末尾寫入

export HADOOP_HOME=/usr/local/hadoop export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出

source ~/.bashrc

Hadoop偽分布式配置

配置core-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml

寫入

<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property> </configuration>

配置$hadoop?env.sh$

sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
更改export JAVA_HOME=/usr/java/jdkxxxxx

配置hdfs-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property> </configuration>

執行NameNode的格式化

/usr/local/hadoop/bin/hdfs namenode -format

若成功進行下一步

開啟NameNode和DataNode

/usr/local/hadoop/sbin/start-dfs.sh
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

該解決辦法請自行問度娘，加一個環境變量就可以。

查看

jps

成功!

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的ubuntu安装javahadoop的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。