1.1 環(huán)境
使用deepin系統(tǒng)、Hadoop3.1.3和Java環(huán)境jdk-8u162-linux-x64.tar.gz。
https://pan.baidu.com/s/1K1U1dypbgJeFvjHIGPcMqQ
提取碼: 2vsi

1.2 準備

1.創(chuàng)建用戶hadoop，按ctrl+alt+t打開終端，輸入如下命令,并使用/bin/bash作為shell。

$ sudo useradd -m hadoop -s /bin/bash

2.設置用戶密碼。

$ sudo passwd hadoop

3.為用戶增加管理員權限。

$ sudo adduser hadoop sudo

創(chuàng)建完用戶后，切換到hadoop用戶。

4.更新apt，需要使用apt安轉(zhuǎn)軟件。

$ sudo apt-get update

5.安裝vim，便于后面使用

$ sudo apt-get install vim

1.3 安裝SSH、配置SSH無密碼登錄

1.集群、單節(jié)點模式都需要要用到SSH登錄。

$ sudo apt-get install openssh-server

2.安裝后，可以使用如下命令有密碼(yes)登錄

$ ssh localhost

3.配置無密碼登錄，后可以使用上述命令無密登錄。

$ exit # 退出剛才的 ssh localhost $ cd ~/.ssh/ # 若沒有該目錄，請先執(zhí)行一次ssh localhost $ ssh-keygen -t rsa # 會有提示，都按回車就可以 $ cat ./id_rsa.pub >> ./authorized_keys # 加入授權

1.4 安轉(zhuǎn)Java環(huán)境

1.登錄到hadoop用戶，創(chuàng)建安裝環(huán)境的文件夾

$ cd /usr/lib $ sudo mkdir jvm

2.通過cd命令進入Hadoop3.1.3和Java環(huán)境jdk-8u162-linux-x64.tar.gz所在文件夾Personal File(根據(jù)每個人的實際位置)。解壓Java環(huán)境

$ sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解壓到/usr/lib/jvm目錄下

3.可以看到/usr/lib/jvm下具有一個jdk1.8.0_162目錄。下面通過vim進行環(huán)境配置。

$ cd ~ $ vim ~/.bashrc

4.按i鍵，進入vim的輸入模式，在文件開頭添加如下語句。

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

5.按Esc，然后輸入:wq 保存退出。通過如下命令讓配置生效。

$ source ~/.bashrc

6.查看是否安轉(zhuǎn)成功。

$ java -version

出現(xiàn)如上信息表示安裝成功。

1.5 安裝hadoop

1.通過cd命令進入hadoop3.1.3的所在目錄文件夾Personal File(根據(jù)每個人的實際位置)。

$ sudo tar -zxf ./hadoop-3.1.3.tar.gz -C /usr/local #解壓到/usr/local中

2.進入安裝目錄更改文件夾名稱為hadoop。

$ cd /usr/local/ $ sudo mv ./hadoop-3.1.3/ ./hadoop $ sudo chown -R hadoop ./hadoop #修改文件權限

3.檢查hadoop安裝是否可用,顯示hadoop版本信息則可用。

$ cd /usr/local/hadoop ./bin/hadoop version

1.6 Hadoop單機配置(非分布式)
1.hadoop默認模式為分布式模式，可以直接運行如下命令，可以看到Hadoop自帶的例子，包括wordcount、terasort、join、grep 等。

$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar

2.我們運行grep例子，將input文件中的所有文件作為輸入，篩選符合表達式dfs[a-z.]+的單詞并統(tǒng)計出現(xiàn)的次數(shù)，輸出到output文件夾。

$ cd /usr/local/hadoop $ mkdir ./input $ cp ./etc/hadoop/*.xml ./input # 將配置文件作為輸入文件 $ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' $ cat ./output/* # 查看運行結果

3.下次運行需要刪除./output文件，Hadoop不會默認覆蓋結果文件。

$ rm -r ./output

源文檔
http://dblab.xmu.edu.cn/blog/2441-2/#more-2441

常識和常用技能：
1.終端復制粘貼快捷鍵：ctrl+shift+V。
2.在linux中，～代表的使用戶主文件夾,即“/home/用戶名”這個目錄。
3. 相對路徑和絕對路徑：相對路徑：./bin/… 、./etc/… ,包含./的路徑為相對路徑，它會將當前路徑替換./組合成完整的路徑( 絕對路徑)來執(zhí)行。因此需要時刻注意自己的路徑是否正確。
4.linux的主目錄如下：home下包含所有的用戶，每個用戶有自己的所屬文件。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結

以上是生活随笔為你收集整理的hadoop单机配置(非分布式)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。