文章目錄

• 一、大數(shù)據(jù)（持續(xù)更新）
• • 1. 前言
  • • 1.0作者感言
    • 1.1選擇Typora
    • • 1.1.1 選擇PicGo(APP)的原因
      • 1.1.2 下載PicGo并配置
      • 1.1.3 開(kāi)始寫(xiě)博客，記錄自己學(xué)習(xí)的點(diǎn)點(diǎn)滴滴
      • 1.1.4 附件下載地址
    • 1.2 為什么用Linux？
  • 2.下載VMware并安裝Linux
  • 3. 安裝VMwareTools
  • 4.配置網(wǎng)絡(luò)，確保能上網(wǎng)
  • • 4.1 vim /etc/sysconfig/network-scripts/ifcfg-eth0
    • 4.2 配置主機(jī)名與Ip的映射
  • 5. 配置SSH連接
  • 6. 配置SSH免密登錄
  • 7. 配置hadoop和java環(huán)境變量
  • • 7.1卸載自帶的Java
    • • 7.1.1檢查自帶的Java
      • • 7.1.1.1指令解析
      • 7.1.2卸載Java
    • 7.2解壓附件安裝包
    • • 7.2.1解壓指令解析
    • 7.3配置/etc/profile
  • 8.克隆虛擬機(jī)
  • • 8.1為什么要克隆虛擬機(jī)？
    • 附：更新在下一篇，歡迎讀者移步我的主頁(yè)查看

一、大數(shù)據(jù)（持續(xù)更新）

1. 前言

1.0作者感言

? 我水平有限，大數(shù)據(jù)仍在學(xué)習(xí)中，但學(xué)習(xí)日志會(huì)不斷更新，知識(shí)是個(gè)積累的過(guò)程，這個(gè)博客算是記錄我學(xué)習(xí)的過(guò)程，而非盈利性的教程。如果你們有更好的辦法或者意見(jiàn)，歡迎評(píng)論。

1.1選擇Typora

? 眾所周知，計(jì)算機(jī)是一門(mén)過(guò)程性知識(shí)非常多的學(xué)科，我們需要一款工具來(lái)記錄下我們的知識(shí)，Typora是一個(gè)非常好的選擇，支持多種代碼塊，畫(huà)面簡(jiǎn)約，編寫(xiě)方便，啟動(dòng)快速。

1.1.1 選擇PicGo(APP)的原因

? 由于我們的圖片在本地，上傳md文件到CSDN的時(shí)候，CSDN不支持本地相對(duì)路徑上傳圖片，會(huì)提示失敗，這是就需要一個(gè)網(wǎng)絡(luò)中轉(zhuǎn)站，先把我們的圖片上傳到這個(gè)中轉(zhuǎn)站里面，那么我們的圖片地址就成了一個(gè)網(wǎng)絡(luò)地址，CSDN就會(huì)自動(dòng)加載

1.1.2 下載PicGo并配置

? 1. 偏好設(shè)置

下載PicGo

這里注意不要選擇帶beta的版本，因?yàn)椴环€(wěn)定，容易崩潰

我選擇了

我們這里選擇騰訊云COS，不選Github，因?yàn)镚ithub服務(wù)器不在中國(guó)，所以會(huì)有下載上傳緩慢的情況

創(chuàng)建對(duì)象存儲(chǔ)桶（訪問(wèn)權(quán)限設(shè)置為 公開(kāi)讀私有寫(xiě) ，提高安全性）

存儲(chǔ)桶名稱對(duì)應(yīng)“設(shè)置存儲(chǔ)空間名”

所屬地域?qū)?yīng)“確認(rèn)存儲(chǔ)區(qū)域”

存儲(chǔ)桶名稱后面的一串?dāng)?shù)字對(duì)應(yīng)“設(shè)定APPID”

最后授予PicGo密匙

1.1.3 開(kāi)始寫(xiě)博客，記錄自己學(xué)習(xí)的點(diǎn)點(diǎn)滴滴

1.1.4 附件下載地址

鏈接：https://pan.baidu.com/s/1oA1iDFWGUCYC6Sjk5OzVeQ
提取碼：s8h9
復(fù)制這段內(nèi)容后打開(kāi)百度網(wǎng)盤(pán)手機(jī)App，操作更方便哦–來(lái)自百度網(wǎng)盤(pán)超級(jí)會(huì)員V1的分享

1.2 為什么用Linux？

眾所周知，Linux最強(qiáng)的服務(wù)器操作系統(tǒng)，并且在一定程度上比windows安全。而大數(shù)據(jù)框架Hadoop也是運(yùn)行在服務(wù)器之上，所以Linux是最優(yōu)選。

2.下載VMware并安裝Linux

注：附件在前言1.1.4

如果你的電腦是16G內(nèi)存可以選擇2GB，如果你的電腦是8G，則選擇1G內(nèi)存

完成

開(kāi)啟虛擬機(jī)

默認(rèn)

跳過(guò)，選skip

耐心等待

這里重啟即可

3. 安裝VMwareTools

VMwareTools可以讓虛擬機(jī)和Windows10之間共享粘貼板

控制臺(tái)輸入以下兩條指令

cd /opt mkdir module software

解壓到第3步創(chuàng)建的module文件夾中

cd /opt/module/vmware-tools-distrib ./vmware-install.pl

然后一路回車(chē)采用默認(rèn)設(shè)置

這里不要著急，不要按ctrl+C，否則會(huì)中斷，系統(tǒng)也會(huì)崩潰，耐心等待

這里同樣不要著急，不要跳過(guò)或者關(guān)閉窗口

安裝成功如圖所示

重啟即可生效

4.配置網(wǎng)絡(luò)，確保能上網(wǎng)

4.1 vim /etc/sysconfig/network-scripts/ifcfg-eth0

如果你是選擇了NAT，那么你的Linux配置好了就能上網(wǎng)，但是需要再配置/etc/sysconfig/network-scripts的ifcfg-eth0，以確保ssh遠(yuǎn)程登錄成功

關(guān)鍵配置如下

BOOTPROTO=static ONBOOT=yes

配置完成保存，重啟即可生效

4.2 配置主機(jī)名與Ip的映射

vim /etc/hosts

輸入ifconfig指令查詢的ip地址

輸入hostname指令查詢的主機(jī)名

如圖

5. 配置SSH連接

終端輸入以下指令查看ip地址

ifconfig

此處端口號(hào)（port）不要改，否則會(huì)出錯(cuò)

選yes即可

6. 配置SSH免密登錄

關(guān)閉防火墻

chkconfig iptables off

終端輸入

ssh-keygen -t rsa

回車(chē)

先用ssh登錄一遍，這步目的是為了生成.ssh文件

ssh localhost

傳遞公鑰

ssh-copy-id machine110

第一次會(huì)讓你輸入密碼，第二次就不用了

成功之后如圖

7. 配置hadoop和java環(huán)境變量

7.1卸載自帶的Java

7.1.1檢查自帶的Java

7.1.1.1指令解析

rpm命令
-q 　使用詢問(wèn)模式，當(dāng)遇到任何問(wèn)題時(shí)，rpm指令會(huì)先詢問(wèn)用戶。
-a 　查詢所有套件。
grep命令用于查找文件里符合條件的字符串。

rpm -qa |grep java rpm -qa |grep jdk rpm -qa |grep gcj

如果沒(méi)有輸入提示信息表示沒(méi)有安裝

7.1.2卸載Java

方法一：批量卸載

rpm -qa | grep java | xargs rpm -e --nodeps

方法二：單個(gè)卸載

rpm -e 安裝包的名字

7.2解壓附件安裝包

7.2.1解壓指令解析

-z或–gzip或–ungzip 通過(guò)gzip指令處理備份文件。
-x或–extract或–get 從備份文件中還原文件。
-v或–verbose 顯示指令執(zhí)行過(guò)程。
-f<備份文件>或–file=<備份文件> 指定備份文件。
-C<目的目錄>或–directory=<目的目錄> 切換到指定的目錄。

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

7.3配置/etc/profile

終端輸入

vim /etc/profile

按 “i” 進(jìn)入編輯模式，加入以下代碼

export JAVA_HOME=/opt/module/jdk1.8.0_144 export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

ESC退出編輯模式，按"wq"進(jìn)行保存

重新加載配置文件

source /etc/profile

檢查是否配置正確

java -version hadoop version

8.克隆虛擬機(jī)

8.1為什么要克隆虛擬機(jī)？

讀者如果親自配置過(guò)虛擬機(jī)，你會(huì)知道配置的過(guò)程是非常繁瑣的，而且是非智力的勞動(dòng)。在實(shí)際工作當(dāng)中，你可能要配置3個(gè)節(jié)點(diǎn)以上，不可能一個(gè)一個(gè)配置，當(dāng)你一個(gè)主機(jī)配置好后，選擇克隆會(huì)省下很多功夫。

從安全方面上說(shuō)，克隆可以防止數(shù)據(jù)丟失，相當(dāng)于備份，以免系統(tǒng)崩潰又要從頭再來(lái)的情況。

附：更新在下一篇，歡迎讀者移步我的主頁(yè)查看

總結(jié)

以上是生活随笔為你收集整理的Hadoop的详细配置（持续更新）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。