實驗步驟

實現步驟

先看注意點和參考。

安裝Linux系統

安裝Hadoop

安裝hbase

安裝zookeeper

啟動集群

安裝Linux系統

有如下幾種方式

• 安裝虛擬機
• 安裝雙系統
• 使用服務器
• docker容器

這里介紹一下虛擬機方式

預先下載vware軟件

Ubuntu20.04鏡像文件,

文件->新建虛擬機->自定義->下一步

選擇Linux 和Ubuntu,選擇好要安裝的位置,配置自己設置,然后一直下一步如下,點擊自定義硬件

? 選擇剛剛下載的映像文件

按照提示界面自主安裝

下載一些必要的軟件

• vim或者其他編輯器軟件

  sudo apt install vim

• apt換源

• 安裝jdk

  sudo apt install update sudo apt install openjdk-8-jdk -y

• ssh

  su hadoop ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 640 ~/.ssh/authorized_keys ssh localhost

安裝Hadoop

Hadoop有三種安裝方式

• 單機:下載就可以用了,用于測試mp等等…
• 偽分布:用一臺機器模擬集群
• 分布式:顧名思義

下載Hadoop

wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz #解壓 tar -zxf hadoop-3.2.2.tar.gz -C /usr/local/#重命名 mv /usr/local/hadoop-3.2.2/ /usr/local/hadoop # 添加權限, chown -R 777 /usr/local/hadoop/

下載后會得到一個壓縮文件

配置偽分布

配置路徑

vim ~/.bashrc export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export HADOOP_YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin# 退出后保存 #生效 source ~/.bashrc

修改配置信息

cd /usr/local/hadoop/etc/hadoop vim core-site.xml vim hdfs.xml <configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value></property><property><name>fs.defaultFS></name><value>hdfs://localhost:9000</value></property> </configuration> <!--hdfs.xml --> <configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property> </configuration>

啟動Hadoop

• 格式namenode 會生成一些基本的信息

  cd /usr/local/hadoop/bin hdfs namenode -format

• 啟動Hadoop

  cd /usr/local/hadoop/sbin ./start-dfs.sh

  啟動成功后應該看到如下的圖

hbase安裝

下載解壓hbase

wget https://mirrors.cnnic.cn/apache/hbase/2.3.6/hbase-2.3.6-bin.tar.gz tar -zxf hbase-2.3.6-bin.tar.gz -C /usr/local mv /usr/local/hbase-2.3.6/ hbase

配置hbase

#在bashrc中添加bin的路徑，也可以不加 export path=....<:/usr/local/hbase/bin># 修改權限,為了簡單起見 chmod -R 777 /usr/local/hbase

配置hbase-env.sh.

cd /usr/local/hbase/conf vim hbase-env.sh export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HBASE_CLASSPATH=/usr/local/hbase/conf export HBASE_MANAGES_ZK=false #這里和書上不同設置為false我們自己下載zookeeper進行守護

配置hbase-site.xml

<property><name>hbase.cluster.distributed</name><value>true</value> //這里設置分布</property><property><name>hbase.tmp.dir</name><value>./tmp</value></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>false</value></property><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property>

##　下載zookeeper

wget https://mirrors.cnnic.cn/apache/zookeeper/stable/apache-zookeeper-3.6.3-bin.tar.gztar -zxf apache-zookeeper-3.6.3-bin.tar.gz -C /usr/localmv /usr/local/apache-zookeeper-3.6.3-bin.tar.gz/ /usr/local/zookeeper

配置zookeeper

cp zoo_sample.cfg zoo.cfgtickTime=2000 initLimit=10 syncLimit=5 dataDir=/tmp/zookeeper clientPort=2181#默認端口,如果有沖突可以改,但是hbase也得修改cd zookeeper/bin #目錄下 ./zkServer.sh start

全部啟動后如下所示

注意點

上述描述了大致的操作過程，可以參考書也可以參考這篇文章，沒有全部描述過程但是殊途同歸，在安裝的時候或多或少會出現一些錯誤需要注意

• 善于使用log查看錯誤

  cat ../logs/hadoop-hadoop-namenode-VM-4-6-ubuntu.log

• 善于使用搜索引擎 Google=bing > 百度 有助于提高效率，同時，StackOverflow>csdn

• 需要虛擬機配置分配的稍微大一點，我的虛擬機配置內存6G，處理器2核。我在騰訊的1核內存2G的輕量服務器上配置，啟動就幾乎占滿了空間。

參考

• 書本

• Hadoop安裝Ubuntu20.04

• Hadoop+hbase+zookeeper偽分布安裝（這篇文章是我之前寫的，或許會有點出入）

1核內存2G的輕量服務器上配置，啟動就幾乎占滿了空間。

[外鏈圖片轉存中…(img-PyZigcID-1634369802047)]

參考

• 書本

• Hadoop安裝Ubuntu20.04

• Hadoop+hbase+zookeeper偽分布安裝（這篇文章是我之前寫的，或許會有點出入）

總結

以上是生活随笔為你收集整理的hadoop+hbase安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。