1. Hadoop安裝

1.1 HDFS配置

fs.defaultFS

hdfs://localhost:9000

hadoop.tmp.dir

file:/home/local/data/hadoop/tmp

dfs.replication

1

dfs.namenode.name.dir

file:/home/local/data/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/home/local/data/hadoop/tmp/dfs/data

編輯Hadoop下etc/hadoop/hadoop-env.sh，指定JAVA_HOME環境變量(可選)

#export JAVA_HOME=${JAVA_HOME}

export JAVA_HOME=/home/local/jdk1.8.0_231

1.2 HDFS啟動

格式化文件系統，執行Hadoop下bin/hdfs

sh hdfs namenode -format

啟動hdfs文件系統，執行Hadoop下sbin/start-dfs.sh

sh start-dfs.sh

1.3 HDFS驗證

控制臺輸入jps，檢查 DataNode、NameNode、SecondaryNameNode、NodeManager、ResourceManager這幾個進程是否啟動

18642 SecondaryNameNode

18793 Jps

1835 HMaster

18475 DataNode

18349 NameNode

打開Hadoop WebUI 默認端口50070后，訪問該地址

firewall-cmd --zone=public --add-port=50070/tcp --permanent

firewall-cmd --reload

1.3 HDFS Yarn資源管理模塊(可選)

mapreduce.framework.name

yarn

yarn.nodemanager.aux-services

mapreduce_shuffle

sh start-yarn.sh

打開Hadoop yarn 默認端口8088后，訪問該地址

firewall-cmd --zone=public --add-port=8088/tcp --permanent

firewall-cmd --reload

2. HBase安裝

hbase.rootdir

hdfs://localhost:9000/hbase

hbase.cluster.distributed

true

The mode the clusterwill be in. Possible values are

false: standalone and pseudo-distributedsetups with managed Zookeeper

true: fully-distributed with unmanagedZookeeper Quorum (see hbase-env.sh)

hbase.zookeeper.property.dataDir

/home/local/data/zookeeper

修改hbase conf目錄下hbase-env.sh，使用hbase自己維護的 zookeeeper

# Tell HBase whether it should manage it's own instance of Zookeeper or not.

export HBASE_MANAGES_ZK=true

3. 配置環境變量

# 編輯/etc/profile文件，增加HBase配置

vim /etc/profile

# 增加以下配置

# hbase

export HBASE_HOME=/home/local/hbase-1.4.11

export PATH=$PATH:$HBASE_HOME/bin

# Hadoop

export HADOOP_HOME=/home/local/hadoop-2.7.7

export PATH=$PATH:$HADOOP_HOME/bin

4. 配置SSH的免key登陸

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的hbase 单机连接hadoop_Hadoop、Hbase单机环境安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。