Required Software

1. 安裝Java環境推薦的版本在鏈接中有介紹HadoopJavaVersions.

2. 安裝ssh以使用hadoop腳本管理遠程Hadoop daemons.

Download Hadoop

Installing Software

安裝JDK，網上的教程比較多，不做詳述

安裝ssh，在Ubuntu Linux系統上通過如下指令安裝：

$ sudo apt-get install ssh

$ sudo apt-get install rsync

對于mac操作系統，需要在偏好設置中開啟遠程登錄服務。

Configuration

配置Hadoop環境變量

export HADOOP_HOME="/Users/majun/mysoftware/hadoop272"

export PATH="$PATH:/Users/majun/mysoftware/scala/bin:$HADOOP_HOME/bin"

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/native"

修改etc/hadoop/core-site.xml:

fs.defaultFS

hdfs://localhost:9000

etc/hadoop/hdfs-site.xml:

dfs.replication

1

Setup passphraseless ssh

使用如下命令來判斷是否需要輸入密碼來ssh登陸：

ssh localhost

如果無法登陸在不輸密碼的情況下，可以執行下面的語句：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

$ chmod 0600 ~/.ssh/authorized_keys

Execution

序列化數據

$ bin/hdfs namenode -format

啟動namenode和datanode daemon

$ sbin/start-dfs.sh

打開NameNode的web

NameNode - http://localhost:50070/

創建hdfs目錄

$ bin/hdfs dfs -mkdir /user

$ bin/hdfs dfs -mkdir /user/

將本地input拷進hdfs系統中

$ bin/hdfs dfs -put etc/hadoop input

運行官方提供的sample

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

檢驗輸出文件，將hdfs文件拷到本地

$ bin/hdfs dfs -get output output

$ cat output/*

Reference

總結

以上是生活随笔為你收集整理的hadoop 单机单间_Hadoop单机模式配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。