日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

hadoop2 5个环境配置文件

發(fā)布時間:2024/4/17 编程问答 25 豆豆
生活随笔 收集整理的這篇文章主要介紹了 hadoop2 5个环境配置文件 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

安裝hadoop
1.1 vi hadoop-env.sh(config file)
export JAVA_HOME=/root/apps/jdk1.7.0_65

1.2 vi core-site.xml(config file)
<!-- 指定HADOOP所使用的文件系統(tǒng)schema(URI),HDFS的老大(NameNode)的地址 -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp-server01:9000</value>
</property>
<!-- 指定hadoop運行時產(chǎn)生文件的存儲目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>
</configuration>
1.3 hdfs-site.xml(config file)
<!-- 指定HDFS副本的數(shù)量 -->
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 可選 namenode可以放置多個目錄備份-->
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/name1,/home/hadoop/name2</value>
</property>

</configuration>
重命名:mv mapred-site.xml.template mapred-site.xml
1.4 mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)(config file)
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<!-- 指定mr運行在yarn上 -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
1.5 yarn-site.xml(config file)
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp-server01</value>
</property>
<!-- reducer獲取數(shù)據(jù)的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
1.6 slaves
/etc/hadoop/slaves
hdp-server01
hdp-server02
hdp-server03

轉載于:https://www.cnblogs.com/geek-sharing/p/9469843.html

與50位技術專家面對面20年技術見證,附贈技術全景圖

總結

以上是生活随笔為你收集整理的hadoop2 5个环境配置文件的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。