當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Hadoop之Hadoop基础知识面试复习

發布時間：2024/2/28 编程问答 17 豆豆

生活随笔收集整理的這篇文章主要介紹了 Hadoop之Hadoop基础知识面试复习小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Hadoop之Hadoop基礎知識常問面試題

列舉幾個hadoop生態圈的組件并做簡要描述。

Zookeeper:是一個開源的分布式應用程序協調服務,基于zookeeper可以實現同步服務，配置維護，命名服務。

Flume:一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統。

Hbase:是一個分布式的、面向列的開源數據庫, 利用Hadoop HDFS作為其存儲系統。

Hive:基于Hadoop的一個數據倉庫工具，可以將結構化的數據檔映射為一張數據庫表，并提供簡單的sql 查詢功能，可以將sql語句轉換為MapReduce任務進行運行。

Sqoop:將一個關系型數據庫中的數據導進到Hadoop的 HDFS中，也可以將HDFS的數據導進到關系型數據庫中。

解釋“hadoop”和“hadoop 生態系統”兩個概念。

Hadoop是指Hadoop框架本身；hadoop生態系統，不僅包含hadoop，還包括保證hadoop框架正常高效運行其他框架，比如zookeeper、Flume、Hbase、Hive、Sqoop等輔助框架。

簡要描述如何安裝配置apache的一個開源Hadoop，只描述即可，無需列出具體步驟，列出具體步驟更好。

使用root賬戶登錄

修改IP

修改host主機名

配置SSH免密碼登錄

關閉防火墻

安裝JDK

解壓hadoop安裝包

配置hadoop的核心文件 hadoop-env.sh，core-site.xml , mapred-site.xml ， hdfs-site.xml

配置hadoop環境變量

格式化 hadoop namenode-format

啟動節點start-all.sh

Hadoop中需要哪些配置文件，其作用是什么？

1）core-site.xml：

fs.defaultFS:hdfs://cluster1(域名)，這里的值指的是默認的HDFS路徑。

hadoop.tmp.dir:/export/data/hadoop_tmp,這里的路徑默認是NameNode、DataNode、secondaryNamenode等存放數據的公共目錄。用戶也可以自己單獨指定這三類節點的目錄。

ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,這里是ZooKeeper集群的地址和端口。注意，數量一定是奇數，且不少于三個節點。

2）hadoop-env.sh: 只需設置jdk的安裝路徑，如：export JAVA_HOME=/usr/local/jdk。

3）hdfs-site.xml：

dfs.replication:他決定著系統里面的文件塊的數據備份個數，默認為3個。

dfs.data.dir:datanode節點存儲在文件系統的目錄。

dfs.name.dir:是namenode節點存儲hadoop文件系統信息的本地系統路徑。

4）mapred-site.xml：mapreduce.framework.name: 指定mr運行在yarn上。

簡述Hadoop的幾個默認端口及其含義
1）dfs.namenode.http-address（namenode的http服務的端口）:50070
2）SecondaryNameNode輔助名稱節點端口號：50090
3）dfs.datanode.address（datanode服務端口，用于數據傳輸）:50010
4）fs.defaultFS:8020 或者9000
5）yarn.resourcemanager.webapp.address（yarn的http服務端口）:8088

總結

以上是生活随笔為你收集整理的Hadoop之Hadoop基础知识面试复习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： Hadoop之Hadoop基础知识
下一篇： Hadoop之HDFS概述