2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

Fayson的github： https://github.com/fayson/cdhproject

1.文檔編寫目的

Gateway節(jié)點(diǎn)又稱為客戶端節(jié)點(diǎn)，通常用作訪問(wèn)Hadoop集群的接口機(jī)。它主要會(huì)部署一些客戶端的配置，腳本命令，比如HDFS的core-site.xml，hdfs-site.xml以及hadoop的操作命令。

如果你使用的是Apache Hadoop，你只需要將hadoop相關(guān)服務(wù)的配置和腳本命令拷貝到客戶端機(jī)器即可，但一旦集群的配置有所修改，你需要注意也同步到客戶端機(jī)器。如果是CDH集群，客戶端節(jié)點(diǎn)也會(huì)是Cloudera Manager管理的一臺(tái)機(jī)器，它會(huì)被安裝cloudera-scm-agent服務(wù)，以及CDH的Parcel，部署客戶端配置Cloudera Manager會(huì)統(tǒng)一做，另外如果客戶端機(jī)器出現(xiàn)異常，Cloudera Manager也會(huì)告警。

增加一臺(tái)Gateway節(jié)點(diǎn)，與安裝CDH非常類似，你必須要注意一定要做好客戶端機(jī)器的前置條件準(zhǔn)備，參考《CDH安裝前置準(zhǔn)備》，否則會(huì)增加失敗。前面Fayson介紹過(guò)在非Kerberos環(huán)境下部署Gateway節(jié)點(diǎn)，參考《如何給CDH集群增加Gateway節(jié)點(diǎn)》。本文則主要是介紹如何在Kerberos環(huán)境下給CDH集群增加Gateway節(jié)點(diǎn)。

內(nèi)容概述

1.創(chuàng)建Gateway節(jié)點(diǎn)的主機(jī)模板

2.Gateway節(jié)點(diǎn)的前置準(zhǔn)備

3.增加Gateway節(jié)點(diǎn)到集群并應(yīng)用主機(jī)模板

4.GateWay節(jié)點(diǎn)命令測(cè)試

測(cè)試環(huán)境

1.CDH5.13

2.采用root用戶操作

3.CentOS6.5

前置條件

1.CDH5.13集群運(yùn)行正常

2.Gateway節(jié)點(diǎn)已準(zhǔn)備，并準(zhǔn)備好前置

2.創(chuàng)建Gateway節(jié)點(diǎn)的主機(jī)模板

1.從Cloudera Manager進(jìn)入“主機(jī)模板”頁(yè)面

2.點(diǎn)擊“創(chuàng)建”

3.給模板命名，點(diǎn)擊各個(gè)服務(wù)勾選相應(yīng)的GateWay角色

4.點(diǎn)擊“創(chuàng)建”，確認(rèn)創(chuàng)建成功.

3.Gateway節(jié)點(diǎn)的前置準(zhǔn)備

前置準(zhǔn)備請(qǐng)參考Fayson之前的文章《CDH安裝前置準(zhǔn)備》，主要包括以下步驟：

1.確保OS的yum源可以正常使用，通過(guò)yum repolist命令可以查看到匹配的OS的所有包

2.確保Cloudera Manager的yum源運(yùn)行正常

3.hosts文件配置，需要將Gateway節(jié)點(diǎn)的IP和hostname加入到CDH集群節(jié)點(diǎn)的hosts文件中，并同步到所有機(jī)器包括Gateway節(jié)點(diǎn)

4.禁用SELinux

5.關(guān)閉防火墻

6.設(shè)置swap為10

7.關(guān)閉透明大頁(yè)面

8.配置時(shí)鐘同步

請(qǐng)務(wù)必確保以上操作都已完成，并成功配置，否則接下來(lái)的增加節(jié)點(diǎn)操作會(huì)失敗！

4.安裝Kerberos客戶端

由于集群?jiǎn)⒂昧薑erberos服務(wù)，所以需要在Gateway節(jié)點(diǎn)安裝Kerberos客戶端。

1.在Gateway節(jié)點(diǎn)上執(zhí)行如下命令

[ec2-user@ip-172-31-31-212opt]$ sudo yum -y install krb5-libskrb5-workstation

安裝成功后查看安裝的RPM包

[ec2-user@ip-172-31-31-212opt]$ rpm -qa |grep krb krb5-workstation-1.15.1-8.el7.x86_64 krb5-libs-1.15.1-8.el7.x86_64 krb5-devel-1.15.1-8.el7.x86_64 [ec2-user@ip-172-31-31-212 opt]$

2.將CM集群中的krb5.conf文件拷貝至該Gateway節(jié)點(diǎn)

[ec2-user@ip-172-31-22-86 ~]$ scp -i fayson.pem.txt /etc/krb5.conf ip-172-31-31-212:/home/ec2-user/

3.在Gateway節(jié)點(diǎn)將krb5.conf文件拷貝至/etc目錄下

[ec2-user@ip-172-31-31-212 ~]$ sudo cp krb5.conf /etc/ [ec2-user@ip-172-31-31-212 ~]$ sudo chown root. /etc/krb5.conf [ec2-user@ip-172-31-31-212 ~]$ ll /etc/krb5.conf -rw-r--r-- 1 root root 837 Dec 9 00:28 /etc/krb5.conf [ec2-user@ip-172-31-31-212 ~]$

4.在GateWay節(jié)點(diǎn)測(cè)試Kerberos客戶端是否部署成功

[ec2-user@ip-172-31-31-212 ~]$ kinit -kt fayson.keytab fayson [ec2-user@ip-172-31-31-212 ~]$ klist Ticket cache: FILE:/tmp/krb5cc_1000 Default principal: fayson@CLOUDERA.COMValid starting Expires Service principal 12/09/2017 00:31:53 12/10/2017 00:31:53 krbtgt/CLOUDERA.COM@CLOUDERA.COMrenew until 12/16/2017 00:31:53 [ec2-user@ip-172-31-31-212 ~]$

有如上圖所示則表示Kerberos客戶端安裝成功。

5.增加Gateway節(jié)點(diǎn)的集群并應(yīng)用主機(jī)模板

1.進(jìn)入“所有主機(jī)”頁(yè)面

2.點(diǎn)擊“向群集添加主機(jī)”

3.選擇“經(jīng)典向?qū)А?/p>

4.繼續(xù)

5.輸入Gateway節(jié)點(diǎn)的IP或者h(yuǎn)ostname，點(diǎn)擊搜索

6.點(diǎn)擊“繼續(xù)”,選擇“自定義存儲(chǔ)庫(kù)”，并輸入Cloudera Manager的yum源http地址

7.點(diǎn)擊“繼續(xù)”,勾選Java的兩個(gè)選項(xiàng)

8.點(diǎn)擊“繼續(xù)”,輸入Gateway節(jié)點(diǎn)的ec2-user密碼

9.點(diǎn)擊“繼續(xù)”，等待cloudera-scm-agent在Gateway節(jié)點(diǎn)上安裝

安裝完成點(diǎn)擊“繼續(xù)”

10.點(diǎn)擊“繼續(xù)”，等待分發(fā)Parcel包并激活

完成后，點(diǎn)擊“繼續(xù)”

11.點(diǎn)擊“繼續(xù)”，進(jìn)行主機(jī)檢查

12.完成主機(jī)檢查，點(diǎn)擊“繼續(xù)”，選擇主機(jī)模板

13.點(diǎn)擊“繼續(xù)”，啟動(dòng)主機(jī)上的角色

等待執(zhí)行成功

14.點(diǎn)擊“繼續(xù)”，部署客戶端配置

15.點(diǎn)擊完成，查看主機(jī)列表GateWay節(jié)點(diǎn)的角色信息

至此，給Kerberos環(huán)境下CDH集群增加新的Gateway節(jié)點(diǎn)完成。

6.Gateway節(jié)點(diǎn)測(cè)試

1.HDFS命令測(cè)試

[ec2-user@ip-172-31-31-212 ~]$ hadoop fs -ls /

2.HBase命令測(cè)試

[ec2-user@ip-172-31-31-212 ~]$ hbase shell

3.Hive命令測(cè)試

[ec2-user@ip-172-31-31-212 ~]$ hive

4.hadoop命令向集群提交作業(yè)

[ec2-user@ip-172-31-31-212 ~]$ hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5

為天地立心，為生民立命，為往圣繼絕學(xué)，為萬(wàn)世開(kāi)太平。

推薦關(guān)注Hadoop實(shí)操，第一時(shí)間，分享更多Hadoop干貨，歡迎轉(zhuǎn)發(fā)和分享。

轉(zhuǎn)載于:https://my.oschina.net/u/4016761/blog/2979348

總結(jié)

以上是生活随笔為你收集整理的0110-如何给Kerberos环境下的CDH集群添加Gateway节点的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。