2019獨角獸企業重金招聘Python工程師標準>>>

一、 準備工作

下載cdh的各種源:

1.下載cloudera manager installer：http://archive-primary.cloudera.com/cm5/installer

2.因為這次要模擬升級安裝,首先要先下載beta的源:http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.0.0-beta-2/

3.然后下載release的源:http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.0.0/

4.然后下載parcel包,官方也推薦這種方式安裝:http://archive-primary.cloudera.com/cdh5/parcels/

另外除了parcel包,還要下載json文件,沒有那個json文件是無法正常安裝的.

5.下載到本地后將rpm包的源,放到webserver目錄下,寫好yum的repo文件

[cloudera-manager]

name = Cloudera Manager, Version 5.0.0

baseurl = http://IP/yum-package/cm5/redhat/5/x86_64/cm/5.0.0/

gpgcheck = 0

6.parcel包添加驗證文件

cat manifest.json 把sha那一段沾出來, 寫到parcel包.sha文件里,然后為這三個文件授權755

(之前因為manifest.json文件改錯,安裝包一直失敗,查看manager的log才發現問題)

至此準備工作完成!

二 、安裝cloudera manager

./cloudera-manager-installer.bin 直接執行,這個還支持鼠標點擊.

在最后一步前,準備好另一個終端,準備好手動拷貝剛才寫的repo文件,因為安裝時會被覆蓋,所以只能手動反覆蓋.......

完成manager機器的安裝 就可以進web配置了,啟動略慢

http://ip:7180

三、通過web安裝cdh

1.添加完涉及的服務器后，手動指定parcel和agent的本地源

2.安裝完成后選擇服務,本次只選擇了基本服務hdfs,yarn,zookeeper

3.指定角色,完成安裝.

4.使用slave節點,測試上傳文件ok

四、升級cloudera manager

升級cloudera manager

1.把當前跑的所有服務都停掉,包括服務.

2.停掉cloudera-scm-server和cloudera-scm-server-db

view source ?

print ? ? ?

1	service?cloudera-scm-server?stop

2	service?cloudera-scm-server-db?stop

3.準備好新版本的manager的repo文件

執行yum clean all &&?yum upgrade 'cloudera-*'

rpm -qa ?'cloudera-*' 查看版本

4.升級完成,啟動server和db

5.進入web升級agent們,一進去就會有提示,然后手動指定url,升級就可以鳥.

五、升級CDH

注意先辦法namenode數據,?

#?cd?/mnt/hadoop/hdfs/name #?tar?-cvf?/root/nn_backup_data.tar?.

點搜索框左邊小禮品盒子圖標,添加新版本parcel的url,添加后下面會多出個小圖,點激活就可以自動升級了

至此完成所有升級.

六、錯誤整理

升級過程出現namenode啟動失敗問題,

java.io.IOException:

File system image contains an old layout version -51.

An upgrade to version -55 is required.

Please restart NameNode with the "-rollingUpgrade started" option if a rolling upgraded is already started; or restart NameNode with the "UPGRADE" to start a new upgrade.

手動到master節點啟動后,停掉,再通過web頁面重啟后正常

hdfs --config /run/cloudera-scm-agent/process/XXX-hdfs-NAMENODE namenode -upgrade

2.另一個可能出現的報錯:

?Get corrupt file blocks returned error: Cannot run listCorruptFileBlocks because replication queues have not been initialized.

刪掉namenode節點的previous/目錄即可

3. 由于前一次安裝socket文件(/var/run/hdfs-sockets)沒有正常刪除，造成datanode啟動失敗，手動修改其權限為root解決

參考鏈接及文檔:

報錯解決(可能要翻墻):http://www.abcn.net/2014/04/upgrade-from-cdh5-beta2-to-cdh5-ga.html

官方pdf:Cloudera-Manager-Administration-Guide.pdf

CDH官方升級文檔:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Managing-Clusters/cm5mc_upgrade_tocdh5_using_parcels.html

轉載于:https://my.oschina.net/u/1169079/blog/226562

總結

以上是生活随笔為你收集整理的CHD5安装升级的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。