从hadoop-0.20.2升级到hadoop-1.0.3
由于要支持hbase0.92.0的一些新特性,需要對現有的hadoop進行升級。升級流程如下:
1、關閉Hbase、Hive service、關閉hadoop集群;
2、執行hadoop dfsadmin -upgradeProgress status,顯示There are no upgrades in progress,表示當前沒有升級動作;
3、執行hadoop fs -lsr > /usr/local/cluster/namenode.log,執行hadoop fsck / > /usr/local/cluster/fsck.log;生成這個兩個文件進行集群升級前后的對比工作;
4、下載hadoop-1.0.3.tar.gz,并解壓到/usr/local/;
5、關閉hadoop集群,copy原來版本的master、slave、mapred-site.xml、core-site.xml、farischeduler.xml、hdfs-site.xml文件到新版本的conf目錄中;
6、手動修改hadoop-env.sh,修改java路徑、pid路徑;
7、備份原來的hadoop存放namenode數據的目錄目錄,備份hadoop的namesecondary目錄;
8、配置新的環境變量,并使用source /etc/profile使之生效;
9、執行start-dfs.sh -upgrade進行升級,可通過hadoop dfsadmin -upgradeProgress status查看狀態,出現Upgrade for version -* has been completed表示升級成功;
10、把hadoop分發到各機器,并按照主服務器的配置進行配置;
11、啟動hadoop集群,并執行hadoop fs -lsr >/usr/local/cluster/namenodenew.log、hadoop fsck / > /usr/local/cluster/fscknew.log生成文件;
12、對比升級前后文件,看是否有問題;
13、檢查通過后hadoop dfsadmin -finalizeUpgrade升級完畢;不通過可使用stop-all.sh、start-dfs.sh -rollback進行回滾;
有些比較瑣碎的步驟沒寫出來,本次升級花了我2個小時。
轉載于:https://www.cnblogs.com/frady/archive/2012/09/13/2683991.html
總結
以上是生活随笔為你收集整理的从hadoop-0.20.2升级到hadoop-1.0.3的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Json(四):Json增、删、改
- 下一篇: js中prototype用法