業(yè)內(nèi)有這么一句話說：云計算可能改變了整個傳統(tǒng)IT產(chǎn)業(yè)的基礎(chǔ)架構(gòu)，而大數(shù)據(jù)處理，尤其像Hadoop組件這樣的技術(shù)出現(xiàn)，將是改變IT業(yè)務模式的一種技術(shù)。另外，很多小伙伴可能還搞不明白云和Hadoop有什么關(guān)系，事實上這是兩種截然不同的技術(shù)。今天我們就來聊一聊大數(shù)據(jù)運維工程師。

?

一.Linux發(fā)展與學習線路?

?

?

二.大數(shù)據(jù)運維的工作職責

一.集群管理大數(shù)據(jù)需要分布式系統(tǒng)，也就是集群：Hadoop，Hbase，Spark，Kafka， Redis等大數(shù)據(jù)生態(tài)圈組建。二.故障處理1>.商用硬件使用故障是常態(tài)。2>.區(qū)分故障等級，優(yōu)先處理影響實時性業(yè)務的故障。三.變更管理1>.以可控的方式，高效的完成變更工作；2>.包括配置管理和發(fā)布管理；四.容量管理1>.存儲空間，允許鏈接數(shù)等都是容量概念；2>.在多租戶環(huán)境下，容量管理尤其重要； 五.性能調(diào)優(yōu)1>.不同組建的性能概念不一樣，如kafka注重吞吐量，Hbase注重實用性、 可用性;2>.需要對組建有深刻的理解六.架構(gòu)優(yōu)化1>.優(yōu)化大數(shù)據(jù)平臺架構(gòu)，支持平臺能力和產(chǎn)品的不斷迭代;2>.類似架構(gòu)師的工作；

?

三.大數(shù)據(jù)運維所需的能力

一.DevOpsDevOps(英文Development和Operations的組合)是一組過程，方法和系統(tǒng) 的統(tǒng)稱，用于促進開發(fā)（應用程序/軟件工程），技術(shù)運營和 質(zhì)量保障（QA）部門之間的溝通，寫作與整合。 二.硬件，OS，網(wǎng)絡，安全的基礎(chǔ)知識大數(shù)據(jù)平臺和組建設計范圍廣，各種都需要懂一點，這些知識出問題 的時候不可能問人，因為別人也有自己的工作要做。三.腳本語言能力Shell,SQL(DDL),Python.Java（加分）四.大數(shù)據(jù)各個組件知識設計思想。使用范圍，底層架構(gòu)，常用命令，常用配置或參數(shù)， 常見問題處理方法。五.工具能力Zabbix，Open Falcon，Ganglia，ELK等，企業(yè)自研工具。 我推薦使用集群自帶的工具。六.Trouble?shooting能力搜索能力（搜索引擎，stackoverflow等）， java能力（異常堆棧要看得懂，最好能看懂源碼），英文閱讀能力。七.意識，流程良好的意識，什么能做什么不能做。同用的流程如ITIL， 各企業(yè)也有自己的流程。

四.大數(shù)據(jù)運維的主要工作

一.運維三板斧三板斧可以解決90%以上的故障處理工作。 1>.重啟重啟有問題的機器或經(jīng)常，使其正常工作。 2>.切換主備切換或主主切換，鏈接正常工作的節(jié)點。 3>.查殺查殺有問題的進程，鏈接等。4>.三板斧的問題第一：只能處理故障處理問題，不能解決性能調(diào)優(yōu)，架構(gòu)優(yōu)化等問題；第二：只能治標，不能治本；5>..大數(shù)據(jù)運維和傳統(tǒng)運維的不同第一：傳統(tǒng)運維面對的底層軟硬件基本穩(wěn)固，大數(shù)據(jù)運維面對的是商用硬件和復雜linux版本；第二：傳統(tǒng)運維面對的是單機架構(gòu)為主，大數(shù)據(jù)運維面對復雜的分布式架構(gòu)；第三：傳統(tǒng)運維大多維護閉源商業(yè)版系統(tǒng)，大數(shù)據(jù)運維通常面對開源系統(tǒng)，文檔手冊匱乏，對閱讀源碼要求高。第四：大數(shù)據(jù)運維對自動化工具的依賴大大增加；二.Iaas層（基礎(chǔ)設置及服務）運維工作一般中大型企業(yè)有自己的基礎(chǔ)設施維護團隊，這部分工作不會交給大數(shù)據(jù)運維來做。小公司可能需要大數(shù)據(jù)運維鍵值這部分工作，主要關(guān)注三個方面： 1>.硬件大數(shù)據(jù)系統(tǒng)大多使用廉價PC Server或虛擬機，硬件故障是常態(tài)，通過告警，日志，維護命令等識別故障，并支持硬件更換。 2>.存儲大多使用PC Server掛本磁盤的存儲方式，極少情況會使用SAN（存儲區(qū)域網(wǎng)絡）或NAS（網(wǎng)絡附屬存儲），熟悉分區(qū)，格式化，巡檢等基本操作。 3>.網(wǎng)絡網(wǎng)絡的配置變更更需要比較專業(yè)的知識，如有需要可學習CCNA，CCNP等認證課程，但網(wǎng)絡硬件和配置出問題概率很低，主要關(guān)注丟包，延時。三.HDFS運維工作1>.容量管理第一：HDFS空間我使用超過80%要警惕，如果是多租戶環(huán)境，租戶的配額空間也能用完；第二：熟悉hdfs，fsck，distcp等常用命令，會使用DataNode均衡器；2>.進程管理第一：NameNode的進程是重點第二：熟悉dfsadmin等Ingles。怎么做NameNode高可用。 3>.故障管理Hadoop最常見的故障就是硬盤損壞。 4>.配置管理hdfs-site.xml中的參數(shù)設置。四.MapReduce運維工作1>.進程管理第一：jobtracker進程故障概率比較低，有問題可以通過重啟解決；第二：了解一下HA的做法； 2>.配置管理mapred-site.xml中的參數(shù)設置。五.Yarn運維工作1>.故障管理主要是當任務異常這中止時看日志排查，通茶故障原因會集中在資源問題，權(quán)限問題中的一種。 2>.進程管理ResourceManager主要是學會配置HANodeManager進程掛掉不重要，重啟即可。 3>.配置管理yarn-site.xml中的參數(shù)設置，主要分三塊配置，scheduler的，ResourceManager的，NodeManager的。六.Hive/Impala運維工作1>.SQL問題排查第一：結(jié)果不對，主要原因可能是SQL錯誤，數(shù)據(jù)不存在，UDF錯誤等，需要靠經(jīng)驗排查第二：慢SQL，這類問題開發(fā)經(jīng)常會找運維排查，有可能是劣勢SQL，數(shù)據(jù)量大，也有可能是集群資源緊張； 2>.元數(shù)據(jù)管理Hive和Impala公用的元數(shù)據(jù)，存在關(guān)系型數(shù)據(jù)庫中。七.其它組件根據(jù)組件用途，特性，關(guān)注點的不用，運維工作也各不相同，如： 1>.HBase關(guān)注讀寫性能，服務的可用性 2>.Kafka關(guān)注吞吐量，負載均衡，消息不丟機制 3>.Flume關(guān)注屯度量，故障后的快速恢復

?

五.大數(shù)據(jù)運維技能概覽

?

?

六.大數(shù)據(jù)運維職業(yè)素養(yǎng)

1>.人品 2>.嚴謹 3>.細心 4>.心態(tài) 5>.熟悉操作系統(tǒng) 6>.熟悉業(yè)務(開發(fā)) 7>.熟悉行業(yè) 8>.喜歡大數(shù)據(jù)生態(tài)圈 原文：cnblogs.com/yinzhengjie/p/10587721.html 整理來自：大數(shù)據(jù)肌肉猿

大數(shù)據(jù)轉(zhuǎn)型案例五年Java外包轉(zhuǎn)型大數(shù)據(jù)架構(gòu)北美零基礎(chǔ)轉(zhuǎn)行開發(fā)求職面經(jīng)雙非碩士阿里大數(shù)據(jù)開發(fā)面經(jīng)精心整理的ebay大數(shù)據(jù)面試題一位材料專業(yè)研究生的Java轉(zhuǎn)型復盤從車輛工程到大數(shù)據(jù)開發(fā)，我經(jīng)歷了什么？我，30歲，部隊服役5年，零基礎(chǔ)轉(zhuǎn)大數(shù)據(jù)Java干了半年，我機智地跳到了大數(shù)據(jù)開發(fā)自學半年，從保險銷售，零基礎(chǔ)轉(zhuǎn)型數(shù)據(jù)分析日本留學生算法轉(zhuǎn)型大數(shù)據(jù)開發(fā)？聽他怎么說傳統(tǒng)金融IT男轉(zhuǎn)型互聯(lián)網(wǎng)大數(shù)據(jù)碼農(nóng)，圖啥？ 從安卓主管轉(zhuǎn)型大數(shù)據(jù)開發(fā)，我經(jīng)歷了什么？專升本程序媛，實習期間月薪10K，有點厲害我是程序媛，從事大數(shù)據(jù)開發(fā)兩年，我有話說材料學博士轉(zhuǎn)型大數(shù)據(jù)開發(fā)，是一種什么體驗？我，32歲零基礎(chǔ)轉(zhuǎn)大數(shù)據(jù)，不需要別人怎么看！從傳統(tǒng)數(shù)倉到互聯(lián)網(wǎng)大數(shù)據(jù)開發(fā)，不走彎路很重要兩年車間技術(shù)員轉(zhuǎn)型大數(shù)據(jù)開發(fā)，說說轉(zhuǎn)型這點事兒電網(wǎng)工作2年后考研，8面阿里，成功轉(zhuǎn)型大數(shù)據(jù)開發(fā)3年Java開發(fā)轉(zhuǎn)型大數(shù)據(jù)開發(fā)，如何跳出CRUD舒適區(qū)？我是DBA，從大數(shù)據(jù)小白到閱讀框架源碼，薪資翻了三倍機械碩士，因?qū)嶒炇規(guī)熜之厴I(yè)拿5K，自學Java轉(zhuǎn)型大數(shù)據(jù) 雙非菜雞3個月收割頭條大數(shù)據(jù)offer，方向真的比努力更重要！國企車間流水線5年，重新考研，彎道超車，收割百度騰訊offer二本電氣工程應屆生收割5個offer，轉(zhuǎn)型大數(shù)據(jù)真的與專業(yè)無關(guān)被培訓機構(gòu)坑了，面國企要求唱歌...談談我轉(zhuǎn)型大數(shù)據(jù)的心酸歷程土木工程轉(zhuǎn)專業(yè)，上岸趣頭條、今日頭條后端開發(fā)，學習歷程分享警犬專業(yè)專科生，過阿里一面，又收作業(yè)幫offer，跟你聊聊大數(shù)據(jù)學習學了三年的嵌入式，但我還是轉(zhuǎn)型了大數(shù)據(jù)，跟你聊聊我學習的心路歷程二線到一線城市的大數(shù)據(jù)求職之路，被領(lǐng)導穿小鞋，跳槽一個月拿6個offer，入職ebay

掃描下方二維碼

添加好友，備注【交流群】

拉你到學習路線和資源豐富的交流群

總結(jié)

以上是生活随笔為你收集整理的大数据运维学习之路的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。