? ?人生就是一段充滿苦與樂的旅程，在人生當(dāng)中有痛苦也有歡樂，痛苦不一定是負(fù)面的，有的時候還會使你進(jìn)步，增強(qiáng)應(yīng)變能力。對一般人而言，人生一定要是快樂的才是有意義的，可是你仔細(xì)想想，有誰不是因?yàn)榇煺鄱拥膱詮?qiáng)呢？走過運(yùn)維的風(fēng)風(fēng)雨雨，與大家一起回憶其中的苦樂甘甜，那何嘗不是一段段激情燃燒的歲月呢，記載著你我成長的故事。。。。。

一、不要輕易地放棄

? ?運(yùn)維中時常會面臨各種各樣的挑戰(zhàn)和難題，很多時候感覺自己快陷入絕境了，很多時候靜下心來思考問題又能出現(xiàn)偉大的轉(zhuǎn)機(jī)。任何時候都不要輕易地放棄，也許你只要再深入一步看到問題的某個細(xì)節(jié)，事情并沒有你想象的那么復(fù)雜。

? ?一臺AIX生產(chǎn)服務(wù)器上裝有DB2數(shù)據(jù)庫，由于開發(fā)人員的誤操作，造成一個重要表的被刪除，需要進(jìn)行恢復(fù)。為了安全，不能在生產(chǎn)環(huán)境的數(shù)據(jù)庫上進(jìn)行操作，需要放到測試環(huán)境進(jìn)行恢復(fù)。問了一下開發(fā)人員，表被刪除的時間為5月31日下午8點(diǎn)35分左右，現(xiàn)在已是晚間9點(diǎn)05分了，距離事故發(fā)生時間點(diǎn)已過去半個小時，根據(jù)安全等級規(guī)定需要在兩個小時內(nèi)進(jìn)行恢復(fù)。這種狀況的恢復(fù)是典型的前滾恢復(fù)，需要使用完整的數(shù)據(jù)庫備份和日志相結(jié)合，然后將數(shù)據(jù)庫或者被選擇的表空間恢復(fù)到某個特定時間點(diǎn)。如果從備份時刻起到發(fā)生故障時的所有日志文件都可以獲得的話，則可以恢復(fù)到日志上涵蓋到的任意時間點(diǎn)。

? ?首先檢查了一下數(shù)據(jù)庫的備份情況，上周日有一個完整備份，從完整備份到故障點(diǎn)的所有日志都完好的存在，心里總算松了一口氣，看來問題似乎很好恢復(fù)。

接下來在測試環(huán)境找一臺與生產(chǎn)環(huán)境DB2數(shù)據(jù)庫版本一致的AIX小機(jī)，把完整數(shù)據(jù)庫備份和相應(yīng)日志傳輸過來。（注：不同的數(shù)據(jù)庫版本，物理日志格式不一樣，在做恢復(fù)的時候容易報SQL2547錯誤，從而不能前滾日志）從生產(chǎn)環(huán)境傳輸?shù)綔y試環(huán)境的完整備份和日志，大家還要注意修改文件的屬主和權(quán)限，以避免無法讀取的錯誤。

? ?緊接著，進(jìn)行完整備份恢復(fù)，并前滾日志到指定時間點(diǎn)，一切都很正常順利。然后告知開發(fā)人員進(jìn)行檢查，過了一會，開發(fā)人員反饋說沒有查到數(shù)據(jù)，仍然是刪除后的狀態(tài)。這回有點(diǎn)納悶了，怎么可能會沒有，時間已過去了半個小時，真是讓人著急啊。旁邊的電話響個不停，聽的人腦袋都要炸了。接著又將前滾日志的時間點(diǎn)提前了半小時再恢復(fù)，還是沒有數(shù)據(jù)，這時有開發(fā)說可以手工錄入丟失的283條數(shù)據(jù)，難道要放棄數(shù)據(jù)恢復(fù)么？心里糾結(jié)的七上八下，但是我腦中閃過一個念頭，不能輕易放棄，也許是我們遺漏了某個細(xì)節(jié)。于是靜下心來思考了幾分鐘，心里突然有點(diǎn)懷疑，會不會是兩個小機(jī)的時間不一致啊，因?yàn)榍皾L時用的是local time

? ?立即檢查兩個小機(jī)的時間

? ?Sun Jun ?4 15:43:47 BEIST 2013 ?（生產(chǎn)機(jī)時間）

? ?Sun Jun ?4 15:44:01 CDT 2013 ? ? （測試機(jī)時間）

? ?注意紅色部分，BEIST和CDT并不是同一個時區(qū)，BEIST與CDT之間相差8個小時。因?yàn)闀r區(qū)的不一致導(dǎo)致時間不統(tǒng)一，所以出現(xiàn)了問題。立即修改了測試機(jī)的時區(qū)并同步了一下時間，再來一次恢復(fù)，果然數(shù)據(jù)有了，表也恢復(fù)了，一切OK

細(xì)節(jié)決定成敗，遇事一定要冷靜沉著，問題面前不要輕易的說放棄。

二、直面問題---解決與發(fā)現(xiàn)

? ?運(yùn)維當(dāng)中，我們通常會面臨解決不完的問題，身為救火隊員的你可能天天吃力不討好，被無數(shù)投訴和報表弄得疲憊不堪……面對問題關(guān)鍵的是我們的心態(tài)，是積極應(yīng)對還是消極拖延，這關(guān)乎到我們的工作和存在的價值。

? ?大多數(shù)時候，運(yùn)維人員都在進(jìn)行著簡單重復(fù)的工作，且很難得到最終用戶的肯定。曾有人用“窮忙族”形容運(yùn)維工程師，工位上不見人影，一坐下電話不斷，是不是你該解決的問題都有人來找你。這樣的場景，大家應(yīng)該都有體會。不管你接手的問題是復(fù)雜還是簡單，我們首要的心態(tài)就是面對問題解決問題，而不是抱怨與逃避。做運(yùn)維時，有時候很怕接到自己搞不定的問題，害怕客戶投訴也擔(dān)心自己出丑丟面子。一次接到一任務(wù)，要求幫客戶排除一新上數(shù)據(jù)庫服務(wù)器網(wǎng)卡不穩(wěn)定的問題，這類問題大家一般都往網(wǎng)絡(luò)上想，但經(jīng)過網(wǎng)絡(luò)部工程師檢測網(wǎng)絡(luò)設(shè)備、網(wǎng)卡和千兆網(wǎng)線都說沒問題，最后就推到系統(tǒng)部，讓查到底是什么原因。其他人都覺得這問題不好辦，索性推脫了。當(dāng)經(jīng)理最后問到我時，我知道不能再推了，硬著頭皮說讓我看看，我覺得不是什么大問題。心里雖然打著鼓，但知道只能直面問題往前沖了，管他呢拼一把，大不了就是出回丑丟回面子。問明事情的緣由“原來是近期新上的DB SERVER服務(wù)器，在壓測中發(fā)現(xiàn)網(wǎng)卡很不穩(wěn)定，壓力測試剛剛進(jìn)行十幾分鐘后，服務(wù)器反應(yīng)就變得非常慢，PING的時候經(jīng)常丟包而且SSH連接也時斷時續(xù)”，剛開始我以為是高并發(fā)時導(dǎo)致的db server無響應(yīng)，可是看了一下CPU、內(nèi)存和硬盤IO，發(fā)現(xiàn)都沒有達(dá)到較高值，甚至比我們的預(yù)警值低很多，而且監(jiān)測也表明DB服務(wù)器剩余資源很充裕！真是比較奇怪，那么引起網(wǎng)卡不穩(wěn)定的原因到底是什么呢？

? ?接著我又向相關(guān)工程師了解了一下情況，知道這臺DB服務(wù)器是雙機(jī)熱備中的一臺服務(wù)器，前幾天剛做的2組千兆網(wǎng)卡綁定。據(jù)工程師說綁定前也做過壓測，沒有出現(xiàn)這樣的問題。難道是綁定設(shè)置的哪個環(huán)節(jié)出問題了？于是我決定從千兆網(wǎng)卡綁定進(jìn)行詳細(xì)檢查。依次檢查了“ifcfg-bond0、ifcfg-bond1文件沒有問題，又檢查了ifcfg-eth0、ifcfg-eth1、ifcfg-eth2、ifcfg-eth3文件還是沒有問題，再接著檢查modprobe.conf配置文件也很正常，最后檢查了rc.local文件，發(fā)現(xiàn)BOND0和BOND1文件中綁定的網(wǎng)卡有誤，造成一個IP地址對應(yīng)兩個不同的MAC地址，顯然會造成網(wǎng)絡(luò)的延遲和不穩(wěn)定，這就跟以往的ARP***比較像。最后終于發(fā)現(xiàn)了問題的癥結(jié)，成功解決了問題，為自己也為團(tuán)隊贏得了好評和榮譽(yù)。

? ?在一次次的解決問題當(dāng)中，我們不僅在積累處理不同問題的經(jīng)驗(yàn)，更重要的是我們在得到客戶的認(rèn)可和好的工作評價。所以不要怕問題，每個問題正是你的機(jī)會，發(fā)現(xiàn)并善于解決問題，我們也會得到客戶的肯定和個人的成長。

要記住，老板需要的，是會解決問題的人。成功青睞的，也是勇于解決問題的人。

三、唯有學(xué)習(xí)，才能不斷提升自己

? ?作為一名運(yùn)維工程師，通常需要掌握的知識比較雜,學(xué)習(xí)起來也感覺比較苦與累。

? ?首先熟悉網(wǎng)絡(luò)，對網(wǎng)絡(luò)常用的負(fù)載均衡技術(shù)和分層架構(gòu)要熟悉，結(jié)合網(wǎng)站的內(nèi)容發(fā)布、管理及靜態(tài)化技術(shù)、動靜分離方案，對主流網(wǎng)絡(luò)設(shè)備的配置和冗余應(yīng)用比較熟悉，并熟悉高并發(fā)下的網(wǎng)絡(luò)壓力管理和流量控制。

? ?其次熟悉服務(wù)器的批量部署。相信許多企業(yè)里都有自動化運(yùn)維的需求，如批量安裝服務(wù)器、批量裝應(yīng)用、批量傳文件、批量監(jiān)控等等，網(wǎng)上也有N多相關(guān)的管理軟件，開源的如Nagios、Cacti、zabbix、zenoss監(jiān)控，Cfengine、cobbler、Puppet統(tǒng)一部署管理軟件，商業(yè)的就更多。它們都很強(qiáng)大，當(dāng)然也各有利弊，需要結(jié)合自己企業(yè)的業(yè)務(wù)應(yīng)用去具體調(diào)整和配置。

? ?再次就是熟悉數(shù)據(jù)庫的集群和后端存儲架構(gòu)。通常數(shù)據(jù)庫和存儲都是整個IT架構(gòu)中比較核心的東西，數(shù)據(jù)庫的性能和高并發(fā)下的穩(wěn)定對企業(yè)來講是非常重要的，它直接關(guān)系到用戶的體驗(yàn)和價值轉(zhuǎn)化。還有存儲的性能將直接影響IO，影響讀寫的速度。作為一個運(yùn)維工程師尤其需要對系統(tǒng)的性能、容錯、并發(fā)等有獨(dú)到的認(rèn)識與解決辦法。還有就是需要對技術(shù)發(fā)展趨勢有很高的敏感性和預(yù)見能力，能不斷推進(jìn)運(yùn)維管理水平的進(jìn)步并提升運(yùn)維的價值。

? ?作為運(yùn)維工程師，要想有更大的發(fā)展，不僅要懂技術(shù)也更需要懂管理，建立流程規(guī)范的IT服務(wù)和支持，并實(shí)現(xiàn)行之有效的持續(xù)改善和對機(jī)制進(jìn)行監(jiān)控。運(yùn)維上，好的管理制度和方法需要貫徹和堅持，如果不善于管理和監(jiān)督，很難保證好的運(yùn)維體系能運(yùn)作下去，這對運(yùn)維工作也會產(chǎn)生波動和影響。當(dāng)然運(yùn)維工程師也需要具有領(lǐng)導(dǎo)能力與團(tuán)隊協(xié)作技能，能在關(guān)鍵時候?qū)夹g(shù)的選擇作出及時、有效的決定，來把握問題解決的方向。

? ?學(xué)習(xí)中的苦與樂都是相對的。以苦為苦，只能使我們消沉；不以苦為苦，就會使我們無視自己的不足；化苦為樂，則可能使我們在學(xué)習(xí)和工作中取得超常的成就。

? ?苦盡甘來，耕耘時的苦是為了收獲時的樂。運(yùn)維的路上，有風(fēng)有雨，更有我們的堅持，讓我們苦樂相隨！

【博客話題】 人在囧途之“運(yùn)維囧”正在進(jìn)行，歡迎大家參與，分享你運(yùn)維工作中的囧事、趣事、經(jīng)驗(yàn)談！
詳情查看：http://51ctotopic.blog.51cto.com/2009463/1254338

總結(jié)

以上是生活随笔為你收集整理的【运维囧事】运维的苦乐之旅的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。