生產(chǎn)環(huán)境偶爾會(huì)出現(xiàn)一些異常問題，WinDbg或GDB是解決此類問題的利器。調(diào)試工具WinDbg如同醫(yī)生的聽診器，是系統(tǒng)生病時(shí)做問題診斷的逆向分析工具，Dump文件類似于飛機(jī)的黑匣子，記錄著生產(chǎn)環(huán)境程序運(yùn)行的狀態(tài)。本文主要介紹了調(diào)試工具WinDbg和抓包工具ProcDump的使用，并分享一個(gè)真實(shí)的案例。N年前不知誰寫的代碼，導(dǎo)致每一兩個(gè)月偶爾出現(xiàn)CPU飆高的現(xiàn)象。我們先使用ProcDump在生產(chǎn)環(huán)境中抓取異常進(jìn)程的Dump文件，然后在不了解代碼的情況下通過WinDbg命令進(jìn)行分析，最終定位到有問題的那行代碼。

一、診斷工具簡介

1.1 WinDbg

WinDbg是在Windows平臺下的、強(qiáng)大的用戶態(tài)和內(nèi)核態(tài)調(diào)試工具。相比較于Visual Studio，它是一個(gè)輕量級的調(diào)試工具，所謂輕量級指的是它的安裝文件大小較小，但是其調(diào)試功能，卻比VS更為強(qiáng)大。它的另外一個(gè)用途是可以用來分析Dump數(shù)據(jù)。WinDbg是Microsoft公司免費(fèi)調(diào)試器調(diào)試集合中的GUI的調(diào)試器，支持Source和Assembly兩種模式的調(diào)試。WinDbg不僅可以調(diào)試應(yīng)用程序，還可以進(jìn)行Kernel Debug。結(jié)合Microsoft的Symbol Server，可以獲取系統(tǒng)符號文件，便于應(yīng)用程序和內(nèi)核的調(diào)試。WinDbg支持的平臺包括x86、IA64、AMD64。雖然WinDbg也提供圖形界面操作，但它最強(qiáng)大的地方還是有著強(qiáng)大的調(diào)試命令，一般情況會(huì)結(jié)合GUI和命令行進(jìn)行操作，常用的視圖有：局部變量、全局變量、調(diào)用棧、線程、命令、寄存器、白板等。其中“命令”視圖是默認(rèn)打開的。

1.2 DebugDiag

DebugDiag最初是為了幫助分析IIS的性能問題而開發(fā)的，它同樣可以用于任何其他的進(jìn)程。DebugDiag工具主要用于幫助解決如掛起、 速度慢、 內(nèi)存泄漏或內(nèi)存碎片，和任何用戶模式進(jìn)程崩潰等問題。該工具包括附加調(diào)試腳本，側(cè)重于互聯(lián)網(wǎng)信息服務(wù)（IIS）應(yīng)用程序、 Web數(shù)據(jù)訪問組件、 COM+和相關(guān)Microsoft技術(shù)、SharePoint和.NET。它提供可擴(kuò)展對象模型中的COM對象的形式，并具有一個(gè)內(nèi)置的報(bào)告框架提供的腳本主機(jī)。它由3 部分組成，包括調(diào)試服務(wù)、 調(diào)試器主機(jī)和用戶界面。

1.3 ProcDump

ProcDump是System Internal提供的一個(gè)專門用來監(jiān)測程序CPU高使用率從而生成進(jìn)程Dump文件的工具。ProcDump可以根據(jù)系統(tǒng)的CPU使用率或者指定的性能計(jì)數(shù)器來針對特定進(jìn)程生成一系列的Dump文件，以便調(diào)試者對事故原因進(jìn)行分析。

二、診斷工具下載

• WinDbg x86位版本下載：【http://download.microsoft.com/download/A/6/A/A6AC035D-DA3F-4F0C-ADA4-37C8E5D34E3D/setup/WinSDKDebuggingTools/dbg_x86.msi】

• WinDbg x64位版本下載：【http://download.microsoft.com/download/A/6/A/A6AC035D-DA3F-4F0C-ADA4-37C8E5D34E3D/setup/WinSDKDebuggingTools_amd64/dbg_amd64.msi】

• DebugDiag v2下載：【https://www.microsoft.com/en-us/download/details.aspx?id=49924】

• ProcDump v9.0下載：【https://download.sysinternals.com/files/Procdump.zip】

三、獲取異常進(jìn)程的Dump文件

有以下四種方式獲取Dump文件，具體如下：

3.1 通過【任務(wù)管理器】獲取Dump文件，這樣獲取的是MinDump

3.2 利用WinDbg的adplus獲取Dump文件，這樣獲取的是FullDump

3.3?通過DebugDiag創(chuàng)建.NET異常轉(zhuǎn)儲Dump文件

3.4 通過ProcDump抓取異常線程Dump文件

現(xiàn)在重點(diǎn)介紹通過ProcDump抓取異常線程Dump文件，使用方法如下：

a. 命令行：

procdump [-a] [[-c|-cl CPU usage] [-u] [-s seconds]] [-n exceeds] [-e [1 [-b]] [-f <filter,...>] [-g] [-h] [-l] [-m|-ml commit usage] [-ma | -mp] [-o] [-p|-pl counter threshold] [-r] [-t] [-d <callback DLL>] [-64] <[-w] <process name or service name or PID> [dump file] | -i <dump file> | -u | -x <dump file> <image file> [arguments] >] [-? [ -e]

b. 實(shí)例：

procdump -c 70 -s 5 -ma -n 3 w3wp

當(dāng)系統(tǒng)CPU使用率持續(xù)5秒超過70%時(shí)，連續(xù)抓3個(gè)Full Dump。

procdump outlook -p "\Processor(_Total)\% Processor Time" 80

當(dāng)系統(tǒng)CPU使用率超過80%，抓取Outlook進(jìn)程的Mini Dump。

procdump -ma outlook -p "\Process(Outlook)\Handle Count" 10000

當(dāng)Outlook進(jìn)程Handle數(shù)超過10000時(shí)抓取Full Dump

procdump -ma 4572

直接生成進(jìn)程號為4572的Full Dump。

?

下圖是在WindgbHighCpu進(jìn)程中造成High CPU時(shí)運(yùn)行ProcDump命令的運(yùn)行效果，可以看到在CPU每次持續(xù)5秒達(dá)到5%后就會(huì)生成相應(yīng)的Dump文件，共生成了3份Full Dump文件：

c. 注意：

• ProcDump需要進(jìn)程已經(jīng)啟動(dòng)，并且中途不能停止。比如需要抓取IIS Worker Process的High CPU Dump，由于IIS Worker Process默認(rèn)會(huì)配置Idle Timeout = 20 min，即該進(jìn)程在20分鐘內(nèi)沒有任何請求的話就會(huì)自動(dòng)結(jié)束，這種情況下ProcDump也會(huì)自動(dòng)結(jié)束。需要重新運(yùn)行命令。因此如果目標(biāo)程序存在這樣的配置，需要暫時(shí)將該配置取消。

• 有些系統(tǒng)管理員希望能夠運(yùn)行該工具后退出用戶session，ProcDump是做不到的，如果有這種需求可以考慮使用DebugDiag。

• 在調(diào)試High CPU問題的時(shí)候經(jīng)常用到的一個(gè)命令是!runaway，但是有些時(shí)候!runway在ProcDump抓取Dump文件的過程中運(yùn)行不出來，報(bào)錯(cuò)信息如下：

0:000> !runaway ERROR: !runaway: extension exception 0x80004002. "Unable to get thread times - dumps may not have time information"

解決的方法是將Debugging Tools for Windows (WinDbg)安裝目錄下的dbghelp.dll拷貝到procdump.exe所在目錄下，然后再運(yùn)行命令抓取Dump。?

四、WinDbg使用方法

操作步驟如下：

4.1 抓取異常程序的Dump文件

4.2 設(shè)置符號表

符號表是WinDbg關(guān)鍵的“數(shù)據(jù)庫”，如果沒有它，WinDbg基本上就是個(gè)廢物，無法分析更多問題。所以使用WinDbg設(shè)置符號表，是必須要走的一步。

a、運(yùn)行WinDbg軟件，然后按【Ctrl+S】彈出符號表設(shè)置窗。

b、將符號表地址：SRV*C:\Symbols*http://msdl.microsoft.com/download/symbols?粘貼在輸入框中，點(diǎn)擊確定即可。點(diǎn)擊確定之前，請先確認(rèn)紅色字的文件夾是否已被新建。

注：紅色字表示符號表本地存儲路徑，建議固定路徑，可避免符號表重復(fù)下載。

4.3 學(xué)會(huì)打開第一個(gè)Dump文件

???????

?

當(dāng)你拿到一個(gè)Dump文件后，可使用【Ctrl+D】快捷鍵來打開一個(gè)Dump文件，或者點(diǎn)擊WinDbg界面上的【File=>Open Crash Dump...】按鈕，來打開一個(gè)Dump文件。第一次打開Dump文件時(shí)，可能會(huì)收到如下提示，出現(xiàn)這個(gè)提示時(shí)，勾選“Don't ask again in this WinDbg session”，然后點(diǎn)否即可。

當(dāng)你想打開第二個(gè)Dump文件時(shí)，可能因?yàn)樯弦粋€(gè)分析記錄未清除，導(dǎo)致無法直接分析下一個(gè)Dump文件，此時(shí)你可以使用快捷鍵【Shift+F5】來關(guān)閉上一個(gè)對Dump文件的分析記錄。

4.4 通過簡單的幾個(gè)命令學(xué)會(huì)分析Dump文件

分享一個(gè)數(shù)據(jù)庫連接超時(shí)的Dump案例的分析過程：

當(dāng)你打開一個(gè)Dump文件后，可能因?yàn)樘嘈畔?#xff0c;讓你無所適從，不過沒關(guān)系，我們只需要關(guān)注幾個(gè)關(guān)鍵信息就可以了。

a. 加載SOS擴(kuò)展命令

加載SOS之前，先確定SOS的位置和版本，確定方法如下：

如果安裝了Visual Studio，那么先按照如下步驟打開VS的命令行：

然后，在打開的VS命令行中輸入【where sos.dll】，使獲得SOS的位置和版本：

?

確定完SOS位置和版本號后，開始加載SOS擴(kuò)展命令：

.load C:\Windows\Microsoft.NET\Framework64\v4.0.30319\SOS.dll

如下圖所示：

b. 使用!clrstack命令來查看當(dāng)前的調(diào)用堆棧信息

如下圖所示：

c. 使用!dso命令來查看堆棧上的所有對象詳細(xì)信息

如下圖所示：

綜合以上分析可以大膽地猜測Common.cs?中第16行“Data Source=***;Initial Catalog=***;Persist Security Info=True;User ID=sa;Password=***”的這個(gè)數(shù)據(jù)庫連接字符串應(yīng)該有問題，然后到代碼中相應(yīng)的地方進(jìn)一步確認(rèn)和修改就可以了。????????

五、一個(gè)真實(shí)案例

分享筆者工作過的一家公司某業(yè)務(wù)系統(tǒng)CPU飆高90%以上的Dump分析過程案例，步驟如下：

5.1 使用ProcDump抓包

5.2 加載SOS擴(kuò)展命令

.load C:\Windows\Microsoft.NET\Framework\v2.0.50727\sos.dll

5.3 分析

執(zhí)行!runaway命令，查看線程使用CPU時(shí)間情況，如下圖所示。著重分析前面幾個(gè)線程。?

執(zhí)行~22s命令，進(jìn)入到線程22，如下圖所示：

執(zhí)行!clrstack命令查看當(dāng)前線程堆棧變量值的信息，從圖中可以猜出大概是ExecuteNonQuery()這方法有點(diǎn)問題，如下圖所示：

再執(zhí)行!dso命令可以查看堆棧上的所有對象詳細(xì)信息，如下圖所示：

從圖中看，造成CPU飆高的罪魁禍?zhǔn)锥喟胗蒘QL Server執(zhí)行

INSERT INTO [dbo].[tbl_Interface_ProcessLog] (IKey,Username,ClientIP,Module,OrderNo,LogType,Content) VALUES (@IKey,@Username,@ClientIP,@Module,@OrderNo,@LogType,@Content)

這條語句時(shí)產(chǎn)生異常引起，然后到源代碼中找出相應(yīng)的語句，經(jīng)過進(jìn)一步的確認(rèn)、修改和重新發(fā)布后就解決了CPU飆高的問題。

?至此，掌握幾個(gè)簡單的WinDbg命令之后，基本上絕大多數(shù)Dump大家都可以獨(dú)立分析了。當(dāng)然WinDbg是個(gè)強(qiáng)大的工具，同時(shí)產(chǎn)生CPU飆高和內(nèi)存泄漏的原因也有很多。如果想分析得足夠準(zhǔn)確，那么就只有多學(xué)多練，多去分析。因?yàn)檎莆誛inDbg分析除了需要懂得幾個(gè)命令之外，經(jīng)驗(yàn)更加重要，最后再補(bǔ)充兩點(diǎn)：

WinDbg不是專門用于調(diào)試.NET程序的工具，它更偏向于底層，可用于內(nèi)核和驅(qū)動(dòng)調(diào)試，特別是對于某些相當(dāng)疑難的問題調(diào)試有所幫助，例如內(nèi)存泄漏等問題。進(jìn)行普通的.NET程序調(diào)試還是使用微軟專為.NET開發(fā)所提供的調(diào)試工具更方便一些。

SOS擴(kuò)展命令中最有用的命令是!help，使用該命令可以列出所有可用的SOS擴(kuò)展命令列表，使用!help [SOSCommandName]可以查看每一個(gè)具體擴(kuò)展命令的詳細(xì)使用說明。例如!help dumpheap就可以查看!dumpheap這個(gè)擴(kuò)展命令的具體使用方法。多多利用!help命令可以很快上手SOS。

六、Demo下載及更多資料

• WinDbgTest下載地址：https://github.com/das2017/WinDbgTest

• WinDbg官網(wǎng)：http://www.windbg.org/

• ProcDump v9.0官網(wǎng)：https://technet.microsoft.com/en-us/sysinternals/dd996900.aspx

原文地址:https://www.cnblogs.com/dotnet-arch-system/p/10213539.html

---

.NET社區(qū)新聞，深度好文，歡迎訪問公眾號文章匯總 http://www.csharpkit.com

總結(jié)

以上是生活随笔為你收集整理的中小研发团队架构实践之生产环境诊断工具WinDbg的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。