图说GC原理及调优
本文介紹 GC 基礎(chǔ)原理和理論,GC 調(diào)優(yōu)方法思路和方法,基于 Hotspot jdk1.8,學(xué)習(xí)之后你將了解如何對生產(chǎn)系統(tǒng)出現(xiàn)的 GC 問題進(jìn)行排查解決。
內(nèi)容主要如下:
GC 基礎(chǔ)原理,涉及調(diào)優(yōu)目標(biāo),GC 事件分類、JVM 內(nèi)存分配策略、GC 日志分析等。
CMS 原理及調(diào)優(yōu)。
G1 原理及調(diào)優(yōu)。
GC 問題排查和解決思路。
GC 基礎(chǔ)原理
GC 調(diào)優(yōu)目標(biāo)
大多數(shù)情況下對 Java 程序進(jìn)行 GC 調(diào)優(yōu),主要關(guān)注兩個(gè)目標(biāo):
響應(yīng)速度(Responsiveness):響應(yīng)速度指程序或系統(tǒng)對一個(gè)請求的響應(yīng)有多迅速。 比如,用戶訂單查詢響應(yīng)時(shí)間,對響應(yīng)速度要求很高的系統(tǒng),較大的停頓時(shí)間是不可接受的。調(diào)優(yōu)的重點(diǎn)是在短的時(shí)間內(nèi)快速響應(yīng)。
吞吐量(Throughput):吞吐量關(guān)注在一個(gè)特定時(shí)間段內(nèi)應(yīng)用系統(tǒng)的大工作量。 例如每小時(shí)批處理系統(tǒng)能完成的任務(wù)數(shù)量,在吞吐量方面優(yōu)化的系統(tǒng),較長的 GC 停頓時(shí)間也是可以接受的,因?yàn)楦咄掏铝繎?yīng)用更關(guān)心的是如何盡可能快地完成整個(gè)任務(wù),不考慮快速響應(yīng)用戶請求。
GC 調(diào)優(yōu)中,GC 導(dǎo)致的應(yīng)用暫停時(shí)間影響系統(tǒng)響應(yīng)速度,GC 處理線程的 CPU 使用率影響系統(tǒng)吞吐量。
GC 分代收集算法
現(xiàn)代的垃圾收集器基本都是采用分代收集算法,其主要思想: 將 Java 的堆內(nèi)存邏輯上分成兩塊:新生代、老年代,針對不同存活周期、不同大小的對象采取不同的垃圾回收策略。
新生代(Young Generation)
新生代又叫年輕代,大多數(shù)對象在新生代中被創(chuàng)建,很多對象的生命周期很短。
每次新生代的垃圾回收(又稱 Young GC、Minor GC、YGC)后只有少量對象存活,所以使用復(fù)制算法,只需少量的復(fù)制操作成本就可以完成回收。
新生代內(nèi)又分三個(gè)區(qū):一個(gè) Eden 區(qū),兩個(gè) Survivor 區(qū)(S0、S1,又稱From Survivor、To Survivor),大部分對象在 Eden 區(qū)中生成。
當(dāng) Eden 區(qū)滿時(shí),還存活的對象將被復(fù)制到兩個(gè) Survivor 區(qū)(中的一個(gè));當(dāng)這個(gè) Survivor 區(qū)滿時(shí),此區(qū)的存活且不滿足晉升到老年代條件的對象將被復(fù)制到另外一個(gè) Survivor 區(qū)。
對象每經(jīng)歷一次復(fù)制,年齡加 1,達(dá)到晉升年齡閾值后,轉(zhuǎn)移到老年代。
老年代(Old Generation)
在新生代中經(jīng)歷了 N 次垃圾回收后仍然存活的對象,就會被放到老年代,該區(qū)域中對象存活率高。老年代的垃圾回收通常使用“標(biāo)記-整理”算法。
GC 事件分類
根據(jù)垃圾收集回收的區(qū)域不同,垃圾收集主要分為:
Young GC
Old GC
Full GC
Mixed GC
①Young GC
新生代內(nèi)存的垃圾收集事件稱為 Young GC(又稱 Minor GC),當(dāng) JVM 無法為新對象分配在新生代內(nèi)存空間時(shí)總會觸發(fā) Young GC。
比如 Eden 區(qū)占滿時(shí),新對象分配頻率越高,Young GC 的頻率就越高。
Young GC 每次都會引起全線停頓(Stop-The-World),暫停所有的應(yīng)用線程,停頓時(shí)間相對老年代 GC 造成的停頓,幾乎可以忽略不計(jì)。
②Old GC 、Full GC、Mixed GC
Old GC:只清理老年代空間的 GC 事件,只有 CMS 的并發(fā)收集是這個(gè)模式。
Full GC:清理整個(gè)堆的 GC 事件,包括新生代、老年代、元空間等 。
Mixed GC:清理整個(gè)新生代以及部分老年代的 GC,只有 G1 有這個(gè)模式。
GC 日志分析
GC 日志是一個(gè)很重要的工具,它準(zhǔn)確記錄了每一次的 GC 的執(zhí)行時(shí)間和執(zhí)行結(jié)果,通過分析 GC 日志可以調(diào)優(yōu)堆設(shè)置和 GC 設(shè)置,或者改進(jìn)應(yīng)用程序的對象分配模式。
開啟的 JVM 啟動參數(shù)如下:
-verbose:gc-XX:+PrintGCDetails-XX:+PrintGCDateStamps-XX:+PrintGCTimeStamps
常見的 Young GC、Full GC 日志含義如下:
免費(fèi)的 GC 日志圖形分析工具推薦下面 2 個(gè):
GCViewer,下載 jar 包直接運(yùn)行 。
gceasy,Web 工具,上傳 GC 日志在線使用。
內(nèi)存分配策略
Java 提供的自動內(nèi)存管理,可以歸結(jié)為解決了對象的內(nèi)存分配和回收的問題。
前面已經(jīng)介紹了內(nèi)存回收,下面介紹幾條普遍的內(nèi)存分配策略:
①對象優(yōu)先在 Eden 區(qū)分配:大多數(shù)情況下,對象在先新生代 Eden 區(qū)中分配。當(dāng) Eden 區(qū)沒有足夠空間進(jìn)行分配時(shí),虛擬機(jī)將發(fā)起一次 Young GC。
②大對象之間進(jìn)入老年代:JVM 提供了一個(gè)對象大小閾值參數(shù)(-XX:PretenureSizeThreshold,默認(rèn)值為 0,代表不管多大都是先在 Eden 中分配內(nèi)存)。
大于參數(shù)設(shè)置的閾值值的對象直接在老年代分配,這樣可以避免對象在 Eden 及兩個(gè) Survivor 直接發(fā)生大內(nèi)存復(fù)制。
③長期存活的對象將進(jìn)入老年代:對象每經(jīng)歷一次垃圾回收,且沒被回收掉,它的年齡就增加 1,大于年齡閾值參數(shù)(-XX:MaxTenuringThreshold,默認(rèn) 15)的對象,將晉升到老年代中。
④空間分配擔(dān)保:當(dāng)進(jìn)行 Young GC 之前,JVM 需要預(yù)估:老年代是否能夠容納 Young GC 后新生代晉升到老年代的存活對象,以確定是否需要提前觸發(fā) GC 回收老年代空間,基于空間分配擔(dān)保策略來計(jì)算。
continueSize,老年代大可用連續(xù)空間:
Young GC 之后如果成功(Young GC 后晉升對象能放入老年代),則代表擔(dān)保成功,不用再進(jìn)行 Full GC,提高性能。
如果失敗,則會出現(xiàn)“promotion failed”錯(cuò)誤,代表擔(dān)保失敗,需要進(jìn)行 Full GC。
⑤動態(tài)年齡判定:新生代對象的年齡可能沒達(dá)到閾值(MaxTenuringThreshold 參數(shù)指定)就晉升老年代。
如果 Young GC 之后,新生代存活對象達(dá)到相同年齡所有對象大小的總和大于任意 Survivor 空間(S0+S1空間)的一半,此時(shí) S0 或者 S1 區(qū)即將容納不了存活的新生代對象。
年齡大于或等于該年齡的對象就可以直接進(jìn)入老年代,無須等到 MaxTenuringThreshold 中要求的年齡。
另外,如果 Young GC 后 S0 或 S1 區(qū)不足以容納:未達(dá)到晉升老年代條件的新生代存活對象,會導(dǎo)致這些存活對象直接進(jìn)入老年代,需要盡量避免。
CMS 原理及調(diào)優(yōu)
名詞解釋
可達(dá)性分析算法:用于判斷對象是否存活,基本思想是通過一系列稱為“GC Root”的對象作為起點(diǎn)(常見的 GC Root 有系統(tǒng)類加載器、棧中的對象、處于激活狀態(tài)的線程等),基于對象引用關(guān)系,從 GC Roots 開始向下搜索,所走過的路徑稱為引用鏈,當(dāng)一個(gè)對象到 GC Root 沒有引用鏈相連,證明對象不再存活。
Stop The World:GC 過程中分析對象引用關(guān)系,為了保障分析結(jié)果的準(zhǔn)確性,需要通過停頓所有 Java 執(zhí)行線程,保證引用關(guān)系不再動態(tài)變化,該停頓事件稱為 Stop The World(STW)。
Safepoint:代碼執(zhí)行過程中的一些特殊位置,當(dāng)線程執(zhí)行到這些位置的時(shí)候,說明虛擬機(jī)當(dāng)前的狀態(tài)是安全的,如果有需要 GC,線程可以在這個(gè)位置暫停。
HotSpot 采用主動中斷的方式,讓執(zhí)行線程在運(yùn)行期輪詢是否需要暫停的標(biāo)志,若需要則中斷掛起。
CMS 簡介
CMS(Concurrent Mark and Sweep 并發(fā)-標(biāo)記-清除),是一款基于并發(fā)、使用標(biāo)記清除算法的垃圾回收算法,只針對老年代進(jìn)行垃圾回收。
CMS 收集器工作時(shí),盡可能讓 GC 線程和用戶線程并發(fā)執(zhí)行,以達(dá)到降低 STW 時(shí)間的目的。
通過以下命令行參數(shù),啟用 CMS 垃圾收集器:
-XX:+UseConcMarkSweepGC
值得補(bǔ)充的是,下面介紹到的 CMS GC 是指老年代的 GC,而 Full GC 指的是整個(gè)堆的 GC 事件,包括新生代、老年代、元空間等,兩者有所區(qū)分。
新生代垃圾回收
能與 CMS 搭配使用的新生代垃圾收集器有 Serial 收集器和 ParNew 收集器。
這 2 個(gè)收集器都采用標(biāo)記復(fù)制算法,都會觸發(fā) STW 事件,停止所有的應(yīng)用線程。不同之處在于,Serial 是單線程執(zhí)行,ParNew 是多線程執(zhí)行。
老年代垃圾回收
CMS GC 以獲取小停頓時(shí)間為目的,盡可能減少 STW 時(shí)間,可以分為 7 個(gè)階段:
階段 1:初始標(biāo)記(Initial Mark)
此階段的目標(biāo)是標(biāo)記老年代中所有存活的對象, 包括 GC Root 的直接引用, 以及由新生代中存活對象所引用的對象,觸發(fā)第一次 STW 事件。
這個(gè)過程是支持多線程的(JDK7 之前單線程,JDK8 之后并行,可通過參數(shù) CMSParallelInitialMarkEnabled 調(diào)整)。
階段 2:并發(fā)標(biāo)記(Concurrent Mark)
此階段 GC 線程和應(yīng)用線程并發(fā)執(zhí)行,遍歷階段 1 初始標(biāo)記出來的存活對象,然后繼續(xù)遞歸標(biāo)記這些對象可達(dá)的對象。
階段 3:并發(fā)預(yù)清理(Concurrent Preclean)
此階段 GC 線程和應(yīng)用線程也是并發(fā)執(zhí)行,因?yàn)殡A段 2 是與應(yīng)用線程并發(fā)執(zhí)行,可能有些引用關(guān)系已經(jīng)發(fā)生改變。
通過卡片標(biāo)記(Card Marking),提前把老年代空間邏輯劃分為相等大小的區(qū)域(Card)。
如果引用關(guān)系發(fā)生改變,JVM 會將發(fā)生改變的區(qū)域標(biāo)記為“臟區(qū)”(Dirty Card),然后在本階段,這些臟區(qū)會被找出來,刷新引用關(guān)系,清除“臟區(qū)”標(biāo)記。
階段 4:并發(fā)可取消的預(yù)清理(Concurrent Abortable Preclean)
此階段也不停止應(yīng)用線程。本階段嘗試在 STW 的最終標(biāo)記階段(Final Remark)之前盡可能地多做一些工作,以減少應(yīng)用暫停時(shí)間。
在該階段不斷循環(huán)處理:標(biāo)記老年代的可達(dá)對象、掃描處理 Dirty Card 區(qū)域中的對象,循環(huán)的終止條件有:
達(dá)到循環(huán)次數(shù)
達(dá)到循環(huán)執(zhí)行時(shí)間閾值
新生代內(nèi)存使用率達(dá)到閾值
階段 5:最終標(biāo)記(Final Remark)
這是 GC 事件中第二次(也是最后一次)STW 階段,目標(biāo)是完成老年代中所有存活對象的標(biāo)記。
在此階段執(zhí)行:
遍歷新生代對象,重新標(biāo)記
根據(jù) GC Roots,重新標(biāo)記
遍歷老年代的 Dirty Card,重新標(biāo)記
階段 6:并發(fā)清除(Concurrent Sweep)
此階段與應(yīng)用程序并發(fā)執(zhí)行,不需要 STW 停頓,根據(jù)標(biāo)記結(jié)果清除垃圾對象。
階段 7:并發(fā)重置(Concurrent Reset)
此階段與應(yīng)用程序并發(fā)執(zhí)行,重置 CMS 算法相關(guān)的內(nèi)部數(shù)據(jù), 為下一次 GC 循環(huán)做準(zhǔn)備。
CMS 常見問題
①最終標(biāo)記階段停頓時(shí)間過長問題
CMS 的 GC 停頓時(shí)間約 80% 都在最終標(biāo)記階段(Final Remark),若該階段停頓時(shí)間過長,常見原因是新生代對老年代的無效引用,在上一階段的并發(fā)可取消預(yù)清理階段中,執(zhí)行閾值時(shí)間內(nèi)未完成循環(huán),來不及觸發(fā) Young GC,清理這些無效引用。
通過添加參數(shù):-XX:+CMSScavengeBeforeRemark。
在執(zhí)行最終操作之前先觸發(fā) Young GC,從而減少新生代對老年代的無效引用,降低最終標(biāo)記階段的停頓。
但如果在上個(gè)階段(并發(fā)可取消的預(yù)清理)已觸發(fā) Young GC,也會重復(fù)觸發(fā) Young GC。
②并發(fā)模式失?。╟oncurrent mode failure)&晉升失?。╬romotion failed)問題。
并發(fā)模式失?。寒?dāng) CMS 在執(zhí)行回收時(shí),新生代發(fā)生垃圾回收,同時(shí)老年代又沒有足夠的空間容納晉升的對象時(shí),CMS 垃圾回收就會退化成單線程的 Full GC。所有的應(yīng)用線程都會被暫停,老年代中所有的無效對象都被回收。
晉升失?。寒?dāng)新生代發(fā)生垃圾回收,老年代有足夠的空間可以容納晉升的對象,但是由于空閑空間的碎片化,導(dǎo)致晉升失敗,此時(shí)會觸發(fā)單線程且?guī)嚎s動作的 Full GC。
并發(fā)模式失敗和晉升失敗都會導(dǎo)致長時(shí)間的停頓,常見解決思路如下:
降低觸發(fā) CMS GC 的閾值。 即參數(shù) -XX:CMSInitiatingOccupancyFraction 的值,讓 CMS GC 盡早執(zhí)行,以保證有足夠的空間。
增加 CMS 線程數(shù),即參數(shù) -XX:ConcGCThreads。
增大老年代空間。
讓對象盡量在新生代回收,避免進(jìn)入老年代。
③內(nèi)存碎片問題
通常 CMS 的 GC 過程基于標(biāo)記清除算法,不帶壓縮動作,導(dǎo)致越來越多的內(nèi)存碎片需要壓縮。
常見以下場景會觸發(fā)內(nèi)存碎片壓縮:
新生代 Young GC 出現(xiàn)新生代晉升擔(dān)保失?。╬romotion failed))
程序主動執(zhí)行System.gc
可通過參數(shù) CMSFullGCsBeforeCompaction 的值,設(shè)置多少次 Full GC 觸發(fā)一次壓縮。
默認(rèn)值為 0,代表每次進(jìn)入 Full GC 都會觸發(fā)壓縮,帶壓縮動作的算法為上面提到的單線程 Serial Old 算法,暫停時(shí)間(STW)時(shí)間挺長,需要盡可能減少壓縮時(shí)間。
G1 原理及調(diào)優(yōu)
G1 簡介
G1(Garbage-First)是一款面向服務(wù)器的垃圾收集器,支持新生代和老年代空間的垃圾收集,主要針對配備多核處理器及大容量內(nèi)存的機(jī)器。
G1 主要的設(shè)計(jì)目標(biāo)是:實(shí)現(xiàn)可預(yù)期及可配置的 STW 停頓時(shí)間。
G1 堆空間劃分
①Region
為實(shí)現(xiàn)大內(nèi)存空間的低停頓時(shí)間的回收,將劃分為多個(gè)大小相等的 Region。每個(gè)小堆區(qū)都可能是 Eden 區(qū),Survivor 區(qū)或者 Old 區(qū),但是在同一時(shí)刻只能屬于某個(gè)代。
在邏輯上, 所有的 Eden 區(qū)和 Survivor 區(qū)合起來就是新生代,所有的 Old 區(qū)合起來就是老年代,且新生代和老年代各自的內(nèi)存 Region 區(qū)域由 G1 自動控制,不斷變動。
②巨型對象
當(dāng)對象大小超過 Region 的一半,則認(rèn)為是巨型對象(Humongous Object),直接被分配到老年代的巨型對象區(qū)(Humongous Regions)。
這些巨型區(qū)域是一個(gè)連續(xù)的區(qū)域集,每一個(gè) Region 中最多有一個(gè)巨型對象,巨型對象可以占多個(gè) Region。
G1 把堆內(nèi)存劃分成一個(gè)個(gè) Region 的意義在于:
每次 GC 不必都去處理整個(gè)堆空間,而是每次只處理一部分 Region,實(shí)現(xiàn)大容量內(nèi)存的 GC。
通過計(jì)算每個(gè) Region 的回收價(jià)值,包括回收所需時(shí)間、可回收空間,在有限時(shí)間內(nèi)盡可能回收更多的垃圾對象,把垃圾回收造成的停頓時(shí)間控制在預(yù)期配置的時(shí)間范圍內(nèi),這也是 G1 名稱的由來:Garbage-First。
G1工作模式
針對新生代和老年代,G1 提供 2 種 GC 模式,Young GC 和 Mixed GC,兩種會導(dǎo)致 Stop The World。
Young GC:當(dāng)新生代的空間不足時(shí),G1 觸發(fā) Young GC 回收新生代空間。
Young GC 主要是對 Eden 區(qū)進(jìn)行 GC,它在 Eden 空間耗盡時(shí)觸發(fā),基于分代回收思想和復(fù)制算法,每次 Young GC 都會選定所有新生代的 Region。
同時(shí)計(jì)算下次 Young GC 所需的 Eden 區(qū)和 Survivor 區(qū)的空間,動態(tài)調(diào)整新生代所占 Region 個(gè)數(shù)來控制 Young GC 開銷。
Mixed GC:當(dāng)老年代空間達(dá)到閾值會觸發(fā) Mixed GC,選定所有新生代里的 Region,根據(jù)全局并發(fā)標(biāo)記階段(下面介紹到)統(tǒng)計(jì)得出收集收益高的若干老年代 Region。
在用戶指定的開銷目標(biāo)范圍內(nèi),盡可能選擇收益高的老年代 Region 進(jìn)行 GC,通過選擇哪些老年代 Region 和選擇多少 Region 來控制 Mixed GC 開銷。
全局并發(fā)標(biāo)記
全局并發(fā)標(biāo)記主要是為 Mixed GC 計(jì)算找出回收收益較高的 Region 區(qū)域,具體分為 5 個(gè)階段:
階段 1:初始標(biāo)記(Initial Mark)
暫停所有應(yīng)用線程(STW),并發(fā)地進(jìn)行標(biāo)記從 GC Root 開始直接可達(dá)的對象(原生棧對象、全局對象、JNI 對象)。
當(dāng)達(dá)到觸發(fā)條件時(shí),G1 并不會立即發(fā)起并發(fā)標(biāo)記周期,而是等待下一次新生代收集,利用新生代收集的 STW 時(shí)間段,完成初始標(biāo)記,這種方式稱為借道(Piggybacking)。
階段 2:根區(qū)域掃描(Root Region Scan)
在初始標(biāo)記暫停結(jié)束后,新生代收集也完成的對象復(fù)制到 Survivor 的工作,應(yīng)用線程開始活躍起來。
此時(shí)為了保證標(biāo)記算法的正確性,所有新復(fù)制到 Survivor 分區(qū)的對象,需要找出哪些對象存在對老年代對象的引用,把這些對象標(biāo)記成根(Root)。
這個(gè)過程稱為根分區(qū)掃描(Root Region Scanning),同時(shí)掃描的 Suvivor 分區(qū)也被稱為根分區(qū)(Root Region)。
根分區(qū)掃描必須在下一次新生代垃圾收集啟動前完成(接下來并發(fā)標(biāo)記的過程中,可能會被若干次新生代垃圾收集打斷),因?yàn)槊看?GC 會產(chǎn)生新的存活對象集合。
階段 3:并發(fā)標(biāo)記(Concurrent Marking)
標(biāo)記線程與應(yīng)用程序線程并行執(zhí)行,標(biāo)記各個(gè)堆中 Region 的存活對象信息,這個(gè)步驟可能被新的 Young GC 打斷。
所有的標(biāo)記任務(wù)必須在堆滿前就完成掃描,如果并發(fā)標(biāo)記耗時(shí)很長,那么有可能在并發(fā)標(biāo)記過程中,又經(jīng)歷了幾次新生代收集。
階段 4:再次標(biāo)記(Remark)
和 CMS 類似暫停所有應(yīng)用線程(STW),以完成標(biāo)記過程短暫地停止應(yīng)用線程, 標(biāo)記在并發(fā)標(biāo)記階段發(fā)生變化的對象,和所有未被標(biāo)記的存活對象,同時(shí)完成存活數(shù)據(jù)計(jì)算。
階段 5:清理(Cleanup)
為即將到來的轉(zhuǎn)移階段做準(zhǔn)備, 此階段也為下一次標(biāo)記執(zhí)行所有必需的整理計(jì)算工作:
整理更新每個(gè) Region 各自的 RSet(Remember Set,HashMap 結(jié)構(gòu),記錄有哪些老年代對象指向本 Region,key 為指向本 Region 的對象的引用,value 為指向本 Region 的具體 Card 區(qū)域,通過 RSet 可以確定 Region 中對象存活信息,避免全堆掃描)。
回收不包含存活對象的 Region。
統(tǒng)計(jì)計(jì)算回收收益高(基于釋放空間和暫停目標(biāo))的老年代分區(qū)集合。
G1調(diào)優(yōu)注意點(diǎn)
①Full GC 問題
G1 的正常處理流程中沒有 Full GC,只有在垃圾回收處理不過來(或者主動觸發(fā))時(shí)才會出現(xiàn),G1 的 Full GC 就是單線程執(zhí)行的 Serial old gc,會導(dǎo)致很長的 STW,是調(diào)優(yōu)的重點(diǎn),需要盡量避免 Full GC。
常見原因如下:
程序主動執(zhí)行 System.gc
全局并發(fā)標(biāo)記期間老年代空間被填滿(并發(fā)模式失敗)
Mixed GC 期間老年代空間被填滿(晉升失?。?br />
Young GC 時(shí) Survivor 空間和老年代沒有足夠空間容納存活對象
類似 CMS,常見的解決是:
增大 -XX:ConcGCThreads=n 選項(xiàng)增加并發(fā)標(biāo)記線程的數(shù)量,或者 STW 期間并行線程的數(shù)量:-XX:ParallelGCThreads=n。
減小 -XX:InitiatingHeapOccupancyPercent 提前啟動標(biāo)記周期。
增大預(yù)留內(nèi)存 -XX:G1ReservePercent=n,默認(rèn)值是 10,代表使用 10% 的堆內(nèi)存為預(yù)留內(nèi)存,當(dāng) Survivor 區(qū)域沒有足夠空間容納新晉升對象時(shí)會嘗試使用預(yù)留內(nèi)存。
②巨型對象分配
巨型對象區(qū)中的每個(gè) Region 中包含一個(gè)巨型對象,剩余空間不再利用,導(dǎo)致空間碎片化,當(dāng) G1 沒有合適空間分配巨型對象時(shí),G1 會啟動串行 Full GC 來釋放空間。
可以通過增加 -XX:G1HeapRegionSize 來增大 Region 大小,這樣一來,相當(dāng)一部分的巨型對象就不再是巨型對象了,而是采用普通的分配方式。
③不要設(shè)置 Young 區(qū)的大小
原因是為了盡量滿足目標(biāo)停頓時(shí)間,邏輯上的 Young 區(qū)會進(jìn)行動態(tài)調(diào)整。如果設(shè)置了大小,則會覆蓋掉并且會禁用掉對停頓時(shí)間的控制。
④平均響應(yīng)時(shí)間設(shè)置
使用應(yīng)用的平均響應(yīng)時(shí)間作為參考來設(shè)置 MaxGCPauseMillis,JVM 會盡量去滿足該條件,可能是 90% 的請求或者更多的響應(yīng)時(shí)間在這之內(nèi), 但是并不代表是所有的請求都能滿足,平均響應(yīng)時(shí)間設(shè)置過小會導(dǎo)致頻繁 GC。
調(diào)優(yōu)方法與思路
如何分析系統(tǒng) JVM GC 運(yùn)行狀況及合理優(yōu)化?
GC 優(yōu)化的核心思路在于:盡可能讓對象在新生代中分配和回收,盡量避免過多對象進(jìn)入老年代,導(dǎo)致對老年代頻繁進(jìn)行垃圾回收,同時(shí)給系統(tǒng)足夠的內(nèi)存減少新生代垃圾回收次數(shù),進(jìn)行系統(tǒng)分析和優(yōu)化也是圍繞著這個(gè)思路展開。
分析系統(tǒng)的運(yùn)行狀況
分析系統(tǒng)的運(yùn)行狀況:
系統(tǒng)每秒請求數(shù)、每個(gè)請求創(chuàng)建多少對象,占用多少內(nèi)存。
Young GC 觸發(fā)頻率、對象進(jìn)入老年代的速率。
老年代占用內(nèi)存、Full GC 觸發(fā)頻率、Full GC 觸發(fā)的原因、長時(shí)間 Full GC 的原因。
常用工具如下:
jstat:JVM自帶命令行工具,可用于統(tǒng)計(jì)內(nèi)存分配速率、GC 次數(shù),GC 耗時(shí)。
常用命令格式:
jstat -gc<pid><統(tǒng)計(jì)間隔時(shí)間><統(tǒng)計(jì)次數(shù)>
輸出返回值代表含義如下:
例如:jstat -gc 32683 1000 10,統(tǒng)計(jì) pid=32683 的進(jìn)程,每秒統(tǒng)計(jì) 1 次,統(tǒng)計(jì) 10 次。
jmap:JVM自帶命令行工具,可用于了解系統(tǒng)運(yùn)行時(shí)的對象分布。
常用命令格式如下:
// 命令行輸出類名、類數(shù)量數(shù)量,類占用內(nèi)存大小,
// 按照類占用內(nèi)存大小降序排列
jmap -histo <pid>
// 生成堆內(nèi)存轉(zhuǎn)儲快照,在當(dāng)前目錄下導(dǎo)出dump.hrpof的二進(jìn)制文件,
// 可以用eclipse的MAT圖形化工具分析
jmap -dump:live,format=b,file=dump.hprof <pid>
jinfo,命令格式:
jinfo<pid>
用來查看正在運(yùn)行的 Java 應(yīng)用程序的擴(kuò)展參數(shù),包括 Java System 屬性和 JVM 命令行參數(shù)。
其他 GC 工具:
監(jiān)控告警系統(tǒng):Zabbix、Prometheus、Open-Falcon
jdk 自動實(shí)時(shí)內(nèi)存監(jiān)控工具:VisualVM
堆外內(nèi)存監(jiān)控:Java VisualVM 安裝 Buffer Pools 插件、google perf工具、Java NMT(Native Memory Tracking)工具
GC 日志分析:GCViewer、gceasy
GC 參數(shù)檢查和優(yōu)化:http://xxfox.perfma.com/
GC 優(yōu)化案例
①數(shù)據(jù)分析平臺系統(tǒng)頻繁 Full GC
平臺主要對用戶在 App 中行為進(jìn)行定時(shí)分析統(tǒng)計(jì),并支持報(bào)表導(dǎo)出,使用 CMS GC 算法。
數(shù)據(jù)分析師在使用中發(fā)現(xiàn)系統(tǒng)頁面打開經(jīng)常卡頓,通過 jstat 命令發(fā)現(xiàn)系統(tǒng)每次 Young GC 后大約有 10% 的存活對象進(jìn)入老年代。
原來是因?yàn)?Survivor 區(qū)空間設(shè)置過小,每次 Young GC 后存活對象在 Survivor 區(qū)域放不下,提前進(jìn)入老年代。
通過調(diào)大 Survivor 區(qū),使得 Survivor 區(qū)可以容納 Young GC 后存活對象,對象在 Survivor 區(qū)經(jīng)歷多次 Young GC 達(dá)到年齡閾值才進(jìn)入老年代。
調(diào)整之后每次 Young GC 后進(jìn)入老年代的存活對象穩(wěn)定運(yùn)行時(shí)僅幾百 Kb,F(xiàn)ull GC 頻率大大降低。
②業(yè)務(wù)對接網(wǎng)關(guān) OOM
網(wǎng)關(guān)主要消費(fèi) Kafka 數(shù)據(jù),進(jìn)行數(shù)據(jù)處理計(jì)算然后轉(zhuǎn)發(fā)到另外的 Kafka 隊(duì)列,系統(tǒng)運(yùn)行幾個(gè)小時(shí)候出現(xiàn) OOM,重啟系統(tǒng)幾個(gè)小時(shí)之后又 OOM。
通過 jmap 導(dǎo)出堆內(nèi)存,在 eclipse MAT 工具分析才找出原因:代碼中將某個(gè)業(yè)務(wù) Kafka 的 topic 數(shù)據(jù)進(jìn)行日志異步打印,該業(yè)務(wù)數(shù)據(jù)量較大,大量對象堆積在內(nèi)存中等待被打印,導(dǎo)致 OOM。
③賬號權(quán)限管理系統(tǒng)頻繁長時(shí)間 Full GC
系統(tǒng)對外提供各種賬號鑒權(quán)服務(wù),使用時(shí)發(fā)現(xiàn)系統(tǒng)經(jīng)常服務(wù)不可用,通過 Zabbix 的監(jiān)控平臺監(jiān)控發(fā)現(xiàn)系統(tǒng)頻繁發(fā)生長時(shí)間 Full GC,且觸發(fā)時(shí)老年代的堆內(nèi)存通常并沒有占滿,發(fā)現(xiàn)原來是業(yè)務(wù)代碼中調(diào)用了 System.gc。
總結(jié)
GC 問題可以說沒有捷徑,排查線上的性能問題本身就并不簡單,除了將本文介紹到的原理和工具融會貫通,還需要我們不斷去積累經(jīng)驗(yàn),真正做到性能優(yōu)。
Java 1.8 常用GC參數(shù)速查表
GC信息打印
-verbose:gc
開啟輸出JVM GC日志
-verbose:class
查看類加載信息明細(xì)
-XX:+PrintGCDetails
GC日志打印詳細(xì)信息
-XX:+PrintGCDateStamps
GC日志打印時(shí)間戳信息
-XX:+PrintHeapAtGC
在GC前后打印GC日志
-XX:+PrintGCApplicationStoppedTime
打印應(yīng)用暫停時(shí)間
-XX:+PrintGCApplicationConcurrentTime
打印每次垃圾回收前,程序未中斷的執(zhí)行時(shí)間
-Xloggc:./gc.log
指定GC日志目錄何文件名
-XX:+HeapDumpOnOutOfMemoryError
當(dāng)發(fā)生 OOM(OutOfMemory)時(shí),自動轉(zhuǎn)儲堆內(nèi)存快照,缺省情況未指定目錄時(shí),JVM 會創(chuàng)建一個(gè)名稱為 java_pidPID.hprof 的堆 dump 文件在 JVM 的工作目錄下
-XX:HeapDumpPath=/data/log/gc/dump/
指定OOM時(shí)堆內(nèi)存轉(zhuǎn)儲快照位置
-XX:+PrintClassHistogramBeforeFullGC、-XX:+PrintClassHistogramAfterFullGC
Full GC前后打印跟蹤類視圖
-XX:+PrintTenuringDistribution
打印Young GC各個(gè)年齡段的對象分布
-XX:+PrintTLAB
打印TLAB(線程本地分配緩存區(qū))空間使用情況
CMS/G1通用內(nèi)存區(qū)域設(shè)置
-Xmx1024M
JVM最大堆內(nèi)存大小
-Xms1024M
JVM初始內(nèi)存大小,建議與-Xmx一致
-Xmn1536M
年輕代空間大小,使用G1收集器是不建議設(shè)置該值
-Xss1M
每個(gè)線程的堆棧大小
-XX:MaxMetaspaceSize=512M
最大元空間大小
-XX:MetaspaceSize=512M
初始元空間大小
-XX:SurvivorRatio=8
年輕代中Eden區(qū)與Survivor區(qū)的大小比值,缺省默認(rèn)值為8
-XX:MaxDirectMemorySize=40M
最大堆外內(nèi)存大小
CMS/G1通用閾值設(shè)置
-XX:MaxTenuringThreshold=15
設(shè)置新生代需要經(jīng)歷多少次GC晉升到老年代中的最大閾值,缺省默認(rèn)值為15
-XX:PretenureSizeThreshold=1M
代表分配在新生代一個(gè)對象占用內(nèi)存最大值,超過該最大值對象直接在old區(qū)分配,默認(rèn)值缺省是0,代表對象不管多大都是先在Eden中分配內(nèi)存
CMS/G1通用開關(guān)設(shè)置
-XX:+DisableExplicitGC
設(shè)置忽略System.gc()的調(diào)用,不建議設(shè)置該參數(shù),因?yàn)椴糠忠蕾嘕ava NIO的框架(例如Netty)在內(nèi)存異常耗盡時(shí),會主動調(diào)用System.gc(),觸發(fā)Full GC,回收DirectByteBuffer對象,作為回收堆外內(nèi)存的最后保障機(jī)制,設(shè)置該參數(shù)之后會導(dǎo)致在該情況下堆外內(nèi)存得不到清理 參考:為什么不推薦使用-XX:+DisableExplicitGC
-XX:+ParallelRefProcEnabled
開啟盡可能并行處理Reference對象,建議開啟
CMS/G1通用線程數(shù)設(shè)置
-XX:ParallelGCThreads=10
設(shè)置并行收集垃圾器在應(yīng)用線程STW期間時(shí)GC處理線程數(shù)
-XX:ConcGCThreads=10
設(shè)置垃圾收集器在與應(yīng)用線程并發(fā)執(zhí)行標(biāo)記處理(非STW階段)時(shí)的線程數(shù)
CMS常用
-XX:+UseConcMarkSweepGC
設(shè)置使用CMS作為老年代垃圾收集器
-XX:CMSInitiatingOccupancyFraction=70
設(shè)置老年代空間使用的比率閾值多少時(shí)觸發(fā)CMS GC,范圍1~100,建議70,需要和-XX:+UseCMSInitiatingOccupancyOnly參數(shù)搭配使用才生效
-XX:+UseCMSInitiatingOccupancyOnly
設(shè)置CMS嚴(yán)格按照-XX:CMSInitiatingOccupancyFraction參數(shù)設(shè)置的閾值來觸發(fā)CMS GC,如果沒有設(shè)置,虛擬機(jī)會根據(jù)收集的數(shù)據(jù)決定是否觸發(fā),建議線上環(huán)境帶上這個(gè)參數(shù),不然會加大問題排查的難度
-XX:+ExplicitGCInvokesConcurrentAndUnloadsClasses
保證顯式調(diào)用System.gc()觸發(fā)的是一個(gè)并發(fā)GC周期而不是Full GC,建議開啟
-XX:+CMSClassUnloadingEnabled
發(fā)送CMS GC時(shí)觸發(fā)類卸載,推薦開啟
-XX:+CMSScavengeBeforeRemark
在CMS的重新標(biāo)記階段之前執(zhí)行年輕代Young GC,可減少相當(dāng)一部分的需要標(biāo)記的對象,減少CMS重新標(biāo)記時(shí)間的開銷,建議開啟
-XX:UseCMSCompactAtFullCollection
是否在CMS發(fā)生Full GC之后是否進(jìn)行空間整理,缺省默認(rèn)開啟(推薦)
-XX:CMSFullGCsBeforeCompaction
進(jìn)行多少次Full GC之后進(jìn)行一次空間整理,缺省默認(rèn)值為0(推薦),即每次Full GC過后都進(jìn)行空間整理,空間整理期間STW
G1常用
-XX:+UseG1GC
使用 G1 垃圾收集器
-XX:MaxGCPauseMillis=200
設(shè)置期望達(dá)到的最大GC停頓時(shí)間指標(biāo),JVM會盡力實(shí)現(xiàn),但不保證達(dá)到
-XX:InitiatingHeapOccupancyPercent=45
啟動并發(fā)GC周期時(shí)的堆內(nèi)存占用百分比。G1之類的垃圾收集器基于整個(gè)整個(gè)堆的使用率觸發(fā)并發(fā)GC周期,而不只是某年輕代或者老年代的內(nèi)存的使用比.,值為 0 則表示”一直執(zhí)行GC循環(huán)”。 默認(rèn)值為 45
-XX:G1ReservePercent=10
預(yù)留內(nèi)存占堆內(nèi)存比值,默認(rèn)值是10,代表使用10%的堆內(nèi)存為預(yù)留內(nèi)存,當(dāng)Survivor區(qū)域沒有足夠空間容納新晉升對象時(shí)會嘗試使用預(yù)留內(nèi)存
-XX:G1HeapRegionSize=2M
設(shè)置的 G1 Region區(qū)域的大小,當(dāng)G1因?yàn)轭l繁分配巨型對象失敗導(dǎo)致Full GC,可以嘗試增大該參數(shù)
zz:https://www.sohu.com/a/343836125_172964
總結(jié)
- 上一篇: jqery获取每个月天数_三年级《年、月
- 下一篇: python3.5.2安装pygame_