包体的入门到精通
前言
本人在《龍之谷》負責資源管理工作一年多,積累相當多的打包經驗。經驗都寫成博客,所以寫一個總結篇,整理一下思路和感悟。
版本管理
版本管理,要從多平臺、多渠道、多服務器、多語言等維度進行版本管理。
功能拆分
多平臺,一般是3個平臺(還有主機平臺),如下
多渠道,一般是上線前夕需要部署到正式服上的模塊,例如以下
多服務器,一般游戲依據需要,通用的如下
實際上游戲運行時通過渠道、平臺、版本等包體配置,來指定服務器請求服務器信息。
多語言,這個會根據需求,進行字符串、圖片、語音等的替換。常用的方式是通過打包和資源導出時確定需要添加到當前渠道的語言包。
多地區,如果全球發行的游戲,一般還要兼顧地區的多渠道(一般一個海外地區就一個渠道),筆者將其作為一個渠道處理。
CDN目錄結構
對應上面的邏輯,我們CDN目錄結構設計如下
--InTest--Default --IOS--Android--PC--Test --OutTest--Default--Test --Ready --Release--Default--IOS 一般只有一個IOS平臺--PC --huawei 一般渠道都只有Android--Android --xiaomi--Android--Japanese 一般多地區,是跟渠道并行一個層級--IOS--Android--PC上述只是資源管理部分,在很多情況下,服務器很可能是同一臺服務器,比如常見的iOS和Android數據互通。這樣是根據游戲啟動,游戲包體對應配置到服務端獲取對應服務器地址,再連接對應服務器。
CDN文件目錄
在平臺之下是多版本的資源,會得到如下的目錄結構
--PC 平臺 --IOS --Android--1001000 當前版本的資源目錄,包含所有資源--Assets ab導出的目錄--xxx1.ab ab文件--xxx2.ab--xxx3.ab--xxx4.ab--Assets ab的manifast文件--Bytes 二進制配置文件目錄--xxx1.bytes 二進制文件(加密)--1001001 只導出比1001001增加和修改的文件--Assets--xxx1.ab 修改的保留...xxx2.ab 相同的不放人目錄--xxx5.ab 增加的保留--Assets--1001002--1001003--1002000 換包需要新啟midVer,會全部重新導出一遍資源--1002001--1001000.txt 版本文件表,包含所有文件信息--1001001.txt--1001002.txt--1002000.txt--1002001.txt--version.txt 當前版本號上面的表示就一目了然了
所有,管理維度依次是——服務器類型=》渠道=》平臺=》版本
Git管理
應對上述的復雜情況,Git管理目前已經成為一個主流。
打包和資源文件
大包、小包和資源文件
游戲開發過程中,工程中資源分為可熱更資源和不可熱更資源。
可熱更資源,一般包括
不可熱更資源
打包,就是指將不可熱更資源依據平臺環境,導出成平臺安裝包(iOS,Android,PC),
資源導出,就是將可熱更資源導出成平臺相關的資源文件,進安裝包或熱更。
打包,分大包和小包。
大包指平臺安裝包包含所有的資源文件,一般包體非常大,iOS平臺會要求使用大包。
小包指平臺安裝包只包含少量必要資源文件,其他資源文件通過熱更下載的方式,一般Android、PC平臺使用。
自動化Jenkins系統
自動化打包和資源導出,一般依賴Jenkins系統。
由上文,我們在多渠道、多平臺、多服務器三個大維度,每個維度上還有版本維度。然后游戲工程一般非常大,如何解決n * n * n * n的需求呢?
筆者設計了以3個平臺(iOS,Android,Pc)建立三個游戲工程目錄,通過Git的快速切換分支功能,實現一鍵式自動化打包和熱更:
當然,打包和資源導出都是相當耗時的操作。
平臺安裝包
#mermaid-svg-hgZMN8E2Qc72pIFq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .error-icon{fill:#552222;}#mermaid-svg-hgZMN8E2Qc72pIFq .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-hgZMN8E2Qc72pIFq .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-hgZMN8E2Qc72pIFq .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-hgZMN8E2Qc72pIFq .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-hgZMN8E2Qc72pIFq .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-hgZMN8E2Qc72pIFq .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-hgZMN8E2Qc72pIFq .marker{fill:#333333;stroke:#333333;}#mermaid-svg-hgZMN8E2Qc72pIFq .marker.cross{stroke:#333333;}#mermaid-svg-hgZMN8E2Qc72pIFq svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-hgZMN8E2Qc72pIFq .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .cluster-label text{fill:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .cluster-label span{color:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .label text,#mermaid-svg-hgZMN8E2Qc72pIFq span{fill:#333;color:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .node rect,#mermaid-svg-hgZMN8E2Qc72pIFq .node circle,#mermaid-svg-hgZMN8E2Qc72pIFq .node ellipse,#mermaid-svg-hgZMN8E2Qc72pIFq .node polygon,#mermaid-svg-hgZMN8E2Qc72pIFq .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-hgZMN8E2Qc72pIFq .node .label{text-align:center;}#mermaid-svg-hgZMN8E2Qc72pIFq .node.clickable{cursor:pointer;}#mermaid-svg-hgZMN8E2Qc72pIFq .arrowheadPath{fill:#333333;}#mermaid-svg-hgZMN8E2Qc72pIFq .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-hgZMN8E2Qc72pIFq .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-hgZMN8E2Qc72pIFq .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-hgZMN8E2Qc72pIFq .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-hgZMN8E2Qc72pIFq .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-hgZMN8E2Qc72pIFq .cluster text{fill:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .cluster span{color:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-hgZMN8E2Qc72pIFq :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}構建打包上傳構建打包上傳構建打包上傳生成游戲工程XCode工程ipa安裝包CDNAndroidStudio工程apk安裝包exe運行工程exe安裝包二維碼下載不同平臺都會生成對應的工程和安裝包,然后上傳CDN,并生成二維碼用于下載。
資源文件
資源文件,一般更合適的名字叫可熱更文件。一般包括三種
- 美術類資源,泛指貼圖、模型、動作等,也包括語音、音效等,由美術制作
- 在導出過程中,一般需要依賴項切割、圖集轉換、數據壓縮等流程,生成引擎和平臺相關的資源
- 數據類資源,指保存數據的配置文件,一般策劃維護
- 在導出過程中,一般需要導表、加密、壓縮等流程,生成二進制流文件
- 代碼類資源,指可以熱更的腳本代碼文件, 由程序開發
- 在導出過程中,一般需要混淆、加密等安全性流程,生成二進制流文件
最小化依賴樹
在美術類資源導出過程中,解決冗余資源、資源復用、加載效率一直是一個難題。
我們知道,為了減少成本和資源大小,多個相似場景會復用大量相同的模型和材質,多個特效會復用相同的材質和貼圖,多個角色會復用骨骼和動作,多個UI復用icon。
而這些資源復用,必然導致資源與資源之間的依賴關系,如果處理不好依賴關系,就會造成資源的冗余。問題就歸結為需要一個算法實現對資源節點劃分成不同的資源文件,保證每個資源節點只出現一次,而資源文件數量最少。
算法分以下幾步:
我們先對A,B兩個資源root節點進行依賴分析, 經過第1步和第2步,我們實際上得到的圖是這樣的
#mermaid-svg-RFfGzgvXwz8OwnpR {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .error-icon{fill:#552222;}#mermaid-svg-RFfGzgvXwz8OwnpR .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-RFfGzgvXwz8OwnpR .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-RFfGzgvXwz8OwnpR .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-RFfGzgvXwz8OwnpR .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-RFfGzgvXwz8OwnpR .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-RFfGzgvXwz8OwnpR .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-RFfGzgvXwz8OwnpR .marker{fill:#333333;stroke:#333333;}#mermaid-svg-RFfGzgvXwz8OwnpR .marker.cross{stroke:#333333;}#mermaid-svg-RFfGzgvXwz8OwnpR svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-RFfGzgvXwz8OwnpR .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .cluster-label text{fill:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .cluster-label span{color:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .label text,#mermaid-svg-RFfGzgvXwz8OwnpR span{fill:#333;color:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .node rect,#mermaid-svg-RFfGzgvXwz8OwnpR .node circle,#mermaid-svg-RFfGzgvXwz8OwnpR .node ellipse,#mermaid-svg-RFfGzgvXwz8OwnpR .node polygon,#mermaid-svg-RFfGzgvXwz8OwnpR .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-RFfGzgvXwz8OwnpR .node .label{text-align:center;}#mermaid-svg-RFfGzgvXwz8OwnpR .node.clickable{cursor:pointer;}#mermaid-svg-RFfGzgvXwz8OwnpR .arrowheadPath{fill:#333333;}#mermaid-svg-RFfGzgvXwz8OwnpR .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-RFfGzgvXwz8OwnpR .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-RFfGzgvXwz8OwnpR .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-RFfGzgvXwz8OwnpR .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-RFfGzgvXwz8OwnpR .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-RFfGzgvXwz8OwnpR .cluster text{fill:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .cluster span{color:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-RFfGzgvXwz8OwnpR :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}ABCDEFG注:圓角方形為root節點
當然,我們是不需要這么復雜的圖結構的,開始剪枝。
第3步解決的重復依賴關系,簡單講就是父依賴子,子依賴孫,如果父也依賴孫,這條(父依賴孫)是不需要的,需要去除。那么可以得到如下依賴樹。
#mermaid-svg-yZoctjW0OJqzkPhF {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .error-icon{fill:#552222;}#mermaid-svg-yZoctjW0OJqzkPhF .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-yZoctjW0OJqzkPhF .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-yZoctjW0OJqzkPhF .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-yZoctjW0OJqzkPhF .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-yZoctjW0OJqzkPhF .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-yZoctjW0OJqzkPhF .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-yZoctjW0OJqzkPhF .marker{fill:#333333;stroke:#333333;}#mermaid-svg-yZoctjW0OJqzkPhF .marker.cross{stroke:#333333;}#mermaid-svg-yZoctjW0OJqzkPhF svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-yZoctjW0OJqzkPhF .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .cluster-label text{fill:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .cluster-label span{color:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .label text,#mermaid-svg-yZoctjW0OJqzkPhF span{fill:#333;color:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .node rect,#mermaid-svg-yZoctjW0OJqzkPhF .node circle,#mermaid-svg-yZoctjW0OJqzkPhF .node ellipse,#mermaid-svg-yZoctjW0OJqzkPhF .node polygon,#mermaid-svg-yZoctjW0OJqzkPhF .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-yZoctjW0OJqzkPhF .node .label{text-align:center;}#mermaid-svg-yZoctjW0OJqzkPhF .node.clickable{cursor:pointer;}#mermaid-svg-yZoctjW0OJqzkPhF .arrowheadPath{fill:#333333;}#mermaid-svg-yZoctjW0OJqzkPhF .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-yZoctjW0OJqzkPhF .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-yZoctjW0OJqzkPhF .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-yZoctjW0OJqzkPhF .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-yZoctjW0OJqzkPhF .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-yZoctjW0OJqzkPhF .cluster text{fill:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .cluster span{color:#333;}#mermaid-svg-yZoctjW0OJqzkPhF div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-yZoctjW0OJqzkPhF :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}ABCDEFG第4步特別難理解,又是依賴,又是被依賴,讀者可以對照圖加深理解。簡單解釋就是樹刪除一個子節點,孫節點全部掛在父節點下。然后我們得到如下的圖
#mermaid-svg-zK7kIezLaCL6HoHN {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .error-icon{fill:#552222;}#mermaid-svg-zK7kIezLaCL6HoHN .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-zK7kIezLaCL6HoHN .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-zK7kIezLaCL6HoHN .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-zK7kIezLaCL6HoHN .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-zK7kIezLaCL6HoHN .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-zK7kIezLaCL6HoHN .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-zK7kIezLaCL6HoHN .marker{fill:#333333;stroke:#333333;}#mermaid-svg-zK7kIezLaCL6HoHN .marker.cross{stroke:#333333;}#mermaid-svg-zK7kIezLaCL6HoHN svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-zK7kIezLaCL6HoHN .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .cluster-label text{fill:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .cluster-label span{color:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .label text,#mermaid-svg-zK7kIezLaCL6HoHN span{fill:#333;color:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .node rect,#mermaid-svg-zK7kIezLaCL6HoHN .node circle,#mermaid-svg-zK7kIezLaCL6HoHN .node ellipse,#mermaid-svg-zK7kIezLaCL6HoHN .node polygon,#mermaid-svg-zK7kIezLaCL6HoHN .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-zK7kIezLaCL6HoHN .node .label{text-align:center;}#mermaid-svg-zK7kIezLaCL6HoHN .node.clickable{cursor:pointer;}#mermaid-svg-zK7kIezLaCL6HoHN .arrowheadPath{fill:#333333;}#mermaid-svg-zK7kIezLaCL6HoHN .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-zK7kIezLaCL6HoHN .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-zK7kIezLaCL6HoHN .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-zK7kIezLaCL6HoHN .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-zK7kIezLaCL6HoHN .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-zK7kIezLaCL6HoHN .cluster text{fill:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .cluster span{color:#333;}#mermaid-svg-zK7kIezLaCL6HoHN div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-zK7kIezLaCL6HoHN :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}A+DEBC+FG空空空空我們現在已經得到了我們想要的最小依賴樹的所有節點
第5步是一個優化,就不在這里闡述了。
第6步我們獲得上圖,提取最小依賴樹,導出資源文件。
優勢:
資源熱更
在游戲開發中,熱更并下載資源,對商業化游戲來說是一個必須的需求。
版本號
版本號是一個通識的,可被玩家查看的標識,也就是最通俗的1.1.1,1.1.2,1.2.1這樣的版本號。
版本號一般由三個段組成,
maxVer表示第幾代游戲,表示完全跨度的版本,比如龍之谷,龍之谷2,龍之谷3這樣的差異
midVer表示換包版本號,表示包體更新,也就是需要更包,換包才需要提升一位
minVer表示資源版本號,表示可以直接可以通過下載熱更的,也就是在游戲開始自己提示下載資源的
文件版本和版本文件表
文件版本,顧名思義,每個資源文件有自己的版本號,這個版本號用于確定當前這個資源文件使用的是哪次打包導出的資源文件。為了更準確的,還會有文件長度和文件md5作為檢驗文件正確性。
我們給每個資源文件賦予了版本號,對于大量文件,就會有對所有版本文件的列表信息構成的版本文件表。這個版本文件表,每個版本都有一個。詳細的可參照上文的CDN文件目錄。
版本文件表 1001002.txtxxx1.ab 1.1.0 6744 27692ef1a246710fc647318f38ce6262 xxx2.ab 1.1.1 563 69bfcb99c6c8f8eb91abb1d08c8508c6 xxx3.ab 1.1.0 3422 f19c51bda4b6776287ae9c83e1b7b10b xxx4.ab 1.1.0 3155 f1a4caff246e377e25002c820db3e327 xxx5.ab 1.1.2 52344 6bfdab505ccf6a38921bfb0bdd184083 ...在版本文件表中,大多數都是安裝包的版本號(例如1.1.0),只是少數需要熱更的資源文件,才會是熱更分支的版本號(例如1.1.1,1.1.2)。安裝包的版本號對應的資源文件一般是全量的,熱更的資源文件一般是增量的。所以我們玩游戲時,初始下載資源非常多,熱更的下載非常少。
熱更流程
#mermaid-svg-K19uWmReyCDh798c {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-K19uWmReyCDh798c .error-icon{fill:#552222;}#mermaid-svg-K19uWmReyCDh798c .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-K19uWmReyCDh798c .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-K19uWmReyCDh798c .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-K19uWmReyCDh798c .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-K19uWmReyCDh798c .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-K19uWmReyCDh798c .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-K19uWmReyCDh798c .marker{fill:#333333;stroke:#333333;}#mermaid-svg-K19uWmReyCDh798c .marker.cross{stroke:#333333;}#mermaid-svg-K19uWmReyCDh798c svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-K19uWmReyCDh798c .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-K19uWmReyCDh798c .cluster-label text{fill:#333;}#mermaid-svg-K19uWmReyCDh798c .cluster-label span{color:#333;}#mermaid-svg-K19uWmReyCDh798c .label text,#mermaid-svg-K19uWmReyCDh798c span{fill:#333;color:#333;}#mermaid-svg-K19uWmReyCDh798c .node rect,#mermaid-svg-K19uWmReyCDh798c .node circle,#mermaid-svg-K19uWmReyCDh798c .node ellipse,#mermaid-svg-K19uWmReyCDh798c .node polygon,#mermaid-svg-K19uWmReyCDh798c .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-K19uWmReyCDh798c .node .label{text-align:center;}#mermaid-svg-K19uWmReyCDh798c .node.clickable{cursor:pointer;}#mermaid-svg-K19uWmReyCDh798c .arrowheadPath{fill:#333333;}#mermaid-svg-K19uWmReyCDh798c .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-K19uWmReyCDh798c .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-K19uWmReyCDh798c .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-K19uWmReyCDh798c .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-K19uWmReyCDh798c .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-K19uWmReyCDh798c .cluster text{fill:#333;}#mermaid-svg-K19uWmReyCDh798c .cluster span{color:#333;}#mermaid-svg-K19uWmReyCDh798c div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-K19uWmReyCDh798c :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}請求比對小版本小提取熱更文件玩家同意全部下載完成成功比對中版本小同意比對版本一致游戲開始讀取本地版本號獲取CDN服務器版本號下載版本文件表請求下載文件下載熱更文件保存本地版本號進入游戲請求換包跳轉下載鏈接一般游戲的下載流程大同小異,需要注意以下幾個地方。
- 提取熱更文件,是通過本地版本號與資源文件版本號進行對比確定
- 本地版本號確定的是當前包體版本
- 資源文件版本號大于本地版本號說明資源文件需要新增或者更新
- 版本文件表中的資源文件版本號,用于確定下載哪個版本的資源文件
- 下載到一半重啟,在這種情況下,是否會出現重復下載呢?
- 不會,如果一個文件確定是熱更文件,會先校驗大小是否一致,不一致確定下載
- 校驗大小一致,還會比較MD5是否一致,不一致下載
- MD5校驗一致,認為下載完成
- 保存本地版本號,在下載全部完成后,需要提升本地版本號為CDN版本號
- 舊的本地版本號可能跨多個版本號到CDN版本號
- 提升本地版本號是為了記錄包體版本已經更新
- 玩家不同意,這種情況,一般是直接退出游戲。
多線程斷點續傳下載
想要高效并穩定地下載文件一直是開發中的一個痛點。
游戲的下載需求
我們能看到市面上,大量游戲都在下載上卡死,斷網,重啟無效等等問題。我們來總結一下要解決的問題:
下文會為上述的每個問題,提供對應的解決方案。
下載管理器
下圖是下載管理器的結構,外部只暴露三個函數,負責異步下載,同步下載,下載回調刷新
#mermaid-svg-zdAlDocleIFCaIVv {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-zdAlDocleIFCaIVv .error-icon{fill:#552222;}#mermaid-svg-zdAlDocleIFCaIVv .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-zdAlDocleIFCaIVv .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-zdAlDocleIFCaIVv .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-zdAlDocleIFCaIVv .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-zdAlDocleIFCaIVv .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-zdAlDocleIFCaIVv .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-zdAlDocleIFCaIVv .marker{fill:#333333;stroke:#333333;}#mermaid-svg-zdAlDocleIFCaIVv .marker.cross{stroke:#333333;}#mermaid-svg-zdAlDocleIFCaIVv svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-zdAlDocleIFCaIVv .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-zdAlDocleIFCaIVv .cluster-label text{fill:#333;}#mermaid-svg-zdAlDocleIFCaIVv .cluster-label span{color:#333;}#mermaid-svg-zdAlDocleIFCaIVv .label text,#mermaid-svg-zdAlDocleIFCaIVv span{fill:#333;color:#333;}#mermaid-svg-zdAlDocleIFCaIVv .node rect,#mermaid-svg-zdAlDocleIFCaIVv .node circle,#mermaid-svg-zdAlDocleIFCaIVv .node ellipse,#mermaid-svg-zdAlDocleIFCaIVv .node polygon,#mermaid-svg-zdAlDocleIFCaIVv .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-zdAlDocleIFCaIVv .node .label{text-align:center;}#mermaid-svg-zdAlDocleIFCaIVv .node.clickable{cursor:pointer;}#mermaid-svg-zdAlDocleIFCaIVv .arrowheadPath{fill:#333333;}#mermaid-svg-zdAlDocleIFCaIVv .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-zdAlDocleIFCaIVv .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-zdAlDocleIFCaIVv .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-zdAlDocleIFCaIVv .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-zdAlDocleIFCaIVv .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-zdAlDocleIFCaIVv .cluster text{fill:#333;}#mermaid-svg-zdAlDocleIFCaIVv .cluster span{color:#333;}#mermaid-svg-zdAlDocleIFCaIVv div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-zdAlDocleIFCaIVv :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}外部接口請求請求刷新每幀調用DownloadAsyncDownloadSyncDownloadUpdate下載管理器DownloadMac子線程ADownloadMac子線程BDownloadMac子線程C主線程內部對同步下載,直接返回結果。
內部實現對異步下載創建線程,對外部隱藏異步線程。
上述異步回調實際上是通過主線程調用DownloadUpdate來遍歷的同步回調。
TIP:為什么設計成Update里同步回調呢?
如果直接通過異步線程進行回調,那么在回調函數里必須要處理線程鎖的問題和回調可能運行邏輯報錯的問題,這樣勢必造成代碼的耦合度增加。
而通過主線程調用Update來回調,可以隱藏了線程邏輯,也可以保證主線程的線性運行。
多線程運行邏輯
很多人可能會有一個簡單處理方法,一個文件一個線程,運行結束就銷毀。
too young too simple 一個線程要占用1M的內存,而在熱更中,幾千個小文件輕輕松松的。
那么,我們需要解決幾個問題:
很簡單的,我們就能想到生產者-消費者模型
#mermaid-svg-v5amyeGSUPTteXEV {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-v5amyeGSUPTteXEV .error-icon{fill:#552222;}#mermaid-svg-v5amyeGSUPTteXEV .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-v5amyeGSUPTteXEV .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-v5amyeGSUPTteXEV .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-v5amyeGSUPTteXEV .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-v5amyeGSUPTteXEV .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-v5amyeGSUPTteXEV .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-v5amyeGSUPTteXEV .marker{fill:#333333;stroke:#333333;}#mermaid-svg-v5amyeGSUPTteXEV .marker.cross{stroke:#333333;}#mermaid-svg-v5amyeGSUPTteXEV svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-v5amyeGSUPTteXEV .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-v5amyeGSUPTteXEV .cluster-label text{fill:#333;}#mermaid-svg-v5amyeGSUPTteXEV .cluster-label span{color:#333;}#mermaid-svg-v5amyeGSUPTteXEV .label text,#mermaid-svg-v5amyeGSUPTteXEV span{fill:#333;color:#333;}#mermaid-svg-v5amyeGSUPTteXEV .node rect,#mermaid-svg-v5amyeGSUPTteXEV .node circle,#mermaid-svg-v5amyeGSUPTteXEV .node ellipse,#mermaid-svg-v5amyeGSUPTteXEV .node polygon,#mermaid-svg-v5amyeGSUPTteXEV .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-v5amyeGSUPTteXEV .node .label{text-align:center;}#mermaid-svg-v5amyeGSUPTteXEV .node.clickable{cursor:pointer;}#mermaid-svg-v5amyeGSUPTteXEV .arrowheadPath{fill:#333333;}#mermaid-svg-v5amyeGSUPTteXEV .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-v5amyeGSUPTteXEV .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-v5amyeGSUPTteXEV .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-v5amyeGSUPTteXEV .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-v5amyeGSUPTteXEV .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-v5amyeGSUPTteXEV .cluster text{fill:#333;}#mermaid-svg-v5amyeGSUPTteXEV .cluster span{color:#333;}#mermaid-svg-v5amyeGSUPTteXEV div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-v5amyeGSUPTteXEV :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}外部代碼調用循環取出下載取出取出取出加入加入加入加入加入外部請求A外部請求B外部請求C外部請求D外部請求E子線程A子線程B子線程C下載請求隊列整合上文,我們需要四個隊列,分別為請求隊列,運行隊列,完成隊列,異常隊列。
private static object _lock = new object(); private const int MAX_THREAD_COUNT = 20;private Queue<DownloadFileMac> _readyList; private Dictionary<Thread, DownloadFileMac> _runningList; private List<DownloadUnit> _completeList; private List<DownloadFileMac> _errorList;既然是多線程,那么上面的鎖_lock就是必須的,解決競爭問題。這邊_lock是唯一的,必然不會有死鎖問題。
MAX_THREAD_COUNT = 20是一個測試得出最高效的值,如果你對內存限制有要求,可以降低個數。
TIP:為什么線程數遠大于CPU核數還會更高效?
在下載過程中,有大量時間是在等待網絡請求和IO請求的返回,并不消耗CPU運行時間。而一般瓶頸在網絡帶寬,而不是IO和CPU,多一點的線程,才能夠真正跑滿網絡帶寬,實現更高效下載。
線程實現了線程創建、線程循環和線程銷毀的邏輯,其實沒啥難度
#mermaid-svg-u4jFEkk4JqKOib8m {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .error-icon{fill:#552222;}#mermaid-svg-u4jFEkk4JqKOib8m .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-u4jFEkk4JqKOib8m .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-u4jFEkk4JqKOib8m .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-u4jFEkk4JqKOib8m .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-u4jFEkk4JqKOib8m .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-u4jFEkk4JqKOib8m .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-u4jFEkk4JqKOib8m .marker{fill:#333333;stroke:#333333;}#mermaid-svg-u4jFEkk4JqKOib8m .marker.cross{stroke:#333333;}#mermaid-svg-u4jFEkk4JqKOib8m svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-u4jFEkk4JqKOib8m .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .cluster-label text{fill:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .cluster-label span{color:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .label text,#mermaid-svg-u4jFEkk4JqKOib8m span{fill:#333;color:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .node rect,#mermaid-svg-u4jFEkk4JqKOib8m .node circle,#mermaid-svg-u4jFEkk4JqKOib8m .node ellipse,#mermaid-svg-u4jFEkk4JqKOib8m .node polygon,#mermaid-svg-u4jFEkk4JqKOib8m .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-u4jFEkk4JqKOib8m .node .label{text-align:center;}#mermaid-svg-u4jFEkk4JqKOib8m .node.clickable{cursor:pointer;}#mermaid-svg-u4jFEkk4JqKOib8m .arrowheadPath{fill:#333333;}#mermaid-svg-u4jFEkk4JqKOib8m .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-u4jFEkk4JqKOib8m .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-u4jFEkk4JqKOib8m .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-u4jFEkk4JqKOib8m .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-u4jFEkk4JqKOib8m .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-u4jFEkk4JqKOib8m .cluster text{fill:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .cluster span{color:#333;}#mermaid-svg-u4jFEkk4JqKOib8m div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-u4jFEkk4JqKOib8m :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}有完成異常無隊列取出運行下載狀態處理結束線程TIP:為什么設計成出現異常就結束線程?
下載一個文件異常,情況非常多,很難判斷是網絡,線程,IO問題。所以簡單地將線程直接結束,讓新創建的線程來下載是比較方便的做法。
TIP:如果線程都異常結束了呢?
其實在Update()里有對線程狀態的遍歷操作,保證線程數量少了創建,異常銷毀。
下載回調和線程遍歷
#mermaid-svg-rkuJqg50fUdFCapN {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-rkuJqg50fUdFCapN .error-icon{fill:#552222;}#mermaid-svg-rkuJqg50fUdFCapN .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-rkuJqg50fUdFCapN .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-rkuJqg50fUdFCapN .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-rkuJqg50fUdFCapN .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-rkuJqg50fUdFCapN .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-rkuJqg50fUdFCapN .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-rkuJqg50fUdFCapN .marker{fill:#333333;stroke:#333333;}#mermaid-svg-rkuJqg50fUdFCapN .marker.cross{stroke:#333333;}#mermaid-svg-rkuJqg50fUdFCapN svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-rkuJqg50fUdFCapN .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-rkuJqg50fUdFCapN .cluster-label text{fill:#333;}#mermaid-svg-rkuJqg50fUdFCapN .cluster-label span{color:#333;}#mermaid-svg-rkuJqg50fUdFCapN .label text,#mermaid-svg-rkuJqg50fUdFCapN span{fill:#333;color:#333;}#mermaid-svg-rkuJqg50fUdFCapN .node rect,#mermaid-svg-rkuJqg50fUdFCapN .node circle,#mermaid-svg-rkuJqg50fUdFCapN .node ellipse,#mermaid-svg-rkuJqg50fUdFCapN .node polygon,#mermaid-svg-rkuJqg50fUdFCapN .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-rkuJqg50fUdFCapN .node .label{text-align:center;}#mermaid-svg-rkuJqg50fUdFCapN .node.clickable{cursor:pointer;}#mermaid-svg-rkuJqg50fUdFCapN .arrowheadPath{fill:#333333;}#mermaid-svg-rkuJqg50fUdFCapN .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-rkuJqg50fUdFCapN .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-rkuJqg50fUdFCapN .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-rkuJqg50fUdFCapN .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-rkuJqg50fUdFCapN .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-rkuJqg50fUdFCapN .cluster text{fill:#333;}#mermaid-svg-rkuJqg50fUdFCapN .cluster span{color:#333;}#mermaid-svg-rkuJqg50fUdFCapN div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-rkuJqg50fUdFCapN :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}UpdateUpdateCompleteUpdateProgressUpdateErrorUpdateThread遍歷下載完成的文件遍歷正在下載的文件的進度遍歷加載異常的文件遍歷線程實現動態創建和銷毀運行完成回調函數運行進度回調函數運行異?;卣{函數關閉卡死線程網絡斷開處理開啟新線程Update總共四個步驟,前三步都是運行回調函數,實現回調隱藏線程化
UpdateThread線程遍歷就三個邏輯,關閉卡死線程、網絡斷開處理和開啟新線程。
這樣子就實現了線程的動態創建和銷毀。
文件下載流程
針對文件下載,要保證準確性和高效,設計了如下的流程
#mermaid-svg-TCrllnSjEv7cTELF {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-TCrllnSjEv7cTELF .error-icon{fill:#552222;}#mermaid-svg-TCrllnSjEv7cTELF .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-TCrllnSjEv7cTELF .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-TCrllnSjEv7cTELF .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-TCrllnSjEv7cTELF .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-TCrllnSjEv7cTELF .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-TCrllnSjEv7cTELF .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-TCrllnSjEv7cTELF .marker{fill:#333333;stroke:#333333;}#mermaid-svg-TCrllnSjEv7cTELF .marker.cross{stroke:#333333;}#mermaid-svg-TCrllnSjEv7cTELF svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-TCrllnSjEv7cTELF .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-TCrllnSjEv7cTELF .cluster-label text{fill:#333;}#mermaid-svg-TCrllnSjEv7cTELF .cluster-label span{color:#333;}#mermaid-svg-TCrllnSjEv7cTELF .label text,#mermaid-svg-TCrllnSjEv7cTELF span{fill:#333;color:#333;}#mermaid-svg-TCrllnSjEv7cTELF .node rect,#mermaid-svg-TCrllnSjEv7cTELF .node circle,#mermaid-svg-TCrllnSjEv7cTELF .node ellipse,#mermaid-svg-TCrllnSjEv7cTELF .node polygon,#mermaid-svg-TCrllnSjEv7cTELF .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-TCrllnSjEv7cTELF .node .label{text-align:center;}#mermaid-svg-TCrllnSjEv7cTELF .node.clickable{cursor:pointer;}#mermaid-svg-TCrllnSjEv7cTELF .arrowheadPath{fill:#333333;}#mermaid-svg-TCrllnSjEv7cTELF .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-TCrllnSjEv7cTELF .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-TCrllnSjEv7cTELF .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-TCrllnSjEv7cTELF .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-TCrllnSjEv7cTELF .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-TCrllnSjEv7cTELF .cluster text{fill:#333;}#mermaid-svg-TCrllnSjEv7cTELF .cluster span{color:#333;}#mermaid-svg-TCrllnSjEv7cTELF div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-TCrllnSjEv7cTELF :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}開始獲取文件長度下載文件MD5校驗下載完成解壓文件- 獲取文件長度,如果下載數據未傳入,從CDN拉取文件長度
- 下載文件,斷點續傳邏輯下載,詳見下文
- MD5校驗,文件下載后,校驗MD5是否一致,不一致重新下載
- 解壓文件,如果文件是壓縮包,需要解壓文件
斷點續傳下載邏輯
斷點續傳有多種方式實現,比如迅雷的下載,是將大文件切成4MB的塊,然后不同線程(p2p)下載對應塊,然后所有塊下載完成,校驗一下,整個大文件就下載完成了。
而這里涉及的場景,是對單一路徑(CDN)的下載,并不需要那么復雜的邏輯,只需要的是一個可以繼續下載的功能。
下載邏輯如下圖:
TIP:為什么不下載整個文件,然后寫整個文件?
直接寫整個文件,這是很多游戲的暴力做法,但導致的問題會很多
TIP:每次下載的固定長度為多少?
根據文件系統每個文件塊一般大小是4KB(不同文件系統可能不一樣),最好是4KB的整數倍,這樣能夠實現最高效率。這里定義const int oneReadLen = 16 * 1024;,是折中的做法,讀者可以自己根據需求定義。
TIP:斷點續傳是怎么實現的?
當下載線程重新下載這個文件的時候,可以通過判斷對應的臨時文件是否存在,并獲取臨時文件的長度,然后從當前長度開始下載,這樣就實現了斷點續傳。
有讀者會問,IO寫文件寫一半怎么辦,文件改名失敗怎么辦,網絡斷開怎么辦?
do while
資源加載
上文已經用最小依賴樹導出了資源,那么游戲運行時就要按依賴關系加載資源了。
注:下文用ab(AssetBundle)指代上文的最小依賴樹導出資源文件
四個隊列
既然是加載資源,那必然會有隊列,筆者這邊依據需求和優化要求,設計成四個隊列,準備隊列、加載隊列、完成隊列和銷毀隊列。
#mermaid-svg-cbNyUb9RWjnB1OUn {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .error-icon{fill:#552222;}#mermaid-svg-cbNyUb9RWjnB1OUn .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-cbNyUb9RWjnB1OUn .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-cbNyUb9RWjnB1OUn .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-cbNyUb9RWjnB1OUn .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-cbNyUb9RWjnB1OUn .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-cbNyUb9RWjnB1OUn .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-cbNyUb9RWjnB1OUn .marker{fill:#333333;stroke:#333333;}#mermaid-svg-cbNyUb9RWjnB1OUn .marker.cross{stroke:#333333;}#mermaid-svg-cbNyUb9RWjnB1OUn svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-cbNyUb9RWjnB1OUn .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .cluster-label text{fill:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .cluster-label span{color:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .label text,#mermaid-svg-cbNyUb9RWjnB1OUn span{fill:#333;color:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .node rect,#mermaid-svg-cbNyUb9RWjnB1OUn .node circle,#mermaid-svg-cbNyUb9RWjnB1OUn .node ellipse,#mermaid-svg-cbNyUb9RWjnB1OUn .node polygon,#mermaid-svg-cbNyUb9RWjnB1OUn .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-cbNyUb9RWjnB1OUn .node .label{text-align:center;}#mermaid-svg-cbNyUb9RWjnB1OUn .node.clickable{cursor:pointer;}#mermaid-svg-cbNyUb9RWjnB1OUn .arrowheadPath{fill:#333333;}#mermaid-svg-cbNyUb9RWjnB1OUn .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-cbNyUb9RWjnB1OUn .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-cbNyUb9RWjnB1OUn .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-cbNyUb9RWjnB1OUn .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-cbNyUb9RWjnB1OUn .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-cbNyUb9RWjnB1OUn .cluster text{fill:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .cluster span{color:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-cbNyUb9RWjnB1OUn :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}UpdateReadyUpdateLoadUpdateUnLoad準備隊列加載隊列完成隊列銷毀隊列代碼如下
private Dictionary<string, AssetBundleObject> _readyABList; //預備加載的列表 private Dictionary<string, AssetBundleObject> _loadingABList; //正在加載的列表 private Dictionary<string, AssetBundleObject> _loadedABList; //加載完成的列表 private Dictionary<string, AssetBundleObject> _unloadABList; //準備卸載的列表隊列之間,隊列成員的轉移需要一個觸發點,而這樣的觸發點如果都寫在加載和銷毀邏輯里,耦合度過高,而且邏輯復雜還容易出錯。
TIP:為什么沒有設計異常隊列?
筆者很喜歡的一種設計,就是通過Update來降低耦合度,這種方式代碼清晰,邏輯簡單,但缺點也很明顯,丟失原始現場。
回到本篇文章,當然是通過Update來運行邏輯,如下
#mermaid-svg-tyhZiJut0pEdli5u {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-tyhZiJut0pEdli5u .error-icon{fill:#552222;}#mermaid-svg-tyhZiJut0pEdli5u .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-tyhZiJut0pEdli5u .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-tyhZiJut0pEdli5u .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-tyhZiJut0pEdli5u .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-tyhZiJut0pEdli5u .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-tyhZiJut0pEdli5u .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-tyhZiJut0pEdli5u .marker{fill:#333333;stroke:#333333;}#mermaid-svg-tyhZiJut0pEdli5u .marker.cross{stroke:#333333;}#mermaid-svg-tyhZiJut0pEdli5u svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-tyhZiJut0pEdli5u .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-tyhZiJut0pEdli5u .cluster-label text{fill:#333;}#mermaid-svg-tyhZiJut0pEdli5u .cluster-label span{color:#333;}#mermaid-svg-tyhZiJut0pEdli5u .label text,#mermaid-svg-tyhZiJut0pEdli5u span{fill:#333;color:#333;}#mermaid-svg-tyhZiJut0pEdli5u .node rect,#mermaid-svg-tyhZiJut0pEdli5u .node circle,#mermaid-svg-tyhZiJut0pEdli5u .node ellipse,#mermaid-svg-tyhZiJut0pEdli5u .node polygon,#mermaid-svg-tyhZiJut0pEdli5u .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-tyhZiJut0pEdli5u .node .label{text-align:center;}#mermaid-svg-tyhZiJut0pEdli5u .node.clickable{cursor:pointer;}#mermaid-svg-tyhZiJut0pEdli5u .arrowheadPath{fill:#333333;}#mermaid-svg-tyhZiJut0pEdli5u .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-tyhZiJut0pEdli5u .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-tyhZiJut0pEdli5u .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-tyhZiJut0pEdli5u .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-tyhZiJut0pEdli5u .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-tyhZiJut0pEdli5u .cluster text{fill:#333;}#mermaid-svg-tyhZiJut0pEdli5u .cluster span{color:#333;}#mermaid-svg-tyhZiJut0pEdli5u div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-tyhZiJut0pEdli5u :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}YesYesYesUpdateUpdateLoadUpdateReadyUpdateUnLoad遍歷正在加載的ab是否加載完成正在加載的ab總數是否低于上限遍歷引用計數為0的ab是否銷毀運行回調函數創建新的加載銷毀abTIP:為什么Update里三個函數的運行順序跟隊列轉移順序不一樣?
函數接口
根據上面的邏輯,很容易設計下面的接口邏輯
#mermaid-svg-sP8uiynlDcIkPPOv {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .error-icon{fill:#552222;}#mermaid-svg-sP8uiynlDcIkPPOv .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-sP8uiynlDcIkPPOv .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-sP8uiynlDcIkPPOv .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-sP8uiynlDcIkPPOv .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-sP8uiynlDcIkPPOv .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-sP8uiynlDcIkPPOv .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-sP8uiynlDcIkPPOv .marker{fill:#333333;stroke:#333333;}#mermaid-svg-sP8uiynlDcIkPPOv .marker.cross{stroke:#333333;}#mermaid-svg-sP8uiynlDcIkPPOv svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-sP8uiynlDcIkPPOv .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .cluster-label text{fill:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .cluster-label span{color:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .label text,#mermaid-svg-sP8uiynlDcIkPPOv span{fill:#333;color:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .node rect,#mermaid-svg-sP8uiynlDcIkPPOv .node circle,#mermaid-svg-sP8uiynlDcIkPPOv .node ellipse,#mermaid-svg-sP8uiynlDcIkPPOv .node polygon,#mermaid-svg-sP8uiynlDcIkPPOv .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-sP8uiynlDcIkPPOv .node .label{text-align:center;}#mermaid-svg-sP8uiynlDcIkPPOv .node.clickable{cursor:pointer;}#mermaid-svg-sP8uiynlDcIkPPOv .arrowheadPath{fill:#333333;}#mermaid-svg-sP8uiynlDcIkPPOv .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-sP8uiynlDcIkPPOv .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-sP8uiynlDcIkPPOv .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-sP8uiynlDcIkPPOv .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-sP8uiynlDcIkPPOv .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-sP8uiynlDcIkPPOv .cluster text{fill:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .cluster span{color:#333;}#mermaid-svg-sP8uiynlDcIkPPOv div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-sP8uiynlDcIkPPOv :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}外部接口加載依賴關系異步同步卸載刷新每幀調用LoadMainfestLoadAsyncLoadSyncUnloadUpdate加載管理器主線程LoadMainfest是用來加載文件列表和依賴關系的,一般在游戲熱更之后,游戲登錄界面之前進行游戲資源依賴初始化。
依賴加載——遞歸&引用計數&隊列&回調
依賴加載,是ab加載邏輯里最難最復雜最容易出bug的地方,也是本文的難點。
難點為一下幾點:
我們來一一分解
首先,看一下ab節點的引用計數要實現的邏輯
注: 上圖顯示加載和銷毀都需要遞歸標記依賴節點的依賴節點
TIP:為什么引用計數一定要遞歸標記所有子節點?
我們需要確定一個節點是否需要銷毀,是通過引用計數是否為零來判斷的,很多語言使用的內存回收機制就是引用計數。
如果只標記當前節點和其一層依賴項,當其依賴項也作為主加載節點,我就沒辦法判斷二層依賴節點是否需要銷毀了。
例如按上述邏輯,
所以,帶依賴關系的引用計數,需要遞歸標記所有子節點,才能確認任意一個節點是否需要卸載。
每次加載,都要遞歸標記,會不會有效率問題?
很幸運,在絕大多數情況,依賴節點關系不會超過三層,依賴節點總數量不超過10個(生成最小依賴樹情況下),一般游戲至少一半以上ab節點都是單節點,不包含需要拆分的依賴關系。
用引用計數的方法,可以確定一個資源是否需要銷毀。
上面構造了遞歸引用計數的邏輯,我們再加入隊列的邏輯。
隊列邏輯在上文已經描述過了,總結幾個要點
從這里,上文已經完成了整個異步加載的邏輯,已經實現創建到銷毀的代碼。但異步加載還有一個問題沒有解決——判斷ab節點加載完成。
我們需要在ab節點及其依賴ab節點都加載完后,告訴上層調用邏輯,ab資源加載完了。
筆者提供一種解耦的方式——回調
我們先用圖示表示加載A和B到完成的整個過程
注:圓角方形表示ab自身加載完成,箭頭表示依賴關系
上圖,會按以下回調邏輯
C自身沒有加載完,然后C會記錄子依賴加載情況
C的子依賴加載完了,C自己也加載完了,回調A和B;
A自己沒加載完,不操作;
B自己已經加載完了,子依賴也加載完了,B完成加載
按照上述邏輯,讀者應該能夠理解回調在解決的問題了吧。
到這里,超級復雜的依賴加載問題就解決啦,我們可以歡快地開始使用異步加載啦!!!
異步加載和同步加載一起用
異步加載已經很復雜了,如果還要在異步加載的基礎上,使用同步加載,是不是感覺很頭大!!!
你會發現難點就一個——正在加載的節點如何強制加載完。
我們這里有四個隊列,準備隊列、加載隊列、完成隊列和銷毀隊列。當加載時分類討論
總結一下,就是三個問題——引用計數、依賴關系回調和ab異步轉同步
引用計數可以很簡單啦,遞歸一下所有依賴節點,都+1就解決了。
注意:同步加載和異步加載會導致引用計數是2次,需要調用2次Unload才會卸載
依賴關系回調需要強制手動運行被依賴項的回調函數,然后改變隊列
ab異步轉同步,很幸運的,Unity提供了同步轉異步的方式(其他引擎需要自己實現)
在異步請求一個AssetBundle的時候,會返回一個AssetBundleCreateRequest對象,Unity的官方文檔上寫
AssetBundleCreateRequest.assetBundle的時候這樣說:
“
Description Asset object being loaded (Read Only).
“
Note that accessing asset before isDone is true will stall the loading process.
經測試,在isDone是false的時候,直接調用request.assetBundle,可以拿到同步加載的結果
到這里,資源加載就講完了
總結
上文五個部分,將包體的整個流程都講了一遍,有一些是概念和流程,有一些是本人設計的算法,算是拋磚引玉吧,給大家一些啟發。
總結
- 上一篇: 无线mesh网络
- 下一篇: 机器学习基础---pr曲线的绘制