前言

歡迎大家關(guān)注有三AI的視頻課程系列，我們的視頻課程系列共分為5層境界，內(nèi)容和學(xué)習(xí)路線圖如下：

第1層：掌握學(xué)習(xí)算法必要的預(yù)備知識，包括Python編程，深度學(xué)習(xí)基礎(chǔ)，數(shù)據(jù)使用，框架使用。

第2層：掌握CV算法最底層的能力，包括模型設(shè)計基礎(chǔ)，圖像分類，模型分析。

第3層：掌握CV算法最核心的方向，包括圖像分割，目標檢測，圖像生成，目標跟蹤。

第4層：掌握CV算法最核心的應(yīng)用，包括人臉圖像，圖像質(zhì)量，視頻分析，圖像編輯。

第5層：掌握算法落地的關(guān)鍵技術(shù)，包括模型優(yōu)化，模型部署。

其中部分課程的主體內(nèi)容已經(jīng)更新完畢，比如數(shù)據(jù)使用/模型分析/圖像分類/圖像分割/目標檢測/圖像生成/視頻分類/模型部署；部分課程正在重制更新中，比如模型優(yōu)化；部分課程正在計劃上線中，比如圖像編輯，請大家及時關(guān)注！

最新的完整介紹如下：【視頻課】超全深度學(xué)習(xí)路線圖，有三AI所有免費與付費的視頻課程內(nèi)容匯總！

本次給大家介紹的課程內(nèi)容是《深度學(xué)習(xí)之模型優(yōu)化：理論實踐篇》，目標是幫助大家掌握深度學(xué)習(xí)模型優(yōu)化的核心內(nèi)容。

為什么要學(xué)習(xí)這門課

好的模型結(jié)構(gòu)是深度學(xué)習(xí)成功的關(guān)鍵因素之一，不僅是非常重要的學(xué)術(shù)研究方向，在工業(yè)界實踐中也是模型是否能上線的關(guān)鍵。對各類底層深度學(xué)習(xí)模型設(shè)計和優(yōu)化技術(shù)理解的深度是決定我們能否在深度學(xué)習(xí)項目中游刃有余的關(guān)鍵，模型壓縮與優(yōu)化是專門針對模型進行精簡的技術(shù)，這是模型能夠在各類嵌入式平臺使用的關(guān)鍵技術(shù)，包括緊湊模型設(shè)計，模型剪枝，模型量化，模型蒸餾，自動化模型設(shè)計等內(nèi)容。

當(dāng)前許多成熟的框架都支持進行模型的壓縮優(yōu)化，比如Tensorflow、TensorRT，內(nèi)置了經(jīng)典的模型壓縮優(yōu)化方法。

為了幫助大家系統(tǒng)性地學(xué)習(xí)深度學(xué)習(xí)模型優(yōu)化的相關(guān)內(nèi)容，我們推出了《深度學(xué)習(xí)之模型優(yōu)化》系列課程，目前已完成約7個小時的理論課課程+3個小時的實踐課（還在更新中）。

子欲學(xué)深度學(xué)習(xí)，模型優(yōu)化是必學(xué)進階內(nèi)容！我們這一門課期望幫大家徹底搞定模型優(yōu)化的學(xué)習(xí)問題！下面請聽課程的詳細介紹！

課程內(nèi)容介紹

本課程內(nèi)容將包括模型優(yōu)化壓縮的經(jīng)典算法理論與實踐，本次我們介紹的是實踐部分內(nèi)容（基于Pytorch框架），包括模型剪枝、模型量化、知識蒸餾；

下圖是本次課程的實踐部分大綱腦圖：

下面簡單了解一下各部分實踐的內(nèi)容：

(1) 結(jié)構(gòu)化模型剪枝實踐，包括基準模型訓(xùn)練以及基于稀疏約束與縮放因子的結(jié)構(gòu)化剪枝實踐，約60分鐘。

(2) 8bit模型量化實踐，包括校準表生成與模型量化，ncnn模型推理，約50分鐘。

(3) 模型蒸餾實踐，包括模型訓(xùn)練與蒸餾，一共約30分鐘。

(4) Distiller模型壓縮框架，介紹整體架構(gòu)，模型剪枝與模型量化的功能模塊，約40分鐘。

另外該課程還有已經(jīng)完成的超過7個小時理論部分的內(nèi)容，介紹如下：

(1) 模型剪枝基礎(chǔ)，包括模型剪枝的基本概念，模型的冗余性分析，約25分鐘，本部分內(nèi)容可以免費收聽。

(2) 非結(jié)構(gòu)化模型剪枝（基礎(chǔ)篇），包括基于幅度的連接權(quán)重剪枝框架及其改進，約25分鐘，本部分內(nèi)容可以免費收聽。

(3) 結(jié)構(gòu)化模型剪枝，包括幅度篇、稀疏權(quán)重篇、稀疏因子篇、重建篇，詳細介紹了當(dāng)前各種主流的結(jié)構(gòu)化模型剪枝技術(shù)，一共約110分鐘。

(4) 模型量化基礎(chǔ)，介紹模型量化方法的分類，模型量化的優(yōu)勢，約20分鐘，本部分內(nèi)容可以免費收聽。

(5)?2值模型量化，包括基礎(chǔ)篇、重建篇，詳細介紹了當(dāng)前主流的2值網(wǎng)絡(luò)，約50分鐘。

(6) 8bit模型量化，介紹的內(nèi)容包括基于KL散度的對稱量化、非對稱的訓(xùn)練時與訓(xùn)練后量化框架，時長約45分鐘。

(7) 混合模型量化，介紹了基于不同位寬的激活值、權(quán)重值、梯度值的量化訓(xùn)練框架，約30分鐘。

(8) 知識蒸餾基礎(chǔ)，包括知識蒸餾的概念與遷移學(xué)習(xí)基礎(chǔ)，約25分鐘，本部分內(nèi)容可以免費收聽。

(9)?知識蒸餾框架，包括基于特征匹配與基于優(yōu)化目標驅(qū)動的框架，時長約50分鐘。

除此之外，還有超過2個小時的早期的實踐直播內(nèi)容回放，總體課程長度超過13個小時，后續(xù)還會繼續(xù)更新！

本課程講師為言有三，講師簡介如下：

龍鵬，筆名言有三，技術(shù)社區(qū)《有三AI》創(chuàng)始人。先后就讀于華中科技大學(xué)(2008-2012)，中國科學(xué)院半導(dǎo)體研究所神經(jīng)網(wǎng)絡(luò)實驗室(2012-2015)，先后就職于奇虎360人工智能研究院(2015.7-2017.5)，陌陌科技深度學(xué)習(xí)實驗室(2017.5-2019.3)，深度學(xué)習(xí)算法專家，阿里云MVP，華為云MVP。

擁有超過7年的計算機視覺從業(yè)經(jīng)驗，擁有豐富的傳統(tǒng)圖像算法和深度學(xué)習(xí)計算機視覺項目經(jīng)驗，著有書籍《深度學(xué)習(xí)之圖像識別：核心技術(shù)與案例實戰(zhàn)》(機械工業(yè)出版社2019.4)，《深度學(xué)習(xí)之模型設(shè)計：核心算法與案例實踐》(電子工業(yè)出版社2020.6)，《深度學(xué)習(xí)之人臉圖像處理：核心算法與案例實戰(zhàn)》(機械工業(yè)出版社2020.7)，《深度學(xué)習(xí)之?dāng)z影圖像處理：核心算法與案例精粹》(人民郵電出版社2021.4)，擁有10余項發(fā)明技術(shù)專利與學(xué)術(shù)論文。

擅長領(lǐng)域：Caffe，Tensorflow，Pytorch等主流深度學(xué)習(xí)平臺。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)理論，深度學(xué)習(xí)模型設(shè)計與優(yōu)化，計算機視覺的基礎(chǔ)領(lǐng)域，AI美學(xué)，2D與3D人臉算法，生成對抗網(wǎng)絡(luò)GAN等領(lǐng)域。

本課程是模型優(yōu)化課程的其中一部分，屬于有三AI整個課程體系中的高階課程，需要大家已經(jīng)能夠熟練使用深度學(xué)習(xí)框架與基礎(chǔ)模型，建議與另外3門課程配合享用，包括《深度學(xué)習(xí)之模型分析》，《深度學(xué)習(xí)之模型設(shè)計》，《深度學(xué)習(xí)之模型部署》，詳細介紹請查看：

【視頻課】快速掌握5大模型部署框架(NCNN+MNN+Tengine+TensortRT+微信小程序)！

【視頻課】先搞懂你用的模型，深度學(xué)習(xí)模型分析課程來了！

【視頻課】超30個小時模型設(shè)計理論，4大Pytorch案例實戰(zhàn)與安卓部署，長期更新中

如何獲取課程

訂閱《深度學(xué)習(xí)之模型優(yōu)化》專欄，本專欄暫時定價為399，后續(xù)隨著內(nèi)容增加還會調(diào)整價格，感興趣的請?zhí)崆坝嗛?#xff0c;鏈接如下：

已有的課程目錄如下：

往期相關(guān)

• 【視頻課】超全深度學(xué)習(xí)路線圖，有三AI所有免費與付費的視頻課程內(nèi)容匯總！
  

總結(jié)

以上是生活随笔為你收集整理的【视频课】模型剪枝+模型量化+知识蒸馏典型实践！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。