还说不会深度学习,三招帮你“炼丹”成功
深度學(xué)習(xí)領(lǐng)域發(fā)展仍是火熱朝天,眾多方向門派百花齊放,CV和NLP領(lǐng)域一直是高手云集,Transformer最近異軍突起,卷起一片波瀾,其他眾多領(lǐng)域,包括:遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、集成學(xué)習(xí)等,也有著各派的掌舵人。顯而易見,這一眾深度學(xué)習(xí)大佬無不是各派“武功”的集大成者,都有著自己的一套“深度學(xué)習(xí)煉丹”秘笈,簡單羅列一些,真實看得人眼花繚亂。
學(xué)完這些“秘笈”,你必然有一種“神功在手,天下我有”的錯覺。自我感覺是,深度學(xué)習(xí)不就是conv(卷積)、pooling(池化)、optimizer(優(yōu)化器)、loss function(損失函數(shù))等等嗎……依照著“秘笈”構(gòu)建自己的網(wǎng)絡(luò)模型:3x3卷積核簡單易用,數(shù)據(jù)特征提取簡潔且高效;后面接著池化層,訓(xùn)練數(shù)據(jù)量瞬間減少一半;這優(yōu)化器,當(dāng)然選用Adam,快且準(zhǔn)地?fù)糁心繕?biāo);損失函數(shù)交叉熵當(dāng)仁不讓??纯醋约荷婕暗倪@套網(wǎng)絡(luò)模型,感覺深度真的是簡單的很。
這不,當(dāng)你迫不及待的開啟自己深度學(xué)習(xí)“煉丹”道路,卻發(fā)現(xiàn)簡直是“蜀道難,難于上青天”啊!
啥,卷積不就是模版匹配、特征提取嘛,后面的轉(zhuǎn)置卷積(transposed conv)、空洞卷積(dilated conv)、分組卷積(group conv)等等都是啥呀……
網(wǎng)絡(luò)模型代碼實現(xiàn)又是一堆坑,怎么導(dǎo)入不同格式的數(shù)據(jù),怎么定義網(wǎng)絡(luò)結(jié)構(gòu),怎么調(diào)用優(yōu)化器和損失函數(shù),怎么可視化網(wǎng)絡(luò)模型輸出結(jié)果,怎么調(diào)用GPU進(jìn)行模型加速。。。。。。各種模型模塊配置好了,結(jié)果一運行,還是報出一堆錯誤。。。
僅僅是這些問題嗎?那你就小瞧深度學(xué)習(xí)了。
在算法模型推陳出新,模型越堆越深、模塊越來越復(fù)雜,還是AlexNet那類模型的簡單易懂。。。
所以,到底怎樣才算是正式入門深度學(xué)習(xí)呢?
1.夯實基礎(chǔ),練就“內(nèi)功”
要夯實基礎(chǔ)理論,必然需要研究理論的發(fā)展起源。咱們從人工智能的發(fā)展歷史開始研究,逐步進(jìn)入到機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的階段,并且結(jié)合計算機(jī)視覺和自然語言這兩大應(yīng)用方向具體分析理論知識,這樣學(xué)習(xí)之后,理論知識才能愈發(fā)記得牢固,才能應(yīng)用自如。
掌握知識發(fā)展脈絡(luò)后,進(jìn)一步研究神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)。這里,主要是反向傳播算法、感知機(jī)、神經(jīng)網(wǎng)絡(luò)算法;結(jié)合人類視覺系統(tǒng)的類比,對卷積運行進(jìn)行詳細(xì)而又形象的分析闡述。
最后一塊理論知識,就是算法優(yōu)化和調(diào)參了,包括:模型的分析和驗證、指標(biāo)的設(shè)計和選擇、模型偏差的計算、以及模型具體的優(yōu)化策略選取。
2.選用Pytorch,磨刀不誤砍柴工
俗話說得好,重劍無鋒,PyTorch就是這把“重劍”,有了上面理論知識加持,咱們就應(yīng)該手握這把“重劍”披荊斬棘。
PyTorch這把重劍簡單易用,提供了基本的Tensor對象,以及提供了許多預(yù)處理、優(yōu)化器、損失函數(shù)、網(wǎng)絡(luò)模型模塊,這樣我們可以順手拈來,結(jié)合TensorBoard,可以高效的可視化咱們“煉丹”的過程和結(jié)果。此外,PyTorch還支持并行操作,利用多GPU加速訓(xùn)練。
3.實踐磨煉,練就本領(lǐng)
到這里,咱們武功已經(jīng)小有成就,需要到真實場景下學(xué)習(xí)具體的“武術(shù)技巧”----也就是在深度學(xué)習(xí)不同領(lǐng)域中實踐學(xué)習(xí)。
這里,主要給出兩個著名的領(lǐng)域:CV領(lǐng)域、NLP領(lǐng)域。
CV領(lǐng)域中的分類、識別都是重要的“武術(shù)技巧”,具體有Faster RCNN、YOLO系列、U-Net系列等等。
在實踐NLP領(lǐng)域之前,咱們首先需要掌握基本的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的知識,涉及RNN算法、LSTM模型和GRU的介紹。接著就是NLP中文本分類表示的具體實踐。
實踐完這兩塊領(lǐng)域之后,咱們基本具備獨立深度學(xué)習(xí)“煉丹”的武藝了!
深藍(lán)學(xué)院開設(shè)了《深度學(xué)習(xí):理論與實踐》課程,深度學(xué)習(xí)三步走的秘籍一套打包領(lǐng)走!
實踐項目
>左右滑動查看更多<
課程大綱
你能收獲
a.充分理解相比于經(jīng)典的神經(jīng)網(wǎng)絡(luò),深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的表示學(xué)習(xí)能力;
b.掌握經(jīng)典的深度神經(jīng)網(wǎng)絡(luò)模型(CNN,RNN,LSTM)思想原理;
c.學(xué)會使用深度學(xué)習(xí)解決實際任務(wù),及解決任務(wù)的整體流程;
d.熟悉當(dāng)下主流的深度學(xué)習(xí)框架Pytorch,并通過該框架做CV及NLP領(lǐng)域的實踐。
精彩課程
掃碼添加育心,備注【秘籍】
快速通過好友
總結(jié)
以上是生活随笔為你收集整理的还说不会深度学习,三招帮你“炼丹”成功的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: div滚动字幕
- 下一篇: 【Pandas】这份Pandas练习题,